Ludzie wolą teksty AI niż człowieka. Badanie Villanova University

Czytelnicy nie potrafią rozróżnić opowiadań napisanych przez człowieka od tekstów wygenerowanych przez sztuczną inteligencję – a gdy myślą, że tekst napisał autor z krwi i kości, oceniają go wyżej. Do takich wniosków doszli naukowcy z Villanova University w Stanach Zjednoczonych, których badania opublikowano w czasopiśmie naukowym „Judgment and Decision Making”.

Jak przebiegało badanie?

Eksperyment przeprowadzili naukowcy z Wydziału Nauk Psychologicznych i Nauk o Mózgu Villanova University. Badanie miało trzy etapy i objęło łącznie ponad 2,5 tys. uczestników w wieku od 18 do 81 lat.

W pierwszym eksperymencie (1,6 tys. osób) każdy uczestnik przeczytał jedno opowiadanie i otrzymał informację – prawdziwą lub fałszywą – o jego autorstwie. Badacze wykorzystali trzy opowiadania napisane przez rzeczywistych autorów, opublikowane w renomowanych czasopismach literackich, oraz ich odpowiedniki wygenerowane przez ChatGPT. Uczestnicy oceniali jakość tekstu i stopień zaangażowania.

W drugim i trzecim eksperymencie (odpowiednio 424 i 481 osób) badani otrzymali dwa opowiadania bez informacji o autorstwie i musieli sami wskazać, które napisał człowiek, a które AI. Pytano ich także o doświadczenie z narzędziami AI i znajomość literatury pięknej.

Teksty AI oceniane wyżej – nawet gdy czytelnicy myślą, że napisał je człowiek

Wyniki badania jednoznacznie pokazały, że opowiadania wygenerowane przez sztuczną inteligencję oceniano wyżej zarówno pod względem jakości, jak i zdolności do zaangażowania czytelnika. Efekt ten był jeszcze silniejszy, gdy uczestnicy byli przekonani, że tekst napisał człowiek.

„W naszym badaniu uczestnicy najwyżej oceniali opowiadania, jeśli sądzili, że zostały napisane przez ludzi, choć w rzeczywistości stworzyła je sztuczna inteligencja” – powiedziała dr Deena Weisberg z Villanova University.

Paradoks ten wynika z głębokich przekonań społecznych. Odbiorcy wciąż zakładają, że twórczość literacka wymaga cech właściwych człowiekowi – zdolności rozumienia emocji i osobistego doświadczenia życiowego. Dlatego mogą niedoceniać możliwości AI w kreatywnym pisaniu. Jednak gdy myślą, że czytają dzieło człowieka, przypisują tekstowi głębię i autentyczność, którą w rzeczywistości wygenerowała maszyna.

Większość ludzi nie potrafi rozpoznać tekstu AI

Gdy chodzi o identyfikację autorstwa na podstawie samego tekstu, wyniki były zaskakujące:

Eksperyment	Liczba uczestników	Prawidłowe rozpoznanie tekstu AI	Wynik losowy
Drugi eksperyment	424	39,93%	~50%
Trzeci eksperyment	481	51,97%	~50%

Oba wyniki nie różniły się istotnie od wyniku, jaki można byłoby uzyskać przypadkowo. Oznacza to, że większość uczestników nie potrafiła na podstawie stylu, konstrukcji narracji czy sposobu prowadzenia opowieści wiarygodnie określić, czy tekst został napisany przez człowieka, czy wygenerowany przez AI.

Kto lepiej rozpoznaje teksty AI?

Znaczną rolę okazała się odgrywać praktyczna znajomość systemów AI. Osoby deklarujące większą znajomość narzędzi AI osiągały lepsze wyniki w identyfikowaniu tekstów generowanych przez maszyny. Natomiast doświadczenie czytelnicze – nawet u osób uważających się za kompetentne w dziedzinie literatury pięknej – nie pomagało w rozpoznawaniu autorstwa tekstu.

Dlaczego? Osoby zaznajomione z systemami AI częściej dostrzegały charakterystyczne właściwości generowanych tekstów. Należały do nich między innymi:

• Częste używanie pauz
• Powtarzalne konstrukcje retoryczne (np. „to nie tylko X, ale także Y”)
• Bezpośrednie wyrażanie głównego przesłania
• Przewidywalna struktura narracyjna

„Znajomość systemów AI pomagała uczestnikom rozpoznawać charakterystyczne cechy tekstów generowanych przez sztuczną inteligencję” – wyjaśniła dr Deena Weisberg.

Dlaczego teksty AI są oceniane wyżej?

Odpowiedź leży w przystępności i bezpośredniości. Teksty generowane przez AI są zwykle przejrzyste, logicznie skonstruowane i łatwe do przetworzenia. Wprost wyrażają główne przesłanie, nie pozostawiając czytelnikowi miejsca na samodzielne wyciąganie wniosków.

Opowiadania napisane przez ludzi bywają natomiast bardziej subtelne, niejednoznaczne i złożone. Wymagają większego wysiłku umysłowego – czytelnicy muszą sami interpretować działania bohaterów, odczytywać ukryte znaczenia i radzić sobie z wieloznacznością.

Paradoksalnie właśnie cechy tradycyjnie uznawane za świadectwo literackiej wartości – subtelność, wieloznaczność i pozostawienie miejsca na interpretację – mogą sprawiać, że teksty pisane przez ludzi są oceniane niżej. Współcześni odbiorcy mogą po prostu preferować przewidywalność.

Co to oznacza dla Ciebie

Badanie Villanova University ma praktyczne znaczenie dla kilku grup odbiorców:

Dla edukatorów i nauczycieli: Wyniki sugerują, że edukacja w zakresie sztucznej inteligencji powinna obejmować nie tylko umiejętność obsługiwania programów, ale także wiedzę o językowych schematach wykorzystywanych przez modele i świadomość sposobu, w jaki generują one wypowiedzi.

Dla czytelników i odbiorców treści: Warto rozwijać krytyczne myślenie wobec tekstów i uświadamiać sobie, że „przystępność” nie zawsze oznacza wyższą jakość. Teksty AI mogą być łatwiejsze do czytania, ale mogą im brakować głębi i autentyczności.

Dla branży wydawniczej i mediów: Rosnące możliwości AI w generowaniu tekstu wymagają nowych standardów weryfikacji autorstwa i autentyczności treści. Platforma musi być w stanie zidentyfikować i oznaczyć teksty generowane przez AI.

Dla twórców i autorów: Badanie pokazuje, że ludzkie pisanie – ze swoją subtelością i złożonością – ma wartość, którą odbiorcy mogą niedoceniać. Jednak właśnie te cechy mogą być źródłem przewagi konkurencyjnej w świecie, gdzie AI generuje coraz więcej treści.

Dr Deena Weisberg podkreśla, że wyniki badania nie powinny być tłumaczone wyłącznie współczesnym sposobem korzystania z mediów czy spadkiem zdolności koncentracji. „Wiele mówi się dziś o kryzysie czytelnictwa i wpływie platform takich jak TikTok. Nie sądzę jednak, aby wyniki naszego badania można było w pełni wyjaśnić współczesnym sposobem korzystania z mediów. Technologie te raczej wzmacniają istniejące skłonności, niż je tworzą” – powiedziała badaczka.

Badanie naukowców z Villanova University potwierdza wcześniejsze wyniki wskazujące, że odbiorcy często preferują teksty generowane przez sztuczną inteligencję – zjawisko zaobserwowane nie tylko w przypadku krótkich opowiadań, lecz także poezji i esejów.