Chatboty AI zmyślają wady polskich produktów. Badanie TrustMate.io

Chatboty oparte na sztucznej inteligencji zmyślały wady polskich produktów w 46% przypadków, a w części odpowiedzi zastępowały krajowe propozycje towarami zagranicznymi. Wyniki pochodzą z badania firmy TrustMate.io, na które powołała się „Rzeczpospolita”.

Jak przebiegało badanie chatbotów AI?

Badacze przebadali ok. 200 produktów należących do trzech kategorii: elektroniki użytkowej, artykułów do domu i ogrodu oraz kosmetyków. Sprawdzano trzy narzędzia: ChatGPT Search, Perplexity Pro oraz Google Gemini 1.5. Każde z nich otrzymywało pytania o konkretne towary, a odpowiedzi porównywano z rzeczywistymi parametrami i informacjami producentów.

Wnioski są jednoznaczne. Według badania modele w 46% przypadków podawały informacje, które nie znajdowały potwierdzenia w rzeczywistości. Dotyczyło to zarówno wymyślonych usterek, jak i nieistniejących składników.

Dlaczego sztuczna inteligencja myli się przy polskich produktach?

Źródłem problemu nie jest sama konstrukcja modeli, lecz ilość danych, na których się uczą. Polskich produktów opisano w internecie wyraźnie mniej niż zagranicznych, więc model, zamiast przyznać brak wiedzy, często wypełnia lukę przypuszczeniami. Taki mechanizm dobrze tłumaczy, dlaczego asystenci częściej mylili się przy rodzimych ofertach.

Przykład z badania jest wymowny. Chatbot przypisał polskiemu urządzeniu grzewczemu ryzyko awarii termostatu, którego w rzeczywistości nie zgłaszano. W kosmetykach i chemii domowej pojawiały się z kolei ostrzeżenia dotyczące substancji, które w składzie nie występowały.

Które dane pomagają AI, a które jej przeszkadzają?

Najlepiej wypadły dane uporządkowane w standardach Schema.org oraz JSON-LD. Tam zmyślanie wad było niemal ograniczone, bo model dostawał czytelne, jednoznaczne pola zamiast luźnego tekstu. Sklepy internetowe, które wdrożą takie oznaczenia, zwiększają szansę, że asystent odda prawdziwy stan rzeczy.

Problem dotyczy także stron. Spośród 369 przebadanych polskich domen ok. 58% było prawie nieczytelnych dla systemów AI. Nie chodzi wyłącznie o brak treści, ale również o strukturę, która uniemożliwia odczytanie parametrów.

Średni wynik sklepów internetowych na poziomie 32,5 punktu na 100 pokazuje, że większość polskiego e-commerce ma sporo do nadrobienia, zanim jego oferta trafi do odpowiedzi generowanych przez AI.

Dlaczego chatbot poleca towary zagraniczne?

Rekomendacja modelu nie wynika z jednego kryterium. Na wybór produktu wpływają koszt, dostępność w sprzedaży, renoma marki oraz to, ile danych o towarze istnieje i jak są opisane. Marketplace’y gromadzą miliony ofert z opisami, tabelami parametrów i opiniami, więc asystent częściej sięga po produkty, o których ma najwięcej materiału. Zagraniczne marki, przy szerszym zasięgu, zwykle wygrywają ten rachunek.

Co to oznacza dla Ciebie?

Dla kupującego wniosek jest prosty: odpowiedź chatbota to punkt wyjścia, a nie gotowy werdykt. Przy wyborze telewizora do 3000 zł warto poprosić asystenta o źródła i sprawdzić parametry na stronie producenta lub w kartach produktów. Szczególnie ostrożnie podchodź do zarzutów o awarie i wady, ponieważ właśnie tego typu informacje były w badaniu najczęściej zmyślane.

Dla sprzedawców wynik jest sygnałem alarmowym. Czytelne dane strukturalne, aktualne opisy i tabele parametrów przestają być dodatkiem do strony, a stają się warunkiem, by polski produkt w ogóle pojawił się w odpowiedzi AI.