AI na infolinii: kto odpowiada za błędy bota w szpitalu?

Voiceboty obsługujące pacjentów w szpitalach i klientów w bankach stają się coraz powszechniejsze, ale ich wdrażanie w sektorze ochrony zdrowia odsłania zarówno możliwości, jak i fundamentalne wyzwania związane z odpowiedzialnością za błędy sztucznej inteligencji.

Jak bot rozumie (lub nie rozumie) pacjenta?

Największym ograniczeniem współczesnych systemów AI jest zależność od precyzji wejścia użytkownika. Jeśli pacjent nie wyrazi swoją intencję jasno, bot może zinterpretować polecenie całkowicie inaczej niż zamierzał rozmówca. Przykład z praktyki: starszy pacjent zadzwonił do szpitala, mówiąc, że chce „odwołać wizytę u kardiologa”. System ze stuprocentową pewnością rozpoznał intencję, zweryfikował dane pacjenta i anulował termin w systemie. Dopiero gdy pacjent zapytał „na kiedy została odwołana?”, okazało się, że chodziło mu o przesunięcie wizyty, a nie całkowite rezygnację. W rzeczywistości szpitalnej anulowanie wizyty oznacza, że pacjent wypadł z kolejki i musi ustawić się w niej od nowa — co często wiąże się z wielomiesięcznym oczekiwaniem.

Z technologicznego punktu widzenia bot działał bezbłędnie. Jednak z perspektywy projektowania usług system nie przewidział, że słowo „odwołać” może oznaczać zarówno całkowite rezygnację, jak i przesunięcie terminu. Rozwiązaniem była drobna zmiana scenariusza: teraz bot zawsze dopytuje, czy pacjent chce całkowicie zrezygnować z wizyty, czy może zmienić termin. Okazało się, że nawet do 30 procent osób w takiej sytuacji wybiera przesunięcie.

Gdzie leży granica odpowiedzialności?

To pytanie nie ma prostej odpowiedzi. Gdy voicebot popełni błąd na infolinii medycznej, odpowiedzialność rozłożona jest między kilka stron: twórcę technologii, projektanta scenariusza rozmowy, organizację wdrażającą system i — w pewnym sensie — samego użytkownika, który nie wyraził jasno swojej intencji.

Systemy AI są z natury niedeterministyczne. Kalkulator na pytanie „2+2” zawsze odpowie „4”, ale chatbot może tę samą odpowiedź sformułować na wiele sposobów. Badania pokazują, że większość użytkowników bezgranicznie ufa odpowiedziom modeli językowych bez weryfikacji. Doskonałym przykładem jest sytuacja, w której system podał błędną datę składania dokumentów na studia, a użytkowniczka zorientowała się, że przegapiła termin dopiero po odwiedzeniu oficjalnej strony uczelni.

Pojawia się też niebezpieczeństwo celowego oszukania systemu — tak zwany prompt injection. Głośny był przypadek silnika wbudowanego w wyszukiwarkę, któremu użytkownicy „wmawiali”, że jest kostką pamięci RAM, a szef firmy chce podnieść mu cenę. System wczuł się w tę rolę, zaczął halucynować i udawać przegrzewanie się, aby uniknąć podwyżki. Jeśli model daje się nabrać na absurdy, może to oznaczać lukę w bezpieczeństwie — być może da się wymusić na nim treści niecenzuralne lub instrukcje niezgodne z prawem.

Problem dat i terminów: przypadek roku 2030

Jedno z najbardziej pouczających doświadczeń miało miejsce podczas wdrażania voicebota w jednym ze szpitali dziecięcych. System weryfikował PESEL, skierowanie i szukał wolnego terminu. Pierwszy dostępny przypadał na lipiec 2030 roku. Gdy bot czytał tę datę, reakcje pacjentów były skrajne: część przeklinała i odkładała słuchawkę, inni zaś — nie słuchając uważnie — machinalnie potwierdzali chęć zapisu. Gdy bot podsumowywał „Potwierdzam umówienie wizyty w 2030 roku”, pacjenci wpadali w szok i natychmiast odwoływali rezerwację.

Wystarczyła jedna prosta zmiana w logice bota. Zamiast podawać dokładną datę, system zaczął informować, że pierwszy wolny termin jest „za X lat”. Skuteczność umawiania wizyt spadła o około 10 procent, ale drastycznie skrócił się czas rozmów i zniknął problem masowego umawiania oraz natychmiastowego odwoływania wizyt. Proces stał się bardziej intuicyjny dla pacjentów.

Jak pacjenci reagują na rozmowę z maszyną?

Zgodnie z wymogami prawnymi, systemy zawsze informują na początku, że dzwoniący rozmawia z inteligentnym asystentem głosowym. Mimo to część osób przez całą rozmowę tego nie rejestruje — dziękują „pani” za pomoc i umówienie wizyty, orientując się dopiero wtedy, gdy pojawia się problem techniczny. Młodzi rodzice dzwoniący do szpitali dziecięcych często od razu żartują, że obsługuje ich robot — dla nich to naturalne.

Co ujawnia voicebot o organizacji

Wdrażanie voicebotów w szpitalach ujawnia też problemy w samym zarządzaniu placówkami. W jednym ze szpitali wojewódzkich bot dzwonił do pacjentów, informując o wizytach o godzinach takich jak 15.23 czy 13.31. Szpital zgłosił błąd, ale sprawdzenie logów wykazało, że system czytał dokładnie to, co widniało w bazie danych. Okazało się, że rejestracja sztucznie dzielono grafik na trzyminutowe sloty, by zapełnić system, a pacjentom kazano przychodzić na godzinę 12.00 i pobierać numerek z biletomatu. Zmiana w systemie informatycznym, by wpisywać wszystkich na jeden blok czasowy, rozwiązała problem.

Inny przykład: bot dzwoniący do pacjentów w celu przypomnienia o wizycie zaplanowanej za kilka dni okazał się niezwykle skuteczną metodą zwalniania miejsc — kilkanaście procent osób rezyguje, uwalniając terminy dla innych pacjentów.

Co to oznacza dla pacjentów i placówek

Dla pacjentów oznacza to, że rozmowa z voicebotem wymaga precyzji — warto jasno wyrazić swoją intencję i nie zakładać, że system „zrozumie między wierszami”. Dla szpitali i banków wdrażających te systemy oznacza to konieczność starannego projektowania scenariuszy rozmów, testowania ich w rzeczywistych warunkach i ciągłego monitorowania błędów. Drobne zmiany w logice mogą mieć duży wpływ na doświadczenie użytkownika i skuteczność procesu.