18 lis 2026
Badania i Nauka

DynaConTalk: naturalna gestykulacja cyfrowych postaci zsynchronizowana z mową

Nowy system DynaConTalk generuje gesty dłoni, twarzy i ciała zsynchronizowane z mową. Sprawdź, jak działa i co daje twórcom animacji oraz edukacji online.

Autor: Radosław Chmielewski, 15 listopada 2026
3D rendered hand with a gesture on a beige background, conveys emotion.
Fot. cottonbro CG studio / Pexels · Pexels License

DynaConTalk to system opracowany przez Uniwersytet Tohoku i Uniwersytet Hongkoński, który tworzy naturalną gestykulację cyfrowych postaci w pełnej synchronizacji z wypowiadanym tekstem. Prace zostały opublikowane 9 listopada 2026 roku w czasopiśmie „ACM Transactions on Graphics”.

Dlaczego gesty w animacji są tak trudne do wygenerowania?

Ruch dłoni, mimika i postawa ciała muszą ze sobą współgrać, bo widz natychmiast wyczuwa każdą niespójność. Dotychczasowe rozwiązania często traktowały te elementy osobno albo przewidywały ruch bez wyraźnego powiązania z rytmem wypowiedzi. Efektem bywała animacja, która wygląda poprawnie w pojedynczym kadrze, ale brzmi i porusza się nienaturalnie w dłuższym fragmencie.

DynaConTalk ma rozwiązać ten problem, budując ruch jako spójną całość z trzech źródeł informacji.

Jak działa DynaConTalk?

Podział ruchu według szybkości

Kluczem metody jest rozbicie ruchu na składowe poruszające się w różnym tempie. Autorzy wykorzystują do tego transformację falkową, która pozwala oddzielić szybkie drgnięcia dłoni od wolniejszych zmian postawy. Dzięki temu system może osobno kontrolować detale i ogólny kształt gestu.

Równoważenie sygnałów

DynaConTalk reguluje wagę trzech rodzajów danych wejściowych: rytmu mowy, cech głosu oraz treści tekstu. Rytm podpowiada, kiedy wykonać gest, cechy głosu wpływają na jego intensywność, a tekst na jego znaczenie. Takie rozdzielenie sygnałów sprawia, że gest odpowiada zarówno temu, jak coś mówimy, jak i temu, jak to mówimy.

Ciągłość między fragmentami

System wykorzystuje wcześniejszy ruch przy generowaniu kolejnego fragmentu. To istotne dla animacji dłuższych niż kilka sekund, ponieważ pozwala uniknąć gwałtownych przeskoków między kolejnymi ujęciami. Twórca może też sterować wybranymi pozami lub przekazać referencyjny ruch, na którym model się wzoruje.

Jak DynaConTalk wypadł w porównaniu z poprzednimi rozwiązaniami?

Skuteczność oceniano na dwóch zbiorach danych testowych: BEAT2 i SHOW. Miarą była wartość wskaźnika FGD, w której niższy wynik oznacza lepsze odwzorowanie ruchu. Względem wcześniejszego najlepszego wyniku DynaConTalk obniżył ten wskaźnik o:

Zbiór danychSpadek wskaźnika FGD względem wcześniejszego najlepszego wyniku
BEAT2ok. 51%
SHOWok. 29%

Równolegle przeprowadzono ocenę odbiorczą. W porównaniu wzięło udział 30 uczestników, a każdy z trzech systemów zaprezentowano na 15 przykładach wypowiedzi. Animacje DynaConTalk otrzymały najwyższe średnie oceny w czterech kategoriach:

Kryterium ocenyPozycja DynaConTalk
Naturalność ruchunajwyższa średnia ocena
Zgodność gestów z treściąnajwyższa średnia ocena
Synchronizacja z mowąnajwyższa średnia ocena
Różnorodność gestównajwyższa średnia ocena

Warto zauważyć, że wyniki dotyczą wyłącznie tego, jak animacja jest odbierana przez widza. Nie mierzono w ten sposób skuteczności nauczania ani tego, czy postać budzi zaufanie.

Gdzie takie systemy mogą znaleźć zastosowanie?

Wskazane potencjalne obszary użycia to:

  • animacja filmowa, gdzie postacie mówią dużo, a ręczne animowanie każdego gestu jest czasochłonne,
  • gry, w których liczba dialogów z postaciami niezależnymi bywa bardzo duża,
  • wirtualne prezentacje, w których prowadzący jest awatarem,
  • edukacja online, gdzie cyfrowy wykładowca może wspierać przekaz gestem,
  • komunikacja na odległość, w której awatar zastępuje nagranie wideo.

Każdy z tych obszarów stawia inne wymagania, więc przydatność rozwiązania zależy od konkretnego scenariusza, a nie wyłącznie od wyników testów.

Jakie ograniczenia ma DynaConTalk?

Badanie wskazuje dwa główne ograniczenia. Po pierwsze, dane dotyczą przemieszczania całej postaci, co oznacza, że pełna kontrola nad każdym elementem ciała wymaga jeszcze dalszych prac. Po drugie, zbiory danych są stosunkowo wąskie pod względem liczby i różnorodności mówców. Autorzy zapowiadają większe zbiory oraz bardziej zróżnicowanych mówców, co ma zwiększyć uniwersalność systemu.

Nie jest to także badanie nad dezinformacją. DynaConTalk dotyczy wyłącznie jakości generowanego ruchu, a nie analizy zagrożeń związanych z syntetycznymi mediami.

Co to oznacza dla Ciebie?

Jeśli pracujesz przy animacji, grach lub produkcji treści wideo, DynaConTalk pokazuje kierunek, w którym zmierza automatyzacja gestów: od ręcznego ustawiania klatek do sterowania ruchem na podstawie mowy. Najbardziej praktyczną lekcją jest to, że najlepsze wyniki daje łączenie rytmu, głosu i treści, a nie opieranie się na jednym sygnale.

Osoby planujące wdrożenie awatarów w edukacji online czy w prezentacjach powinny jednak pamiętać, że wysoka ocena naturalności nie oznacza automatycznie lepszego zapamiętywania materiału ani większego zaufania odbiorców. Taką skuteczność trzeba sprawdzać osobno, w warunkach zbliżonych do własnego zastosowania.

Na podstawie: Wszystko co najważniejsze. Tekst opracowany redakcyjnie.