Absolvent gymnázia vyvíjí překladač znakové řeči, jeho práci podpořila také plzeňská univerzita

„Rád bych komukoli, koho zajímá znakový jazyk, umožnil bezplatný přístup do aplikace. Člověk by zaznakoval a aplikace by mu rovnou ukázala výsledky, nabídla by mu příbuzná slova z databáze, sdělila by mu vlastnosti znaků," představuje Matyáš Boháček svou vizi.

Před třemi roky, ještě jako čerstvý student pražského Gymnázia Jana Keplera, oslovil Matyáš katedru FAV, aby se dozvěděl vše, co potřebuje k vývoji aplikace. Z prvotního kontaktu se zrodila několikaletá spolupráce, jejímž výsledkem je unikátní aplikace na rozpoznávání českého znakového jazyka.

„Svůj věk jsem nezmiňoval, protože co si budeme povídat – když vám napíše čerstvý středoškolák, kterého ani neznáte, asi se vám nebude chtít ztrácet s ním čas. Ale reakce doktora Hrúze byla nesmírně vstřícná a pozitivní. Od začátku se mnou jednal jako se sobě rovným,“ vzpomíná na začátky spolupráce dnes už absolvent gymnázia.

„Matyáš za mnou přišel na fakultu s tím, že vyvíjí aplikaci na rozpoznávání českého znakového jazyka a že si na internetu zjistil, že se tím zabýváme i my na FAV. Navrhl jsem mu, že by pod mým vedením mohl pracovat na výzkumu,“ vzpomíná Marek Hrúz z FAV, který se zabývá technologiemi počítačového vidění a umělé inteligence.

Společně s Markem Hrúzem a jeho kolegy z katedry kybernetiky a výzkumného centra NTIS FAV tak začal talentovaný vědec vyvíjet aplikaci pro rozpoznávání českého znakového jazyka, která by zvládla kontinuální znakování přepisovat do textové podoby. Cílem bylo usnadnit komunikaci neslyšících nebo lidí s výrazným sluchovým defektem s lidmi, kteří neovládají znakový jazyk. Aplikaci by však mohli využívat i odborníci či lidé slyšící, kteří se znakový jazyk učí a chtějí se ujistit, že znakují správně. 

„Já sám jsem se začal učit znakový jazyk v době covidu, tudíž se jednalo převážně o online kurzy, a zjistil jsem, že neexistuje žádný slovník nebo překladač, který by mi potvrdil, že znakuji správně,“ vysvětluje Matyáš, jak se zrodil jeho nápad.

První společné výstupy a samotný model zvaný Spoter prezentovali na konferenci Winter Conference on Applications of Computer Vision, která se konala na Havaji. „Byla to moje první akademická konference. Konala se v období covidu, takže bylo do poslední chvíle nejisté, jestli vůbec odjedu. Velkou roli hrály také finance. Bez grantů a finanční podpory bych se nemohl zúčastnit. Od té doby jsme společně s doktorem Hrúzem publikovali další články, aktualizované dle toho, jak šel výzkum dopředu. Ale tohle byl začátek,“ rekapituluje Matyáš, který za systém Spoter obdržel v roce 2022 ocenění Česká hlavička.

Vývoj potrvá ještě několik let

Systém Spoter umí v současné době z videa rozpoznat jednotlivé znaky. Stačí se nahrát pomocí webkamery nebo vložit video a během několika vteřin se zobrazí překlad s odkazy, vysvětlivkami i regionálními verzemi znaku. Do budoucna je cílem kontinuální rozpoznávání znakového jazyka a přepis. „Člověk bude plynule znakovat a aplikace znaky rovnou přeloží do vět. O to usiluje celá odborná komunita, která se touto problematikou zabývá,“ přibližuje Matyáš, podle kterého vývoj potrvá ještě několik let.

Výzkumníci momentálně testují, jak napojit aplikaci na databázi Dictio – výkladový slovník českého znakového jazyka, na kterém pracují odborníci na Masarykově univerzitě v Brně. Zároveň spolupracují s dalšími pracovišti nebo autory slovníků po světě. Snaží se také o uvedení do praxe. „Zároveň by to pomohlo v orientaci ve znakovém jazyce, protože na celém světě existuje na čtyři sta znakových jazyků a jen v České republice můžeme sledovat dialektické odchylky v Praze, Brně nebo Ostravě,“ popisuje. Podle jeho slov je cílem i všech zapojených výzkumníků a odborníků celosvětově aplikaci zpřístupnit komukoli, kdo o ni bude mít zájem.

Nadějný mladý vědec se nyní chystá strávit léto na stáži na Kalifornské univerzitě v Berkeley a od září bude řádným studentem na Stanfordově univerzitě, kam byl přijat do studijního bakalářského programu Computer Science. Ve spolupráci s FAV však plánuje pokračovat.