Akademia Górniczo-Hutnicza wspólnie z firmą Proassist tworzą inteligentnego asystenta głosowego dla lekarzy i personelu medycznego. Konsorcjum otrzymało na ten cel grant w wysokości dziewięciu milionów złotych.
Jak mówi Anna Żmuda-Muszyńska, rzeczniczka uczelni, projekt zakłada stworzenie asystenta głosowego, rozpoznającego naturalną mowę użytkownika i wykonującego powierzone zadania, który będzie wsparciem dla lekarzy i personelu medycznego w codziennej pracy.
Asystent lekarza
– Dzięki takiemu rozwiązaniu lekarz będzie mógł wydawać polecenia głosowe. Komendy wydawane przez medyków będą ułatwiały m.in. wystawienie e-skierowań, e-recept czy zwolnień lekarskich. Nadrzędnym celem projektu jest optymalizacja czasu pracy lekarzy oraz zmniejszenie pracy dokumentacyjnej medyków związanej z obsługą pacjentów. Takie rozwiązanie przełoży się na zwiększenie uwagi specjalisty w trakcie wizyty wyłącznie na pacjencie oraz skrócenie czasu trwania samej wizyty i konsultacji – wyjaśnia.
Projekt asystenta głosowego dla lekarzy, realizowany przez Proassist i zespół naukowców z AGH, zakłada w pierwszym etapie gromadzenie materiału głosowego. W tym celu lekarze będą nagrywali swój głos podczas wizyt i konsultacji z pacjentami.
Zebrane dane posłużą do zbudowania bazy danych i doskonalenia asystenta głosowego. Realne dane z wizyt lekarskichsą kluczowym elementem projektu, umożliwiającym dostosowanie asystenta głosowego do konkretnych potrzeb i preferencji lekarzy. Wiedza i doświadczenie zgromadzone przez lata pracy zawodowej medyków będą stanowić cenny wkład w rozwój rozwiązania.
– Naszym celem jest ułatwienie i usprawnienie pracy lekarza poprzez konwersję wypowiedzi lekarza na tekst, a następnie automatyczne wyodrębnienie pożądanych informacji i odpowiednie uzupełnienie formularzy elektronicznej dokumentacji medycznej. Pracujemy nad opracowaniem asystenta głosowego dostosowanego do zastosowań medycznych, który będzie składał się z modułów sztucznej inteligencji odpowiedzialnych za automatyczne rozpoznawanie mowy i przetwarzanie języka naturalnego – mówi prof. Konrad Kowalczyk z Instytutu Elektroniki AGH.
Przygotowanie systemu
Zespół prof. Konrada Kowalczyka składa się z około dziesięciu osób: adiunktów, asystentów, doktorantów i studentów związanych z Zespołem Przetwarzania Sygnałów Wydziału Informatyki, Elektroniki i Telekomunikacji, który od wielu lat specjalizuje się w przetwarzaniu i analizie mowy.
W początkowej fazie projektu, zespół będzie odpowiadał m.in. za przygotowanie systemu umożliwiającego zamianę mowy na tekst wraz z analizą semantyczną wypowiedzi, a w dalszych etapach projektu za stworzenie generycznego systemu głosowego zawierającego moduły automatycznego rozpoznawania mowy i przetwarzania języka naturalnego obsługujące zdefiniowane scenariusze użycia.
– Zależy nam na tym, aby lekarz porozumiewał się ze swoim komputerem w gabinecie lub telefonem w taki sposób jakby rozmawiał ze swoją asystentką medyczną. Przed nami ambitne zadanie – chcemy zrewolucjonizować polską służbę zdrowia i rozpowszechnić nowe technologie w medycynie, tak aby korzystał z nich każdy lekarz w swoim gabinecie. Eksperckie wsparcie ze strony AGH, w szczególności z obszarów przetwarzania sygnałów mowy i dźwięku czy uczenia maszynowego z pewnością czyni nasz zespół realizujący projekt jeszcze lepiej przygotowanym do tego zadania – tłumaczy Jacek Piaseczyński, CEO i kierownik projektu po stronie Proassist.
Zapisywanie rozmów
W projekt będą zaangażowani konsultanci medyczni oraz placówki medyczne, które będą nagrywać rozmowy z pacjentami. Następnie rozmowy przejdą proces m.in. anonimizacji tj. będą przekształcone w sposób uniemożliwiający przyporządkowanie poszczególnych informacji do określonej lub możliwej do zidentyfikowania osoby fizycznej i tym samym pozbawione wrażliwych danych.
W kolejnym etapie nagrania poddane będą transkrypcji i anotacji, umożliwiających użycie tak przygotowanej bazy do treningu modułów zamieniających mowę na tekst oraz analizę semantyczną wypowiedzi. Tak powstały zbiór pozwoli stworzyć narzędzie, którego zadaniem będzie przetwarzanie mowy lekarza na tekst.
