Badania krakowskiego zespołu mogą zmienić sposób, w jaki sterujemy naszymi urządzeniami

Krakowscy badacze mogą zrewolucjonizować to, jak rozmawiamy z naszymi urządzeniami - i ze sobą nawzajem. Zespół dra hab. inż. Konrada Kowalczyka z AGH opracowuje wielomikrofonowy system, który pozwala swobodnie rozmawiać czy dyktować tekst nawet wtedy, gdy mówiący swobodnie porusza się po pomieszczeniu, bez konieczności stosowania słuchawek z mikrofonem czy tradycyjnych zestawów głośnomówiących. Badania są finansowane przez Fundację na rzecz Nauki Polskiej w ramach programu FIRST TEAM ze środków pochodzących z Funduszy Europejskich z Programu Operacyjnego Inteligentny Rozwój.

Badania zespołu dr. Kowalczyka mają na celu opracowanie technologii umożliwiających budowę systemów składających się z sieci połączonych ze sobą mikrofonów, które będą pozwalały na prowadzenie naturalnej rozmowy nawet wtedy, gdy mówiący porusza się, oddala od mikrofonów czy znajduje się w miejscu, gdzie czynniki takie jak szumy, inne głosy czy pogłos pomieszczenia zaburzają funkcjonowanie tradycyjnych mikrofonów.

To szczególnie istotne, bo dynamicznie rozwijające się technologie, takie jak domy inteligentne czy rozszerzona lub wirtualna rzeczywistość, często opierają się właśnie na głosowej komunikacji człowieka z maszyną. Komendy czy zapytania coraz częściej wydawane są w przypadku takich urządzeń nie za pomocą aplikacji, ekranu dotykowego czy klawiatury, ale interfejsu pozwalającego na naturalną komunikację za pomocą głosu. Stojące u podstaw takich systemów algorytmy rozpoznawania mowy są coraz skuteczniejsze, problemem pozostaje jednak wciąż fakt, że możliwości dotychczasowych systemów mikrofonowych są stosunkowo ograniczone, gdy użytkownik nie znajduje się w ich bezpośrednim sąsiedztwie.

Nowoczesny, inteligentny system mikrofonów, nad którym pracują badacze z Krakowa, może zdecydowanie uprościć korzystanie z tych technologii. Projekt APDAS (Audio Processing using Distributed Acoustic Sensors - Przetwarzanie Dźwięku z wykorzystaniem Rozproszonych Czujników Dźwięku) może też dać użytkownikom zupełnie nowe możliwości wykorzystywania posiadanych przez nich urządzeń. Mikrofony, w które wyposażone są urządzenia domu inteligentnego, mogą stworzyć jedną, obejmującą całe pomieszczenie czy dom sieć, która pozwoli na przykład dokonywać biometrycznej identyfikacji i lokalizacji osób znajdujących się w różnych pomieszczeniach.

– Jednoczesne przetwarzanie sygnałów pochodzących z kilku połączonych ze sobą ‘’inteligentnych’’ urządzeń wyposażonych w jeden lub więcej mikrofonów umożliwi uzyskanie wyższej jakości sygnału niż w przypadku używanych obecnie pojedynczych, niezależnie pracujących urządzeń

– tłumaczy dr hab. inż. Konrad Kowalczyk z Wydziału Informatyki, Elektroniki i Telekomunikacji Akademii Górniczo-Hutniczej w Krakowie.

– Zaletą takiego rozwiązania będzie możliwość sterowania głosowego nawet na dużą odległość oraz swobodnego korzystania z aplikacji głosowych w chmurze bez konieczności posiadania dedykowanego danej aplikacji sprzętu audio

– dodaje naukowiec.

Na prace krakowskiego zespołu Fundacja na rzecz Nauki Polskiej przyznała grant w wysokości niemal 2 mln zł w ramach konkursu w programie FIRST TEAM 2017. Dofinansowanie zostało zwiększone w 2020 r. w celu umożliwienia rozwoju prac nad inteligentnym systemem przetwarzania dźwięku i jego komercjalizacji. Program FIRST TEAM jest realizowany przez Fundację na rzecz Nauki Polskiej ze środków UE pochodzących z Europejskiego Funduszu Rozwoju Regionalnego w ramach Programu Operacyjnego Inteligentny Rozwój,
oś IV: Zwiększenie potencjału naukowo-badawczego, Działanie 4.4 Zwiększanie potencjału kadrowego sektora B+R.

Dr hab. inż. Konrad Kowalczyk jest absolwentem Elektroniki i Telekomunikacji AGH. Stopień doktora otrzymał na Wydziale Elektroniki, Elektrotechniki i Informatyki Królewskiego Uniwersytetu w Belfaście w Wielkiej Brytanii, a stopień doktora habilitowanego z Informatyki Technicznej i Telekomunikacji w AGH. Ma na koncie staże na Uniwersytecie Stanforda i Uniwersytecie w Yorku. Przez pięć i pół roku prowadził prace badawcze w Niemczech, początkowo na Uniwersytecie w Erlangen-Norymberdze, a potem w Instytucie Fraunhofera oraz w International Audio Laboratories w Erlangen. Od 2020 r. kieruje Zespołem Przetwarzania Sygnałów AGH. Pełni rolę redaktora periodyku IEEE Signal Processing Letters. Jest laureatem programu Top 500 Innovators na Uniwersytecie w Cambridge oraz stypendystą MNiSW dla wybitnych młodych naukowców. W 2021 r. został uhonorowany Nagrodą Prezesa Rady Ministrów przyznawaną za wybitne osiągnięcia naukowe.

Projekt APDAS jest realizowany wspólnie z międzynarodowymi partnerami, w tym z Uniwersytetem w Walencji w Hiszpanii, Katolickim Uniwersytetem w Leuven w Belgii i Uniwersytetem Johnsa Hopkinsa w USA. Zespół dra hab. inż. Kowalczyka pracuje też nad nowymi, upraszczającymi życie zastosowaniami własnych technologii. Nowoczesne techniki przetwarzania sygnałów dźwiękowych mogą np. posłużyć do budowy aparatów słuchowych nowej generacji, pozwalających użytkownikowi słyszeć wyraźnie dźwięki, nawet jeśli ich źródło jest od niego oddalone na znaczną odległość. Osiągnięcia członków zespołu utworzonego dzięki wsparciu Fundacji na rzecz Nauki Polskiej to m.in. pierwsze i drugie miejsce w międzynarodowych zawodach w przetwarzaniu sygnałów IEEE Signal Processing Cup w 2019 i 2021 roku, gdzie opracowano algorytmy lokalizacji dźwiękowej osób poszkodowanych dla dronów ratowniczych oraz algorytmy automatycznej konfiguracji inteligentnych powierzchni odbijających sygnały w sieciach 6G, jak również stypendium Fulbright Junior Scholarship na roczne badania na Uniwersytecie Johnsa Hopkinsa.

Fundacja na rzecz Nauki Polskiej istnieje od 1991 r. i jest niezależną, samofinansującą się instytucją pozarządową typu non-profit, która realizuje misję wspierania nauki. Jest największym w Polsce pozabudżetowym źródłem finansowania nauki. Do statutowych celów FNP należą: wspieranie wybitnych naukowców i zespołów badawczych i działanie na rzecz transferu osiągnięć naukowych do praktyki gospodarczej. Fundacja realizuje je poprzez przyznawanie indywidualnych nagród i stypendiów dla naukowców, przyznawanie subwencji na wdrażanie osiągnięć naukowych do praktyki gospodarczej, inne formy wspierania ważnych przedsięwzięć służących nauce (jak np.: programy wydawnicze, konferencje). Fundacja angażuje się także we wspieranie międzynarodowej współpracy naukowej oraz zwiększanie samodzielności naukowej młodego pokolenia uczonych.