2019-02-06: Neuroprotetyka: dzięki zastosowaniu modeli głębokiego uczenia się uzyskano przetworzenie myśli na zrozumiałą mowę
Zastosowanie nowych technologii do rozpoznawania mowy, w tym vocoderów i modeli głębokiego uczenia się (rodzaju uczenia maszynowego) umożliwiło przetworzenie myśli zarówno ukrytych, jak i artykułowanych w zrozumiałą dla człowieka mowę. Testy wykonano wśród ochotników poddawanych zabiegom ze względu na padaczkę.
Nima Mesgarani z Zuckerman Institute na Uniwersytecie Columbia w Nowym Jorku, Ashesh Dinesh Mehta, neurochirurg z Hofstra Northwell School of Medicine oraz Hassan Akbari, Bahar Khalighinejad i Jose L. Herrero opublikowali na łamach Scientific Reports artykuł, w którym przedstawili nową metodę pozwalającą na przetworzenie sygnałów z mózgu w rozpoznawalną przez człowieka mowę. Dotychczasowe próby przetwarzania takich sygnałów oparte były na analizie spektrogramów, częstotliwości modulacji oraz analizy jednostek dyskretnych: fonemów i kategorii fonetycznych, co nie dawało wystarczająco dobrych rezultatów. W badaniach autorów zastosowano nowe technologie, w tym wykorzystanie vocodera i maszynowe uczenie z wykorzystaniem sieci neuronowych.
Ponieważ badanie wymagało odczytu sygnału poprzez połączenie elektrod bezpośrednio z mózgiem, uzyskano zgody od pięciu pacjentów chorych na epilepsję, którym przed operacją przystawiano je, aby wykryć źródła napadów. Ochotnikom odczytywano sekwencje cyfr, a sztuczna inteligencja próbowała dekodować to, co usłyszeli i przetwarzać na mowę. Inne osoby, które brały w udział w badaniu, określały, na ile przetworzony sygnał jest zrozumiały. Brzmiał on jak „głos robota”, a zrozumiały był w 75% przypadków. Aby sztuczna inteligencja w procesie uczenia stawała się odporna na zakłócenia (pojawiające się naturalnie w środowisku ludzkiego mózgu), do sygnałów dodawano szumy. Uczenie się postępowało w kolejnych krokach przy odczytywaniu sygnałów z neuronów. Odczytywane były zarówno myśli werbalizowane, jak i ukryte.
Uczeni zamierzają kontynuować badania z użyciem słów i całych zdań. Postęp w doskonaleniu tej technologii może pozwolić na stworzenie neuroimplantów dla osób mających duże problemy z wypowiadaniem słów, a także przy komunikacji między człowiekiem a komputerem.
Źródła
[edytuj | edytuj kod]- Hassan Akbari, Bahar Khalighinejad, Jose L. Herrero, Ashesh D. Mehta, Nima Mesgarani – Towards reconstructing intelligible speech from the human auditory cortex – Scientific Reportsvolume 9, Article number: 874 (2019) DOI: 10.1038/s41598-018-37359-z, 29 stycznia 2019
- Clare Wilson – Mind-reading implant can decode what your ears are hearing – newscientist.com, 29 stycznia 2019
- Engineers translate brain signals directly into speech – sciencedaily.com, 29 stycznia 2019
- Opracowano technologię, która zamieni sygnały z mózgu na mowę – dzienniknaukowy.pl, 31 stycznia 2019
- Columbia Engineers Translate Brain Signals Directly into Speech – zuckermaninstitute.columbia.edu, 29 stycznia 2019