Революционная система ИИ читает мысли и создает текст без имплантов

Исследователи из Техасского университета в Остине создали систему ИИ для чтения мыслей, которая может считывать изображения активности мозга человека и преобразовывать их в непрерывный поток текста. Система, называемая семантическим декодером, может помочь людям, находящимся в сознании, но не способным говорить, например тем, кто перенес инсульт.
Этот новый интерфейс мозг-компьютер отличается от других технологий "чтения мыслей", поскольку его не нужно имплантировать в мозг. Исследователи из UT Austin сделали неинвазивные записи мозга, используя функциональную магнитно-резонансную томографию (фМРТ), чтобы реконструировать воспринимаемые или воображаемые стимулы с использованием непрерывного естественного языка.

В то время как фМРТ дает изображения отличного качества, измеряемый ею сигнал, который зависит от уровня кислорода в крови, очень медленный, поскольку импульс нейронной активности вызывает повышение и понижение уровня кислорода в крови в течение примерно 10 секунд. Поскольку в естественном разговорном английском языке используется более двух слов в секунду, на каждое изображение мозга может повлиять более 20 слов.

Вот тут-то и появляется семантический декодер. Он использует модель кодирования, аналогичную той, что используется в ChatGPT от Open AI и Bard от Google, которые могут предсказать, как мозг человека будет реагировать на естественный язык. Чтобы "обучить" декодер, исследователи записали реакцию мозга трех человек, когда они слушали 16 часов устных историй. Декодер мог с достаточной точностью предсказать, как мозг человека отреагирует на последовательность слов.

"Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что делалось раньше, когда обычно использовались отдельные слова или короткие предложения", — сказал Александр Хут, корреспондент исследования.

Результат не воссоздает стимул слово в слово. Скорее, декодер улавливает суть сказанного. Он не идеален, но примерно в половине случаев он создавал текст, который был близок к оригиналу, иногда предельно точно.

Когда участники активно слушали историю и игнорировали другую историю, воспроизводимую одновременно, декодер смог уловить суть истории, которую активно слушали.
Помимо того, что участников просили слушать и думать над историями, их попросили посмотреть четыре коротких видео без звука, пока их мозг сканировался с помощью фМРТ. Семантический кодировщик переводил активность их мозга в точные описания определенных событий из просмотренных видео.

Исследователи обнаружили, что ключом к процессу является добровольное участие. Те, кто оказывал сопротивление во время обучения кодировщика, например, намеренно думали о других мыслях, давали бесполезные результаты. Точно так же, когда исследователи протестировали ИИ на людях, которые не обучали декодер, результаты были непонятными.

Команда UT Austin осознает возможность злонамеренного неправомерного использования неточных результатов и важность защиты неприкосновенности частной жизни людей.

"Мы очень серьезно относимся к опасениям, что это может быть использовано в плохих целях, и работаем над тем, чтобы этого избежать. Мы хотим убедиться, что люди используют эти типы технологий только тогда, когда они этого хотят, и что это помогает им", — сказал Джерри Танг, ведущий автор исследования.

В настоящее время декодер нельзя использовать за пределами лабораторной среды из-за его зависимости от фМРТ. Есть надежда, что эту технологию можно будет адаптировать для использования с более портативными системами визуализации мозга, такими как функциональная спектроскопия ближнего инфракрасного диапазона.