Neuralink также научила свою мобильную программу Bloom передавать синтезированный голос непосредственно в телефонный разговор на iPhone. Сначала имплант распознаёт нейронные сигналы, связанные с предполагаемыми словами, затем программа превращает полученный текст в речь и направляет звук в аудиоканал звонка. Собеседник слышит сформированные системой фразы, хотя человек на другом конце линии физически ничего не произносит.

Во время испытания участник VOICE смог поговорить таким способом со своей женой. По рассказу Neuralink, супруги когда-то познакомились благодаря телефонным разговорам, поэтому возможность снова общаться голосом приобрела для семьи особое значение. Инженеры также проверили дополнительное голосовое приветствие, которое при необходимости предупреждает собеседника об использовании вспомогательной технологии общения.

Помимо звонков разработчики добавили ввод текста в приложения iPhone через сигналы мозга. Специальная клавиатура позволяет диктовать сообщения без обычного набора символов, а обновлённый механизм редактирования помогает быстрее исправлять неправильно распознанные слова. Отдельная функция даёт возможность запускать речевое общение прямо с экрана блокировки телефона, не открывая предварительно основное приложение.

Для настройки распознавания Neuralink подготовила визуализацию активности мозга в реальном времени. На экране отображается интенсивность и распределение сигналов, которые регистрирует имплант. Участник исследования может мысленно пробовать разные способы произнесения слов и наблюдать, какие попытки дают более выраженный сигнал. Разработчики рассчитывают использовать такую обратную связь для улучшения работы алгоритмов.

Большую часть новых возможностей инженеры создали и проверили во время 72-часовой рабочей сессии непосредственно дома у участника VOICE. Вместо испытаний исключительно в лаборатории специалисты наблюдали за повседневным использованием нейроинтерфейса, получали замечания от самого пациента и его семьи и сразу дорабатывали программы. Некоторые прототипы продолжили совершенствовать в последующие недели.

В основе системы лежит имплант N1, который считывает электрическую активность нейронов в областях мозга, связанных с движениями и речью. Специальные алгоритмы находят закономерности, возникающие при попытке произнести слова, и преобразуют сигналы в текст или компьютерные команды. Речь не идёт о свободном чтении любых мыслей. Программа обучается распознавать определённые намерения пользователя, связанные с речью или управлением устройствами.

Исследование VOICE направлено прежде всего на помощь людям, потерявшим способность нормально говорить из-за бокового амиотрофического склероза (БАС), инсульта, травмы спинного мозга и других тяжёлых заболеваний. При БАС постепенно повреждаются нервные клетки, управляющие мышцами, поэтому человек может утратить способность двигаться и говорить, сохранив при этом возможность формулировать мысли. Нейроинтерфейс позволяет передавать речевые команды в обход поражённых мышц.

Накануне демонстрации Neuralink также представила предварительные показатели распознавания речи в программе VOICE. По утверждению компании, один из участников уже в первую неделю достиг скорости 75 слов в минуту при доле ошибок 5,8% и словаре объёмом 125 тысяч слов. Результат показывает потенциальную скорость нового способа общения, однако пока неясно, насколько стабильно система работает при продолжительном повседневном использовании.

Разработки Neuralink продолжают направление исследований, в котором уже добились успехов другие научные группы. В частности, специалисты Калифорнийского университета в Дэвисе создали речевой нейроинтерфейс, позволяющий пациенту с БАС общаться с окружающими в повседневной жизни. Отличительная особенность новой демонстрации Neuralink заключается в объединении распознавания речи, телефонных звонков и взаимодействия с ИИ-агентом в одной системе.

Все показанные функции пока остаются экспериментальными. Neuralink не опубликовала подробных результатов испытаний автоматического определения речевых намерений, скорости работы новых инструментов и устойчивости распознавания в разных условиях. Импланты компании также не получили разрешения FDA на коммерческое применение. Поэтому видеодемонстрация подтверждает прежде всего возможности конкретных прототипов, а не готовность технологии к массовому использованию.

Главное изменение заключается в самом подходе к нейроинтерфейсам. Ранние системы преимущественно позволяли людям с параличом перемещать курсор, выбирать буквы и управлять отдельными устройствами. Neuralink пытается сделать следующий шаг, превратив имплант в полноценное средство повседневного общения, способное работать с телефонными приложениями и искусственным интеллектом. Насколько близко разработчики подошли к такой цели, покажут дальнейшие клинические испытания.