Белье, Найт и прочие соавторы надеются, что проект позволит усовершенствовать технологию интерфейса мозг-компьютер.
Источник картинки: Фото сгенерировано нейросетью Кандинский 2.2
Музыка сопровождает человека по жизни везде, но ученые не знают, что происходит в мозгу, когда мы слушаем наши любимые мелодии. Теперь это исследование открыло новые возможности, показав, что можно реконструировать песни, которые человек слышит только по паттернам мозговой активности, сообщили в журнале PLOS Biology.
Более десяти лет назад 29 пациентов с резистентной к лечению эпилепсией приняли участие в исследовании, в ходе которого электроды, расположенные внутри мозга, использовались для записи их мозговой активности, когда они слушали трехминутный клип на классическую песню Pink Floyd — Another Brick in.
В то время, в 2012 году, профессор Калифорнийского университета в Беркли Роберт Найт был частью команды, которая первой восстановила слова, которые человек слышал только благодаря мозговой активности. С тех пор дела в этом отношении быстро продвигались вперед, и теперь Найт совместно с Белье провел новое исследование проблем восприятия музыки.
Белье повторно проанализировал запись и использовал искусственный интеллект для создания модели, которая может декодировать мозговую активность, записанную в слуховой коре, и использовать ее для восстановления формы звуковых волн, стремясь воспроизвести человека, который слушал в тот момент. И результаты были впечатляющими: в реконструированном аудио ритм и мелодия узнаваемы, и даже слова «В общем, это был просто кирпич в стене» можно разобрать.
В дополнение к более глубокому пониманию того, как мозг воспринимает музыку, у этого исследования есть и другое направление. Интерфейс мозг-компьютер постоянно совершенствуется. Для людей, потерявших способность говорить из-за черепно-мозговой травмы или заболевания, существуют некоторые устройства, которые могут помочь им общаться, например, то, которым пользовался покойный Стивен Хокинг.
Варианты этих устройств, иногда называемых нейронными протезами, были разработаны для того, чтобы позволить парализованным людям вводить текст, представлять, что они пишут от руки, или просто использовать свои мысли для составления предложений. Но когда дело доходит до речи, одну вещь, как известно, трудно уловить, и это ритм и эмоции, стоящие за речью, называемые ритмом.