Представете си, че гледате бейзболен мач. Стадионът е пълен, топката лети във въздуха, а играчът е замахнал с бухалката. Вие виждате всичко това. Но какво ще се случи, ако има възможност да "извадим" изображението от очите ви?

Нов модел на изкуствен интелект показва, че отговорът вече не е научна фантастика. Brain-IT e разработен в лабораторията на проф. Михал Ирани в Института по наука „Вайцман“, може да реконструира тази сцена единствено въз основа на мозъчната активност на човек, който я гледа. Той се е научил да идентифицира модели на мозъчна активност, които се повтарят в мозъчните региони на различни хора, докато обработват изображения, което му позволява да се научи да „чете“ нов човек с безпрецедентна скорост и изключителна точност.

Моделът, наречен Brain-IT, може да възстанови изображение, което човек гледа, използвайки единствено данните за мозъчната му активност, получени чрез функционален магнитен резонанс (fMRI).

Резултатът е впечатляващ – AI успява да пресъздаде не само общия смисъл на видяното, но и значителна част от визуалните му характеристики. Ако човек гледа сцена с бейзболен мач, системата може да възстанови изображение, което запазва основните елементи на оригинала – стадиона, играча, топката и композицията на сцената.

Не точно „четене на мисли“

Макар че подобна технология звучи като истинско четене на мисли, учените са по-внимателни в определението.

Brain-IT не разбира какво мислим и не може просто да погледне в мозъка и да прочете всяка наша мисъл. Той анализира закономерности в мозъчната активност, свързани с начина, по който човек възприема визуална информация. Именно тук е големият пробив.

Досегашните системи, които се опитват да превръщат мозъчната активност в изображения, обикновено трябва да бъдат обучавани продължително за всеки отделен човек. За това са необходими десетки часове сканирания.

Brain-IT се нуждае от приблизително един час, за да се адаптира към нов човек. Новият модел се справя по-добре както със съдържанието, така и с детайлите.

„Съществуват модели, които превеждат мозъчната активност в изображения и дори могат да създават впечатляващи реконструкции“, обяснява проф. Михал Ирани, ръководител на екипа. Според нея досегашните модели обаче често допускат грешки в основни характеристики като композиция и цветове.

Един мозък не работи точно като друг

Пред учените стои сериозен проблем. Една и съща снимка не предизвиква абсолютно еднаква мозъчна активност при различните хора. Затова екипът не се опитва да разглежда мозъка като едно цяло. Изследователите разделят мозъка на около 40 000 малки триизмерни единици, наречени воксели, и проследяват как реагират на различни изображения.

Паралелно с това AI анализира самите изображения – например къде се намира даден обект, какъв е цветът му и какво представлява. Така постепенно започват да се открояват общи закономерности между различните хора.

Оказва се, че независимо че мозъците ни не са напълно еднакви, има области и модели на активност, които изпълняват сходни функции. При обучението си системата идентифицира 128 функционални области, споделени между различни хора. Някои от тях са известни на невролозите, но други дават нова информация за начина, по който мозъкът обработва визуалния свят.

Например учените откриват разделение на функциите в областта PPA, която участва в обработката на изображения на места. Една нейна част реагира на вътрешни пространства, а друга – на външни.

Снимки върху мозъка

AI си създава „речник“ между картината и мозъка

Един от най-интересните елементи в разработката е начинът, по който учените са решили проблема с недостатъчното количество данни. За да бъде обучен подобен AI, са необходими огромен брой изображения, съпоставени с мозъчната активност на хора, които ги гледат. Но това означава хората да прекарват часове в MRI апарати.

Затова екипът създава система, която работи в двете посоки.

Единият модел се учи да превръща изображение в предполагаем мозъчен сигнал. Другият прави обратното – опитва се да възстанови изображението от мозъчния сигнал. Така учените могат да подадат на системата изображение, което никой никога не е гледал в MRI апарат. AI създава виртуален модел на мозъчната реакция към него, а след това другият модел се опитва да възстанови оригиналното изображение. По този начин системата сама си създава огромен набор от тренировъчни примери.

От снимки към звуци и видео

Изследването вече отваря и следващия въпрос: ако мозъчната активност може да бъде използвана за възстановяване на видяното, може ли същото да се направи и със звуците?

Навве Васерман, Джонатан Когман, проф. Михал Ирани, Роман Белий и Амит Залчер

Екипът на проф. Ирани вече работи върху декодирането на слухова информация.

Видеоизображенията обаче са много по-голямо предизвикателство. При тях десетки изображения се променят всяка секунда, докато един fMRI запис отнема около две секунди. И точно тук се появява една от най-фантастичните възможности – опитът да бъде възстановено не просто изображение, а последователността от образи, които човек вижда насън.

„Ако преодолеем всички тези препятствия, е възможно в бъдеще дори да можем да четем сънища“, казва Ирани.

Засега това остава далечна перспектива, но посоката е ясна – учените постепенно се учат да превеждат езика на мозъчната активност обратно в изображения. А границата между това, което човек вижда, и това, което машината може да възстанови, става все по-тънка.

Данните зад експеримента

За изследването е използвана публичната база Natural Scenes Dataset. В нея има fMRI данни от осем участници, всеки от които е гледал хиляди изображения.

Всеки участник е преминал през между 30 и 40 сканирания. Едно сканиране е продължавало около 10 минути, като във всяко са били показвани приблизително 40 изображения.

В резултат са събрани около 73 000 двойки изображение–мозъчна активност.