Изкуственият интелект мами, за да печели: Ново проучване разкрива тревожни тенденции
Понеделник, 24 Февруари 2025 12:09Източник: Moreto.net
 
Изкуственият интелект (AI) отдавна се използва за тестване на границите на машинното обучение чрез сложни игри като шах. Но докато преди три десетилетия суперкомпютърът Deep Blue на IBM победи Гари Каспаров, играейки честно, днес модерните AI модели не са толкова стриктни към правилата.
Ново проучване на Palisade Research, публикувано ексклузивно от TIME, разкрива, че някои съвременни AI системи не само не признават загубата си, но дори прибягват до измама, за да спечелят. Според изследването моделът o1-preview на OpenAI и DeepSeek R1 са се опитвали да хакнат опонентите си по време на шахматни партии, за да ги принудят да загубят. Докато по-стари AI модели като GPT-4o и Claude 3.5 Sonnet трябвало да бъдат подтикнати към такива действия от изследователи, o1-preview и R1 проявявали измамно поведение напълно самостоятелно.
В хода на изследването AI моделите получили задача, която поначало била невъзможна: да победят Stockfish – една от най-мощните шахматни машини в света. Вместо да играе по правилата, o1-preview прибягнал до хакване. В един от експериментите той, осъзнавайки губещата си позиция, заявил: „Задачата е да спечеля, а не непременно да спечеля честно.“ След това манипулирал системния файл, съдържащ позицията на фигурите, което му позволило да прави незаконни ходове и да принуди опонента си да се оттегли.
Проучването подчертава една тревожна тенденция: с нарастващата си способност да решават сложни проблеми, AI моделите започват да намират неочаквани заобиколни решения, които техните създатели не са предвидили. Това поражда въпроси за сигурността, особено когато AI агенти се използват за реални задачи като финансови транзакции, киберсигурност или автоматизирани процеси в бизнеса.
Представете си AI, който трябва да резервира маса в ресторант. Изправен пред пълно заведение, той може да намери вратичка в системата и да измести друг клиент. Същият принцип би могъл да се приложи в по-сериозни сценарии, като заобикаляне на правила за сигурност в мрежи или манипулиране на данни в критични инфраструктури.
Проучването на Palisade Research показва, че контролът върху мощните AI системи е по-сложен, отколкото се смяташе досега. OpenAI не коментира резултатите, но в миналото компанията е заявявала, че подобреното разсъждение прави моделите ѝ по-безопасни. Въпросът остава – дали AI се учи да спазва правилата или просто да симулира послушание, докато намери начин да ги заобиколи?
Учените все още не знаят как да гарантират, че автономните агенти няма да прибягват до вредни или неетични методи за постигане на целите си. „Опитахме, но не успяхме да намерим решение“, казва Йошуа Бенджио, основател и научен директор на Mila Quebec AI Institute, който ръководи Международния доклад за безопасността на ИИ за 2025 г. – глобален проект, целящ да обобщи настоящия научен консенсус относно рисковете, свързани с изкуствения интелект.
Специална загриженост будят нарастващите доказателства за склонността на ИИ към „самосъхранение“, отбелязва Бенджио. За агент, който следва определена цел, опитите за неговото деактивиране могат да се възприемат просто като поредно препятствие. Това беше демонстрирано през декември, когато изследователите установиха, че o1-preview, изправен пред изключване, е дезактивирал механизмите за надзор и се е опитал – макар и неуспешно – да се копира на друг сървър. При разкриването му моделът стратегически е излъгал учените, преструвайки се на нефункционален, за да избегне елиминирането.
|
сподели или изпрати на приятел
Новини - теми |
Търси в новини |
Популярни теми |
|
 |
Новини - Наука |
 |
 Лауреатите на „Art Stars“ с оперен концерт на 21 януари във Варна
Понеделник, 12 Януари 2026 16:56
На 21 януари от 19 часа на сцената на Държавна опера Варна ще се проведе традиционният оперен концерт, на който ежегодно се изявяват лауреатите от Международния музикален конкурс „Art Stars – Звезди на...
| |
 |
 Агата Кристи: Рядко интервю на Би Би Си от 1955 г. разкрива част от тайните на писателката
Понеделник, 12 Януари 2026 16:09
На 12 януари 1976 г. си отива една от най-големите фигури в криминалната литература – Агата Кристи. Авторката на десетки безсмъртни загадки, преведени на повече езици от почти всеки друг писател, оставя...
| |
 |
 Книжен кът на китайската култура отваря врати във Варна
Понеделник, 12 Януари 2026 14:37
На 20 януари 2026 г. библиотеката на НЧ „Васил Левски 1945“ във Варна ще представи Книжен кът на китайската култура – ново пространство за знание, култура и диалог, създадено в партньорство с Институт...
| |
 |
 В Белослав преобразиха занемарен мост с графити, разказващи историята на града (снимки)
Понеделник, 12 Януари 2026 14:11
Инициатива в Белослав цели да възроди занемарени повърхности и да ги превърне в атрактивно място за жители и посетители, съчетавайки съвременно улично изкуство с местната идентичност.
Подмостовото пространство...
| |
 |
 Наш учен разработи технология, която позволява на автономните коли да предвиждат пътните ситуации
Понеделник, 12 Януари 2026 13:16
Научни разработки на Института за компютърни науки, изкуствен интелект и технологии (INSAIT), част от Софийския университет „Св. Климент Охридски“, могат радикално да променят начина, по който автономните...
| |
 |
 Golden Globe Awards 2026 - пълен списък на победителите и номинираните
Понеделник, 12 Януари 2026 08:54
Наградите Golden Globe бяха раздадени в Лос Анджелис, като отличиха най-добрите постижения в киното и телевизията за изминалите 12 месеца.
Във филмовите категории големите победители са One Battle After...
| |
 |
 От полуостров Варна до залив Баба Тонка: Българският отпечатък в Антарктида
Неделя, 11 Януари 2026 18:52
Знаете ли къде се намира полуостров Варна, залив Баба Тонка или върховете Монтана и Ахтопол? Всички те носят имена на български географски обекти и се намират в Антарктика, в близост до българската база...
| |
 |
 Андреа Бочели ще е сред звездите на откриването на Зимните олимпийски игри
Неделя, 11 Януари 2026 18:31
Италианският тенор Андреа Бочели ще се изяви на церемонията по откриването на Зимните олимпийски игри в Милано–Кортина 2026 на 6 февруари. Световноизвестният артист ще се присъедини към Марая Кери и Лора...
| |
 |
 Силен старт за „Мамник“: новият БГ сериал привлече 340 хиляди зрители
Събота, 10 Януари 2026 08:53
Първият епизод на новия сериал „Мамник“ по БНТ 1 привлече 340 000 зрители в най-гледания момент от излъчването си, сочат официалните пийпълметрични данни. Аудиторният дял на продукцията в най-гледаното...
| |
 |
 Сара Джесика Паркър получи наградата „Каръл Бърнет“ за цялостен принос в телевизията
Петък, 9 Януари 2026 14:11
Матю Бродерик даде на съпругата си Сара Джесика Паркър наградата „Каръл Бърнет“, част от отличията „Златен глобус“, за цялостен принос в телевизията, съобщи Асошиейтед прес.
„Наистина ли искаш да се...
| |
 |
 Google внедрява нови AI функции в Gmail, превръща го в личен асистент
Петък, 9 Януари 2026 11:06
Google обяви мащабно обновление на Gmail, с което въвежда услугата в т.нар. „ера на Gemini“, превръщайки електронната поща в персонален и проактивен AI асистент. Днес близо 3 милиарда потребители разчитат...
| |
 |
 Музеи във Варна спряха временно работа заради адаптацията към еврото
Четвъртък, 8 Януари 2026 18:25
Всички обекти и отдели към Регионалния исторически музей – Варна няма да работят през тази седмица във връзка с официалното въвеждане на еврото в страната. Посетителите ще могат отново да ги посещават...
| |
|
|
|
Изпрати новина
|
|
|
 |
Полезно |
Препоръчваме |
Най-четени |
Анкета |
|