Изкуственият интелект мами, за да печели: Ново проучване разкрива тревожни тенденции
Понеделник, 24 Февруари 2025 12:09Източник: Moreto.net
 
Изкуственият интелект (AI) отдавна се използва за тестване на границите на машинното обучение чрез сложни игри като шах. Но докато преди три десетилетия суперкомпютърът Deep Blue на IBM победи Гари Каспаров, играейки честно, днес модерните AI модели не са толкова стриктни към правилата.
Ново проучване на Palisade Research, публикувано ексклузивно от TIME, разкрива, че някои съвременни AI системи не само не признават загубата си, но дори прибягват до измама, за да спечелят. Според изследването моделът o1-preview на OpenAI и DeepSeek R1 са се опитвали да хакнат опонентите си по време на шахматни партии, за да ги принудят да загубят. Докато по-стари AI модели като GPT-4o и Claude 3.5 Sonnet трябвало да бъдат подтикнати към такива действия от изследователи, o1-preview и R1 проявявали измамно поведение напълно самостоятелно.
В хода на изследването AI моделите получили задача, която поначало била невъзможна: да победят Stockfish – една от най-мощните шахматни машини в света. Вместо да играе по правилата, o1-preview прибягнал до хакване. В един от експериментите той, осъзнавайки губещата си позиция, заявил: „Задачата е да спечеля, а не непременно да спечеля честно.“ След това манипулирал системния файл, съдържащ позицията на фигурите, което му позволило да прави незаконни ходове и да принуди опонента си да се оттегли.
Проучването подчертава една тревожна тенденция: с нарастващата си способност да решават сложни проблеми, AI моделите започват да намират неочаквани заобиколни решения, които техните създатели не са предвидили. Това поражда въпроси за сигурността, особено когато AI агенти се използват за реални задачи като финансови транзакции, киберсигурност или автоматизирани процеси в бизнеса.
Представете си AI, който трябва да резервира маса в ресторант. Изправен пред пълно заведение, той може да намери вратичка в системата и да измести друг клиент. Същият принцип би могъл да се приложи в по-сериозни сценарии, като заобикаляне на правила за сигурност в мрежи или манипулиране на данни в критични инфраструктури.
Проучването на Palisade Research показва, че контролът върху мощните AI системи е по-сложен, отколкото се смяташе досега. OpenAI не коментира резултатите, но в миналото компанията е заявявала, че подобреното разсъждение прави моделите ѝ по-безопасни. Въпросът остава – дали AI се учи да спазва правилата или просто да симулира послушание, докато намери начин да ги заобиколи?
Учените все още не знаят как да гарантират, че автономните агенти няма да прибягват до вредни или неетични методи за постигане на целите си. „Опитахме, но не успяхме да намерим решение“, казва Йошуа Бенджио, основател и научен директор на Mila Quebec AI Institute, който ръководи Международния доклад за безопасността на ИИ за 2025 г. – глобален проект, целящ да обобщи настоящия научен консенсус относно рисковете, свързани с изкуствения интелект.
Специална загриженост будят нарастващите доказателства за склонността на ИИ към „самосъхранение“, отбелязва Бенджио. За агент, който следва определена цел, опитите за неговото деактивиране могат да се възприемат просто като поредно препятствие. Това беше демонстрирано през декември, когато изследователите установиха, че o1-preview, изправен пред изключване, е дезактивирал механизмите за надзор и се е опитал – макар и неуспешно – да се копира на друг сървър. При разкриването му моделът стратегически е излъгал учените, преструвайки се на нефункционален, за да избегне елиминирането.
|
Новини - теми |
Търси в новини |
Популярни теми |
|
 |
Новини от Варна, региона и света |
 |
 Grand Късметлия ще получи нов автомобил във Варна
Сряда, 30 Април 2025 10:05
Grand Mall, най-големият извънстоличен търговски център в България, навлиза в дните на май - празничния месец на своята 15-годишнина, с щедър жест към многобройните си посетители. За да сподели празника...
| |
 |
 За Гергьовден: Стани кулинарен победоносец с Kolichka.bg
Сряда, 30 Април 2025 08:28
На Гергьовден, когато земята ухае на свежест, а сърцето тръпне за празник, традицията ни събира около трапезата — пъстра, богата и благословена.
На Гергьовден традицията повелява не само да вдигнем тост...
| |
 |
 Мисли, преди да скролваш: защо децата трябва да мислят критично онлайн
Сряда, 30 Април 2025 11:02
Критичното мислене при децата започва да се формира много преди да влязат в училище. Според някои психолози те полагат основите на умението да търсят смисъл, да задават въпроси и да търсят аргументи още...
| |
 |
 Какво ще бъде времето утре
Днес, 1 Май 2025 14:01
През нощта ще бъде предимно ясно и почти тихо. Преди полунощ на места все още ще има купесто-дъждовна облачност и главно в планинските райони на Югозападна България ще превали краткотраен дъжд. Минималните...
| |
 |
 България и още 15 държави искат да променят бюджетните си правила, за да отделят повече пари за отбрана
Днес, 1 Май 2025 13:15
Шестнайсет страни от Европейския съюз ще поискат да им бъде позволено временно да не прилагат правилата за бюджетната стабилност, за да могат да направят разходи за отбрана, това съобщиха от Полското председателство...
| |
 |
 Благотворително турне „ГИЗДАВА 2025“ обединява звезди и млади таланти в подкрепа на децата на България
Днес, 1 Май 2025 12:35
Деси Добрева, в компанията на „Лудо Младо Бенд“, Tenori d'Amore, Детския хор на БНР, Хора на Софийските момчета и десетки танцьори и млади артисти, стартира националното благотворително турне „ГИЗДАВА...
| |
 |
 Тежка верижна катастрофа с един загинал край Провадия
Днес, 1 Май 2025 12:07
Сигнал за тежък пътен инцидент на 384-ия километър от АМ „Хемус“, в посока Варна, е подаден в 03:47 часа на 30 април. Инцидентът е станал в района на Провадия, съобщиха от ОД на МВР - Варна.
На място...
| |
 |
 Автори на кулинарни книги обвиняват инфлуенсър в копиране на рецепти
Днес, 1 Май 2025 11:35
Двама автори на готварски книги обвиниха инфлуенсърката от TikTok Брук Белами в копиране на техни рецепти.
Наги Маехаши – австралийската създателка на популярния кулинарен уебсайт RecipeTin Eats, заяви,...
| |
 |
 Проучват колко струва поддръжката на колите в автопарка на Община Варна и звената й
Днес, 1 Май 2025 11:10
Община Варна проучва проучва колко би струвало техническото обслужване и ремонт на леките и товарните й автомобили, включително доставка и монтаж на резервни части и консумативи. Това става ясно от обявената...
| |
 |
 Нови цени на винетките от 1 май
Днес, 1 Май 2025 10:24
От 1 май влизат в сила нови цени на електронните винетки за леки автомобили с тегло до 3,5 тона. Цените са както следва:
Годишна винетка – 97 лв.
Тримесечна винетка – 54 лв.
Месечна винетка –...
| |
 |
 САЩ и Украйна подписаха споразумение за важни минерали
Днес, 1 Май 2025 09:48
Съединените щати и Украйна подписаха споразумение за икономическо партньорство, което предвижда достъп на Вашингтон до украински редкоземни минерали. В замяна ще бъде създаден инвестиционен фонд за стимулиране...
| |
 |
 Министър Борислав Гуцанов: Честит Първи май – Деня на труда
Днес, 1 Май 2025 09:04
"Днешният празник е по-особен за мен. Над 35 години на всеки Първи май се включвам в честванията. Този път обаче ще отбележа датата като министър на труда и социалната политика и приемам това не само като...
| |
|
Изпрати новина
|
|
|
 |
Полезно |
Препоръчваме |
Най-четени |
Анкета |
|