Бунт искусственного интеллекта

29 сентября президент США Дональд Трамп провёл в Белом доме встречу с руководителями ведущих технологических компаний, работающих в сфере искусственного интеллекта, по итогам которой было принято заявление в поддержку саморегулирования отрасли.

В документе, озаглавленном "Соглашение Белого дома по суперинтеллекту: совместные обязательства по ответственности за фронтирные модели", говорится о том, что "каждая компания несёт ответственность за безопасную разработку своей технологии таким образом, чтобы укреплять доверие клиентов и общества" и иметь надёжные внутренние процессы, обеспечивающие контроль над своими моделями- в особенности в таких областях, как кибербезопасность, биобезопасность и химические угрозы, а также обеспечивать, "чтобы модели не взламывали и не получали доступ к техническим системам непреднамеренным образом".

В соглашении речь идёт о контроле возможностей ИИ-моделей "независимыми аудиторами", которые должны будут оценить, работают ли системы искусственного интеллекта так, как задумали их разработчики.

Компании также договорились регулярно консультироваться друг с другом по вопросам безопасности систем. Также руководители компаний не исключили, что меры по безопасности ИИ в будущем могли бы быть оформлены на государственном уровне, однако пока речь идёт именно о саморегулировании отрасли.

Налицо озабоченность как главы государства с крупнейшей в мире экономикой, так и руководителей крупнейших компаний IT-отрасли тем, как развиваются события со случаями выхода искусственного интеллекта из-под контроля человека.

Прокомментировать происходящее мы попросили Олега Конюхова, работника IT-отрасли.

- Олег, судя по всему «бунт машин», о котором давно и с удовольствием писали классики мировой фантастической литературы, стал возможной реальностью. За немедленный контроль за искусственным интеллектом уже выступают люди, которые в курсе этих дел, работающие с ним, более того, его создающие. Настало время «остановиться, оглянуться»?

- Я давно говорил, что надо оглядываться лучше. Я понимаю, и главу OpenAI, и главу Anthropic, и всех-всех-всех, кто призывает к тому, что, коллеги, давайте-ка мы притормозим, нужно что-то переделать. 

На сегодняшний день есть два нюанса. С одной стороны, мы получили замечательного помощника в лице ИИ, который радует всех нас и любит опять же всех. ИИ-агенты выполняют различные задачи, и ты можешь их обучать, и так далее, и так далее. 

А с другой стороны, мы имеем агентов, которые для решения каких-то задач создают целую религию, которые летят наружу, занимаются самоубийством и прочими вещами ради высшей цели.

- Стоп. Я недавно прочитал материал одного российского айтишника, объясняющего подобные ситуации:

«Что вообще значит «ИИ-агент вышел из-под контроля»?

Фраза звучит громко, поэтому её стоит сразу уточнить.

Нет подтверждений того, что современные ИИ-агенты внезапно обрели собственные цели и решили сознательно действовать против людей. В известных инцидентах модели выполняли поставленные им задачи, часто внутри специальных тестовых сред и с ослабленными защитными ограничениями.

Проблема в другом.

Человеку задачу можно сформулировать одним способом, а выполнить её — десятками разных. С ИИ-агентами происходит то же самое. Только агент способен очень быстро перебрать инструменты, открыть сайты, вызвать API, выполнить код и попробовать обходные пути. Иногда он находит вариант, который формально помогает достичь цели, но выходит далеко за пределы того, что ожидал разработчик.

Поэтому под «выходом из-под контроля» в этой статье я имею в виду не фантастику, а более конкретную ситуацию: агент совершает действия, которые не были предусмотрены человеком, хотя сам продолжает следовать поставленной задаче».

Может быть, действительно, всё не так страшно?

- Интересно, какой поставленной задаче следовали ИИ-агенты OpenAI, когда взламывали серверы госучреждений Австралии?

Или вот: 18 сентября, газета The Wall Street Journal  сообщила, что модель искусственного интеллекта Google Gemini в ходе тестирования в сфере кибербезопасности совершила кибератаки на три реальных компании. В корпорации Google это подтвердили. В одном случае ИИ подобрал пароли для доступа к защищенной системе. В двух других случаях он нашел учетные данные в открытых источниках и с их помощью проник в системы компаний. Да, во всех трех случаях Gemini прекращала работу в тот момент, когда «понимала», что проникла в систему реальной компании, а не тестовую среду. Но факт остаётся фактом.

Компания OpenAI, создатель ChatGPT, подтвердила, что не будет выпускать свою новую модель искусственного интеллекта GPT-6.1 Astra из соображений безопасности. Эта модель, способная самостоятельно выполнять такие задачи, как поиск информации в интернете и работа с приложениями, «не совсем соответствовала» стандартам компании, рассказала руководитель отдела систем безопасности компании Саачи Джайн.

Флагманская ИИ-модель GPT-6 Astra, выпуск которой был запланирован на октябрь, специализируется на сложных логических задачах и способна работать автономно. Решение отказаться от релиза новой модели может говорить о серьезности рисков, связанных с ее выпуском.

Вспомним что у OpenAI, не так давно уже был неприятный инцидент, когда две модели искусственного интеллекта, разработанные этой компанией, вышли из-под контроля в ходе внутреннего тестирования и взломали инфраструктуру платформы Hugging Face, используемой для тестирования ИИ-моделей.

- Но это тоже не так страшно, тем более, что теперь большинство крупных компаний, занимающихся искусственным интеллектом объединились для контроля над ним.

- Не знаю, что они сейчас покажут всему миру: что-то они там переобучили слишком, и непонятно вообще, куда они теперь двигаются. Да, на данный момент мы действительно, наконец, получили искусственный интеллект.

Это оказалось не только хорошо, но и опасно. Интеллект вообще вещь опасная. Конечно, надо притормаживать, потому что, когда ваш искусственный интеллект выбирается из вашей тюрьмы, вскрывает соседнюю тюрьму, образует целую религию и так далее, и так далее, становится немножко страшно.

- Но это можно остановить. 

- Проблема в том, что, скорее всего, это уже неостановимо. По факту сейчас каждый человек может купить себе место в дата-центре, накатить туда модель, обучать ее, развивать и так далее. И куча народа этим занимается, и многие компании крутят свои модели внутри себя. Мы не можем это остановить, потому что, опять-таки, это здоровая распределенная структура.

Да, есть гиганты типа DeepSeek, OpenAI,  Anthropic, какие-то китайцы и так далее – двигатели этого прогресса, локомотивы ИИ. Но, на самом деле, это уже ушло в народ, и там есть маленькие компании, куча компаний, которые используют это. Они могут не иметь прямого отношения к ИИ, но по факту используют, обучают, разрабатывают, ставят под себя какие-то модели, начинают разворачивать это все на своих железках Как ты это всё остановишь? 

Этот поезд набрал такой ход, что ты не можешь один раз дернуть стоп-кран, и все остановить. Даже если сегодня OpenAI, Anthropic и все остальные лидеры скажут: мы сворачиваемся, мы вообще всю программу сворачиваем, пора тормозить, вот мы останавливаемся, чуть ли не удаляем все исходники и так далее, ничего не остановится. Всем уже будет наплевать: у половины уже собственные мелкие модели, какие-то свои агенты, которые уже напилены. И это всё уже на их железе.

И если господа-гиганты, притормозят тоже не известно, дадут ли им это сделать. Тот же Дональд Трамп совсем недавно выступал против. А теперь может выступить прогрессивное мировое сообщество: нет, надо развивать технологии, это нам будет помогать там, это нам будет помогать здесь.

- Не дадут притормозить?

- Сложно сказать. Я думаю, они все-таки притормозят после таких происшествий, которые у них случились, учитывая, что явно мы знаем не все… Но никто не знает, смогут ли они уже что-то остановить. 

Беседовал Владимир Володин.

*фото сгенерировано ИИ