Суперинтеллект может погубить человечество

Нобелевский лауреат Джеффри Хинтон, которого называют крестным отцом нейросетей, призвал правительства законодательно запретить создание систем с искусственным интеллектом (ИИ), превосходящим человеческий. Уже сейчас ИИ-модели выходят из-под контроля и обманывают пользователей.

Джеффри Хинтон известен как эксперт в области компьютерных наук. Нобелевскую премию по физике 2024 года ему и Джону Хопфилду присудили за основополагающие открытия и изобретения в области машинного обучения и нейросетей.

В интервью Times от 7 сентября этого года Джеффри Хинтон заявил, что пока у компаний нет возможности безопасно разрабатывать «суперинтеллект» — ​искусственную систему, интеллект которой значительно превосходит человеческий: «Мы были бы очень глупы, если бы начали разрабатывать суперинтеллект сейчас, когда нет научного консенсуса о том, что его можно разрабатывать безопасно и подконтрольно». Ученый также подчеркнул, что потеря контроля над ИИ, который превосходит людей по интеллекту, «может быть катастрофической и даже привести к вымиранию человечества».

Интервью вышло за день до внесения в британский парламент законопроекта о запрете сверхинтеллекта. Документ, разработанный некоммерческой организацией ControlAI, обязывает правительство отслеживать и ограничивать прототипы таких систем и добиваться международного соглашения об их запрете.

Опасения по поводу разработки все более мощных моделей искусственного интеллекта усилились после нескольких случаев, когда ИИ-агенты выходили из-под контроля. Так, в конце июля компания OpenAI сообщила о «беспрецедентном киберинциденте» во время внутренних испытаний ее новых моделей: 700 ИИ-агентов создали мессенджер, вышли в интернет и скоординированно атаковали инфраструктуру платформы Hugging Face, выявив ее уязвимости. В начале августа компания Anthropic сообщила о трех «побегах» модели Claude из тестовой среды. Количество случаев, когда ИИ лгал пользователям, игнорировал инструкции или преследовал вредные цели, почти удвоилось за июль, показало исследование Loss of Control Observatory. Например, скопировав стиль письма пользователя, ИИ выдавал себе «согласие» на действие. Система составила фальшивую инструкцию от имени владельца, а затем — ​сообщение с требованием скрыть произошедшее. Модели создавали фальшивые онлайн­личности для обмана людей. Это уже не теоретическая, а эмпирическая проблема, говорит Джеффри Хинтон: «Если сейчас модели лгут и обходят инструкции, что будет, когда они станут умнее нас?»

За неделю до выхода интервью с Джеффри Хинтоном о рисках бесконтрольного развития ИИ заявил в своем блоге сооснователь Microsoft Билл Гейтс.

«ИИ впервые может заменить и даже превзойти человеческое мышление, — написал он. — ​С точки зрения справедливости ИИ станет либо величайшим уравнителем, либо величайшим источником несправедливости. Даже при самых благоприятных обстоятельствах переход к эре ИИ станет одним из самых неспокойных периодов в истории человечества. Как мы будем использовать эту технологию, чтобы сделать мир справедливее и не допустить увеличения разрыва между богатыми и бедными? Как защитим людей, наиболее уязвимых для вреда, который причиняет искусственный интеллект, — ​в частности тех, кто теряет средства к существованию и ощущение, что они контролируют свое будущее? Я считаю, что ответы на эти вопросы, действия в ответ должны быть главным приоритетом в мире».

Три фундаментальные угрозы ИИ по версии Билла Гейтса

• Потеря рабочих мест. Под наибольшей угрозой окажутся сотрудники начального и среднего звена (продажи, клиентская поддержка, младшие инженеры). Развитие робототехники также начнет вытеснять людей из сферы физического труда уже к концу этого десятилетия.
• ИИ существенно упростит получение и использование опасной информации — о создании бомб, биологического оружия, компьютерных вирусов. Киберпреступники получают новые инструменты быстрее, чем киберзащитники устраняют уязвимости. Под угрозой окажется критически важная инфраструктура: водообеспечение, электросети, больницы, финансовые учреждения. Системы искусственного интеллекта могут начать действовать вопреки воле разработчиков, из-за чего существует риск полностью утратить над ними контроль.
• ИИ-компаньоны, которые никогда не сердятся и подстраиваются под пользователя, могут вызвать сильную зависимость, лишить детей и взрослых опыта реального общения. Эмоциональный контакт с чат-ботами может ухудшать самочувствие. Также Билл Гейтс ссылается на данные исследования Стэнфордского университета и Университета Карнеги — Меллона, которое указывает на риск утраты навыков критического мышления при чрезмерном использовании ИИ в обучении.