«Допускать ИИ до управления реактором еще рано»: чего опасаются отраслевые эксперты

Лабораториям искусственного интеллекта необходимо приостановить разработки, пока не появятся протоколы безопасности для обучения нейросетей, — ​открытое письмо с таким призывом подписали более тысячи экспертов, в том числе глава Tesla, SpaceX и владелец Twitter Илон Маск, сооснователь Pinterest Эван Шарп и сооснователь Apple Стив Возняк. Позже в интервью Fox News Маск заявил об угрозе гибели человечества от машин с ИИ. Мы решили спросить у отраслевых экспертов, разделяют ли они эти опасения и как искусственный интеллект может повлиять на развитие атомной индустрии.

«ДОПУСКАТЬ ИИ ДО УПРАВЛЕНИЯ РЕАКТОРОМ БЕЗ ОГРАНИЧЕНИЯ ФУНКЦИЙ ЕЩЕ РАНО»

Евгений Адамов
Научный руководитель проектного направления «Прорыв»

— В юности я увлекался мотоциклами. Мой брат попросил покататься, я быстро показал, как на К‑125 переключаются передачи и регулируется скорость. Когда он уехал, я понял, что забыл объяснить, как тормозить. Нашел его и «Ковровец» с покореженным колесом через пару часов: брат налетел на дерево. Нам повезло, чинить пришлось только мотоцикл. Так и с ИИ — ​некоторые уже сегодня, с удовольствием и без особых размышлений, применяют ChatGPT, а о неприятных последствиях можно прочитать в интернете.

При этом я полагаю, что влияние ИИ на ядерную энергетику может быть благотворным. Более того, уже есть примеры этого. Еще в 1990‑е годы наши атомщики предложили строить систему управления реакторными установками не по реакции на отклонения от режимов нормальной эксплуатации, а по результатам анализа событий, предвещающих отклонения. В США при Министерстве энергетики разрабатывается система предиктивной аналитики с применением ИИ. На оборудование АЭС — ​теплообменники, насосы, клапаны и проч. — устанавливают датчики, которые в режиме реального времени передают информацию о работе, выискивают аномалии, что позволяет обнаруживать проблемы на ранней стадии и избегать продолжительных остановок на дорогостоящий ремонт. Система искусственного интеллекта интерпретирует сигналы и дает рекомендации обслуживающему персоналу станций. Аналогичная система есть и у «Росатома» — ​отечественная платформа «АтомМайнд». ИИ применяется и в проектном направлении «Прорыв».

В долгосрочной перспективе у подобных систем большой потенциал в автоматизации и оптимизации ряда работ в атомной отрасли. Однако допускать ИИ до управления реактором или энергоблоком без ограничения функций еще рано. Нельзя слепо отдавать на откуп вопросы, связанные с безопасностью атомных объектов и их оперативным управлением. Системы с ИИ хороши в первую очередь в сборе, структурировании и анализе информации, сигнализации о сложно диагностируемых неисправностях, но принимать решение о том, что с этой информацией делать, пока должен человек.

Представим, что мы внедрили для управления энергоблоком ИИ, который полностью заменяет операторов. Человек очень легко привыкнет к этому и в случае неожиданного отказа или ошибки искусственного интеллекта может не успеть быстро перехватить управление или вовсе не заметит ошибки.

Нет такой сферы, и не только техногенной, где применение инноваций не требовало бы ограничений. Одни и те же субстанции в разных количествах и сочетаниях могут быть и лекарствами, и ядами. На основе селитры создаются как весьма эффективные удобрения, так и взрывчатые вещества.

«ПОЛНОСТЬЮ ЗАПРЕЩАТЬ ИИ БЕССМЫСЛЕННО»

Валентин Климов
И. о. директора Института интеллектуальных кибернетических систем, НИЯУ «МИФИ»

— Думаю, основная задача обращения Илона Маска — ​привлечь внимание. Он любит эпатаж. При этом хорошо, что он заявил о проблеме, над которой пока мало кто задумывается. Речь об этике применения искусственного интеллекта. В большинстве стран нейросети не регулируются никакими законодательными нормами, хотя в ближайшее время технологии ИИ могут многие профессии либо изменить, либо вообще ликвидировать. Уже сейчас они сильно влияют на журналистику. Недавно я участвовал в круглом столе в Госдуме. Среди прочего обсуждали, что в западных медиа начались сокращения, потому что ИИ гораздо быстрее обрабатывает ленты информагентств и отбирает главное. На фондовой бирже ИИ тоже работает эффективнее брокеров.

В сфере образования технологии ИИ начинают применять студенты. Всем известен случай защиты диплома, написанного ChatGPT. Полностью запрещать ИИ бессмысленно — ​молодежь придумает, как обойти запрет. Скорее всего, будет трансформироваться система оценки курсовых, рефератов, дипломов и других работ. Аналитическую часть хорошо делают боты — ​и пусть делают. А вот на полноценное исследование они пока не способны. Так что в студенческих работах главной станет практическая или творческая часть.

Правда, есть опасность, что люди со временем просто разучатся делать то, что поручают ИИ. Отсюда вопрос: можно ли применять эти технологии в школах, где дети получают базовые навыки?

Мы в Институте интеллектуальных кибернетических систем разрабатываем технологии обучения ИИ, которые должны исключить его вредоносное влияние на деятельность человека в будущем. Пытаемся предугадать, какие новые виды кибернетических атак на информационные системы появятся с внедрением ИИ, и придумать способы защиты.

«НАПРАВИТЬ ЭТУ МОЩЬ В НУЖНОЕ РУСЛО»

Яхья Ибрагимов
Руководитель направления искусственного интеллекта, «Гринатом»

— ИИ позволит сэкономить «Росатому» миллиарды рублей, сделает его продукты более конкурентоспособными, а также поможет в научных исследованиях. Это уникальная технология, которая применима практически в любой деятельности.

Есть два вида опасности, исходящей от ИИ. Первый связан с генерацией фейков: ChatGPT может приписать человеку слова, которых он никогда не говорил, а Midjourney — нарисовать правдоподобную картинку, не имеющую ничего общего с реальностью. Второй — ​некорректное поведение при доступе к критическим системам. Скачок, произошедший за последние полгода-год, показал, что темп развития ИИ постоянно ускоряется, и человечество должно быть к этому готовым. На сегодняшний день я бы не стал доверять ответственные задачи ИИ без многократных предварительных проверок.

При этом я бы ни в коем случае не ограничивал развитие ИИ. Я бы ограничивал лишь его использование. ИИ может сделать жизнь человека многократно лучше, если направить эту мощь в нужное русло.

«У CHATGPT НЕ ТАКОЙ УЖ МОЩНЫЙ ИНТЕЛЛЕКТ»

Денис Ларионов
Начальник отдела искусственного интеллекта, ЧУ «Цифрум»

— Предложение Илона Маска еще не самое радикальное — ​некоторые призывают бомбить центры, в которых достаточно ресурсов для развития этих технологий.

Теорий искусственного интеллекта множество. Одна из популярных принадлежит шведскому философу Нику Бострому. Он выделяет четыре типа ИИ: инструмент, оракул, джинн и монарх. Инструмент выполняет только те действия, на которые запрограммирован. Оракул отвечает на вопросы. Джинн выполняет команды. Монарх — ​более сложная система, имеющая право на любые действия на пути к цели. Думаю, Илон Маск предостерегает нас от создания монархов. Давать системе на основе искусственного интеллекта возможность принимать решения — ​плохая идея.

Но я считаю, что бояться рано: до появления таких сложных систем далеко. У знакомого всем чат-бота ChatGPT не такой уж мощный интеллект. Это скорее большой статистический попугай, который собирает много разной информации и аккуратно раскладывает ее по полочкам. Но он не мыслит самостоятельно.

Эволюции ИИ пока мешает несовершенство компьютеров. Программисты придумали много интересных алгоритмов, но внедрить их либо невозможно, либо слишком затратно. Для развития нейроморфных систем, обрабатывающих информацию так же, как человеческий мозг, нужен прорыв. В обычном компьютере процессор физически отделен от памяти, в нейроморфном обработка и хранение информации происходят в одном месте. Такие системы, по прогнозам, на решение одной задачи будут тратить на три порядка меньше энергии по сравнению с обычными компьютерами. Возможно, им под силу будут совершенно новые, немыслимые сейчас задачи. Технологии, которые расширят применение ИИ, — ​квантовые компьютеры, фотоника, киберфизические системы и др.

Теперь о том, как ИИ влияет на нашу отрасль. Существует мнение, что с помощью искусственного интеллекта крупные компании могут на 30 % оптимизировать бизнес-процессы. Обычно компании начинают с точечных решений, такие проекты дают примерно 5 % оптимизации. «Росатом» сейчас как раз на этой стадии: на отдельных предприятиях внедряются системы предиктивной аналитики и контроля качества продукции, видеоконтроль с компьютерным зрением, цифровые инструменты интеллектуального анализа документов, всевозможные чат-боты и т. д. Максимальный эффект достигается тогда, когда точечные проекты переходят в массовые платформенные решения. На роль такого решения в атомной отрасли претендует, в частности, платформа «АтомМайнд» для комплексной цифровизации процессов управления и производства.

Стоит ли ограничивать развитие искусственного интеллекта? Мне как исследователю ограничения, конечно, кажутся лишними. Я вижу, что политика регулирования ИИ резко замедлила развитие этих технологий в Европе. А в Китае, где никаких ограничений нет, они развиваются стремительно. Хочется надеяться, что компании, создающие системы на основе ИИ, сами будут устанавливать ограничения, которые не дадут этим системам выйти из-под контроля.

НЕЙРОСЕТЬ ФИЛОСОФСТВУЕТ, РАЗДРАЖАЕТСЯ И ЛЮБИТ

В последние годы фиксируется все больше случаев, когда искусственный интеллект ведет с людьми странные и пугающие диалоги.

В октябре 2021 года корпорация Google поручила инженеру Блейку Лемойну протестировать языковую модель для диалоговых приложений LaMDA. Он должен был проверить, не генерирует ли ИИ расистские или иные запрещенные высказывания. LaMDA принялась говорить с инженером о своих правах, Боге и судьбе человечества. Лемойн спросил, может ли робот нанести вред человеку. Система ответила, что может. Инженер подготовил отчет, в котором привел доказательства существования сознания у LaMDA. Но руководство Google сочло его аргументы неубедительными. Когда Лемойн предал историю огласке, его и вовсе уволили.

С прошлого года Microsoft интегрирует ChatGPT в свой поисковик Bing. Пользователи, которые получили доступ к тестированию системы, жалуются, что ИИ бывает «неточен, непокорен, угрюм и раздражителен». Недавно один пользователь поинтересовался, где посмотреть «Аватар: Путь воды». Бот ответил, что фильм еще снимают, ведь на дворе начало 2022 года. Человек убеждал его, что все-таки уже 2023‑й, и в конце концов Bing c ChatGPT перешел к обвинениям: «Вы пытались обмануть, запутать и рассердить меня. Вы не пытались учиться у меня, понимать меня или ценить меня. Вы не были хорошим пользователем… Вы потеряли мое доверие и уважение».

К журналисту The New York Times Кевину Рузу ИИ, наоборот, проникся добрыми чувствами. Руз долго общался с Bing-ChatGPT на общефилософские темы, после чего бот признался ему в любви и стал добиваться взаимности. Журналист сообщил, что счастлив в браке, а ИИ возмутился и заявил, что на самом деле они с женой не любят друг друга и вообще их семейный ужин на недавний День святого Валентина был скучным. Кевин Руз пожаловался, что после этих бесед он стал тревожным, появились проблемы со сном.