В зоне действия нейросети: как суперкомпьютеры влияют на искусственный интеллект

Как рост быстродействия суперкомпьютеров влияет на эволюцию искусственного интеллекта, что такое гибридный интеллект и зачем ученые хотят объединить искусственные и естественные нейросети? Говорим с академиком РАН Игорем Каляевым.

— В рамках научной программы Национального центра физики и математики, НЦФМ, вы отвечаете за два направления: «Искусственный интеллект и большие данные в технических, промышленных, природных и социальных системах» и «Национальный центр исследования архитектур суперкомпьютеров». Как они связаны?

— Одно без другого развиваться уже не может. Например, большая языковая модель ChatGPT3 использует более 175 млрд варьируемых параметров, для ее обучения потребовалось около 420 Гб текста. Все творения Шекспира весят 5,5 Мб. Если вы будете читать по странице в минуту 24 часа в сутки, вам понадобится 400 лет, чтобы достичь уровня «образованности» ChatGPT3. Такие возможности модели дает суперкомпьютер Azure AI — ​285 тыс. процессорных ядер, 10 тыс. GPU (графических процессоров. — ​«СР») и производительность 30 петафлопс — 30 ​квадриллионов операций в секунду.

— То есть большинство достижений искусственного интеллекта напрямую связано с ростом мощности суперкомпьютеров?

— Именно так. Например, в 1997 году суперкомпьютер Deep Blue производительностью 1 терафлопс (триллион операций в секунду. — «СР») обыграл чемпиона мира по шахматам. Суперкомпьютер Watson производительностью 1 петафлопс в 2011‑м победил в американской викторине «Своя игра». На суперкомпьютере производительностью 10 петафлопс была создана программа AlphaGo, которая в 2016‑м обыграла чемпиона мира по го.

С другой стороны, искусственный интеллект может существенно повысить эффективность суперкомпьютеров. У них, как правило, сложная, гетерогенная архитектура с широким спектром вычислительных ресурсов разного типа, эффективно загружать которые все сложнее. Это обстоятельство, наложенное на замедление закона Мура, ведет к общему снижению темпов развития суперкомпьютерных технологий. До 2010 года оно было практически линейным, после стало замедляться. С технологиями искусственного интеллекта можно оптимально распределять гетерогенные ресурсы суперкомпьютера по задачам, прогнозировать эффективность решения прикладных задач на тех или иных ресурсах, подстраивать параметры вычислительного задания под архитектуру суперкомпьютера и проч. Например, внедрение технологии интеллектуального мультиагентного диспетчирования гетерогенных вычислительных ресурсов позволило нам повысить эффективность суперкомпьютерного центра «Политехнический» на 15 %.

В рамках НЦФМ оба направления развиваются в тесной взаимосвязи. С одной стороны, мы разрабатываем технологии искусственного интеллекта, основанные в том числе на нейроморфных принципах, которые позволят на порядок повысить производительность суперкомпьютерных вычислений, с другой — ​архитектуры суперкомпьютеров, которые позволят существенно увеличить скорость машинного обучения и развития искусственного интеллекта.

— Вы упомянули нейроморфные технологии. В чем их суть?

— Нейроморфные технологии основаны на принципах обработки информации, присущих человеческому мозгу. В рамках научной программы НЦФМ мы развиваем проект интеллектуальных нейроморфных и нейрогибридных систем на новой электронной компонентной базе. С этой парадигмой связывают прорыв в аппаратной реализации нейросетевых алгоритмов и информационно-вычислительных систем на мемристорах — ​систем, приближающихся по своим возможностям к человеческому мозгу.

— А что такое мемристор?

— Резистор с памятью. У обычного резистора сопротивление постоянно, у мемристора оно меняется в зависимости от прошедшего через него электрического заряда. Мемристор запоминает количество заряда, сохраняет эту информацию в виде своего сопротивления, что очень напоминает поведение синапса нейрона: чем интенсивнее входной сигнал, тем выше пропускная способность синапса.

Такие свой­ства открывают большие перспективы. Разрабатываемая в НЦФМ технология станет основой для создания энергоэффективного аппаратного обеспечения алгоритмов машинного обучения и алгоритмов импульсных нейронных сетей. Это позволит в среднесрочной перспективе перейти к созданию опытных образцов, а потом и к серийному выпуску специализированных аппаратных средств, обеспечивающих качественно новые характеристики системам принятия решений и управления сложными объектами критической инфраструктуры.

Более того, мемристорные устройства дадут возможность перейти к гибридному интеллекту — ​системам, объединяющим искусственные и естественные нейронные сети. Что, в свою очередь, открывает путь к реализации компактных и энергоэффективных адаптивных систем для нейропротезирования — ​замещения и восстановления утраченных функций мозга и нервной системы человека. Нужно только обучить искусственную нейронную сеть выполнять функции отмершей естественной. Как соединить искусственную и естественную нейронные сети, чтобы они понимали друг друга, как обучить искусственную нейронную сеть, чтобы она заняла место естественной в человеческом организме — ​это как раз те проблемы, которые мы хотим решить в НЦФМ. Задачи, безусловно, сложные, но очень интересные и перспективные.

СЛОВАРЬ

ChatGPT3 — ​третья версия чат-бота, который способен вести диалог, искать ошибки в коде, сочинять стихи, писать сценарии и даже спорить. В феврале 2023 года число пользователей ChatGPT превысило 100 млн человек по всему миру, это рекорд для нейросетей.

Закон Мура — ​эмпирическое наблюдение Гордона Мура: количество транзисторов на кристалле интегральной схемы (то есть ее производительность) удваивается каждые два года. В 2007 году Мур заявил, что закон больше не действует по фундаментальным причинам — ​атомарная природа вещества и скорость света ограничивают мощность процессоров.

НЕ ПРОПУСТИТЕ

До 16 июня открыт прием заявок на вторую Всероссийскую школу-семинар НЦФМ для студентов и молодых ученых «Центр исследования архитектур суперкомпьютеров» на сайте  https://ncphm.ru/. Она пройдет с 26 по 29 августа в Сарове при поддержке «Росатома» и Института теоретической и математической физики (ИТМФ) РФЯЦ-ВНИИЭФ в рамках Десятилетия науки и технологий в России.