Задачи для суперинтеллекта: фотонные вычислители помогут обучать нейронные сети

В Национальном центре физики и математики (НЦФМ) состоялась школа-семинар по исследованию архитектур суперкомпьютеров. Сопредседатель программного комитета школы академик Игорь Каляев рассказал слушателям о тесной взаимосвязи суперкомпьютерных технологий и искусственного интеллекта (ИИ), а после ответил на вопросы «СР».

Сегодня суперкомпьютеры и искусственный интеллект — ​две стороны одной медали. Под ИИ в первую очередь понимается машинное обучение нейронных сетей на основе больших данных, а для этого нужны быстродействующие суперкомпьютеры. Например, всем известная ChatGPT‑4 использует 175 млрд различных параметров. Если обучать такую нейронную сеть с помощью обычного персонального компьютера, на это уйдут месяцы, а то и годы. Поэтому для машинного обучения ChatGPT‑4 использует суперкомпьютер Azure AI с производительностью около 30 петафлопс (30×10¹⁵ операций с плавающей запятой в секунду).

Но даже современные суперкомпьютеры не всегда могут обеспечить нужный темп машинного обучения. И здесь нам могут помочь фотонные вычислители, поскольку они позволяют существенно сократить время перемножения вектора на матрицу, а именно этот тип операций составляет львиную долю (до 90 %) процессов машинного обучения. Исследования в области создания фотонных ускорителей сегодня проводят во всем мире. Однако пока они в основном находятся на стадии научных исследований, что открывает для нас хорошие возможности не только не отстать от технического прогресса в этой очень перспективной области, но и занять лидирующие позиции. Тут большие надежды мы возлагаем на специалистов Самарского национального исследовательского университета, которые под руководством академика Виктора Сойфера разрабатывают технологии создания таких фотонных ускорителей. Первые прототипы мы рассчитываем получить уже до конца 2025 года. Важно отметить, что для создания таких ускорителей достаточны производственные линейки с невысокими технологическими нормами (120 нм и даже более), что открывает возможности локализации их производства непосредственно в России. Это что касается взаимосвязи ИИ и суперкомпьютерных технологий.

Также необходимо отметить, что эмпирический закон Мура, который определял развитие суперкомпьютеров с начала компьютерной эры, в настоящее время начал замедляться, что уже не позволяет использовать классические пути повышения быстродействия вычислительных машин. Здесь нам способны помочь технологии ИИ, с помощью которых можно осуществлять оптимальное распределение ресурсов суперкомпьютера по поступающим задачам, прогнозировать эффективность решения прикладных задач на тех или иных ресурсах суперкомпьютера, осуществлять подстройку параметров вычислительного задания под архитектуру суперкомпьютера и т. д., что, в свою очередь, позволяет существенно повысить общую эффективность суперкомпьютерных вычислений. Поэтому сегодня развивающиеся технологии ИИ и суперкомпьютеров неразрывно связаны друг с другом.

Здесь можно привести такой пример: в рамках научной программы НЦФМ ученые Южного федерального университета совместно со специалистами из таганрогского НИЦ суперЭВМ и нейрокомпьютеров ведут работы по созданию реконфигурируемых вычислительных систем, архитектура которых может подстраиваться под решаемую задачу, что позволяет резко сократить все накладные временные расходы, связанные с организацией вычислений в суперкомпьютере, и, как следствие, существенно повысить его реальную производительность при решении прикладных задач. Но такая подстройка архитектуры под задачу — ​довольно сложный процесс, реализация которого требует учета огромного числа параметров. Это под силу только ИИ.

Все перечисленные выше научные проблемы решаются в Центре исследования архитектур суперкомпьютеров НЦФМ. В кооперацию, реализующую научную программу центра, входят ведущие институты и вузы страны, такие как Институт программных систем им. Айламазяна РАН, Институт системного программирования им. Иванникова РАН, Российский федеральный ядерный центр (РФЯЦ-ВНИИЭФ), Московский государственный университет им. Ломоносова, НИИ системных исследований РАН, Южный федеральный университет, Самарский национальный исследовательский университет, Институт физики микроструктур РАН, Нижегородский государственный университет им. Лобачевского, НИЦ супер­ЭВМ и нейрокомпьютеров и др. Такая масштабная кооперация позволяет не только проводить теоретические и прикладные исследования в области перспективных суперкомпьютерных систем, но и создавать технологии производства отечественных суперкомпьютеров нового поколения, в первую очередь фотонных суперкомпьютеров со сверхвысокой производительностью вплоть до 100 экзафлопс.

Одним из важных этапов на этом пути является создание на базе НЦФМ лаборатории фотонных суперкомпьютеров, которая, как планируется, начнет работу уже в следующем году. А для того чтобы эта лаборатория заработала в полную силу, необходимо наполнить ее молодыми талантливыми специалистами. Здесь значимую роль должны сыграть молодежные школы-семинары, проводимые под эгидой НЦФМ. Мы рассчитываем, что они станут кузницей кадров для создаваемых лабораторий. И как показала проведенная нами в августе школа-семинар по исследованию архитектур суперкомпьютеров, эти надежды оправданны, поскольку целый ряд докладов молодых ученых на семинаре имел высокий научный уровень и практическую значимость. А грамоту за лучший молодежный доклад оргкомитет присудил Никите Барабашу из Нижегородского госуниверситета им. Лобачевского за исследование на тему «Осуществление линейных преобразований с помощью фотонных интегральных систем», оно может внести существенный вклад в развитие фотонных вычислителей.

ДОСЬЕ

Игорь Каляев — ​сопредседатель направлений НЦФМ «Национальный центр исследования суперкомпьютеров» и «Искусственный интеллект и большие данные», научный руководитель направления Южного федерального университета, академик РАН.