В системе «Альфа»: как создают российское сетевое оборудование для суперкомпьютеров

На международном конгрессе «Суперкомпьютерные дни в России» ядерный центр «Росатома» в Челябинской области представил высокоскоростную коммуникационную систему «Альфа» для суперкомпьютеров и дата-центров. Она позволяет связывать тысячи процессоров, чтобы выполнять высоконагруженные вычисления и работать с искусственным интеллектом.

Принцип и функции

Высокоскоростная коммуникационная система (сеть) связывает вычислительные узлы с помощью адаптера и коммутатора. Адаптер обеспечивает передачу пакетов данных между узлами. Его ключевая характеристика — пропускная способность порта. У адаптера «Альфы» это 80 Гбит/с. Задержка передачи между соседними узлами, еще одна важная характеристика, — 1,7 мкс. У коммутатора «Альфы» 32 порта, пропускная способность каждого — тоже 80 Гбит/с. Параметры не рекордные, но вполне конкурентоспособные.

За счет объединения мощности узлов можно решать множество сложных задач: моделировать процессы в атомных реакторах, предсказывать свойства новых материалов и лекарств, обучать большие языковые модели и проч.

Начало разработки

Работы стартовали в 2005 году в одном российском научном институте. Тогда отечественные разработки уступали зарубежным, коммерческих заказов практически не было: рынок был насыщен импортом.

Для производства печатных плат и сборки оборудования планировалось использовать зарубежные чипы. Однако условия, на которых поставщики готовы были продать чипы, неизбежно ухудшили бы конкурентоспособность продукта: у чипов были слабые характеристики, и стоили они неоправданно дорого.

Команда разработчиков решила действовать самостоятельно. Ученые и инженеры изучили материалы, детально разобрались в ключевых принципах и технологиях, подобрали и протестировали оборудование, написали программное обеспечение. Алгоритмы, работу отдельных компонентов и всей системы в целом проверяли на имитационной модели в виртуальной среде. Этот этап занял семь лет. Огромные усилия увенчались успехом: были получены конкурентоспособные изделия, а заодно — компетенции мирового уровня.

Разработчики сделали тестовую партию чипов. Ее хватило и для испытаний, и для внедрения. Устройства продемонстрировали все запланированные характеристики. И это еще один успех: далеко не всем удавалось добиться нужных показателей с первой попытки.

Параллельно в институте разрабатывали печатные платы, конструкции сетевого адаптера и коммутатора, которые взаимодействовали бы как с российскими, так и с зарубежными процессорами. Объединив несколько десятков процессоров, разработчики построили собственный суперкомпьютер. Его рабочие показатели оказались даже выше, чем у МВС-10П — межведомственного суперкомпьютера в Российской академии наук.

Сеть внедрили на суперкомпьютерах в разных российских организациях, в том числе в атомной отрасли. Получив этот опыт, команда взялась за новую версию сети.

Развитие проекта в «Росатоме»

В 2022 году доктор технических наук Алексей Симонов возглавил работу по созданию сети в московском филиале ядерного центра в Челябинской области. Одной группе поручили чип, второй — плату, третьей — программное обеспечение и архитектуру, четвертой — коммутатор. Производительность сети, которую назвали «Альфа», стала почти вдвое выше по сравнению с первой версией. Финансировал проект Минпромторг. В этом году оборудование включили в реестр российской промышленной продукции.

Сеть протестировали в Курчатовском институте и признали полноценным действующим решением. Об этом сообщил представитель института на конгрессе «Суперкомпьютерные дни в России». Оборудование передается первым заказчикам, план по продажам на 2026 год, закрепленный в соглашении с Минпромторгом, выполнен. Теперь команда занимается сборкой суперкомпьютеров большого размера. «Теоретический максимум, который может обеспечить наша сеть, — 16 384 узла. На практике считается, что больше 10 тыс. узлов объединять нет смысла», — прокомментировал Алексей Симонов.

Перспективы

«Альфу» второго поколения разработчики обещают представить в следующем году. Скорость передачи данных вырастет до 200 Гбит/с. «Альфа» будет поддерживать технологии объединения двух физических коммутаторов в одно логическое устройство и разделения физической сети на несколько логических независимых.

Команда разрабатывает новую конструкцию собственного чиплета. Это маленький кристалл, на котором размещается коммуникационный процессор. Чиплеты объединяются в систему, адаптированную к решениям конкретных прикладных задач.

Пропускная способность устройств, построенных на чиплетах «Альфы», по плану составит 400 Гбит/с. Их делают совместимыми с центральными, тензорными и графическими процессорами российского и зарубежного производства. Чиплет, адаптер и коммутатор на его основе (сеть «Альфа» третьего поколения) разработчики рассчитывают выпустить в 2029 году. Спустя еще два года — четвертое поколение, со скоростью передачи данных 800 Гбит/с.

Кстати

Ядерный центр в Нижегородской области завершил разработку высокоскоростной коммуникационной системы СМПО. Оборудование представили 27 сентября — 3 октября на выставке «Микроэлектроника» в «Сириусе». Следующий этап — тестирование.