«Росатом» создаст нейроморфный чип для нейросетей

«Росатом» включился в работу по созданию чипа, алгоритмов и прикладных программ для самообучающейся нейроморфной системы искусственного интеллекта. Такие системы позволят быстро обрабатывать массивы данных и создавать автономных самообучающихся роботов для работы в условиях, сложных или опасных для человека.

Проект стартовал в четвертом квартале 2020 года. В нем участвуют Чувашский государственный университет, новосибирская компания «Мотив — ​нейроморфные технологии» и «Цифрум» со стороны «Росатома».

Как устроены нейросети

Искусственная нейросеть (ИНС) — ​способ обработки информации, основанный на уподоблении искусственных конструкций человеческому мозгу. ИНС состоит из искусственных нейронов — ​программных структур для обработки информации и связей между ними — ​синапсов.

О возможности создания искусственной нейросети ученые заговорили 80 лет назад. В 1957 году американский нейрофизиолог Фрэнк Розенблатт предложил модель первой ИНС и назвал ее перцептроном. Тремя годами позже он создал на ее базе первый нейрокомпьютер.

Для обработки информации нейроны в ИНС обмениваются действительными числами, так что все свойства объекта представлены в виде чисел. ИНС можно обучить. Нейросеть запоминает, что объекты с одними свойствами — ​это, например, огурцы, а с другими — ​помидоры.

Для того чтобы обрабатывать информацию быстро, необходимо огромное количество нейронов и связей между ними. Ориентир размера сети — ​человеческий мозг, состоящий, по разным оценкам, из 86–95 млрд нейронов, у каждого из которых до 10 тыс. синапсов.

С увеличением ИНС появились проблемы масштабирования. Чем больше нейросеть, тем больше электроэнергии, вычислительных мощностей и денег требуется для ее обучения и работы. «Чтобы обучить выпущенную в прошлом году разговорную модель GPT‑3, которая решала элементарные когнитивные задачи, понадобилось 12 млн долларов только на электроэнергию», — ​приводит пример руководитель лаборатории искусственного интеллекта «Цифрума» Денис Ларионов. А суперкомпьютеру «Кристофари» производительностью около 6,7 петафлопса, которым владеет «Сбер», потребовался месяц и половина вычислительных мощностей, чтобы обучить нейросеть с 700 млн нейронных связей. Тратить такие ресурсы на обучение нейросетей в России могут лишь единицы компаний.

Естественное решение

Проблему энергоэффективности решили импульсные (они же спайковые) сети, которые появились в конце 1990-х годов. В отличие от традиционных, они подают на вход и получают на выходе не изменяющиеся числа, а дискретные калиброванные (одинаковые) импульсы. В традиционных ИНС нейроны работают постоянно, в импульсных — ​лишь тогда, когда передают или получают импульс. Благодаря паузам экономится электроэнергия. Энергоэффективность позволяет нарастить нейросеть с нынешних десятков миллионов до миллиардов нейронов. А калиброванность импульсов решает проблему шума — ​например, ошибок в числовых значениях, передающихся по нейросети.

Виды чипов

Но импульсные нейросети не могут работать на обычном «железе». Нужны специальные, нейроморфные, чипы. В обычном компьютере процессор, который обрабатывает информацию, физически отделен от памяти. А в нейроморфном чипе обработка и хранение информации происходят в одном месте, как в биологическом мозге.

Важно и то, что связи между нейронами-процессорами хаотичны: нельзя сказать, что в одном нейроне записано «белая береза», а в другом — ​«под моим окном». Полная фраза — ​то есть слова, грамматика, сведения о том, что это русский язык, — ​как и любой другой объект, возникает из совокупной работы сети.

В мире созданы три конструкции нейроморфных чипов. В 2014 году IBM выпустила чип TrueNorth. На каждой микросхеме 5 млрд транзисторов обеспечивают работу 1 млн нейронов и около 250 млн связей между ними. Чип сделан по заказу DARPA — ​Управления перспективных исследований Минобороны США. Разработка закрытая, не экспортируется.

В 2018 году Intel завершила создание чипа Loihi. На нем работают 130 тыс. нейронов, поддерживаются 130 млн связей. Intel открыла чип для ограниченного удаленного использования. Университеты и индустриальные партнеры могут исследовать его возможности, в том числе для решения прикладных инженерных или управленческих задач.

Лаборатория нейроморфных вычислений Чувашского госуниверситета — ​единственный представитель России, участвующий в апробации возможностей Loihi. «Я выясняю, какие модели биологических нейронов и нейросетей из числа многих десятков существующих можно реализовать на этом чипе», — ​говорит руководитель лаборатории доцент Михаил Киселев.

В 2020 году компания «Мотив — ​нейроморфные технологии» создала нейрочип «Алтай». В нем 131 тыс. нейронов, между ними — ​67 млн связей. Это прототип, который необходимо усовершенствовать.

Повторить успех микропроцессоров

Только на Loihi обучение происходит в том же процессоре, что и работа. Главный недостаток чипов TrueNorth и «Алтай» в том, что нейросеть на них пока обучать нельзя. «Обучение — ​самая трудоемкая часть создания и обращения с нейросетью, — ​говорит Михаил Киселев. — ​Поэтому важно встроить обучающий функционал в следующую версию отечественного нейрочипа. Без обучения и дообучения, которое происходит в процессе работы, возможности использования нейросети ограничены».

Основная задача при создании самообучаемого чипа — ​подобрать оптимальную архитектуру. «Для самообучения мы планируем встроить в импульсную нейроморфную микросхему генераторы псевдослучайных последовательностей чисел, чтобы реакция нейрона на один и тот же набор входящих сигналов каждый раз немного отличалась. Тогда система каждый раз будет находить немного другой ответ, а мы сможем выбрать лучший, — ​рассказывает руководитель отдела разработки сверхбольших интегральных схем «Мотива — ​нейроморфных технологий» Алексей Зверев. — Мы также должны найти оптимальный вариант, как увеличить объем оперативной памяти в 4–16 раз, чтобы хранить независимую информацию о весах, то есть показателях силы воздействия одного нейрона на другой, для каждой синаптической связи. Просто увеличить объем памяти мы не можем, так как вырастет себестоимость чипа. Уменьшать требуемый динамический диапазон синаптических весов не следует, так как сокращается круг задач, которые можно решать. Энергопотребление тоже не должно расти. Вот, ищем баланс».

Также важна разработка алгоритмов для управления нейронами. «Требуется большой пласт фундаментальных исследований: как обучать нейроны, как реализовывать механизмы памяти. Подходов много, надо изучать, какие окажутся самыми пригодными. Нейросети должны научиться самоорганизовываться. Процесс должен идти в нужном человеку направлении, поэтому надо понимать, как запустить эволюцию сети. Это сложный теоретический вопрос, который до сих пор не решен», — ​рассказывает Михаил Киселев.

Нейронные сети используются для обработки больших данных. В «Мотиве — ​нейроморфных технологиях» считают, что нейроморфные чипы для самообучающихся систем пригодятся для автономных интеллектуальных устройств, роботов и датчиков. Примеры — ​видеокамеры со встроенными системами распознавания, беспилотный транспорт, роботы очистных систем, разнообразные системы контроля производственных процессов, в том числе опасных, медицинские контроллеры и т. д. По прогнозу компании Future Market Insights, мировой рынок нейроморфных чипов в 2026 году может достигнуть 10,8 млрд долларов. В новосибирской компании полагают, что нейроморфные чипы смогут повторить успех микропроцессоров, продажи которых с 1980 года за первые 20 лет с нуля выросли до 140 млн штук в год.

«Росатом» выступает в роли технологического партнера: выполняет организационные функции, финансирует работы, обсуждает возможности использования нейроморфного чипа для своих задач и изучает результаты. «Нейроморфные системы — ​одно из стратегических направлений, где Россия и конкретно «Росатом» выступает не в роли догоняющего, а в роли технологического лидера», — ​говорит Денис Ларионов.

ЧТО МОГУТ НЕЙРОСЕТИ

Обработка изображений, в том числе видео. Применений здесь множество — ​как забавных, так и вполне серьезных. Помните, Илон Маск «спел» с группой «Земляне» знаменитую «Земля в иллюминаторе»? Автор обработки Никита Коваленко использовал программу DeepFake на базе нейросети. А нейрофильтр программы Adobe Photoshop заставил Игоря Курчатова улыбнуться (на фото). Среди серьезных применений — ​технология распознавания лиц, анализ медицинских изображений (КТ, МРТ, рентген). Также нейросеть переводит черно-белые изображения в цветные.

Трейдинг. Нейросети используют для торговли акциями, облигациями и т. п., анализируют курсовую динамику за длительный период, строят график будущего движения цены и выдают прогноз с рекомендациями — ​покупать, продавать или держать. К сожалению, «черные лебеди» — ​внезапные события, оказывающие мощное воздействие на котировки, — ​остаются непредсказуемыми.

Анализ кардиограмм. Нейросеть распознает патологии, обнаруживая наиболее характерные для них изменения амплитуды и формы пиков, причем даже в тех случаях, когда одни и те же заболевания на кардиограмме проявляли себя по-разному.

Классификация текстов. Нейросети решают эту задачу, если надо обучить робота отвечать на типовые вопросы клиентов — ​например, принять показания счетчика или записать на прием к врачу. Пробуют использовать бота в мессенджерах.

Еще одна сфера применения — ​аналитика соцсетей и СМИ. Именно нейросети подтягивают искомые тексты, группируют их, а также расставляют тональности (нейтральную, положительную или отрицательную). Правда, еще не всегда могут распознать иронию. А ради смеха можно почитать стихи «Автопоэта» — ​проекта «Яндекса» и Google. Это рифмованные поисковые запросы типа:

Минута слава Украина
Как починить ножной насос
Маруся раз два три калина
Как правильно нести поднос
Что приготовить из свинины
Не вешать нос гардемарины

Анализ молекул. Одна из задач, которую должна решить нейросеть, — ​предсказать взаимодействие белков, анализируя кривизну их поверхности. Сложная форма позволяет белкам взаимодействовать. Если точно описать ее, можно создавать лекарственные формы с геометрией, максимально подходящей к молекулам, к которым они должны прикрепиться.

Беспилотное управление. Нейросети позволяют беспилотным устройствам перемещаться в пространстве. Не успели привыкнуть к тестированию беспилотных машин, как в «Лужниках» в январе 2021 года начали тестировать такси, которое доставляет грузы и пассажиров по воздуху. «Дрон может взлетать на высоту 150 м и садиться на стандартное парковочное место, маневрировать на стоянке, заезжать в гараж и выезжать на улицу. Дрон рассчитан на двух пассажиров, максимальная грузоподъемность — ​300 кг, скорость — ​200 км/ч», — ​рассказывала «Интерфаксу» заместитель мэра Москвы Наталья Сергунина.