Нобелевка за хорошую память: кто и за что получил главную естественно-научную премию

Джон Хопфилд и Джеффри Хинтон получили в октябре Нобелевскую премию по физике за основополагающие открытия и изобретения, которые сделали возможным машинное обучение с использованием искусственных нейросетей. Результатами их работы пользуется весь мир (и конечно, «Росатом»).

Досье

Джон Хопфилд родился в 1933 году в Чикаго, получил степень доктора философии в 1958 году в Корнелльском университете. Профессор Принстонского университета.

Джеффри Хинтон родился в 1947 году в Лондоне, получил степень доктора философии в 1978 году в Эдинбургском университете. Профессор Университета Торонто.

Память на спинах

Американец Джон Хопфилд изобрел искусственную память, благодаря которой машины могут хранить и восстанавливать шаблоны (образцовые примеры) информации. Но при чем здесь физика? Изучая проблемы химии и биологии, Хопфилд заинтересовался поведением нейронов и подошел к толкованию их взаимодействия с позиций физики.

В исследовании простых нейронных сетей Джон Хопфилд опирался на идею нейропсихолога Дональда Хебба о том, что связи между нейронами усиливаются, когда они работают вместе. Объясняя явления и свойства, возникающие в системах со множеством мелких компонентов, Хопфилд применил знания о магнитных материалах. Благодаря спину (собственный момент импульса элементарных частиц, ядер или атомов) атом становится крохотным магнитом. Спины соседних атомов влияют друг на друга, и из атомов с однонаправленным спином могут выстраиваться домены. Джон Хопфилд создал модель взаимодействия нейронов, основываясь на поведении таких систем.

Как пояснили на кафедре квантовых и нейроморфных технологий Нижегородского госуниверситета (ННГУ), в однослойной нейронной сети Хопфилда каждый нейрон может принимать на входе и выходе одно из двух состояний: 1 или –1. Из-за этого он похож на электрон — ​у того тоже два состояния: со спином вверх или со спином вниз. Энергия связей нейронов определяется матрицей взаимодействия (весовых коэффициентов). Взаимодействие нейронов похоже на дальнодействующее обменное взаимодействие в спиновых стеклах — ​материалах, в которых магнитные моменты атомов или ионов ориентированы беспорядочным образом.

Энергия в спиновой системе вычисляется по формуле, учитывающей все значения узлов и связей. В системе Хопфилда эталонные данные программируются так, что получают самую низкую энергию. К этому значению и стремится система. Сравнивая новые данные с образцом, она имитирует механизмы человеческой памяти.

Наподобие газа

Британско­-канадский ученый Джеффри Хинтон изобрел метод, благодаря которому система самостоятельно определяет свойства данных, идентифицирует элементы на изображениях и категоризирует их. Хинтон развил идеи Хопфилда, используя положения статистической физики. Она описывает системы из множества похожих элементов, например молекул газа. Каждую отследить невозможно, но известны общие свойства газа, присущие всем его молекулам: давление, температура и проч. Так и для оценки состояний элементов нейросети подойдут уравнения, описывающие всю систему. Можно рассчитать и вероятность того или иного состояния.

Джеффри Хинтон взял уравнение физика XIX века Людвига Больцмана и потому в 1985 году назвал свой метод машиной Больцмана. В отличие от однослойной системы Хопфилда, она имеет внешний и внутренний слой. При подаче информации об объекте машина Больцмана обновляет значения нейронов по одному за раз и в конце переходит в состояние, где значения каждого нейрона могут измениться, но свойства сети останутся прежними. Система обучается, обновляя связи. Если один и тот же образец загружается многократно, вероятность распознавания его свойств выше. Впоследствии Хинтон удалил связи между некоторыми нейронами, что сделало методику эффективнее, система заработала быстрее.

Машина Больцмана стала первым примером генеративных моделей, которые используют для машинного обучения и развития искусственного интеллекта (ИИ).

Нейросети в «Росатоме»

«Применение нейросетей — ​одно из направлений развития сквозных цифровых технологий», — ​говорит директор центра компетенций по развитию искусственного интеллекта частного учреждения «Цифрум» (входит в «Росатом») Владимир Лещенко. В атомной отрасли нейросети прогнозируют рыночную цену на электроэнергию, момент, когда оборудование потребует ремонта, просчитывают риск выгорания сотрудников, контролируют надлежащее использование средств индивидуальной защиты и обрабатывают техническую документацию.

«Учитывая серьезные требования к безопасности, — ​отмечает Владимир Лещенко, — ​«Росатом» применяет нейросети собственной разработки или глубоко локализованные решения». Вместе с технологическим партнером «Росатом» ведет пилотные проекты на отраслевой LLM (большой языковой модели). На русскоязычной нейросети «Гигачат» отрабатывается написание текстов, обобщение большого объема информации, перевод медиаконтента в текст, формирование отчетов, релизов, дайджестов и т. д. «Перечень задач огромный, поэтому мы приглашаем отраслевое сообщество поучаствовать в исследовании возможностей нейросетей», — ​добавляет Владимир Лещенко.

Кроме того, цифровой блок «Росатома» прорабатывает возможность создания единой платформы с промышленными наборами данных и математическими моделями для типовых задач, решение которых апробировано.

ИИ другой природы

Организации «Росатома», Национальный центр физики и математики (НЦФМ), ННГУ, Физический институт им. Лебедева РАН (список далеко не полный) участвуют в разработке и иных систем для ИИ.

Как сообщили на кафедре квантовых и нейроморфных технологий ННГУ, некоторые квантовые логические операции, используемые в алгоритмах, работают как вращатели спинов квантовых частиц. Цепочку из таких операций с разными параметрами (например, углом поворота в операторе вращения, которым описывается управление кубитами) можно считать аналогом нейросети. Такие системы называют вариационными квантовыми цепочками. Они обучаются, как нейросети, но фундаментально отличаются. Эта разница — ​и препятствие, и возможность для исследования квантового преимущества в решении задач искусственным интеллектом.

Квантовые цепочки можно построить на разных физических платформах — ​сверхпроводниковых, ионных и проч. В последнее время изучаются гибридные, квантово-классические нейросети. Они гораздо точнее по сравнению с однородными. Причины такого эффекта исследуются. В рамках научной программы НЦФМ Нижегородский госуниверситет исследует «связующее» для гибридных нейросетей — ​мемристоры (элементы, запоминающие свое состояние перед отключением питания).

Национальный центр физики и математики плотно занимается и фотонными суперкомпьютерами. По логике вычислений они схожи с классическими, но быстрее обмениваются информацией, энергопотребление в них ниже, а распараллеливание вычислений — ​выше. В перспективе эти преимущества кратно увеличат размеры нейросетей без огромного расхода энергии, и ученые приблизятся к полной эмуляции работы человеческого мозга в реальном времени.