Игрок RomaPro227 запустил в Factorio полноценную языковую модель на 6,4 млн параметров, используя только игровые комбинаторы и провода. Трансформер с 8 слоями внимания генерирует текст посимвольно на табло из 8 тысяч ламп.
Пользователь под ником RomaPro227 реализовал языковую модель прямо внутри Factorio, не прибегая к модам или внешним скриптам. Архитектура основана на трансформере с 6,4 миллионами параметров, восьмью слоями и восемью головами внимания. Контекстное окно модели составляет 256 символов, а генерация происходит посимвольно.
Схема нейросети включает около 105 тысяч комбинаторов, соединённых 200 тысячами проводов. Результаты выводятся на табло из 8 тысяч ламп. В основе вычислений лежит скалярное произведение: арифметические и постоянные комбинаторы перемножают соответствующие значения сигналов и суммируют результаты, формируя нейроны с 256 или 1024 входами. Веса хранятся в постоянных комбинаторах, а числовые векторы передаются по проводам.
Для запуска инференса нужно подать английский текст по одному символу в ряд комбинаторов и активировать переключатель отправки. На табло появляется индикатор обработки, затем — сгенерированный ответ. При 60 тиках в секунду модель выдаёт один символ примерно за 7 секунд: генерация 100 символов занимает почти 12 минут без учёта времени на ввод.
Автор отмечает, что модель способна отвечать на вопросы о Factorio, сочинять короткие истории и шутить, однако ответы могут быть неточными и повторяющимися. На GitHub опубликовано сохранение мира с нейросетью, веса модели, инструкция по запуску и Python-версия для работы вне игры. Проект требует Factorio 2.0 с дополнением Space Age. На YouTube-канале автора доступно подробное техническое объяснение устройства системы.
