Игрок реализовал языковую модель на 6,4 млн параметров внутри Factorio без модов
140

Игрок реализовал языковую модель на 6,4 млн параметров внутри Factorio без модов

Автор: admin

Игрок RomaPro227 запустил в Factorio полноценную языковую модель на 6,4 млн параметров, используя только игровые комбинаторы и провода. Трансформер с 8 слоями внимания генерирует текст посимвольно на табло из 8 тысяч ламп.

Пользователь под ником RomaPro227 реализовал языковую модель прямо внутри Factorio, не прибегая к модам или внешним скриптам. Архитектура основана на трансформере с 6,4 миллионами параметров, восьмью слоями и восемью головами внимания. Контекстное окно модели составляет 256 символов, а генерация происходит посимвольно.

Схема нейросети включает около 105 тысяч комбинаторов, соединённых 200 тысячами проводов. Результаты выводятся на табло из 8 тысяч ламп. В основе вычислений лежит скалярное произведение: арифметические и постоянные комбинаторы перемножают соответствующие значения сигналов и суммируют результаты, формируя нейроны с 256 или 1024 входами. Веса хранятся в постоянных комбинаторах, а числовые векторы передаются по проводам.

Для запуска инференса нужно подать английский текст по одному символу в ряд комбинаторов и активировать переключатель отправки. На табло появляется индикатор обработки, затем — сгенерированный ответ. При 60 тиках в секунду модель выдаёт один символ примерно за 7 секунд: генерация 100 символов занимает почти 12 минут без учёта времени на ввод.

Автор отмечает, что модель способна отвечать на вопросы о Factorio, сочинять короткие истории и шутить, однако ответы могут быть неточными и повторяющимися. На GitHub опубликовано сохранение мира с нейросетью, веса модели, инструкция по запуску и Python-версия для работы вне игры. Проект требует Factorio 2.0 с дополнением Space Age. На YouTube-канале автора доступно подробное техническое объяснение устройства системы.

Похожие материалы

Почему ИИ не представляет угрозы для человечества: технический разбор мифов
искусственный интеллект безопасность ИИ мифы об ИИ нейросети

Почему ИИ не представляет угрозы для человечества: технический разбор мифов

Статья разбирает популярные мифы об опасности искусственного интеллекта. Автор доказывает, что ИИ …

Как CAPTCHA обучала нейросети: от оцифровки книг до управления беспилотниками
CAPTCHA reCAPTCHA обучение ИИ компьютерное зрение

Как CAPTCHA обучала нейросети: от оцифровки книг до управления беспилотниками

Каждый раз, когда вы проходили CAPTCHA — вводили слова, выделяли светофоры или …

ИИ-термины: 20 ключевых слов для понимания нейросетей
искусственный интеллект нейросети LLM термины ИИ

ИИ-термины: 20 ключевых слов для понимания нейросетей

Статья простым языком объясняет 20 основных терминов искусственного интеллекта: от модели и …

Эволюция компьютерного зрения: от геометрии к пространственному интеллекту
компьютерное зрение искусственный интеллект глубокое обучение трансформеры

Эволюция компьютерного зрения: от геометрии к пространственному интеллекту

Статья рассказывает об истории развития компьютерного зрения за 60 лет: от первых …