Новости IT индустрии

Игрок реализовал языковую модель на 6,4 млн параметров внутри Factorio без модов

Пользователь под ником RomaPro227 реализовал языковую модель прямо внутри Factorio, не прибегая к модам или внешним скриптам. Архитектура основана на трансформере с 6,4 миллионами параметров, восьмью слоями и восемью головами внимания. Контекстное окно модели составляет 256 символов, а генерация пр…