Исследователи MIT и компания Liquid AI представили жидкие нейросети (LNN) — компактные адаптивные модели, которые обучаются в реальном времени, обходят по качеству гигантские трансформеры и потребляют в 10 раз меньше памяти.
В конце 2024 года компания Liquid AI, вырощенная на базе лабораторий MIT, анонсировала линейку «жидких» фундаментальных моделей (LFM), бросающих вызов доминированию архитектуры трансформеров. В отличие от ChatGPT, Claude или Gemini, новые нейросети не замораживаются после обучения: их параметры динамически меняются под влиянием входящих данных, что позволяет системе адаптироваться к новым ситуациям прямо в процессе работы.
Главная проблема современных трансформеров — фундаментальная статичность и квадратичный рост потребления ресурсов при увеличении контекста. После завершения тренировки веса модели становятся неизменными, а обработка длинных последовательностей требует гигантских объемов видеопамяти. Это делает ИИ дорогим и неповоротливым для задач реального времени.
Архитектура LNN вдохновлена нервной системой червя C. elegans, обладающего всего 302 нейронами, но способным на сложное адаптивное поведение. Ученые Рамин Хасани и Даниэла Рус перенесли принцип непрерывных во времени дифференциальных уравнений в математику нейросетей: связи в «жидких» моделях описываются компактными уравнениями, а не фиксированными весами.
Технические результаты впечатляют: модель Liquid Foundation с 1,3 млрд параметров в задачах по коду и тексту обходит Llama и Mistral большего размера. Ключевое преимущество — линейная сложность обработки последовательностей. «Жидкие» сети анализируют огромные документы, аудио и видео, потребляя на порядок меньше памяти, чем конкуренты.
Открытие критически важно для Edge AI — ИИ на периферийных устройствах. Компактность и эффективность LNN позволяют запускать их на дронах, в беспилотных авто и медицинских датчиках. В эксперименте MIT дрон под управлением LNN успешно маневрировал в лесу, хотя обучался только на открытых пространствах, адаптируясь к новым визуальным паттернам прямо во время полета.
Рынок оценил потенциал: снижение стоимости инференса в разы меняет экономику индустрии. Гонка смещается от набора терафлопсов к элегантности алгоритмов. Кроме того, компактные уравнения LNN делают решения модели интерпретируемыми — инженеры могут проследить логику принятия решения, что критично для ядерной энергетики, авиации и хирургии.
