«Когда мы говорим о скорости, важно разделять два этапа. HARP требует некоторого времени на настройку, поскольку подбирает оптимальные преобразования для каждого слоя модели. Зато после сжатия модель работает быстрее и занимает значительно меньше памяти. При этом нам не нужно заново обучать всю нейросеть — достаточно провести дополнительную калибровку», — рассказал «Известиям» старший исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ Глеб Молодцов.

Большие языковые модели требуют значительных вычислительных ресурсов, а их работа во многом ограничена пропускной способностью памяти. Чтобы уменьшить объем данных, ученые применяют квантование — представление весов модели меньшим числом битов. Чем сильнее сжатие, тем выше риск падения точности. HARP помогает эти потери сократить.

Подробнее о возможностях алгоритма в условиях больших нагрузок на ЦОД читайте в эксклюзивном материале «Известий»:

Невыносимая легкость бита: метод «упаковки» нейросетей снизит нагрузку на дата-центры

Российские ученые разработали технологию сжатия нейросетей, которая позволяет снизить потребность языковых моделей в вычислительных ресурсах и памяти при минимальной потере точности. На фоне развития ИИ растет нагрузка на центры обработки данных, а дефицит оборудования и электроэнергии для них уже ощущается в России, отмечают эксперты. Проблема, по их мнению, может обостриться после недавних атак на инфраструктуру «Яндекса». Специалисты считают, что внедрение новой технологии позволит снизить стоимость эксплуатации языковых моделей и сделать их доступнее для среднего бизнеса и образовательных организаций.

Технология сжатия нейросетей

Специалисты МФТИ разработали алгоритм HARP, который позволяет сжимать языковые модели практически без потери точности. Технология способна вдвое увеличить скорость работы ИИ-систем, а также снизить потребность в вычислительных мощностях и памяти дата-центров. Алгоритм успешно испытали на языковых моделях Llama и Qwen. При наиболее жестком сжатии ошибка снизилась на 15%. HARP и уже сжатые с его помощью нейросети доступны для свободного использования.

— Когда мы говорим о скорости, важно разделять два этапа. HARP требует некоторого времени на настройку, поскольку подбирает оптимальные преобразования для каждого слоя модели. Зато после сжатия модель работает быстрее и занимает значительно меньше памяти. При этом нам не нужно заново обучать всю нейросеть — достаточно провести дополнительную калибровку, — рассказал «Известиям» старший исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ Глеб Молодцов.

Большие языковые модели требуют значительных вычислительных ресурсов, а их работа во многом ограничена пропускной способностью памяти. Для уменьшения объема данных ученые используют квантование — представление весов модели меньшим числом битов. Чем сильнее сжатие, тем выше риск снижения точности.

HARP позволяет уменьшить эти потери. Перед квантованием алгоритм подбирает для каждого слоя модели собственную систему координат, в которой значения лучше подходят для последующего сжатия. В основе метода лежат структурированные ортогональные повороты — математические преобразования, которые меняют способ представления данных, но не саму модель.

— Когда вы поворачиваете фотографию, изображение остается тем же, меняется только угол зрения. Похожий процесс происходит и при сжатии нейросети. Эти преобразования обратимы, поэтому модель не теряет информацию. Алгоритм HARP использует не сплошные, а структурированные повороты — они состоят из множества маленьких блоков. Это позволяет применять их быстро и хранить без больших затрат памяти в отличие от полных матриц поворота, которые для больших моделей заняли бы слишком много места,— сказал инженер-исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ Артур Загитов.

HARP не заменяет существующие методы квантования, а работает поверх них. Разработку проверили на моделях разного масштаба. В экспериментах с Llama и Qwen3 алгоритм стабильно улучшал показатели по сравнению со стандартным подходом. При наиболее жестком двухбитном сжатии ошибка снизилась на 12–15%. Преимущество метода также подтвердилось в тестах с вопросами и вариантами ответов.

 Дефицит мощностей ЦОД в России

Нагрузка на отечественные дата-центры возросла после атак беспилотников на инфраструктуру «Яндекса». Власти ищут способы защиты центров обработки данных (ЦОД), однако, несмотря на технические сложности, сервисы продолжают работать.

— Минцифры совместно с Минобороны решает вопрос прикрытия этих объектов. Но при том объеме атаки то, что эти сервисы продолжают функционировать, показывает, что коллеги уделяют необходимое внимание и резервированию, и разнесению, — заявил 12 октября глава Минцифры Максут Шадаев на заседании IT-комитета.

По мнению основателя компании «Интернет-Розыск», председателя совета по противодействию технологическим правонарушениям координационного совета негосударственной сферы безопасности России Игоря Бедерова, технология HARP способна снизить нагрузку на инфраструктуру, но не отменяет потребность в ней. Метод позволяет переводить нейросети с привычной 16-битной точности на 2–4 бита. Для РФ это означает возможность запускать современные модели на более доступном оборудовании, что особенно важно в условиях ограничений на поставки высокопроизводительных графических процессоров.

— Сжатие моделей напрямую снижает требования к памяти и вычислительной мощности на одну операцию вывода. По оценкам, квантование позволяет сократить энергопотребление при обработке новых данных до 50%. Дефицит электроэнергии для ЦОД в России уже ощущается. Так, по прогнозам, к 2030 году энергопотребление дата-центров вырастет на 76% и достигнет 26,2 млрд кВт·ч. В этих условиях HARP предлагает важный инструмент технологического суверенитета, — сказал он.

Главное преимущество подхода заключается в том, что он встраивается в уже существующие методы сжатия и улучшает их результат. Поэтому разработчикам не придется перестраивать привычные инструменты. Снижение ошибки на 12–15% при двухбитном сжатии — весомый показатель: именно при таком уровне сжатия модели обычно сильнее всего теряют в качестве, рассказал «Известиям» эксперт НТИ по новым материалам и технологиям Евгений Вишневский.

— Такие технологии востребованы там, где мощные модели нужно запускать на ограниченном оборудовании. Это собственные серверы компаний и госорганов, которым важно обрабатывать данные внутри закрытого контура. Это также смартфоны, промышленные контроллеры, роботы и беспилотные системы, которые работают без постоянного доступа к облаку. Сжатие снижает требования к памяти и стоимость эксплуатации, и продвинутый искусственный интеллект становится доступнее для среднего бизнеса, университетов и региональных команд разработчиков, — отметил он.

Специалист подчеркнул, что для российского рынка это особенно актуально: эффективное использование имеющихся вычислительных мощностей позволяет быстрее развивать отечественные ИИ-сервисы и внедрять их в различных отраслях экономики.

Денис Гриценко