Рынок корпоративного ИИ-инференса в 2025 году достиг около 100 миллиардов долларов, однако ключевым фактором успеха автоматизации бизнес-процессов является не выбор модели, а понимание различий между этапами работы нейросети — Prefill и Decode. Игнорирование этих различий может исказить реальную стоимость запроса в 10-50 раз, что становится самой дорогой ошибкой в AI-инфраструктуре.LLM-инференс состоит из двух технологически несовместимых фаз. Prefill обрабатывает входящий промпт и создает KV-кеш, создавая пиковую вычислительную нагрузку на GPU — утилизация тензорных ядер достигает 90-95%. В отличие от этого, Decode генерирует ответ по одному токену, и процесс становится последовательным, ограниченным пропускной способностью памяти, из-за чего утилизация GPU падает до 20-40% или даже 15-30%.Из-за этой разницы экономика «плоского тарифа за токен» оказывается неверной. Запрос с 2000 токенов промпта и 50 токенами ответа потребляет гораздо больше ресурсов GPU, чем запрос с 10 токенами промпта и 2000 токенами генерации, хотя общее число токенов сопоставимо. Связывание обеих фаз с одним дорогим оборудованием сравнимо с использованием суперкара для перевозки почты в час пик.На рынке GPU это проявляется в выборе конкретных моделей, таких как NVIDIA H100 с 80 ГБ памяти. Понимание этих нюансов позволяет компаниям оптимизировать затраты на инфраструктуру и избежать переплат за неэффективное использование ресурсов.