Самые быстрые LLM API: бенчмарк 13 000 токенов/сек

Данные на 20 октября 2026 г.1 источник

Черновик подготовлен AI-инструментами и отредактирован человеком. Характеристики и выводы проверены редактором GPUniq.

OpenAI GPT-5 Nano достигает 13 060,9 токенов в секунду (t/s). Это в 100 раз быстрее медианного значения в 130,1 t/s среди 16 протестированных моделей. Grok 4.20 выдает 1 634,2 t/s, тогда как флагманы вроде GPT-6 Astra работают на 53,6 t/s, отдавая приоритет рассуждениям.

Лидеры в гонке 13 000 t/s

В плане пропускной способности доминирует OpenAI. GPT-5 Nano выдает 13 060,9 t/s, в то время как сбалансированная модель GPT-5 показывает 8 208,4 t/s. Grok 4.20 от xAI занимает третье место с результатом 1 634,2 t/s.

Между этими высокоскоростными моделями и флагманскими версиями существует огромный разрыв. GPT-6.1 Sol генерирует 354,5 t/s, а Claude Sonnet 5.5 - 277,5 t/s. Эти показатели отражают чистую скорость генерации для обработки больших объемов данных.

Модель	Вендор	Скорость (t/s)	Вход ($/1M)	Выход ($/1M)
GPT-5 Nano	openai	13060.9	0.04	0.32
GPT-5	openai	8208.4	1.00	8.00
Grok 4.20	xai	1634.2	1.00	2.00
GPT-6.1 Sol	openai	354.5	1.60	8.00
Claude Sonnet 5.5	anthropic	277.5	1.60	8.00
GPT-4.1	openai	194.2	1.60	6.40
Qwen3.8 Max	qwen	41.2	1.80	5.40

Область охвата бенчмарка и результаты Groq

Groq не был включен в этот набор из 16 моделей. OpenAI достигла рубежа в 13 000 t/s с помощью архитектуры GPT-5 Nano. Эта модель использует оптимизацию быстрой категории для приоритизации пропускной способности.

GPT-5 Nano поддерживает контекстное окно 400k, обеспечивая при этом такие скорости. Она создана для задач, где задержка является главным ограничением. Флагманские модели, такие как GPT-5.6 Sol, снижают скорость до 128,7 t/s, что показывает: скорость часто достигается ценой сложности модели.

Сравнение Together AI и Fireworks

Ни Together AI, ни Fireworks AI не входили в число 16 протестированных моделей. Данный анализ сосредоточен на OpenAI, Anthropic, Google, xAI и Qwen. Среди этих провайдеров OpenAI доминирует в сегменте высокой скорости.

Медианная скорость среди всех измеренных моделей составляет 130,1 t/s. Большинство провайдеров группируются вокруг этой отметки для стандартных моделей. GPT-4o показывает 131,6 t/s. Если вам нужны скорости значительно выше медианных, стоит обратить внимание на специализированные быстрые модели, такие как GPT-5 Nano или Grok 4.20.

Задержка API и производительность потоковой передачи

Высокая пропускная способность обычно приводит к низкой задержке на токен для потоковых приложений. GPT-5 Nano - самый быстрый вариант. Grok 4.20 - следующий лучший выбор, предлагающий 1 634,2 t/s при контекстном окне 2 000k.

Gemini 3.7 Flash выдает 161,4 t/s. Это быстрее, чем GPT-4o, но значительно медленнее топовых моделей OpenAI. Для приложений, требующих времени отклика менее 100 мс при длинных генерациях, быстрые модели - единственный жизнеспособный выбор.

Скорость: Open Source против проприетарных моделей

Qwen3.8 Flash достигает 75,3 t/s. Это значительно ниже медианы в 130,1 t/s. Qwen3.8 Max - самая медленная модель в наборе (41,2 t/s), уступающая даже тяжелому флагману Claude Opus 4.8, который выдает 58,7 t/s.

Уровни скорости и дельта категорий

Измерение дельты между категориями выявляет колоссальные различия в производительности. GPT-5 Nano в 101 раз быстрее флагмана GPT-5.6 Sol. Флагманские модели, такие как GPT-6 Astra (53,6 t/s) и Claude Opus 5.5 (80,6 t/s), оптимизированы для качества вывода, а не для скорости.

Лучшее соотношение цены и скорости

GPT-5 Nano от OpenAI - самый дешевый вариант с высокой скоростью. При цене $0,04 за 1 млн входных токенов и $0,32 за 1 млн выходных токенов, она обеспечивает самую высокую измеренную скорость при самой низкой цене в наборе данных.

Qwen3.8 Flash также недорога ($0,135 за вход и $0,423 за выход), однако ее скорость составляет всего 75,3 t/s. Быстрые модели OpenAI в настоящее время предлагают лучшее соотношение токенов в секунду на доллар.

Будущее моделей с высокой пропускной способностью

Отраслевые тренды показывают расхождение между моделями для взаимодействия с человеком и моделями для рабочих процессов «машина-машина». Мы наблюдаем скачок от медианной скорости 130,1 t/s до 13 060,9 t/s у GPT-5 Nano.

Высокая пропускная способность становится требованием для больших контекстных окон. Окно 2 000k у Grok 4.20 требует такой скорости для практического использования. Обработка миллионов токенов за секунды - следующий барьер для бенчмарков.

Методология

Speed is output tokens per second measured on the GPUniq gateway for real requests, as a moving average; models with too little traffic to measure are left out rather than estimated. Prices are GPUniq's public retail rates per million tokens, read from the live model catalog at the moment of the snapshot. Ruble figures use the rate GPUniq applies to ruble top-ups at that moment. The discount is against the model vendor's own list price.