Бенчмаркинг вывода больших языковых моделей на hpc-кластерах: задержка, пропускная способность и энергоэффективность

Исмайылов , Эльвиз

Муҳандислик ва Иқтисодиёт · 2026-yil

Annotatsiya

В данной статье представлено комплексное исследование производительности вывода большихязыковых моделей (LLM) на высокопроизводительных вычислительных HPC-кластерах. Экспериментыпроводились с четырьмя моделями — LLaMA-3-70B, Mixtral-8x7B, Falcon-40B и Gemma-2-27B — с использованиемразличных конфигураций квантизации: FP16, INT8, INT4, а также фреймворков vLLM и TensorRT-LLM.Оцениваются три ключевых показателя: задержка первого токена (TTFT), пропускная способность (токенов/с) иэнергоэффективность (Дж/токен). Результаты свидетельствуют о том, что INT4-квантизация с параллелизмомтензоров на 4 GPU обеспечивает оптимальный баланс между скоростью и потреблением энергии, достигаяснижения задержки до 84% при росте пропускной способности в 8,2 раза по сравнению с однопроцессорнымFP16-выводом.

Maqola ma’lumotlari
MualliflarИсмайылов , Эльвиз
JurnalМуҳандислик ва Иқтисодиёт
NashriyotПлеханов номидаги Россия иқтисодиёти университетининг Тошкент шаҳридаги филиали
ISSN3060-463X, 3060-463X
Nashr sanasi2026-06-01
Jild4
Son6
TilRus
Indeksga qo‘shilgan2026-08-26

Maqolaning asl sahifasi

Kalit so‘zlar

большие языковые модели, HPC-кластеры, бенчмаркинг, задержка вывода, пропускная способность, энергоэффективность, квантизация, vLLM, TensorRT-LLM, параллелизм тензоров.

Iqtibos keltirish

APAИсмайылов , Эльвиз (2026). БЕНЧМАРКИНГ ВЫВОДА БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ НА HPC-КЛАСТЕРАХ: ЗАДЕРЖКА, ПРОПУСКНАЯ СПОСОБНОСТЬ И ЭНЕРГОЭФФЕКТИВНОСТЬ. Муҳандислик ва Иқтисодиёт, 4(6). https://muhandislik-iqtisodiyot.uz/index.php/journal/article/view/3446
GOST (OAK)Исмайылов , Эльвиз БЕНЧМАРКИНГ ВЫВОДА БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ НА HPC-КЛАСТЕРАХ: ЗАДЕРЖКА, ПРОПУСКНАЯ СПОСОБНОСТЬ И ЭНЕРГОЭФФЕКТИВНОСТЬ // Муҳандислик ва Иқтисодиёт. – 2026. – T. 4, № 6.
MLAИсмайылов , Эльвиз. “БЕНЧМАРКИНГ ВЫВОДА БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ НА HPC-КЛАСТЕРАХ: ЗАДЕРЖКА, ПРОПУСКНАЯ СПОСОБНОСТЬ И ЭНЕРГОЭФФЕКТИВНОСТЬ.” Муҳандислик ва Иқтисодиёт, 4(6), 2026. https://muhandislik-iqtisodiyot.uz/index.php/journal/article/view/3446
ChicagoИсмайылов , Эльвиз. “БЕНЧМАРКИНГ ВЫВОДА БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ НА HPC-КЛАСТЕРАХ: ЗАДЕРЖКА, ПРОПУСКНАЯ СПОСОБНОСТЬ И ЭНЕРГОЭФФЕКТИВНОСТЬ.” Муҳандислик ва Иқтисодиёт, 4(6) (2026). https://muhandislik-iqtisodiyot.uz/index.php/journal/article/view/3446
HarvardИсмайылов , Эльвиз (2026) ‘БЕНЧМАРКИНГ ВЫВОДА БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ НА HPC-КЛАСТЕРАХ: ЗАДЕРЖКА, ПРОПУСКНАЯ СПОСОБНОСТЬ И ЭНЕРГОЭФФЕКТИВНОСТЬ’, Муҳандислик ва Иқтисодиёт, 4(6). https://muhandislik-iqtisodiyot.uz/index.php/journal/article/view/3446
BibTeX
@article{article2026,
  title = {БЕНЧМАРКИНГ ВЫВОДА БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ НА HPC-КЛАСТЕРАХ: ЗАДЕРЖКА, ПРОПУСКНАЯ СПОСОБНОСТЬ И ЭНЕРГОЭФФЕКТИВНОСТЬ},
  author = {Исмайылов , Эльвиз},
  journal = {Муҳандислик ва Иқтисодиёт},
  year = {2026},
  volume = {4},
  number = {6},
  url = {https://muhandislik-iqtisodiyot.uz/index.php/journal/article/view/3446}
}

Boshqa maqola uchun iqtibos tayyorlash

Муҳандислик ва Иқтисодиёт jurnalidan boshqa maqolalar

Муҳандислик ва Иқтисодиёт — barcha maqolalar · 2026-yil arxivi