Один H200 с 141GB примерно обслуживает модель на 70B параметров в FP16. Сервер на 8 GPU с суммарной памятью около 1.1TB поддерживает многокарточный инференс моделей класса 400B или обучение среднего масштаба. При квантовании FP8/FP4, тензорном параллелизме и длинном контексте фактический размер модели меняется и рассчитывается по структуре модели.