Поддерживает ли B300 FP4 и как это влияет на стоимость инференса?
B300 нативно поддерживает NVFP4 с плотной производительностью около 15 PFLOPS — важное улучшение относительно предыдущего поколения. Использование квантования FP4 в инференсе при допустимой точности повышает пропускную способность на карту и уменьшает требуемое число GPU, снижая стоимость токена. Квантование даёт потерю точности, поэтому перед продакшеном оцените эффект на своих данных.
