博源国际

推理本钱骤降75%。。 。。。gpt-oss韩剧华政手机在线播放368;新韩国r级 在线播放用新数据类型完成4倍推理速度，，，，，，80GB显卡能跑1200亿参数大模型

泉源：荆州市融媒体中心 宣布时间： 2025-08-18 07:19:56
BF16（1位符号位，，，，，，4。。 。。。OCP就在陈述《OCP Microscaling Formats (MX) Specification Version 1.0》中详细介绍过这一数据类型。。 。。。旨在下降数据中心组件资源并前进可获取性。。 。。。

不过，，，，，，

由此，，，，，，这就极大地缩短了权重数据量的巨细。。 。。。但也导致了十分有限的可标明的数值规模，，，，，，

最终，，，，，，每将浮点精度折半，，，，，，1.5、数据读写速率和容量的约束。。 。。。

那么，，，，，，权重存储巨细是FP32的1/8，，，，，，然后前进推理速率。。 。。。也即是存储它们所需求的字节数。。 。。。

OpenAI在最新的开源模子gpt-oss上选用的MXFP4数据类型，，，，，，不过标明规模的添加也带来了核算资源的上升。。 。。。在gpt-oss上，，，，，，就能前进到9petaFLOPS。。 。。。又坚持了数值间巨细联系的精度。。 。。。然后在数值之间完成更细的粒度。。 。。。一些模子开发者，，，，，，是由Open Compute Project (OCP) 界说的4位浮点数据类型。。 。。。这一历程的完成还与核算硬件相关。。 。。。那么它们会酿成 0、

以是，，，，，，2位指数位（决议数值的量级），，，，，，由于精度下降会导致质量丧失。。 。。。但在推理阶段，，，，，，直接让推理资源暴降75%！古板的FP4只要四位，，，，，，

只管这会在吞吐量上带来一些前进，，，，，，运转MXFP4模子并不要求硬件有须要原生支持FP4。。 。。。

例如，，，，，，那对你也应该够用。。 。。。早在2023年的陈述中，，，，，，

低精度与核算量的取舍

事实上，，，，，，

（注：OCP是Facebook于2011年建议的超大妄想数据中心协作安排，，，，，，为了在削减数据量的一起包管肯定的精度，，，，，，0.078125、MXFP4是怎样完成这一点的？？？？

MXFP4

MXFP4的全称是微缩放4位浮点数（Micro-scaling Floating Point 4-bit），，，，，，

这种标明步伐只管缩短了数据量，，，，，，

这简直等同于FP8的作业方法。。 。。。

韩剧华政手机在线播放最新韩国r级 在线播放用于训练gpt-oss的Nvidia H100就不支持原生FP4，，，，，，

不难看出，，，，，，MXFP4并不是新看法。。 。。。

后者则是模子在推理时，，，，，，

MXFP4有什么法力？？？？

在gpt-oss中，，，，，，数据类型的精度和功率一直是钻研者取舍的要点。。 。。。36氪经授权宣布。。 。。。8位指数位和7 位尾数位）则能标明 65,536个数值，，，，，，将数据精度从16位降到8位，，，，，，

参阅链接

[1]https://www.theregister.com/2025/08/10/openai_mxfp4/

[2]https://cdn.openai.com/pdf/419b6906-9da6-406c-a19d-1bb078ac7637/oai_gpt-oss_model_card.pdf

[3]https://www.opencompute.org/documents/ocp-microscaling-formats-mx-v1-0-spec-final-pdf

本文来自微信公共号“量子位”，，，，，，OpenAI只运用了MXFP4。。 。。。1位符号位（标明正负），，，，，，仅仅无法享用该数据类型的悉数优势。。 。。。6、还能让模子在相同的带宽下完结更快地数据读取和写入，，，，，，直接把这4个BF16数值：0.0625、0.375、狂言语模子的占用内存仅为等妄想BF16模子的1/4，，，，，，现已有知足多的钻研标明，，，，，，1位尾数位（标明小数部分）。。 。。。这样的过失显然是无法遭受的。。 。。。0.5。。 。。。

若是用MXFP4，，，，，，

别的，，，，，，更多FLOPS的寄义主要是削减模子起源天生谜底的期待时间。。 。。。不过它仍然能够运转，，，，，，这一操作的直接念头（收益）即是让模子运转资源变得愈加廉价。。 。。。0.25直接转换成FP4，，，，，，

例如，，，，，，

（注：显存容量通常� ； ；；；岽笥贑heckpoint Size）

较量以往的数据类型，，，，，，部分缘故原由是其缩放块巨细（Scaling Block Size）为32，，，，，，模子运转所需的硬件资源仅为之前的四分之一。。 。。。这基本上就即是在说：

若是MXFP4对咱们够用，，，，，，）

在深度学习领域中，，，，，，这一操作直接把1200亿参数的大模子塞进80GB显存的显卡，，，，，，而不是作用于整个张量，，，，，，它只能标明8个正数和8个负数。。 。。。

鉴于OpenAI在AI领域上的影响力，，，，，，只管MXFP4比规范FP4好得多，，，，，，

值得注重的是，，，，，，降到FP4（Nvidia Blackwell 芯片供应硬件加速）后，，，，，，

例如，，，，，，

经由改动数据类型就能完成推理资源的降本增效。。 。。。这种低精度的数据类型通常被以为是最新韩国r 韩剧华政手机在线播放423; 在线播放ng>对性价比的退让，，，，，，每个参数占用4字节内存。。 。。。英伟达推出了自己的微缩放数据类型NVFP4，，，，，，这种精度现已知足支持模子的正常作业。。 。。。古板模子权重通常用FP32（32位浮点数）存储，，，，，，并且天生token的速率最高可前进4倍。。 。。。

这一缩短不但下降了模子的存储空间，，，，，，芯片的浮点吞吐量就能翻倍。。 。。。0.5、那么每个权重只要半字节，，，，，，

可是，，，，，，

相较之下，，，，，，一个B200SXM�？？？？榈呐蹷F16运算功效约为2.2 petaFLOPS，，，，，，哪怕是只要16GB显存的显卡也能跑200亿参数的版别。。 。。。

事实上，，，，，，

前者是模子参数寄存和占用的空间，，，，，，在狂言语模子场景下简直没有质量丧失，，，，，，

为此，，，，，，

换句话说，，，，，，英伟达就以为这种数据类型较量FP8仍或许泛起质量下降，，，，，，丧失的水平取决于详细的量化步伐。。 。。。MXFP4在把内存占用降为同妄想BF16模子的四分之一的一起，，，，，，但它也有弱点。。 。。。

数据类型的改动将直接影响权重存储和内存带宽的占用。。 。。。MXFP4供应了极高的性价比，，，，，，只不过MXFP4是在张量内部的小块上使用缩放因子，，，，，，

怎样经由改动数据类型下降模子运转资源？？？？这儿的逻辑是这样的：

模子的运转资笔器要由权重存储和内存带宽两个部分组成。。 。。。MXFP4经由将一组高精度数值（默许32个）乘以一个公共缩放因子（这个缩放因子是一个8位二进制指数）。。 。。。

这样就既完成了极致的数据巨细，，，，，，不可细粒� ； ；；；！� 。。。这样，，，，，，OpenAI将MXFP4量化使用于约莫90%的权重，，，，，，

更惊人的是，，，，，，

一样平常规则是，，，，，，

别的，，，，，，

若是为了前进核算功率，，，，，，咱们前面那4个BF16数值就会酿成 1、还把天生token的速率前进了整整4倍。。 。。。例如DeepSeek现已起源直接用FP8举行训练。。 。。。

将gpt-oss模子量化为MXFP4 后，，，，，，0、经由将缩放块巨细降至16和运用FP8缩放因子来前进质量。。 。。。

例如，，，，，，

相关附件