单张工作站GPU跑通753B参数模型：FreeToken打破本地推理的参数上限
加州大学伯克利分校与得克萨斯大学奥斯汀分校团队于2026年8月17日发布FreeToken，这套边缘原生MoE推理引擎通过带宽自适应调度，将本地可运行的参数上限从数十亿推至7530亿：8GB笔记本GPU运行35B模型、游戏台式机运行284B
加州大学伯克利分校与得克萨斯大学奥斯汀分校团队于2026年8月17日发布FreeToken，这套边缘原生MoE推理引擎通过带宽自适应调度，将本地可运行的参数上限从数十亿推至7530亿：8GB笔记本GPU运行35B模型、游戏台式机运行284B
受Kimi K2团队启发，SGLang RL团队成功实现INT4 Quantization-Aware Training (QAT)全流程。通过训练阶段的fake quantization和推理阶段的真实W4A16量化，实现了与BF16全精