SGLang 的智能体辅助开发初探
SGLang 团队总结了智能体在高性能推理框架开发中的初步实践:将 CUDA 调试、性能分析、扩散模型接入、基准测试、生产事故复盘等流程沉淀为可执行的 SKILL.md、脚本和评审闭环,让 Agent 不再只写代码,而是按工程协议持续收集证
SGLang 团队总结了智能体在高性能推理框架开发中的初步实践:将 CUDA 调试、性能分析、扩散模型接入、基准测试、生产事故复盘等流程沉淀为可执行的 SKILL.md、脚本和评审闭环,让 Agent 不再只写代码,而是按工程协议持续收集证
Intel与SGLang团队合作,通过Dynamo和SGLang实现了异构Encode-Prefill-Decode(EPD)解耦方案,用于视觉语言模型(VLM)服务优化。方案将视觉编码任务卸载至CPU(尤其是头节点CPU),利用Intel
SGLang 团队宣布,DeepSeek-V4 在发布当日即提供全面的推理与强化学习支持。SGLang 和 Miles 组成首个开源技术栈,专为其混合稀疏注意力架构及多样化连接优化而设计。此次发布包括了影子基数前缀缓存、推测解码加速及 Hi
MLCommons 近日发布 MLPerf Client v1.6,这是评估个人电脑 AI 性能的最新基准测试套件。该版本针对笔记本电脑、台式机和工作站等设备,模拟真实生成式 AI 任务,如文本摘要、内容创作和代码分析,提供响应速度和吞吐量