Tokenization 相关资讯

谷歌AI连自家名字都拼错，这尴尬了谁？

谷歌旗下AI模型在生成文本时频繁出现拼写错误，甚至连公司名“Google”都无法正确拼写。本文深入剖析了这种现象背后的技术原因——基于token的分词机制与概率生成逻辑的固有缺陷，同时对比了OpenAI等竞争对手的处理方式，并指出这不仅是“