tokenizer 相关资讯

Perplexity开源Unigram分词器：CPU利用率降5-6倍，小模型推理效率显著提升

Perplexity近日开源重构后的Unigram分词器，可将CPU利用率降低5-6倍，有效提升小模型推理效率。该项目在GitHub发布后引发技术圈关注，反映了开源AI工具的持续发展趋势，有助于降低AI部署门槛并推动行业技术共享。