原创 Perplexity开源Unigram分词器:CPU利用率降5-6倍,小模型推理效率显著提升 Perplexity近日开源重构后的Unigram分词器,可将CPU利用率降低5-6倍,有效提升小模型推理效率。该项目在GitHub发布后引发技术圈关注,反映了开源AI工具的持续发展趋势,有助于降低AI部署门槛并推动行业技术共享。 Perplexity tokenizer 开源 6小时前 36