HiSparse 相关资讯

HiSparse：层次化内存系统加速稀疏注意力

HiSparse通过层次化内存系统解决稀疏注意力的内存瓶颈问题，显著提高了模型的并发吞吐量。其设计利用GPU和主机内存协同工作，能够在高并发情况下实现接近线性的吞吐量扩展。