·面壁智能·中文
面壁智能发布MiniCPM-SALA
面壁智能正式发布行业首个大规模训练的稀疏-线性注意力混合架构 SALA(Sparse Attention-Linear Attention,简称SALA),以及基于该架构的文本模型 MiniCPM-SALA,以追求更长文本处理能力与极致的推理性价比。MiniCPM-SALA 不仅在多项长文本理解与生成评测中优势明显,且在知识问答、数学推理、代码生成等核心能力维度上,保持了与同规模全注意力模型相当的卓越水平,实现了“长短兼备”的综合性能表现,以及极致推理性价比。
阅读原文