面壁智能发布基于稀疏-线性 混合架构SALA训练9B模型

作者:

面壁智能公众号2月12日宣布,正式发布稀疏-线性注意力混合架构SALA,以及基于该架构的文本模型MiniCPM-SALA,模型仅有9B参数。