快科技3月17日消息，据报道，在特斯拉CEO埃隆马斯克公开点赞中国AI公司Kimi的最新研究成果后，Kimi官方账号今日以幽默口吻回应:你的火箭造得也不错!”
近日，Kimi团队发布技术报告，提出全新Attention Residuals（注意力残差）机制，对深度学习领域沿用近十年的传统残差连接实现颠覆性重构，迅速获得全球关注。
传统残差连接以固定等权累加”传递信息，层数增加易导致浅层信息稀释、训练效率低、稳定性差。
而Kimi的创新相当于给AI装了智能筛选器”，将Transformer注意力机制迁移到模型深度维度，让每一层动态筛选此前有用信息、压低冗余，提升传递效率。
为避免内存过载，团队设计块注意力残差”策略，模型分块后，块内保留传统累加保证稳定，块间采用动态加权，推理延迟仅增加不到2%，实现性能与效率平衡。
实测显示，48B参数模型训练效率提升1.25倍，科学推理、数学题作答成绩分别提升7.5%、3.6%，有效解决传统模型训练失衡问题。
以挑剔著称的马斯克转发研究并评论Kimi的作品令人印象深刻”，其旗下xAI正处重组期，此次认可足见技术分量。
此外，被誉为推理模型之父”的前OpenAI研究副总裁Jerry Tworek也发文表示:深度学习2.0来了”