标签： 混合专家架构

快科技4月23日消息，腾讯正式发布并开源混元Hy3 preview大语言模型，该模型为混元基础设施重建后的首个成果，采用快慢思考融合的混合专家架构，总参数295B，激活参数21B，最大支持256K上下 … Continue reading 腾讯最强！混元Hy3 preview发布并开源：底层推倒重建