华为UCM推理记忆管理技术正式开源

财联社11月5日电，近日，华为针对AI推理加速的关键技术——UCM（Unified Cache Manager）推理记忆数据管理正式宣布开源。UCM以KV Cache多级缓存和推理记忆管理为中心，通过推理框架、算力、存储的三层协同，破解长序列推理效率低、成本高的难题，为企业提供更优的AI推理体验。