趋境科技发布AI Token生产服务平台ATaaS

3月27日消息，界面新闻获悉趋境科技正式发布全新一代AI推理平台 ——趋境 ATaaS高效能AI Token生产服务平台。针对大模型应用爆发导致算力投入与Token产出错配、硬件空耗，该平台依托全球首创的异构推理重构、超体量KV Cache等技术，实现CPU与GPU、国产与非国产算力的深度融合及精细调度。据其测算，ATaaS可将万卡级智算集群运营成本压降20%以上，缓存命中率最高达90%，大幅削减GPU算力开销。