華為發布AI推理創新技術UCM,計劃于9月開源 i黑馬 ? 2天前 掃碼分享 我是創始人李巖:很抱歉!給自己產品做個廣告,點擊進來看看。 8月12日,華為正式發布AI推理創新技術UCM(推理記憶數據管理器)。據了解,作為一款以KV Cache為中心的推理加速套件,UCM融合了多類型緩存加速算法工具,分級管理推理過程中產生的KV Cache記憶數據,可擴大推理上下文窗口,實現高吞吐、低時延的推理體驗,降低每Token推理成本。華為計劃于9月正式開源UCM,屆時將在魔擎社區首發。 文章評價 匿名用戶 發布 發布 隨意打賞