騰訊云GooseFS團隊與廈門大學合作成果 AC
近日,騰訊云在存儲領域的論文入選并行編程領域頂級會議PPOPP 2025。通過設計面向小型對象的、感知訪問關聯性的內存緩存系統AC-Cache,成功解決小型對象存儲場景中的負載不均衡問題,實測顯示,該系統可降低80.2%尾部延遲并提升5倍以上訪問吞吐量。
據悉,作為并行編程領域的國際頂級學術會議,PPoPP(Principles and Practice of ParallelProgramming)致力于推動理論基礎、技術、語言、編譯器、運行時系統、工具和實踐等并發和并行系統領域的突破性研究,該會議持續聚焦兩大前沿議題:優化并行編程生產力,強化異構硬件協同,同時解決超大規模科學計算與企業級負載衍生的新型并行工作負載挑戰。
當前高速網絡技術持續升級,導致網絡帶寬與存儲帶寬性能代差不斷擴大,存儲訪問已成為核心性能瓶頸。在此背景下,騰訊云聯合廈門大學提出了AC-Cache,一個基于訪問關聯性構建的面向小型對象的內存高效緩存系統。
目前,AC-Cache 前沿技術已在在Github - nankeys/ACCache: ACCache PPoPP25 上開源,并在騰訊云 GooseFS 產品中得以應用。
騰訊云數據加速器GooseFS(Data Lake Accelerator Goose File System)是搭建在對象存儲COS之上的分布式緩存系統,它能夠為上層計算應用提供統一的命名空間和訪問協議,方便用戶在不同的存儲系統管理和流轉數據。
GooseFS具備性能強勁、穩定易用、生態親和的三大核心特點。具體而言,它能夠基于分布式緩存架構,為用戶提供近計算端的高性能數據訪問能力,吞吐能力可達Tbps,延時達到亞毫秒級;此外,它還提供了全托管、Master托管、管控面托管三種部署方式供用戶選擇,集成云原生Prometheus監控體系,還能實時監測系統健康,簡化運維流程,提升系統穩定性;更值得一提的是,GooseFS 深度集成了云原生與大數據技術棧,為企業提供開箱即用的數據加速能力,它支持TKECSI,通過CSI播件實現存儲卷秒級自動擴縮容,能夠滿足突發業務負載需求,還支持 EMR集群掛載,并兼容Hadoop/Spark/Hive等組件零改造接入,更深度適配主流AI訓練框架,支持與TensorFlow等AI計算框架無縫對接。
隨著GooseFS 2025年的技術更新,其單鏈接性能更是達到了Gbps級別,最大化提升了硬件資源的利用效率;此外,還通過元數據分級管理技術,做到支持百萬級元數據QPS,能夠在高并發、大規模數據訪問場景下依然保持高效的元數據訪問性能;并進一步實現了元數據的一致性,確保COS與GooseFS之間的元數據能夠實時同步,做到無感緩存加速。
如今,傳統的對象存儲已經難以滿足 科技 等行業對帶寬、延遲和 QPS 等高性能計算要求,GooseFS能夠加速海量數據分析、機器學習、人工智能等業務訪問存儲的性能,目前已成功應用在海量數據分析、AIGC、 汽車 輔助駕駛、具身智能等業務場景中。
在部署了GooseFS后,某 手機 廠商Deepseek模型分發單鏈接速度達到了300 MBps,整體下載帶寬達到200Gbps,較未部署前帶寬提升了10倍,并在GPU節點提升1.5倍的情況下,分發時間縮短至原有的三分之一,大幅提升了分發效率;在汽車輔助駕駛方面,某汽車廠商通過部署GooseFS,并將其作為統一數據中臺,配合Airflow 調度算法,進行數據預熱,加速訓練預處理和自動駕駛訓練業務,解決了數據孤島問題,并進一步降低了本地盤成本,實現90%以上的數據命中率在Cache,整體訓練速度提高了30%。
隨著GooseFS在更多行業中得以應用,AC-Cache研究成果將助力更多企業突破存儲訪問的性能瓶頸,邁向發展快車道。