12月3日消息,NAS2024大会公布了今年会议论文的收录情况。腾讯云存储就加速对象存储访问提出技术方案的论文《GooseFS:分布式缓存服务以提高云对象存储性能》入选。
NAS(网络、架构和存储)大会 由 IEEE TCDP 和 IEEE 计算机学会共同赞助,是基础技术领域最顶级的行业大会之一。会议为网络、架构、存储等基础技术领域提供大量高质量的研究论文和研究成果,具有重要的学术价值和行业引导意义。今年的NAS大会(NAS2024) 于11 月 29 日至 12 月 1 日在广州举行。
对象存储由于具备高水平扩展性和低成本等特征,目前已经成了用户首选的海量数据存储解决方案。但随着大数据分析、AIGC等涉及海量数据计算的场景快速发展,对象存储由于其数据组织和实现方式限制,以及其存储介质时延和吞吐性能的制约,在应对这类工作负载时,面临着严重的性能挑战。
在论文中,腾讯云提出基于对象存储搭建分布式高性能文件系统GooseFS,引入三个关键设计,来实现在存算分离架构下对对象存储的加速访问,从而解决上述问题。
具体而言,在计算端,GooseFS将离计算资源更近的本地盘作为缓存介质存放部分对象存储数据,实现计算对数据的就近访问,降低延迟,同时通过多级粒度缓存管理和短路读机制降低了随机小IO下的数据访问时延。
在存储端,GooseFS构建了高性能SSD缓存池,为计算节点提供存储端的缓存支持,以提高面对顺序IO时的吞吐率,解决了对象存储介质性能不足的问题。
同时,GooseFS自研了一套高性能元数据引擎,通过元数据分级管理、强一致性缓存和平行扩展等技术手段来提升元数据读写性能,并将元数据持久化到底层的企业级数据库中,以此大幅提升了元数据处理的效率。
实验结果表明,相比原生对象存储,GooseFS的吞吐量提升了8~10倍,同时降低了90%的存储带宽消耗,满足了多种工作负载对高性能要求。
目前,GooseFS 已经服务了蔚来、博世、百川、高途、燃数、酷狗等一大批客户。
匿名用户
