AI 训练新利器:EROFS 文件系统支持 48 位寻址,突

2025-03-24 11:09:19

  科技媒体 phoronix 昨日发布博文,报道称随着 Linux 6.15 内核周期的临近,开源的只读文件系统 EROFS 将迎来重大升级,当前 EROFS 的 32 位块寻址限制了文件系统,最大容量为 16TiB。新增的 48 位寻址支持将大幅扩展文件系统的容量,让其更适合处理 AI 训练中的大规模数据集和对象存储客户端的需求。

  本次更新扩展核心磁盘结构,并引入 32 字节紧凑 inode 的 mtime 字段以支持基本时间戳功能。

  本次更新还优化了压缩性能。为提升 Zstd 压缩算法的效率,新版引入了字节导向的编码扩展,允许压缩器保留其当前方法。测试显示,使用 48 位寻址后,Zstd 镜像构建时间显著缩短,在 Intel Xeon Platinum 8163 CPU 上,构建时间从 3 分 52 秒缩短至 12 秒。

  注:EROFS是一种轻量级的只读文件系统,最初由华为开发,现由全球开源社区维护。它专为各种只读使用场景设计,不仅仅是为了节省存储空间,更是提供高性能的解决方案。

下一篇:Linux 6.15 将更新媒体子系统:高通 Iris 驱动首次亮
上一篇:特斯拉餐厅接近完工,有望成美国洛杉矶新地标
返回顶部小火箭