搜索
AI 训练新利器：EROFS 文件系统支持 48 位寻址，突破 16TiB 容量限制
5 天前
/ 阅读约2分钟
来源：IT之家
EROFS的此次升级不仅解决了32位寻址的容量限制，还通过优化压缩算法和扩展功能，显著提升了其在AI模型训练和大规模数据存储中的适用性。这些改进将使EROFS成为处理海量数据的更高效工具，为开发者和企业提供更强的技术支持。
IT之家 3 月 24 日消息，科技媒体 phoronix 昨日（3 月 23 日）发布博文，报道称随着 Linux 6.15 内核周期的临近，开源的只读文件系统 EROFS 将迎来重大升级，新增 48 位寻址支持，以应对 AI 模型训练所需的海量数据处理需求。
当前 EROFS 的 32 位块寻址限制了文件系统，最大容量为 16TiB（使用 4KiB 块）。新增的 48 位寻址支持将大幅扩展文件系统的容量，让其更适合处理 AI 训练中的大规模数据集和对象存储客户端的需求。
本次更新扩展核心磁盘结构（如 inode、设备槽和 inode 块），并引入 32 字节紧凑 inode 的 mtime 字段以支持基本时间戳功能。
本次更新还优化了压缩性能。为提升 Zstd 压缩算法的效率，新版引入了字节导向的编码扩展，允许压缩器保留其当前方法。测试显示，使用 48 位寻址后，Zstd 镜像构建时间显著缩短，在 Intel Xeon Platinum 8163 CPU 上，构建时间从 3 分 52 秒缩短至 12 秒。
IT之家注：EROFS（Enhanced Read-Only File System，增强型只读文件系统）是一种轻量级的只读文件系统，最初由华为开发，现由全球开源社区维护。它专为各种只读使用场景设计，不仅仅是为了节省存储空间，更是提供高性能的解决方案。
