EXI FILE SYSTEM

一个从零写起的
文件系统

电脑要存东西,硬盘得先有一套「怎么放、怎么找、怎么不丢」的规矩。
ExiFS 就是这套规矩——每一字节在磁盘上的位置,都是自己定的,不是调 API 调出来的。

XHCGROUP — NO BOUNDS OF IMAGINATIONS
V1.1 开源 · 53 项测试全部通过
1024B
每个文件记录的大小
4级
B+ 树目录,约 55 万文件
53项
自动化测试,全部通过
524MB/s
1MB 顺序读(Python 参考版)
先说人话

文件系统到底在干嘛

不聊 inode、不聊簇、不聊 superblock。就三件事,你家里的抽屉柜其实全干了。

01

给每个文件发一张身份证

文件存进去,得记住它叫什么、多大、放在磁盘第几块。ExiFS 的做法是建一张总表,每个文件一条记录,固定 1024 字节,像户口本一样排好。

02

让「找文件」变快

文件一多,一条条翻就废了。ExiFS 用 B+ 树给目录排序,四层结构能装下约 55 万个文件,找一个文件只需跳几次,不用扫全盘。

03

断电了也别乱

写一半断电,是最容易把盘写坏的时刻。ExiFS 给每 512 字节扇区加校验位,掉电时能认出「这块没写完整」,而不是当成好数据用。

抽屉柜的比喻

总表(MFT)是柜子上的标签本:第 3 号抽屉放着什么、占几格,全写在上面。
B+ 树是标签本里的目录页:按名字排好序,翻两页就定位到抽屉。
位图是柜子的占用图:哪格空了、哪格占了,一位一个格子。
校验位是封条:抽屉没关严,一眼就看出来。

#0003/docs/spec.pdf18 簇
#0004/docs/perf.md2 簇
#0005/src/main.c1 簇
#0006/README.md1 簇
内部结构

它不是「能存文件」那么简单

下面每一条都能在仓库的 SPEC.md 里对上号——不是 PPT 上的名词,是磁盘上一个字节一个字节排出来的结构。

MFT 主文件表

全盘所有文件的元数据集中存放,每条 1024B。预留 1024 条记录区,不够用时 64→128→512→1024 就地翻倍,不搬家。

属性化存储

文件名字、数据、时间戳都是「属性」。小文件直接塞进记录里(常驻),大文件用 run list 指向磁盘段(非常驻),还支持稀疏段。

多级 B+ 树目录

INDEX_ROOT 加 INDEX_ALLOCATION,中点分裂、指针冒泡。目录再大也不会退化成线性扫描。

Extent 合并

分配空间时把连续簇合成一段(run)。文件越大,元数据增长得反而越慢——不是每个簇都记一条。

Fixup 防撕裂

每个 512B 扇区尾部放一个更新序号。写到一半掉电,恢复时能识别出没写完的扇区并拒绝采信。

CRC64 全盘校验

卷头(VBR)用 ECMA-182 多项式算校验和。盘是不是被改过、拷坏没,一句话就能验。

系统元数据文件

$MFT / $Bitmap / $LogFile / $Boot / $Secure 等十来个,跟用户文件一样按名字管理——元数据即数据。

FUSE 只读挂载

Linux 上挂成普通目录,用 ls、cat 就能看盘里的东西,不需要专用工具。

双实现,同一格式

C 写的 mkfs、fsck 和 Python 写的参考实现逐字节一致:一边格式化,另一边能直接读。

不打模糊牌

和 NTFS 比,差在哪、强在哪

设计思路对标 NTFS,但没有一行微软代码、没有抄一份规范。该承认的地方直接写在表里。

维度NTFSExiFS
出身闭源商业产品,规范不公开开源自研,磁盘格式规范全文公开
元数据MFT + 13 种以上内置属性MFT + 同构子集,无 EFS 加密、无内置压缩
目录B+ 树索引多级 B+ 树,四层约 55 万条目
大小写Win32 下不敏感可配置,支持 POSIX 敏感语义
崩溃恢复完整日志重放v1.1 预留 $LogFile,重放逻辑在 v1.2
定位通用生产环境学习研究 + 可嵌入的轻量自研格式
版本履历

写完了才发,不达标就扣着

版本号从 1.0 开始编。1.0 写完了,但毛病太多,没发——不是没有,是不配挂出来。1.1 是第一个敢公开的版本。

v1.0未发布

写完,但自己看不过去

功能能跑,问题一堆。按「能交付才算版本」的标准,这一版扣在手里没往外发。

v1.1已开源

第一个公开版本

多级 B+ 树目录、MFT 就地扩展、extent 合并、大目录性能测试全部落地。38 项端到端断言 + 15 项 B+ 树测试,全过。C 与 Python 双实现共享同一磁盘格式。

v1.2开发中

把「断电安全」补齐

$LogFile 组提交与重放、页缓存与延迟分配、CRC32C 校验、无锁读路径。写完、测过、再发。

v2.0实验中

从「格式」长成「系统」

配合自研内核 ExiOS:内核态文件系统驱动,最终做到从 ExiFS 分区直接启动。这是下一阶段,不是画饼——架构设计文档已经在仓库里。

三分钟上手

不用装环境,Python 就能跑

Windows 上直接丢进 Python 3 就能用,不用编译、不用驱动。想跑 C 工具再 make 一下。

终端 — 造一块 64MB 的盘,写个文件,再读出来
# 1. 格式化一块 64MB 的盘
python tools/exifs_ref.py mkfs -o disk.exifs -s 64M -c 4096 -l ExiFS

# 2. 看看里面有什么
python tools/exifs_ref.py info disk.exifs
python tools/exifs_ref.py ls   disk.exifs /

# 3. 建目录、写文件
python tools/exifs_ref.py mkdir disk.exifs /dir
echo "hello ExiFS" | python tools/exifs_ref.py write disk.exifs /dir/a.txt -

# 4. 读回来,验一遍
python tools/exifs_ref.py cat  disk.exifs /dir/a.txt
python tools/exifs_ref.py fsck disk.exifs -p

# 5. 跑测试(38 + 15 项)
python tests/test_roundtrip.py
python tests/test_btree.py

盘是你自己的,规矩也该是

ExiFS 以 AGPLv3 开源:磁盘格式规范、C 实现、Python 参考实现、测试用例,全部可读、可跑、可改。