只做第一步也可以
读取含日期、币种和空值的 mixed_formats.csv
保留真实输出或卡点，带到课堂；不要求一次完成全部。W08 · STORAGE ENGINES
数据格式工程File Formats
文件格式不是文件后缀选择，而是 schema、压缩、分区和查询计划共同构成的数据工程决策。
0 / 0 已完成
01
知识范围 · 交互图谱
Know the map before details学完后大致能做到
能用自己的话解释「Schema-on-read」与「Schema-on-write」
把杂格式数据转成分区 Parquet，量化压缩比与查询提速
保留可运行文件、真实输出和至少一则排错证据
能在课堂共享屏幕展示进度，并回答一部分底层问题
02
零基础起步
Start small · bring real progress不要等到「全部学会」才开始
先完成最小动作。哪怕没有成功复现，也请保留报错、截图和尝试过程；课堂可以展示卡点、旁听提问，并继续获得积分。
做出核心结果
把杂格式数据转成分区 Parquet，量化压缩比与查询提速
成功复现可获得「复现 +1」，并具备展示资格。想多做再继续
尝试 ZSTD 与 Snappy 压缩
有拓展 +1，多拓展 +2；不影响零基础起步。完整复现步骤
读取含日期、币种和空值的 mixed_formats.csv
显式定义 schema 并拒绝非法行
写出按 year/month 分区的 Parquet
比较文件大小与同题查询耗时
用 EXPLAIN 验证分区裁剪和谓词下推
DuckDB SQL · 分区 Parquet
COPY (
SELECT *, year(tx_date) AS year, month(tx_date) AS month
FROM read_csv('data/mixed_formats.csv', dateformat='%Y-%m-%d')
WHERE amount IS NOT NULL
) TO 'output/partitioned' (
FORMAT PARQUET, PARTITION_BY (year, month), COMPRESSION ZSTD
);
EXPLAIN SELECT category, sum(amount)
FROM read_parquet('output/partitioned/**/*.parquet')
WHERE year = 2026 AND month = 9 GROUP BY category;展示时可拿出的证据
- 输入输出目录树
- schema 与质量检查
- 压缩比和查询计划
本机自查清单
03
让 AI 一步一步带你做
Copy this starter prompt循环方式
- 告诉 AI：我是零基础、使用什么系统、当前做到哪一步
- 一次只要一个步骤，先看预期结果再执行
- 把真实输出或报错贴回 AI，不要只说「不行」
- 把验证过的步骤整理回飞书实验报告
- 重复：问 → 做 → 报错 → 修正 → 再做
给 AI 的起步提示词
我是金融科技本科生，计算机零基础。我正在学习《金融数据库（双语）》W08，本周目标是：实验 06 · 数据格式工程。 请把我当作第一次接触这些工具的人，并遵守： 1. 一次只给一个步骤，不要一次倾倒完整答案。 2. 每一步先解释目的，再给可复制的命令、SQL 或代码。 3. 告诉我正常情况下应该看到什么，以及最常见的一个错误。 4. 如果不知道我的系统、目录、软件版本或数据位置，先问我。 5. 等我贴回真实输出或完整报错后，再判断下一步。 6. 不要让我上传账号密码、API Key 或真实个人信息。 现在只带我完成第一步：读取含日期、币种和空值的 mixed_formats.csv
04
问题驱动
这些问题不是课前考试。遇到不懂就问 AI；最后只需能结合自己的操作，说清其中一部分。
Parquet 凭什么比 CSV 又小又快？
分区太细为什么会产生小文件问题？
谓词下推在哪里发生？
schema 演化会怎样影响旧文件？
05
只交一份实验报告
The learning process is the deliverable建议结构
- 本周目标：我想完成什么，以及最后做到哪一步
- 环境：操作系统、软件版本、安装方式与必要依赖
- 操作步骤：按真实执行顺序写出可复制的命令或代码
- 结果：关键输出、截图及我如何判断它是否正确
- 踩坑与克服：现象 → 可能原因 → 实际排查 → 解决办法
- 结论：本周学会了什么，仍有什么没有解决
- 诚实标注：哪些来自 AI 建议，哪些已由本人亲自验证
本周常见坑
- 按高基数字段分区
- 分区列类型不一致
- 只比较文件大小不验证查询
不另交 AI 使用记录
只需在实验报告中诚实标注：哪些步骤来自 AI 建议，哪些已经本人验证，哪些仍未验证。学习过程写好，报告就自然产生。
06
课堂时间全部用于验收
No new lecture · public verification两次考勤
上课提前 5 分钟点名，下课前 5 分钟再次点名。
自愿共享屏幕
用本人笔记本打开实验报告，展示真实操作、结果或卡点。
现场复现与双分
作者现场运行；同学也可仅凭该文档复现，作者与复现者都加分。
随机拷问与好问题
教师判断掌握程度；旁听同学可提出被采纳的好问题。
本周可能被问
- schema-on-read 与 schema-on-write 的权衡？
- 分区与索引有什么不同？
- 谓词下推如何减少工作？
- 为什么小文件很多会变慢？
07
本周课堂积分
Same rules every week考勤
上课提前 5 分钟点名，下课前 5 分钟再点名
出勤 +3迟到 +2早退 +2请假 +1旷课 +0
复现
使用 AI 自学，按照教学大纲完成了每周实验任务
成功复现 +1未能复现 +0
拓展
按照教学大纲完成一项或多项拓展任务
多拓展 +2有拓展 +1无拓展 +0
展示
主动共享屏幕展示复现过程，接受核验与拷问
课堂自愿共享屏幕展示 +3无课堂展示 +0
首讲
每节课堂最先自愿开讲的前 3 人
前 3 人 +1
提问
认真旁听并提出被采纳的好问题
被采纳 +0.5
拷问
面对面随机拷问 · 反空心化闸门
空心代工 −1一知半解 +1融会贯通 +2
双分
仅凭文档课堂现场复现
作者与复现者 都 +1
精选
本周最佳文档
知识库 + 席位 + 署名 + 积分 +3
做一点，也算一点
没有完成全部实验，也可以凭考勤、展示卡点、认真提问和真实回答获得积分；做得越扎实，展示、拓展、拷问、双分和精选带来的激励越多。飞书应用展示过去 30 天积分榜与总积分榜。
08
自由拓展与参考资源
拓展挑战
- 尝试 ZSTD 与 Snappy 压缩
- 制造一次 schema 演化并兼容读取
- 设计适合本项目的分区策略