8 Commits

Include renames

Author	SHA1	Message	Date
thzxx	2a109ef933	feat(B-1): 统一行校验 choke point —— 消除三份分叉的校验实现（A12/A17） ... 背景（PLAN-v0.7.5.md 根因 1）： 修复前有**三份**行校验实现，覆盖面各不相同： 位置 类型 required PK非空 maxLength min/max 未知列 engine/memory.ts（disk/hybrid 共用） ✓ ✓ ✓ ✗ ✗ 静默丢弃 engine/aria/index.ts → checkFieldType ✓ ✓ ✓ ✓ ✓ 静默丢弃 table/schema.ts ✓ ✓ ✓ ✓ ✓ 静默丢弃 后果一（A12）：同一份 schema、同一条 INSERT 是否报约束错误取决于引擎选择 —— `CREATE TABLE t (name STRING(3))` + 插入 'abcdef' 在 Aria 抛错，在 memory/disk/hybrid 静默写入超长值。 后果二（A17）：四个引擎对未知列一律静默丢弃。`INSERT INTO t (id, nope) VALUES ('1',2)` 报成功，随后 `SELECT nope` 报 COLUMN_NOT_FOUND —— 同一列名在写路径与 读路径得到**相反结论**。TABLE API 直通路径尤其明显（executor 按 schema 列序 构造行，nope 那个位置根本没有值，所以连"校验 stmt.columns"都拦不住）。 根治方式： 1. 新增 src/table/validation.ts —— 唯一校验定义 `compileValidator(schema)`， 约束覆盖面取三者并集，并把**规范化**（default 填充、undefined 跳过、 __proto__ 防污染）与校验放在同一处。 三种载荷形态刻意分成三个显式入口，不合成带 options 的函数： - validateRow(row, knownColumns?) INSERT 语义（default 生效、缺列合法） - validatePartial(row) UPDATE 语义（只校验出现的列） - assertNoUnknownColumns 独立可复用的列名存在性检查 混成一个函数会让"required 是否生效"取决于调用方参数，重新引入跨路径差异。 2. MemoryEngine / AriaEngine 的私有 validateRow 改为委托；schema.ts 的公开 validateRow 同样委托（API 不变，实现只剩一份）。 3. 四个引擎新增 validatePayload(table, rows, mode)（IStorageEngine 契约）， Executor 在**任何副作用之前**调用：多行批量整体判定，错误消息一次列出全部 未知列与已知列清单。 4. executeInsert 显式校验 stmt.columns 全部存在（A17）。 5. UPDATE 的外键级联写入（applyUpdateCascade）从"直接赋值"改为过 validatePartial —— 此前 CASCADE 把新主键写进引用列时绕过 maxLength/min/max， 与 A12 属同一类"校验只在部分写入路径生效"。 连带修正（测试夹具本身不忠实，B-1 使其暴露）： - tests/engine/aria-cache.test.ts 的 makeRows 无条件返回 {id,name,age}， 部分用例的表只有 {id,name} —— 多余列被静默丢弃所以"通过"。新增 rowsFor() 按 schema 裁剪，让夹具忠实反映表结构（而不是放宽校验）。 - tests/v073-fixes.test.ts "schema 外列不持久化" 改为断言写路径即拒绝， 并保留"合法行落盘后不含额外列"的检查。 验证： - 新增 tests/v080-unified-validation.test.ts：8 项 × 4 引擎 + 9 项校验器 单元契约，共 41 断言； - 全量 84 套件 / 1499 测试通过；typecheck(src+tests) 与 lint 零错误。	2026-09-14 23:38:58 +08:00
thzxx	7c7ecb8b1d	test: 补齐 aria-cache 测试的类型标注（getOversizedCount，上一提交遗漏）	2026-09-14 21:53:56 +08:00
thzxx	074afd3f1e	fix(A8 + LSM 读自洽): 行所有权根治 + 读取路径不再依赖 prefetch ... A8 行引用泄漏（调用方改查询结果即改写存储） 实测：rows[0].tag = 'HACKED' 后，tag='HACKED' 与 tag='x' 两条索引查询都返回 0 行 —— 行与索引失配、该行永久查不出来；嵌套 json 值同样按引用共享。 Aria 因走反序列化路径反而幸免，又形成跨引擎差异。 根治：在 IStorageEngine 契约层写入**行所有权约定**（engine/interface.ts） —— 读出的行是副本、写入接收的行也是副本；新增 cloneRow/cloneRows （优先 structuredClone，退化路径处理 Date/嵌套对象/二进制）。 Memory/KVStore/Hybrid：find、findStream、getRow 全部返回副本。 Aria：getAllRows 此前只做 `{ ...value }` 浅拷贝（嵌套 json 仍共享引用）， 改为深拷贝；find/findStream 返回副本。 实测四种引擎：修改返回值后重读不变、索引两条查询均正确。 LSM 读取自洽（审计 P1-1：缓存未命中 = 静默丢数据） 此前 loadSSTableReader 缓存未命中返回 null，而所有调用方都是 const reader = this.loadSSTableReader(meta); if (!reader) continue; 于是**未命中就静默跳过整个 SSTable**。实测：缓存上限 4KB 而 SSTable 更大时， 300 行只能查回 59 行，且不报错。 同时"读路径必须先 prefetch"这个隐式约定，是每次读都要 drainChain + prefetch 的原因（性能悬崖的另一半）。 根治：LSM.get / rangeScan / rangeScanLazy 改为 async，未命中即 `await sstableStore.load()` 回源 + CRC 校验（损坏则自愈清理 meta）， 只有数据确实不存在才返回 null。checkUniqueSync 相应改名 checkUnique 并 async （原命名正是因为依赖 prefetch 约定）。引擎侧 12 处调用点补 await。 附带修正的缓存语义： - tryCacheSSTable：单个 SSTable 超过缓存上限时标记为常驻（pinned）， 不参与驱逐 —— 驱逐它等价于静默丢数据；内存上限因此是 cacheLimit + 单个最大 SSTable，已在代码与测试中明确。 - trimCache 跳过 pinned 条目（此前会把全部缓存一次性清空）。 - 新增 getCacheSize/getCacheLimit/getOversizedCount/setCacheLimit 访问器 （测试此前直接读私有字段 cacheSize/cacheLimitBytes —— 那是 TS 错误， 只因测试不做类型检查才没暴露）。 queryStream async 回调 此前用 constructor.name === 'AsyncFunction' 判定，对"普通函数返回 Promise" 完全失效（Promise 被静默丢弃）。现改为双条件识别并走物化路径逐行 await， async 回调被真正等待。 测试契约修正： - aria-cache：'缓存大小受上限约束' 在极小缓存下是不可成立的契约，改为断言 真正重要的不变量（数据完整；可装入时受上限约束），并新增"超大 SSTable 常驻" 用例；'缓存驱逐后全表扫描仍返回完整数据' 保留 300 行断言（此前会失败）。 - hybrid：磁盘引擎标签断言从 indexeddb（v0.6.0 已移除）改为 opfs。	2026-09-14 21:43:21 +08:00
thzxx	0dba1abf2a	test(P0): v0.8.0 验证基座与工程门禁根治 ... 工作流 C-1 / C-3 前半 + 测试代码类型检查。 【故障注入基座】新增 tests/helpers/storage-harness.ts + faulty-backend.ts - TransactionalFileStore：忠实 OPFS 提交语义（close 才可见）+ 字节级故障注入 （failNextWrite/Append/Delete、truncateAppendTo 撕裂写、crashPending 真崩溃） - 删除旧 opfs-mock：读返回内部引用、keepExistingData:false 不截断、close 空实现 导致"提交前可见"等真实缺陷无法被测出（31 个测试文件迁移至新 harness） - 删除 aria-opfs-backend 内的第三份重复 mock（含从未被断言使用的 writeCalls 死代码 与 entry.content.subarray 恒等分支） - FaultyBackend：包装任意 IStorageBackend 注入故障；crash() 明确区别于 close() （后者是优雅停机，会刷完写队列 —— 这正是此前所有"崩溃恢复"测试的真相） - 16 条基座自测证明注入真的生效（含 close 不能当崩溃的对照组） 【覆盖率口径】jest.config.cjs - 移除 '!src/**/index.ts'（该 glob 把 AriaEngine 主实现等 15 个实现文件整体 排除出统计，与 v0.2.6 曾承认过的问题同源），改为只排除纯类型声明文件并附理由 - 新增 coverageThreshold 门禁（此前完全不存在） - 真实基线：语句 90.66% / 分支 82.94% / 函数 94.36% / 行 93.43% - 修正 testMatch 使 tests/helpers 下的测试可被发现 【测试代码类型检查】tsconfig.test.json + npm run typecheck:tests - 修复 103 个测试代码类型错误（此前 babel 剥离类型 + tsconfig 排除 tests，全部隐藏） - 新增 tests/helpers/assertions.ts：nonNull/decode/rows/object/engineMethod/expectCode 以断言收窄替代 as any - 消除 21 个 lint warning（含 v043-hardening 中定义后从未调用的 mockOPFS 死代码） - parser.test.ts 12 处 toBeDefined() 空断言升级为结构断言（并新增 AND/OR 优先级用例， 当前红灯，对应总账第 11 项，将在工作流 A 修复） 【版本契约】新增 tests/version-contract.test.ts - 校验 src VERSION / package.json / dist 三者一致，替代两处硬编码版本字面量 【CI 门禁】.gitea/workflows/ci.yml - lint 去掉 continue-on-error（此前永远不让 CI 变红） - 新增 tests 类型检查、--coverage 覆盖率门禁、dist 与源码同步校验 - 版本 0.7.4 升至 0.8.0	2026-09-14 21:03:06 +08:00
thzxx	d83910832e	perf(P1): 批量插入性能悬崖 — insert 循环内逐行 prefetchKeys（每行 await drainChain 排空后台链），compaction 在链上数秒时每行阻塞数秒 → kv 后端 10 万行插入 353s；改为批级预加载本批 PK 一次，实测 353s→12.5s（28 倍）/ opfs 25s；新增 kv/opfs 双后端 10 万行回归（性能护栏+索引完整+崩溃恢复），aria-cache 测试同步适配显式 flush	2026-08-10 20:14:57 +08:00
thzxx	24b3ca1079	release: v0.6.0 — 完全移除 IndexedDB，自研 KVStore 事务存储引擎（多key原子写/快照日志恢复/CRC自愈）+ KVStoreEngine + 旧库迁移工具 + 10万级压力验证 + 崩溃注入e2e	2026-08-10 13:56:04 +08:00
thzxx	334067d89e	release: v0.5.1 — 存储后端生产级硬化（CRC-32/全库加密/WAL分片/页面化存储/多标签页锁/e2e）+ 深度审查修复（假实现接线/死代码清理）	2026-08-10 12:07:00 +08:00
thzxx	d544501e1c	release: v0.3.2 — 质量加固 + SQL扩展 + 表达式 + 并发同步 ... v0.2.6 质量加固: - 修复 AriaEngine 二级索引 SSTable 互相覆盖(命名空间隔离) - 修复 LSM 多版本读取顺序错误 + MergeIterator 取最新来源 - 重写 LZ4 压缩器(往返一致性 + 缓冲区溢出) - sstableCache LRU 上限 + 预加载兜底(BufferPool 配置生效) - 修复 React/Vue 集成 import type 运行时 bug + exports 子路径 - 新增 38 个测试(LZ4往返/Crypto/集成), 删除伪测试 v0.3.0 SQL 功能扩展: - 多语句 parseAll + 事务语句 BEGIN/COMMIT/ROLLBACK - INSERT INTO ... SELECT + UNION/UNION ALL + EXISTS 关联子查询 - CREATE/DROP INDEX 五引擎实现 + 别名 WHERE 修复 - benchmark 页面 + 36 个新测试 v0.3.1 表达式与性能: - CASE WHEN 表达式(SELECT 列/WHERE/聚合) - JOIN + 关联子查询逐行绑定 - WAL 批量组提交(写放大 O(N)→O(1)) - 修复 pending frozen 可见性 + flush 缓存竞争 v0.3.2 并发: - CASE WHEN 用于 WHERE/聚合 + JOIN 哈希连接 - 多标签页同步(multiTabSync + BroadcastChannel) - IndexedDB schema 持久化(reopen 后表结构恢复) - 修复 where-matcher 顶层 $not - 修复 CJS 产物 .js 被 ESM 解析(exports 空) — .cjs 后缀 + exports 修正 - 836 测试 / 44 套件 / 81.0% 覆盖率	2026-08-08 10:41:30 +08:00