58 KiB
58 KiB
Changelog
All notable changes to MetonaSqlark will be documented in this file.
[0.6.1] - 2026-08-10
生产可用性深度审查(异常场景)
以"生产可用"标准全面审查:修复级联环无限递归、多表事务原子性缺口、 统一未 open 防护,并新增 27 个异常场景测试。
Fixed
- 二级索引范围扫描漏读尾部数据(P0) — SSTable 索引块记录的是"块内最后一个 key"
(builder 约定),读端
locateBlockLE却按块首 key 语义二分:范围查询 endKey 落在 某块尾部时,下一块(尾 key 越界但首 key 仍在范围内)被排除 → 二级索引条件查询 静默丢数据(5 万行写入查tag='t5'丢 106~771 条,主表全扫描完整)。 修复:rangeScan 的 endBlockIdx 多扫一个块(条目级过滤兜底,不丢不错); 新增 4 个 SSTable 边界回归(跨前缀尾部/精确块尾/超出全量/多前缀一致性)- 重建 3 个二级索引大数据量回归(5 万行/高频小批量/多索引列,含崩溃恢复)
- checkpoint 未落盘二级索引(P1) — checkpoint 只 flush 主 LSM,截断 WAL 后崩溃时 索引 memtable 未落盘、WAL 为空跳过重建 → 二级索引静默丢失最后一批条目。 checkpoint 的 flushAll 同步 flush 全部二级索引 LSM
- kv 后端页面化缺失 —
pageStorage默认只对 opfs 生效;kv 后端整 value SSTable (4MB)超过 1MB 页面缓存时每次读取全量重载。kv 后端同样启用页面化, 读放大消除;SharedMemoryBackend 改为 chunk 列表(append O(1))+ 惰性拼接缓存 - MemoryEngine 级联环无限递归(P0) — A→B→A 循环引用 + CASCADE 删除导致栈溢出 (RangeError: Maximum call stack size exceeded)—— MemoryEngine.cascadeDelete 无环路保护, AriaEngine 已有 visited 保护(v0.4.1),Memory 侧缺失。新增 visited 集合(表:主键), 与 Aria 语义对齐;A→B→A 环 + 深链 A→B→C→D 均有回归测试
- KVStore 快照损坏水位 bug(P0) — baseSeq = max(metaSeq, snapshotSeq) 在快照损坏 回退全量日志重放时,meta.seq(最后一次 checkpoint 水位)错误跳过日志中 checkpoint 后 的有效记录 → 静默丢数据。水位只信任快照内嵌 seq
- 多表事务 commit 非原子(P1) — 事务 commit 逐表 flush:中途失败/崩溃 → 部分表已提交。 重构为全部 dirty 表合并单次 putMany/deleteMany(一条日志记录 = 真原子)
- 级联更新/删除非原子(P1) — update 主键变更/delete 的级联影响表逐表 diff 分多次写。 重构 collectTableDiff 合并到单次原子写(主表 + 全部级联表同一条日志记录)
- 未 open 防护不一致 — getTableNames/hasTable/getTableSchema 未检查 DB_NOT_OPEN (返回空而非报错,与其余方法不一致)。统一 ensureOpen
- 测试盲区 — 快照损坏测试此前篡改未生效(close 后介质不可读),从未真正覆盖损坏路径; 修复并新增 metaSeq 超前回归测试
- 批量插入性能悬崖(P1) — insert 循环内逐行
lsm.prefetchKeys([key]), 每行await drainChain()排空后台链:后台 compaction 在链上数秒时每行阻塞数秒 → 10 万级插入从5ms/批暴跌到 811s/批(kv 后端 10 万行共 353s)。 修复:批级预加载本批全部 PK(一次 drainChain),循环内lsm.get由 memtable/flush 产物(自动入缓存)兜底,完整性与批量语义不变。 实测:kv 后端 10 万行 353s → 12.5s(28 倍),opfs 后端 25s; 新增 kv/opfs 双后端 10 万行回归(性能护栏 + 索引完整 + 崩溃恢复)
Added
- AriaEngine 可选自研 KVStore 后端(
storageBackend: 'kv'/diskEngine: 'kv'):- aria 完全跑在自研存储栈上(KVStore 日志+快照),不再依赖浏览器 OPFS API(Node/测试用 SharedMemory 介质)
- KVStore 新增 APPEND 日志操作类型:aria WAL 分片追加 O(chunk) 高效,恢复按序拼接,checkpoint 快照含最终值
- writeMany/deleteMany 经 KVStore 单日志记录真原子(此前 OPFS 逐文件写)
- aria 崩溃恢复 = KVStore 双层恢复 + WAL 重放;二级索引/页面化兼容(kv 后端 SSTable 整 value 存储)
- 10 个 aria+kv 集成测试(后端单元/CRUD 持久化/WAL 追加恢复/checkpoint 混合/索引/大数据崩溃/高层 API 事务级联)
- 27 个生产异常场景测试(
tests/production-abnormal.test.ts):- KVStore 边界:空 value/空 key、1MB 大 value、中文/emoji/冒号/超长 key、未 open、 重复 open/close 幂等、clear 后写、1 万小 key、写失败后继续可用
- KVStoreEngine:未 open 全操作、重复 close、不存在表、事务嵌套 TX_ACTIVE、 无事务 TX_NONE、commit 失败回滚(磁盘无部分提交)、多表事务原子性、级联环、 深链级联、主键变更+索引一致性、空表操作、5000 行批量删除持久化
- SharedMemoryBackend 全分支:append 拼接、writeMany/deleteMany、close 后安全、跨实例共享
- 日志解析损坏分支:onCorrupt false 停止、keyLen 越界记录丢弃
- AriaEngine 级联环/深链回归测试(与 Memory 对齐)
Changed
- 测试 1022 → 1049(65 套件);行覆盖率 89.15% → 89.33%
- 事务/级联写入路径:逐表 flush → 单条日志记录原子(性能与一致性双提升)
[0.6.0] - 2026-08-10
里程碑:完全移除 IndexedDB,自研 KV 事务存储引擎
达成"彻底删除 IndexedDB + 自研类似 IndexedDB 的存储后端"目标: KVStore 引擎在 OPFS 之上实现多 key 原子事务(IndexedDB 的核心能力), disk 模式全面切换,旧库一键迁移。
Added
- KVStore 自研 KV 事务引擎(
src/engine/kvstore/):- 多 key 原子写:putMany/deleteMany = 单条日志记录(单文件 COW 原子追加)→ 崩溃全有或全无
- 持久化与崩溃恢复:快照(checkpoint)+ 追加日志,两阶段恢复(快照水位跳过)
- 自愈:快照损坏回退全量日志重放;日志损坏截断至损坏处;
repair()清理 - 容错时序:checkpoint = 写快照 → 写 meta → 清空日志(meta 先于截断,任何崩溃窗口不丢数据)
- 写操作与 checkpoint 串行队列(无交错窗口);标准 CRC-32 全程校验
- 介质层:OPFS(浏览器)/ SharedMemoryBackend(Node/测试,跨实例共享模拟持久化)
- KVStoreEngine(disk 模式,替代 IndexedDBEngine + OPFSEngine):
- 内存热路径 + KVStore 原子持久化;读 O(1),写增量/整表 diff 分级
- 事务:内存快照 + commit 原子 flush(受影响表),事务内 DDL 支持(schema 一并持久化)
- 外键级联(CASCADE/SET NULL/RESTRICT)持久化、主键变更、二级索引跨重启恢复
reload()支持多标签页同步重载(Hybrid 场景)
- 迁移工具
migrateFromIndexedDB():一次性把旧 IndexedDB 库(schema/索引/行)导入新引擎; 旧库不存在/aria 私有格式(SSTable/WAL)明确报错;目标库已有表跳过不覆盖 - 可靠性强化:
- 10 万 key 写入+checkpoint+重开全量验证(928ms)
- 5 万混合操作+崩溃模拟零丢失
- e2e 新增写入中途崩溃 / checkpoint 前后崩溃注入 / KVStoreEngine 真实环境持久化-索引-事务(12 用例)
MetonaSqlark配置:diskEngine类型收敛为'opfs' | 'memory'(默认 'opfs')
Removed
src/engine/indexeddb.ts(840 行 IndexedDBEngine)—— 版本冲突/blocked 重试/onversionchange/flushToIDB 全部消失src/engine/opfs.ts(375 行 OPFSEngine)—— 能力被 KVStoreEngine 覆盖IndexedDBBackend(aria 后端)—— aria storageBackend 收敛为 'opfs' | 'memory'- 26 个测试文件的 fake-indexeddb 依赖改造为 KVStore SharedMemory / OPFS mock
Fixed
- Hybrid 多标签页重载失效(KVStoreEngine 读内存 vs 磁盘引擎读穿透)—— 新增
reload()从介质重载 - 事务内 DDL schema 不持久化—— commit 时统一 persistSchema(重启后表结构完整)
- repair 缓存掩盖损坏—— 先清 BufferPool 再校验(缓存中"完好页面"不再掩盖磁盘损坏)
- dropInvalidSSTable 孤儿页面—— 先删数据文件再删 meta(页面化删除依赖 pageIds 定位)
Changed
- 测试 1009 → 1022(64 套件;+58 新增 kvstore/kvstore-engine/压力/迁移测试,-46 删除/改造 IDB 测试)
- 行覆盖率 87.25% → 89.13%
- 浏览器支持收敛到 OPFS 矩阵(Chrome/Edge 102+、Firefox 111+、Safari 15.2+);Node 用内存介质
- fake-indexeddb 保留为 devDependency(仅迁移工具测试用)
[0.5.1] - 2026-08-10
深度审查:消除假实现/半成品/死代码
对全部源码做系统性审查,修复"宣称存在但从未接线"的假实现、补齐无入口的半成品、 删除无引用的死代码。
Added(假实现接线)
- CRUD 生命周期钩子真实接线 — 此前
beforeInsert/afterInsert/beforeUpdate/afterUpdate/beforeDelete/afterDelete六个钩子仅存在于类型与文档宣称("14 种钩子"),从未被任何路径触发。现已在两条路径真实触发:- Table API:
table().insert/insertMany/update().execute()/delete().execute() - SQL:
db.query("INSERT/UPDATE/DELETE ...")参数与文档一致(beforeInsert: rows[]、afterUpdate: query, updates, count 等);事务路径不触发(Table 无 hooks 回调,与现状一致)
- Table API:
- EXPLAIN SQL 入口 — 此前 executor 有 EXPLAIN 分支但 parser 无法解析(无 token),只能手工构造 AST 测试。
补齐
EXPLAIN <statement>语法(tokens/lexer/parser),任意引擎可用 - ANALYZE / REINDEX / VACUUM SQL 入口 — 此前仅有 AriaEngine 方法(
(engine as any)才能调用),README 宣称能力但用户无法触发。 补齐ANALYZE [TABLE] name/REINDEX [TABLE] name/VACUUM语法;不支持的引擎抛NOT_SUPPORTED - SAVEPOINT SQL 入口 — 补齐
SAVEPOINT name/ROLLBACK TO [SAVEPOINT] name/RELEASE [SAVEPOINT] name;ROLLBACK [TRANSACTION]保持原语义 - db.backup() 公共方法 — 引擎级 backup(MVCC 一致性视图)此前无公共入口;Aria 走引擎级,其余引擎回退 exportAll
Removed(死代码)
src/utils.ts整文件 — generateId/escapeHTML/deepMerge/debounce/throttle/isBrowser 在 src 内零引用 (v0.0.1 遗留,仅测试锁定);连同 tests/utils.test.ts 删除estimateQueryCost(未接线的"查询优化器") — 实现与测试存在但从未接入查询路径(find 用 tryIndexLookup 硬编码),删除消除"优化器存在但没用"假象- MVCC 读侧全套 — readVersion/getLatestCommittedVersions/clearTable/getActiveTxnCount/isActive/getActiveWriteKeys: 引擎事务读取走 txnSnapshot(MVCC 仅作 undo log),读侧实现从未执行。删除并改写相关测试为验证版本链清理/GC 行为
- 统计/辅助死方法 — EvictionManager.getAllPages/getSize/popLRU/getCapacity、BufferPool.getCachedPageCount/getDirtyPageCount/getCapacity/newPage、 WAL.isEnabled/getLSN、CheckpointManager.forceCheckpoint/setInterval/getOpCount、LSM.isInitialized/getCacheSize/getCacheLimit、 SSTableReader.getMeta/getIndexBlockCount/getStoredChecksum、BloomFilter.getBitSize/getInsertedCount、MemTable.contains、 FileManager.allocateTableRootPage/createEmptyPage、OPFSEngine.loadTableIntoMemory、QueryExecutor.setMaxRowsPerQuery、 ConnectionManager.getRefCount
- 类型/常量死代码 — STORAGE_MODES/DISK_ENGINES、ColumnEncoding/DEFAULT_BLOCK_SIZE/DataBlock、CallbackEntrySource、StatementType、AggregateExpression、SubqueryExpression
- Crypto 全局兼容层 — initCrypto/encryptPage/decryptPage/closeCrypto/isCryptoEnabled(v0.5.0 后引擎走 EncryptedBackend 实例,全局单例无消费者);删除过时的"全局加密落盘"测试(aria-encryption.test.ts 已覆盖等价路径)
Changed
- 测试 1022 → 1009(62 套件;删除 13 个死代码测试 + 新增 22 个 hooks/维护语句测试);行覆盖率 86.68% → 87.25%
- README 补维护语句表(EXPLAIN/ANALYZE/REINDEX/VACUUM/SAVEPOINT SQL 入口)与
db.backup()API - 14 个生命周期钩子现在全部真实触发(site/docs.html 与 CONTRIBUTING 宣称变为事实)
[0.5.0] - 2026-08-10
里程碑:存储后端生产级硬化(自研 OPFS 后端全面落地)
本次版本对 AriaEngine 存储层做全链路生产级改造:修复"宣称有校验和/加密/页面式存储但实际未实现"的失实实现, WAL 重构为分片文件(消除多文件原子性与文件爆炸问题)、SSTable 页面化物理存储(BufferPool/FileManager 真正接入)、 多标签页独占锁、repair 自愈增强,并引入真实 Chromium e2e 验证。
Added
- 全库 AES-256-GCM 加密(真实接线) —
AriaEngineConfig.encryption.password:EncryptedBackend装饰器在 backend 层透明加解密(WAL/SSTable/Schema/元数据全覆盖,每个 value 独立随机 IV + GCM 认证)- PBKDF2-SHA256(100000 迭代)派生密钥,salt + verifier 持久化于
__aria_keymeta(密码错误 →ARIA_DECRYPT_ERROR) - 加密开关一致性检测:明文旧库 + 加密配置 →
ARIA_ENCRYPT_CONFIG_ERROR;加密库 + 无密码 →ARIA_ENCRYPT_REQUIRED - clearAll 保留密钥元数据(库身份保留,密码不变)
- WAL 分片存储重构 —
SegmentedWALStore(__wal_%06d.bin):- 取代"每条记录一个 key"旧结构:分片阈值 4MB 自动切换,文件数量可控
- WAL 序号(LSN)内嵌记录字节流,移除
__wal_count键 → append 单文件原子写(createWritable COW) - 空洞检测:分片序号不连续 → 空洞之后保守丢弃(仅可能来自 truncate 部分完成,数据已落盘,无害)
- 旧格式
__wal_N+__wal_count兼容:读取迁移重放,checkpoint 统一清空
- OPFS 后端 v2 —
append()真追加:createWritable({ keepExistingData })+ seek,O(chunk) 无需读旧内容- 写队列健壮性:单次任务失败不中断队列链(错误返回给调用方),close 等待队列排空
- open 自动清理崩溃残留临时文件(
.crswap/.tmp) - 原子性文档化:单文件 createWritable 为 copy-on-write 原子替换
- SSTable 页面化物理存储(BufferPool/FileManager 真正接入) —
PageSSTableStore:SSTable 切分为 4KB 页面,经 FileManager 分配 pageId、BufferPool LRU 缓存save语义 = 已持久化(逐页 flushPage 落盘后才返回,WAL checkpoint 截断安全)- 页面 ID 列表经
SSTableMeta.pageIds持久化;旧 meta(无 pageIds)自动走整 value 读取(兼容) - OPFS 后端默认启用(
pageStorage配置可覆盖);FileManager 批量分配allocatePageIds(一次 meta 持久化) - 读取缺失页面返回 null(此前返回空页会静默掩盖页面丢失,自愈路径依赖 null 触发清理)
- 多标签页独占锁 — Web Locks API(Chrome 69+ / Firefox 96+ / Safari 15.4+):
ifAvailable模式:第二个标签页打开同一库 → 抛ARIA_LOCKED(不排队挂起)- 打开失败自动释放锁(不泄漏);close 等待锁真正归还
- 不支持 Web Locks 的环境降级为无锁 + 告警(如实文档化)
- repair() 自愈增强 — 孤儿页面清理(meta 未引用的
pg_文件)、OPFS 残留临时文件清理、WAL 空洞截断落地 - LZ4 格式 v2 — 压缩流前置 4 字节原始大小头:解压不再依赖外部估算(高压缩率数据下
buf.length*2估算不足会截断),损坏头显式抛错 - SSTable 真实 CRC-32 校验和 — footer checksum 字段从写死 0 升级为整文件标准 CRC32(checksum=0 识别旧版文件跳过校验,兼容旧库);打开校验/compaction 加载/运行期预加载三处均校验,损坏文件自动清理自愈
- WAL 标准 CRC32 — 记录校验从弱滚动校验升级为标准 CRC32;双算法探测(新算法失败再试旧算法)兼容旧 WAL 记录
- 配置透传 —
DatabaseConfig.aria:MetonaSqlark.create()可配置walSyncMode/checkpointInterval/encryption/pageStorage/compression等 AriaEngine 专属参数 - Playwright e2e(真实 Chromium + OPFS) — 7 用例:持久化(刷新保留)、关闭重开、崩溃恢复(WAL 重放)、多标签页锁、加密密码往返、页面化端到端 + 索引查询、repair 自愈;
npm run test:e2e
Fixed
- 加密此前从未接线(严重失实) — crypto 模块全局单例从未被引擎调用、salt 不持久化重启无法解密;README 宣称的 AES-GCM 实际不可用。改为 EncryptedBackend 装饰器 + keymeta 持久化 + 密码验证
- SSTable checksum 写死 0(严重失实) — 数据腐坏(bit flip)完全无法检测。升级为真实 CRC-32,损坏文件打开自愈
- OPFS writeMany 无原子性(P0) — WAL 记录 + count 多键写入非原子,记录空洞导致后续记录字节错位解析失败。分片重构后 WAL append 单文件原子写 + 空洞检测截断根治
- OPFS 高频写入文件爆炸(P1) — 每条 WAL 记录一个文件,8 万条记录 = 8 万次 createWritable。分片存储 + 真追加根治
- LZ4 高压缩率解压截断(P1) —
buf.length * 2估算原始大小,压缩率 >50% 时截断(SSTable 魔数在文件末尾被丢 → 整库数据丢失)。格式 v2 头部自描述根治 - OPFS 写队列失败永久中断(P1) — 队列任务抛错后链 rejected,后续所有写挂起。单次失败不中断链
- OPFS close 不等挂起写(P1) — close 立即置空目录句柄,挂起写静默丢失。close 等待队列排空
- Web Locks 方法解构 this 绑定丢失(e2e 发现) —
navigator.locks.request解构后调用抛 Illegal invocation。改用.bind(lockManager)保持 this - 页面化 + 崩溃窗口数据丢失(压力测试发现) — 修复前页面化路径在模拟崩溃测试中丢失已确认写入;根治后 500 随机操作 + 崩溃重放零丢失
Changed
AriaEngineConfig新增encryption/pageStorage;DatabaseConfig新增aria透传- 页面层精简:删除从未接入主路径的 slot/tuple 模块(假"页面式存储"实现),仅保留生产代码实际使用的
initPageHeader/createPage;架构宣称如实更新(4KB 页面承载 SSTable 字节切片,非行级 Slotted Page) - LZ4 压缩格式不向后兼容(v0.2.6 已声明 compression 数据需重新导入,本次格式 v2 同理)
- 测试 958 → 1022(62 套件);行覆盖率 84.2% → 86.68%;新增 6 套件:crc32 / aria-checksum / aria-wal-crc / aria-wal-segment / aria-opfs-backend / aria-page-store / aria-encryption / aria-locks / aria-repair-hardening / aria-page-core
- 新增 Playwright e2e 基建(
npm run test:e2e,7 用例真实 Chromium)
[0.4.4] - 2026-08-09
Fixed
- SSTable 编码缺陷导致大内容写入崩溃(P0) — AriaEngine 保存大段中文内容(如 300KB 笔记)→ close 构建 SSTable 崩溃 → 半写文件 → 下次打开 ARIA_OPEN_ERROR:
- 块大小估算用 UTF-16 码元而非 UTF-8 字节 —
computeBlockSize用json.length(中文 1 字 = 1 码元)估算,实际写入 UTF-8 字节(中文 1 字 = 3 字节)→ 300KB 中文实际 900KB → 缓冲区低估 →Uint8Array.set越界崩溃。改为 TextEncoder 预编码,全部按字节长度计算(切块、块大小、索引块、总大小) - valueLen/keyLen 字段 u16 截断 — 长度字段 u16 上限 64KB,大 value 被截断 → 线性格式整体错乱。格式 v2(magic "SSTC")升级为 u32 长度字段
- 大 value 块切分 — 单条 value 超过块大小(4096)时独立成块(基于字节估算正确切分)
- 格式兼容 — reader 支持 v1("SSTB",u16)与 v2("SSTC",u32)双格式:旧库 v1 文件仍可读(小 value 场景无缺陷),新写入用 v2,旧库数据不丢失
- 连带受益:中文主键 key、大内容二级索引列(索引 key 含列值)同样支持 u32 长度字段
- 块大小估算用 UTF-16 码元而非 UTF-8 字节 —
Changed
- 测试 950 → 958(52 套件),新增
tests/v045-hardening.test.ts(8 条:300KB 中文 builder/端到端跨重启、>64KB value、大 value 独立成块、中文 key、v1 兼容、v2 魔数) - 版本号升至 v0.4.4
[0.4.3] - 2026-08-09
Fixed
- close 后后台 compaction 吞错并在 backend 关闭后执行(P0) —
scheduleCompact用setTimeout(0)调度:close 时未触发的定时器在backend.close()后执行,用已关闭的存储写(错误被吞);close 后立即 reopen 时旧闭包引用新 backend 交叉污染。改为 compaction 直接挂 flushChain 串行执行,close 的drainChain()排空全部级联任务后再关闭存储 - 后台 flush/compaction 失败完全静默(P0) — 吞错防死锁的同时记录
lastBackgroundError,显式flush()/close()时抛ARIA_BACKGROUND_ERROR(消费一次),不再永久不可见 - prefetch 与 compaction 竞态丢数据(P0) — 后台任务在链上动态增长,
prefetchRange/prefetchKeys单次await flushChain后 compaction 仍可能合并 levels,扫描时新 meta 缓存未命中 → 跳块丢数据(缓存驱逐场景 UPDATE/DELETE 少删行)。改为等待链稳定(drainChain)再预加载 - commitTransaction 提交顺序(P1) — 先合并快照后写 WAL COMMIT:WAL 写失败时内存已提交但持久化缺失,崩溃重启丢失。改为先持久化 WAL COMMIT 再合并快照(WAL 始终领先,崩溃恢复一致)
- OPFS close 不等挂起写(P1) — 写操作整体串行入队(内存写 + 快照 + 文件持久化),close/repair/clearAll 先等队列排空再释放目录句柄,避免 close 后挂起写读旧数据
- IndexedDBEngine close 活跃事务防御 — close 时自动回滚活跃事务(避免对已关闭连接操作报错)
Changed
- 测试 944 → 950(51 套件),新增
tests/v044-hardening.test.ts(6 条:close 后台任务排空、reopen 无污染、后台失败可见、链不卡死、WAL 提交顺序、OPFS close 等待) - 版本号升至 v0.4.3
[0.4.2] - 2026-08-09
Fixed
- AriaEngine 残缺 SSTable 导致打开崩溃(P0) — 异常退出后下次打开抛原生
RangeError: offset is out of bounds,库打不开只能删库重建。三处根治:SSTableReader读路径防御:块偏移/大小越界时跳过该块(get/rangeScan/scanAll 返回空或继续),索引块/块内条目解析全程边界检查,不再抛 RangeError- 打开时完整性校验:
LSM.init()校验 meta 引用的文件存在、长度 ≥ 头、可解析,残缺的忽略并清理 meta/文件(自愈,不阻塞打开) - WAL 原子写入:
IndexedDBBackend新增writeMany/deleteMany(单事务批量写删),WAL 记录与 count 计数同事务提交,中断整体回滚不留半写
- IndexedDB 版本管理缺陷导致重启必报 VersionError(P0) — 建表每张版本号 +1 而
open()用config.version,重启后版本过低直接失败。open()遇 VersionError 自动用无版本参数探测库当前实际版本并以该版本重开 create({ version: 0 })抛原生 TypeError(P0) — 版本 < 1 统一归一化为 1,不再直接炸indexedDB.open(name, 0)- WAL 写丢失(P1) — 连续快速写入 200 条 close+重开实测丢 4 条。WAL 恢复不再依赖 count 计数,改为扫描全部
__wal_*键(数值排序拼接),count 键只作序号分配器;配合原子写入彻底消除 count/记录竞态 - AriaEngine.close() 不 checkpoint,WAL 无限重放(P1) — close 前补
wal.checkpoint()截断,下次打开不再重放已落盘的历史记录 - 引擎内部错误不包装 DatabaseError(P1) — AriaEngine
open()整体 try/catch 包装为ARIA_OPEN_ERROR;IndexedDBEngine 打开路径统一IDB_OPEN_ERROR/IDB_VERSION_ERROR/IDB_BLOCKED,应用层可拿 code 分类处理 migrateTo版本门槛与引擎版本脱节(P2) — 迁移版本持久化到库内(IStorageEngine.getMeta/setMeta可选接口,Aria 存 backend、IndexedDB 复用__metona_schemastore、OPFS 存元数据文件、Hybrid 委托磁盘引擎),重启后从持久化版本继续执行,不重跑不跳跑- IndexedDB
onblocked直接 reject(P2) — 改为等待后重试(阻塞解除后 success 仍触发,仅超时判失败,并防止连接泄漏),多次重试仍阻塞才抛IDB_BLOCKED - 缺少官方崩溃恢复/自愈接口(P2) — 新增
db.repair()(校验清理损坏数据并恢复一致性)与db.clearAll()(清空全部数据与表结构,保留库),全部引擎(Aria/IndexedDB/OPFS/Memory/Hybrid)实现,无需删库重建 - IndexedDB
__metona_schemastore 缺失时元数据无法落盘 —open()时确保 schema/meta store 存在(缺失则一次版本升级创建)
Fixed(深度审计第二轮)
- AriaEngine 二级索引跨重启丢失(严重) — 重开只恢复 schema 不恢复索引 LSM:索引查询静默回退全表、
createIndex因 schema 标记已存在而直接 return → 索引永久缺失;且 WAL 崩溃恢复只回放主 LSM,最后一批写入的索引缺失 → 索引查询丢行。三处根治:open 时按 schema 标记重建索引 LSM(数据已持久化直接加载)、close 时同步落盘全部索引 LSM、WAL 恢复完成后全量重建索引 - AriaEngine Compaction 依赖缓存丢数据(严重) —
compactLevelAsync仅从 LRU 缓存读 SSTable,缓存未命中(单文件超缓存上限被驱逐、频繁 flush)时跳过全部文件并从 levels 移除 → 运行中数据全部不可见(重启才恢复)。改为从存储兜底加载;无有效数据时将文件放回 levels 不删除 - AriaEngine flush/compaction 失败卡死写路径(严重) — flushChain 链上任务抛错后永久 rejected,后续所有 flush/compaction 挂起。链上任务统一吞错恢复(记录告警,链继续)
- ALTER TABLE 在 IndexedDB/Hybrid/OPFS 引擎不持久化 — v0.4.1 只给 Aria 加了引擎级
alterTable,其余引擎走通用路径只改内存 schema 引用:重启后 ADD/DROP 全部回退,DROP 的行数据也残留。为 IndexedDB(持久化 schema + 重写存储行)/ Hybrid(双引擎)/ OPFS / Memory 统一实现引擎级alterTable - IndexedDB 事务内 DDL 崩溃(严重) — 事务内建表 commit 时 IDB 无对应 store 报错;事务内删表 IDB store 残留 → 重启幽灵表。
flushToIDB提交时 diff 内存表与 IDB store:缺失的创建(含 schema 持久化)、多余的删除(含 schema 记录清理);commit 顺序调整为"先刷盘后提交内存快照",失败可回滚 - Hybrid 内存/磁盘引擎共享 schema 引用污染 —
reloadMemoryFromDisk把磁盘引擎的 schema 对象直接存入内存引擎,任一引擎 ALTER 都改到对方。MemoryEngine.createTable深拷贝 schema(全引擎受益) - Hybrid commit 失败路径错误掩盖 — 磁盘已提交后内存提交失败时调
diskEngine.rollbackTransaction()抛 TX_NONE 掩盖原错误;如实上报磁盘已提交状态 - AriaEngine.close 运行期状态残留 — close 后 MVCC/事务快照/savepoint 残留,重开后
beginTransaction报 TX_ACTIVE。close 统一清理 - VACUUM 对 2-3 个文件层级不压缩 —
compactLevelpublic 门槛与内部自动调度门槛混用(内部 4 / VACUUM 期望 2)。分离参数化
Fixed(生产就绪审计第三轮)
- Aria 事务进行中 checkpoint 截断 WAL(严重,P0) — checkpoint(tick/forceCheckpoint)在活跃事务中途执行时 truncate WAL,BEGIN/INSERT 记录被截断,事务 COMMIT 后崩溃恢复丢失整个事务数据。CheckpointManager 包装 WAL:事务活跃时跳过截断(close/repair/clearAll 仍正常截断)
- Aria dropTable / DROP_TABLE 恢复不清理二级索引(P1) — 索引 LSM 孤儿残留,重建同名表后旧索引数据污染新表(按旧值索引查询返回不匹配行)。新增
cleanupTableIndexes:dropTable、崩溃恢复、ALTER DROP 索引列统一清理 - Aria ALTER TABLE DROP 索引列残留(P1) — 删列但索引 LSM 保留,后续同名列索引数据脏
- Aria freezeMemtable 阈值逐次衰减(P2) — 新 memtable 用旧表已用大小当阈值,手动 flush 后阈值塌缩 → 频繁小文件。改回配置阈值
- Aria 事务中 DDL 静默不一致(P2) — 事务快照只覆盖行数据,createTable/dropTable/alterTable 无法回滚;与 Memory/IndexedDB 可回滚行为不一致 → 显式抛
NOT_SUPPORTED(不再静默) - ON UPDATE 外键级联未实现(P2,声称支持但静默忽略) — 实现
ON UPDATE CASCADE/SET NULL/RESTRICT(Memory + Aria 双引擎):更新主键时级联更新/拒绝,含二级索引与 WAL 记录,先全量 RESTRICT 检查再执行防部分修改;update 同时支持主键变更(旧键删除 + 新键落表) - MVCC commit/rollback 全库版本遍历(P2 性能) — 大表事务 commit O(全库版本数)。按事务记录写入的 key 精准清理(O(写入数))
- OPFS 空表重启消失 + schema/索引丢失(P1) — 表 schema 持久化到元数据文件:createTable/dropTable/alterTable/createIndex 同步;重启从 schema 恢复(空表保留、主键/索引标记/约束完整),无 schema 的旧库回退数据推断(兼容)
- OPFS dropTable 不清理 schema 记录(P1) — 重启恢复幽灵表;删表同步清理
- OPFS 并发写验证 — 审计确认内存写同步、持久化快照总是最新(单标签页无丢更新竞态),新增并发写回归测试锁定行为
- VACUUM 返回值语义 —
gcVersions返回活跃事务数改为全局提交序列号
Changed
- 测试 894 → 944(50 套件),新增
tests/v042-fixes.test.ts(23 条问题清单回归)、tests/v042-hardening.test.ts(12 条深度审计回归)与tests/v043-hardening.test.ts(15 条生产就绪回归:事务×checkpoint、DDL 索引清理、OPFS 持久化、memtable 阈值、红黑树 5000 次随机压力、onUpdate 级联) - 版本号升至 v0.4.2
[0.4.1] - 2026-08-08
Added
- AriaEngine 外键级联删除 — 对齐 Memory 引擎:
CASCADE(递归多层)、SET NULL、RESTRICT(抛FOREIGN_KEY_VIOLATION),含二级索引清理、WAL 记录、事务内可提交/回滚、环路保护 AriaEngine.clearAll()— 重置数据库(清空后端存储/LSM/WAL/MVCC/二级索引),实例可继续使用;供演示页刷新场景与 API 用户使用- 演示页引擎切换器 — 右上角
⚡ Memory/🌲 Aria一键切换,Aria 模式每次加载clearAll()保证演示确定性;aria 预设文案更新(数据库即 Aria)
Changed
- 版本号升至 v0.4.1
- 测试 880 → 894(46 → 47 套件)
AriaEngine级联行为与 MemoryEngine 对齐:SET NULL不影响删除返回行数
Fixed
- JOIN 主表 WHERE 不下推 —
SELECT ... FROM orders o JOIN users u ... WHERE o.user_id = '1'的 WHERE 只在 JOIN 后过滤,二级索引形同虚设。v0.4.1 将主表前缀等值条件下推到引擎(extractPushableWhere),索引真正生效 - DROP INDEX 不存在的索引静默成功 — Memory/Aria 引擎
dropIndex对无索引列静默返回,改为抛INDEX_NOT_FOUND - Memory 索引查找不支持
$eq对象形式 — SQL 解析器生成的{ $eq: value }等值条件不走哈希索引(仅简单值走),补$eq分支 - 演示页预设数据被前序预设污染 — 连续点击预设时,cascade(删除 Alice/重建 orders)、truncate、alter 等会修改种子数据,后续预设(如 index)查询返回空。
loadPreset点击预设前自动重置数据库到初始状态,每个预设可预期演示 - Aria ALTER TABLE 不生效(严重) —
DROP COLUMN仅改 schema 引用,find()返回行副本无法就地删除,存储行残留已删列值(SELECT * 仍显示);且 ALTER 不持久化 schema,重启后列定义回退。新增引擎级alterTable(IStorageEngine可选接口):Aria 重写主 LSM 移除列值 +persistSchemas+ WAL UPDATE 记录,崩溃恢复后 schema 与行一致 - 裸布尔列条件不支持(严重) —
WHERE done/CASE WHEN done THEN解析失败(无比较运算符即抛错),条件被忽略导致 CASE 恒走 ELSE。parser 支持裸列真值判断({ col: { $eq: true } }) - Aria $in 返回重复行 — IN 子查询含重复值(如 Alice 两条订单)时 PK/二级索引
$in逐值查找重复 push,按主键去重
[0.4.0] - 2026-08-08
Added
- 流式查询 API —
db.queryStream(sql, onRow)/db.table(name).stream(onRow)/IStorageEngine.findStream():- Aria 引擎走 LSM
rangeScanLazy惰性扫描,逐行回调不物化结果数组(大表友好) - Memory/Hybrid/OPFS 逐行迭代;IndexedDB 批量读入后逐行回调(保持接口一致)
- 支持 WHERE/LIMIT/OFFSET/列投影;JOIN/GROUP BY/UNION/聚合/ORDER BY 自动回退物化
- 用户 async 回调自动回退物化(同步扫描无法 await,避免吞 Promise)
- Aria 引擎走 LSM
- 多列 ON 哈希连接 — 复合等值条件(
ON a.tenant = b.tenant AND a.key = b.key)走哈希连接(含顶层$and展开),任一右列为索引/主键即可;不适用自动回退嵌套循环 - FROM 子查询(派生表) —
SELECT ... FROM (SELECT ...) AS alias WHERE ...,子查询结果作为行源,支持 WHERE/ORDER BY/LIMIT 与 JOIN 组合 - COUNT(DISTINCT col) — 聚合去重(COUNT/SUM/AVG/MIN/MAX 均支持),任意类型去重
- NULLS FIRST / NULLS LAST —
ORDER BY col ASC NULLS FIRST等,NULL 位置固定不受升降序反转 - 普通列别名 —
SELECT name AS n/SELECT name n(此前仅聚合/CASE 支持别名),别名可用于 ORDER BY - 无表查询与字符串常量列 —
SELECT 1/SELECT 'lit' AS x(无需 FROM),''转义与常量列投影
Fixed
- AriaEngine 崩溃恢复后已删除表/数据复活(严重,P0) — WAL 回放忽略
DROP_TABLE而CREATE_TABLE无条件恢复 schema,删表后崩溃重启表+数据全部复活。v0.4.0 新增applyDropTableRecovery()回放删除 schema + 清除 LSM 残留 - WAL 恢复后不截断 — 每次重启重复回放 + WAL 无限膨胀。恢复完成将回放数据落盘后
wal.checkpoint()截断 - MemoryEngine update 不维护索引(P0) —
update()后唯一约束可被绕过、按新值索引查询丢行。removeIndexEntries()在 update/delete/级联删除/SET NULL 前清理旧值索引 - Aria 事务内读不到自己写入的行 —
update/delete/count/clear的getAllRows()不合并txnSnapshot,事务内先 insert 再 update/delete 失效;统一mergeTxnSnapshot() - Aria TRUNCATE 不写 WAL —
clear()崩溃恢复后丢失;事务内清空走快照删除标记,提交生效 - WAL 大小阈值在 full 模式永不触发 —
getBufferedBytes()跟踪真实字节数替代缓冲计数估算 - rollback 后二级索引残留 — 事务内直接写入索引 LSM,回滚后对受影响表全量重建索引
- Savepoint 回滚 MVCC 不一致 —
discardVersions()清理版本链保留事务登记 - PK 范围查询字符串算术 bug —
$gt/$gte/$lt/$lte用Number(v)+1构造 key 对字符串 PK 失效;改为主 LSM 前缀扫描 + 条件过滤;主键列不再建冗余二级索引(PK$in走多次精确查找) - SQL 字符串
''标准转义 — 双引号转义此前从未生效(lexer 条件先于转义分支退出);重写readString - INSERT INTO ... SELECT 位置错位(严重) — 源行
validateRow跳过 undefined 值导致行键缺失/乱序(如 ALTER 加列后省略列插入的行),Object.values位置映射把 age 数字填进 email 列报类型错。改为按源表 schema 列顺序/SELECT 列列表对齐,缺列不填 - ORDER BY / GROUP BY 表前缀列 —
ORDER BY o.amount/GROUP BY u.name解析失败(Expected ';' ... got "."),parser 支持table.column引用,executor 非 JOIN 路径剥离前缀 - 关联 EXISTS 绑定失效(严重) —
SELECT u.name ... WHERE EXISTS (SELECT 1 FROM o WHERE o.user_id = u.id)返回空:引擎按 SELECT 列投影后外层行缺id键,$col绑定为 null。关联子查询路径强制plan.columns=['*']取完整行;非 JOIN 路径 SELECT 列带表前缀(u.name)统一剥离 - HAVING 标量子查询失效(静默返回空) —
HAVING SUM(o.amount) > (SELECT AVG(amount) FROM orders)的$subquery未解析 + 聚合表达式键(SUM(o.amount))与别名键(spent)不匹配。HAVING 先resolveSubqueries,GROUP BY 结果维护「表达式键→别名键」映射做归一化
Changed
- 版本号升至 v0.4.0
- 测试 837 → 876(44 → 46 套件),覆盖率 81.1% → 81.5%(Lines 84.7%)
[0.3.2] - 2026-08-08
Added
- CASE WHEN 用于 WHERE —
WHERE CASE WHEN cond THEN a ELSE b END = 'x'逐行求值(含 NOT/AND/OR 组合) - CASE WHEN 用于聚合 —
SUM(CASE WHEN age > 18 THEN 1 ELSE 0 END)、COUNT/AVG/MIN/MAX(CASE...)、GROUP BY + CASE非聚合列 - JOIN 哈希连接 — 等值 ON + 右表主键/索引列时,收集左表连接值 → 一次
$in查询 → 哈希映射匹配,替代嵌套循环(INNER/LEFT JOIN,O(N+M));不适用自动回退 - 多标签页同步 —
multiTabSync: true配置 + BroadcastChannel:- SQL 写语句(INSERT/UPDATE/DELETE/DDL)自动广播表变更
- Table API 写入(insert/insertMany/update/delete/clear/drop)自动广播
- 其他标签页收到
external变更事件(订阅者可见)+ Hybrid 内存自动重载 db.broadcastChange(table)手动广播
- IndexedDB schema 持久化 —
__metona_schemastore 保存完整列定义,reopen(页面刷新/重连)后恢复;旧数据回退为"主键 + 索引 + 样例推断"
Fixed
- IndexedDB reopen 后 schema 丢失(严重) — schema 仅存内存缓存,close 后重开连接表结构即丢失(INSERT 列映射截断、UPDATE 全列失效)。v0.3.2 持久化 + 重建
- where-matcher 顶层 $not 不生效 —
NOT (expr)解析为顶层{ $not }但被当作字段匹配,始终返回 true - CASE 剥离后空
$not恒假 — 引擎层执行NOT(true)过滤掉所有行
Changed
- 版本号升至 v0.3.2
[0.3.1] - 2026-08-08
Added
- CASE WHEN 表达式(SELECT 列) —
CASE WHEN cond THEN value [WHEN ...] [ELSE value] END [AS alias]- 多 WHEN 按顺序匹配、ELSE 缺省返回 null
- THEN/ELSE 值支持字面量(字符串/数字/布尔/null)与列引用
- 条件支持 AND/OR/比较运算符/IS NULL 等完整 WHERE 语法
- 引擎层返回原始行供求值(避免投影丢失条件列),与普通列混合投影
- JOIN + 关联子查询 — JOIN 结果的 WHERE 支持
EXISTS (SELECT ... WHERE o2.x = u.y)与$col引用外层行,逐行绑定求值 - WAL 批量组提交 —
WAL.appendBatch()合并多条记录为一次底层写入;引擎 insert/update/delete 批量记录后一次落盘(写放大从 O(N) 降为 O(1)) parseWhereCondition()导出 — 独立条件表达式解析(CASE WHEN 求值内部使用)
Fixed
- LSM pending frozen 可见性 — 异步 flush 链期间,中间冻结的 MemTable 仅存在于闭包中,读取路径不可见导致数据缺失。新增
frozenMemtables列表,get/rangeScan/getAllEntries 遍历所有 pending frozen(新→旧) - flush 缓存裁剪与预加载竞争 — flush 完成时的 LRU 裁剪会驱逐 prefetch 刚加载的 SSTable,导致扫描静默丢数据。prefetchRange/prefetchKeys 先等待 flush 链完成再加载
- CASE 值解析顺序 —
true/false/null字面量被误判为列引用
Changed
- 版本号升至 v0.3.1
[0.3.0] - 2026-08-08
Added
- SQL 多语句支持 —
parseAll()解析分号分隔的多条语句,db.query()顺序执行并返回最后一条结果(parse()保持单语句兼容) - 事务语句(TCL) —
BEGIN/COMMIT/ROLLBACK(支持可选 TRANSACTION 关键字),直接驱动引擎层事务,五引擎可用 - INSERT INTO ... SELECT — 支持
INSERT INTO t (cols) SELECT ...(含 WHERE 过滤、列映射) - UNION / UNION ALL — 支持去重合并与链式组合(
A UNION B UNION C),右侧结果按位置投影到左侧列结构 - CREATE INDEX / DROP INDEX — 动态二级索引:
CREATE [UNIQUE] INDEX idx ON table (col)/DROP INDEX idx ON table (col)- 五引擎实现:Memory 哈希索引 / IndexedDB 版本升级建
idx_col/ OPFS 委托 / Hybrid 双写 / Aria 动态 LSM 索引 - Aria 主键索引受保护(不可 DROP);CREATE INDEX 对已有数据立即建索引(回填),后续写入自动同步
- EXISTS / NOT EXISTS — 支持关联子查询(
WHERE EXISTS (SELECT 1 FROM o WHERE o.user_id = u.id)),逐行绑定外层上下文求值 - 别名 WHERE 修复 —
WHERE u.age > 20(主表别名前缀)此前不工作,v0.3.0 字段名规范化(JOIN 路径不受影响) SELECT 1常量列 — 数字字面量可作为 SELECT 列(EXISTS 子查询常见用法)- benchmark 页面 —
site/benchmark.html浏览器内实测 Memory / Aria 引擎 × 1K/10K/50K 行的 INSERT/PK 查询/索引查询/UPDATE/DELETE 吞吐(ops/sec) parseAll/ 新 AST 类型导出 —SelectUnionStatement/CreateIndexStatement/DropIndexStatement/BeginTransactionStatement等
Changed
- 版本号升至 v0.3.0
Fixed
NOT EXISTS解析丢 EXISTS token 导致 parse 失败
[0.2.6] - 2026-08-08
Fixed
- AriaEngine 二级索引 SSTable 互相覆盖(严重) — 主 LSM 与二级索引 LSM 此前共享同一
sstableStore(id 空间 + meta 列表),allocateId()返回Date.now()且各 LSM 从同一 meta 恢复nextSSTableId,高频写入时 id 冲突导致索引数据文件覆盖主数据、meta 与数据错配。v0.2.6 按命名空间隔离(文件前缀 + meta key + 独立 id 序列),索引 LSM 各持独立 store - LSM 多版本读取顺序错误(严重) —
levels[]数组按push追加(新文件在尾部),但get()/rangeScan从头遍历(旧文件优先),同一 key 跨多次 flush 更新后读到旧值;MergeIterator去重只取"先出堆者",不保证最新来源。v0.2.6 改为"数组头部即最新"(unshift+ 按 id 降序加载),MergeIterator 显式取 sourceIndex 最小者 - LZ4 往返不一致 — ① 匹配长度超过 19 字节被截断但
si跳过全部匹配,解压丢数据;② matchField=0 的组合 token 与纯字面量 token 格式歧义;③ 字面量累积超过 15 字节后组合 token 永远无法输出;④ 输出缓冲区maxOut不足导致越界写入;⑤ 压缩失败时返回原样 input,解压端无法区分。v0.2.6 重写压缩器(长匹配分段、纯字面量 token 语义明确、动态上限) - React/Vue 集成运行时 ReferenceError —
useDatabase/useSqlarkDatabase用import type导入MetonaSqlark但运行时new MetonaSqlark(),@ts-nocheck掩盖此 bug,实际使用必炸。改为 value import - sstableCache 无限增长 — SSTable 缓存无内存上限且
init()预加载全部数据,大库 OOM。v0.2.6 引入 LRU 容量上限(bufferPoolPages×pageSize),查询前异步预加载兜底(修复缓存未命中静默返回 null 丢数据的隐患) - integrations 子路径缺失 — README 宣称
metona-sqlark/react、metona-sqlark/vue可用但exports未声明,现已补齐(react/vue 为 peer dependency,rollup external)
Changed
- Buffer Pool 配置真正生效 —
bufferPoolPages从无效配置变为 SSTable 缓存容量上限(默认 256 页 ≈ 1MB 可控内存) - LZ4 格式变更 — 旧版本压缩数据与新解压器不兼容,使用
compression: true的用户需重新导入数据 - SSTable 持久化串行化 — flush/compaction 改为串行链(
flushChain),id 分配与持久化顺序一致,消除 fire-and-forget 竞态 - 文档数据修正 — 测试 761(41 套件)、覆盖率 81.1%(此前 91.0% 为排除 Aria 模块的陈旧数据)、体积 ~105KB / gzip ~27KB
Added
- AriaEngine 缓存内存上限测试 — 9 个测试:LRU 上限约束、驱逐后全表/PK/索引查询完整性、UPDATE/DELETE 全量作用、写路径上限、命名空间隔离回归、多版本回归、tombstone 回归
- LZ4 往返一致性测试 — 6 个往返测试(重复/文本/随机/边界长度/15 字节边界/长匹配)
- CryptoManager 加解密测试 — 7 个测试(往返/错误密码/不同 salt/实例隔离/全局兼容层/4KB 页面)
- React/Vue hooks 集成测试 — 16 个测试(jest.mock 零依赖:mount 执行、错误路径、refresh、注入防护、数据库初始化)
- jest.setup.js WebCrypto polyfill — jsdom 环境补齐
crypto.subtle支持 AES-GCM
[0.2.5] - 2026-07-29
Fixed
- 版本号统一 —
constants.tsVERSION 从'0.2.0'更新为'0.2.5',修正index.ts/utils.ts/CONTRIBUTING.md中过时的版本注释和数据 - AriaEngine OPFS 后端映射 —
core.ts中mode: 'aria'+diskEngine: 'opfs'时实际使用 Memory 后端的 bug 已修复 _onError接入执行路径 —query()/defineTable()/dropTable()/transaction()/importTable()的 catch 路径现在调用_onError全局错误回调maxRowsPerQuery生效 —QueryExecutor构造时接收maxRowsPerQuery参数,SELECT 结果在返回前截断- WAL full 模式真正同步 —
WAL.append()改为async,full模式下await this.store.append()真正等待写入完成,不再 fire-and-forget - PluginManager.install 传 db 实例 —
register()增加可选db参数,core.ts初始化时传入this,插件可获取 db 引用
Changed
- SSTableReader 二分查找统一 —
locateBlockGE/locateBlockLE从线性扫描改为二分查找,rangeScan 性能在大型 SSTable 下不再退化 - crypto 实例化 — 全局状态改为
CryptoManager类,每个 AriaEngine 实例可拥有独立加密配置,保留全局函数向后兼容 - compactLevelSync 接口公开化 — LSM 新增 public
compactLevel()方法,vacuum()不再使用as any绕过 private 访问 - WAL 大小阈值接入 checkpoint —
CheckpointManager接收walSizeThreshold参数,WAL 缓冲超阈值时自动触发 checkpoint
Added
- ALTER TABLE 语法 — 支持
ALTER TABLE ... ADD COLUMN/DROP COLUMN(含可选 COLUMN 关键字) - TRUNCATE TABLE 语法 — 支持
TRUNCATE TABLE name快速清空表数据 - MVCC 接入读写路径 — 事务内 insert/update/delete 调用
mvcc.writeVersion/mvcc.deleteVersion,版本链作为 undo log - IndexedDB 索引利用 —
IndexedDBEngine.find等值查询时优先使用 IDB 索引(idx_col命名约定),避免全量 getAll - SQL 注入防护 — React
useTable/ VueuseSqlarkTable增加表名合法性校验(/^[a-zA-Z_][a-zA-Z0-9_]*$/)
[0.2.4] - 2026-07-27
Added
- 二级索引 — 每列可独立维护 LSM Tree 索引,
$eq/$in/$gt/$lt走索引 O(log n) - MVCC 接入引擎 — MVCCManager 正式投产,替换 ad-hoc txnSnapshot
- MVCC 自动 GC — 每 10 次 checkpoint 自动回收过旧版本(保留最新 100 个)
- Bloom Filter 序列化 — 写入 SSTable footer + 读取时加载 + 查询时 probe 快速否定
- WAL 大小阈值 —
walSizeThreshold配置(默认 16MB),超阈值强制 checkpoint - 内存预算 —
maxMemoryMB配置(默认 64MB)
Changed
- WAL 默认同步模式 —
walSyncMode从'batch'改为'full',消除 crash 丢数据风险 - 查询优化 —
tryIndexLookup扩展支持非 PK 列索引查找
[0.2.3] - 2026-07-27
Fixed
- RB-Tree fixDelete 完整实现 — 补全标准红黑树删除修复,保证 O(log n)
- LSM SSTable 缓存预热 —
init()预加载所有 SSTable,消除 cache miss - OPFS 数据恢复 —
open()自动从 OPFS 文件加载已有表数据到内存 - Aria WAL 事务恢复 — 两阶段恢复:仅回放已提交事务,未提交数据不回放
- LZ4 格式修复 — 重写 token 格式,消除中间字面量 token 歧义
[0.2.2] - 2026-07-27
Added
- OPFS 自研存储后端 — AriaEngine 新增
OPFSBackend,纯浏览器文件系统 API,零 IndexedDB 依赖- 每个 key 对应一个二进制文件,存储在
navigator.storage.getDirectory()下 - 支持 read/write/delete/list/exists/clear 完整接口
- 页面文件(4KB)、WAL 日志、Schema、SSTable 全部存储为独立文件
{ dbName }/pg_1,{ dbName }/__wal_0,{ dbName }/__aria_schemas...
- 每个 key 对应一个二进制文件,存储在
Changed
AriaEngineConfig.storageBackend已支持'opfs',AriaEngine.open()自动选择 OPFSBackend
[0.2.1] - 2026-07-27
Fixed
- WAL CRC 校验验证 — 恢复时计算并验证 CRC32,损坏记录自动跳过并告警
- Hybrid 引擎提交顺序 — commit 先写磁盘再写内存,磁盘失败回滚内存,消除数据不一致风险
- RESTRICT 外键行为修正 — 检测到引用行时抛出
FOREIGN_KEY_VIOLATION,不再静默保留孤儿 - SSTable rangeScan 边界保护 — 空索引或 startBlockIdx > endBlockIdx 时安全返回
Added
- ColumnDef 约束激活 —
maxLength/min/max约束在checkFieldType中正式生效 - 查询结果上限 —
DatabaseConfig.maxRowsPerQuery(默认 0 不限制),防止超大结果集 OOM - onError 全局回调 — 配置中的
onError回调实际接入 CRUD 异常路径 - debug 调试模式 —
DatabaseConfig.debug: true输出[MetonaSqlark:name]前缀的结构化日志 - 浏览器兼容性声明 — README 增加 Chrome 80+/Firefox 80+/Safari 14+/Edge 80+ 支持矩阵
Changed
- MemoryEngine RESTRICT 外键行为:从"不级联保留孤儿"改为"禁止删除抛异常"
- Hybrid 引擎 commitTransaction 磁盘优先于内存
- DB_DEFAULTS 新增
maxRowsPerQuery: 0和debug: false
[0.2.0] - 2026-07-27
Added
- AriaEngine 自研存储引擎 — 基于 LSM-Tree 的页面式存储引擎,19 个新模块,~3500 行 TypeScript
- 页面格式层 (
page/): 4KB Slotted Page 编解码、Tuple 二进制序列化、CRC32 校验 - Buffer Pool (
buffer/): LRU 页面缓存 + 驱逐策略,可控内存占用 - LSM-Tree 索引 (
index/): MemTable (红黑树) + 多级 SSTable + Leveled Compaction - Bloom Filter (
index/bloom.ts): FNV-1a + Murmur 双哈希,快速键否定判定 - SSTable 构建器/读取器 (
index/sstable_builder.ts,sstable.ts): 二分查找 + 范围扫描 - Merge Iterator (
index/merge_iterator.ts): 最小堆多路归并,去重保留最新值 - WAL (
wal/): 二进制日志格式 (LSN/type/txnId/table/key/json/CRC) + Checkpoint 管理 - MVCC (
transaction/mvcc.ts): 版本链 + 快照隔离 + GC - 存储后端 (
store/): IndexedDB / Memory 双后端抽象 - LZ4 压缩 (
compression/lz4.ts): 简易页面级压缩
- 页面格式层 (
mode: 'aria'— 新增存储模式,可通过MetonaSqlark.create({ mode: 'aria' })激活- Schema 持久化 — 表结构自动保存到
__aria_schemas,重启自动恢复 - SSTable 元数据管理 — SSTable 索引信息持久化,启动时自动扫描加载
- 事务感知 CRUD — insert/update/delete 在事务中缓冲到 snapshot,commit 批量写入 LSM
- 244 个 AriaEngine 专项测试 — 覆盖生命周期/表管理/CRUD/事务/持久化/SQL 集成/页面格式/LSM/压缩
Changed
StorageMode类型新增'aria'STORAGE_MODES数组新增'aria'createEngine()支持mode: 'aria'分支- 测试从 318 → 526,套件从 20 → 27
- 新增 7 个模块级测试文件:
aria-page、aria-index、aria-sstable、aria-buffer、aria-wal-mvcc、aria-compress、aria - LRUList 修复 size 追踪 bug
- WAL 存储改为按记录独立 key(避免拼接缓冲区越界)
- CheckpointManager 解耦 BufferPool 依赖
Fixed
- LZ4 压缩无限循环 — 字面量分支在发现匹配后回退导致 litLen=0 死循环,CI 卡死根因
- SSTableReader.get() 自比较 bug — 参数 key 被循环变量遮蔽导致永远返回第一条
- CheckpointManager 测试 null 引用 — 改为 Mock 对象避免 TypeError 导致进程无法退出
- IndexedDB 持久化测试 — 替换为 Memory Backend 验证,消除 fake-indexeddb timer 堆积
- LSM.flush() 不必要 setTimeout — 替换为 Promise.resolve(),消除额外 timer 延迟
[0.1.14] - 2026-07-26
Fixed
- IndexedDB 事务原子性:
flushToIDB改为单 IDB 事务包裹 clear+insert,消除崩溃丢数据风险 - 多标签页冲突:
open()添加onversionchange监听,其他标签页升级版本时自动关闭过期连接 - Memory 引擎幂等:
open()重复调用安全无副作用 - 关闭时清理
onversionchange监听器,防止内存泄漏
[0.1.13] - 2026-07-26
Added
- 事务回滚机制:
IStorageEngine新增beginTransaction/commitTransaction/rollbackTransaction接口- MemoryEngine: 快照式回滚(深拷贝 tables/schemas/indexes)
- IndexedDBEngine: 延迟写入策略(事务中仅写内存,commit 批量刷 IDB)
- OPFSEngine: 快照式回滚(commit 批量写文件)
- HybridEngine: 同时代理内存+磁盘引擎事务
- 子查询支持: SQL Parser + Executor 支持
IN (SELECT ...)和op (SELECT ...)子查询- AST 新增
SubqueryExpression类型 - Parser 在 IN 和比较运算符后检测子查询
- Executor 新增
resolveSubqueries()递归解析,自动执行子查询并替换为具体值
- AST 新增
- 外键级联操作: ColumnDef 新增
onDelete/onUpdate选项- 支持
CASCADE(递归级联删除)、SET NULL、RESTRICT - SQL Parser 解析
REFERENCES table(col) ON DELETE CASCADE ON UPDATE CASCADE - MemoryEngine 内置
cascadeDelete()递归级联逻辑
- 支持
- 连接池管理:
MetonaSqlark.connect()静态方法- 同名数据库复用已打开实例,引用计数管理
db.disconnect()释放连接,归零自动 closeMetonaSqlark.disconnectAll()强制关闭所有连接
Changed
TransactionManager.execute()调用引擎层 begin/commit/rollback 实现真正原子性- IndexedDBEngine CRUD 事务感知:活跃事务中延迟 IDB 写入
- ASTColumnDef / astColumnToColumnDef 支持 references/onDelete/onUpdate 透传
Fixed
- IndexedDBEngine 事务中 find/count 从内存缓存读取(保证读到未提交变更)
- SQL Parser parseColumnDef 循环条件扩展,避免 REFERENCES 语法解析中断
[0.1.12] - 2026-07-26
Added
MeSqlark别名导出,与MetonaSqlark完全等价metona-sqlark.cjs.jsCommonJS 构建产物- 完善的
where-matcher.ts消除 220+ 行重复代码 $col列引用支持 JOIN ON 条件$and/$or嵌套支持(字段级 + 顶层)$not逻辑非操作符$like正则缓存加速projectColumns列投影支持table.column格式DISTINCT去重支持(O(n) 时间,列值拼接优化)- 测试覆盖率提升至 93.46%(264 测试/15 套件)
Changed
where-matcher统一 MemoryEngine / IndexedDBEngine / Executor 的 WHERE 逻辑- JOIN ON 匹配支持
$col语法 - LIKE 正则改为缓存式编译
- Executor DISTINCT 用列值拼接代替 JSON.stringify
- JOIN 嵌套循环连接优化:避免 ON 时对象扩散
Fixed
- IndexedDBEngine
update/delete方法正确同步内存缓存 - OPFSEngine
getTableNames兼容entries()返回值 - SQL Parser 正确处理字符串转义字符
- SQL Parser 正确处理表别名(无 AS 关键字)
- SQL Parser 解析
IS NULL/IS NOT NULL/NOT LIKE peekTokenIs方法正确暴露给语法分析- 多处边界条件空值/假值处理
[0.1.11] - 2026-07-25
Added
- React 集成 hooks:
useQuery,useTable,useDatabase - Vue 集成 composables:
useSqlarkQuery,useSqlarkTable,useSqlarkDatabase - 发布订阅系统:
subscribe(),emit() - 数据迁移系统:
addMigration(),migrateTo() - 导入导出:
exportTable(),exportAll(),importTable() - 完整 SQL 解析器:
Lexer+Parser(递归下降) - SQL 支持: SELECT, INSERT, UPDATE, DELETE, CREATE TABLE, DROP TABLE
- JOIN 支持: INNER, LEFT, RIGHT, CROSS
- GROUP BY + HAVING + 聚合函数 (COUNT, SUM, AVG, MIN, MAX)
- DISTINCT, ORDER BY, LIMIT, OFFSET
- WHERE 条件: AND, OR, NOT, IN, LIKE, IS NULL
- Query Builder 链式 API:
select().where().orderBy().limit().execute() - 插件系统: 14 种生命周期钩子 + PluginManager
- Metadata 系统: ColumnDef 完整约束 (type/primaryKey/required/unique/index/default/references/maxLength/min/max)
Changed
- 架构重构为分层设计:Engine → QueryExecutor → Table/QueryBuilder → SQL Parser → Public API
- AST 作为统一中间表示,SQL 和 QueryBuilder 行为完全一致
- 测试框架完善:core / edge / groupby / join / query-system / sql / table / engine / transaction / plugin / hybrid 全覆盖
[0.0.1] - 2026-07-24
Added
- 初始项目骨架
- TypeScript 配置(严格模式)
- Rollup 构建(UMD / ESM / CJS / min / .d.ts)
- Jest + jsdom 测试环境
- ESLint + @typescript-eslint
- Gitea Actions CI 工作流
- 示例站点(index / demo / docs)
- 构建脚本 build.sh