fix(A8 + LSM 读自洽): 行所有权根治 + 读取路径不再依赖 prefetch

A8 行引用泄漏(调用方改查询结果即改写存储)
  实测:rows[0].tag = 'HACKED' 后,tag='HACKED' 与 tag='x' 两条索引查询都返回 0 行 ——
  行与索引失配、该行永久查不出来;嵌套 json 值同样按引用共享。
  Aria 因走反序列化路径反而幸免,又形成跨引擎差异。

  根治:在 IStorageEngine 契约层写入**行所有权约定**(engine/interface.ts)
  —— 读出的行是副本、写入接收的行也是副本;新增 cloneRow/cloneRows
  (优先 structuredClone,退化路径处理 Date/嵌套对象/二进制)。
  Memory/KVStore/Hybrid:find、findStream、getRow 全部返回副本。
  Aria:getAllRows 此前只做 `{ ...value }` 浅拷贝(嵌套 json 仍共享引用),
  改为深拷贝;find/findStream 返回副本。
  实测四种引擎:修改返回值后重读不变、索引两条查询均正确。

LSM 读取自洽(审计 P1-1:缓存未命中 = 静默丢数据)
  此前 loadSSTableReader 缓存未命中返回 null,而所有调用方都是
    const reader = this.loadSSTableReader(meta); if (!reader) continue;
  于是**未命中就静默跳过整个 SSTable**。实测:缓存上限 4KB 而 SSTable 更大时,
  300 行只能查回 59 行,且不报错。
  同时"读路径必须先 prefetch"这个隐式约定,是每次读都要 drainChain + prefetch
  的原因(性能悬崖的另一半)。

  根治:LSM.get / rangeScan / rangeScanLazy 改为 async,未命中即
  `await sstableStore.load()` 回源 + CRC 校验(损坏则自愈清理 meta),
  只有数据确实不存在才返回 null。checkUniqueSync 相应改名 checkUnique 并 async
  (原命名正是因为依赖 prefetch 约定)。引擎侧 12 处调用点补 await。

附带修正的缓存语义:
  - tryCacheSSTable:单个 SSTable 超过缓存上限时标记为常驻(pinned),
    不参与驱逐 —— 驱逐它等价于静默丢数据;内存上限因此是
    cacheLimit + 单个最大 SSTable,已在代码与测试中明确。
  - trimCache 跳过 pinned 条目(此前会把全部缓存一次性清空)。
  - 新增 getCacheSize/getCacheLimit/getOversizedCount/setCacheLimit 访问器
    (测试此前直接读私有字段 cacheSize/cacheLimitBytes —— 那是 TS 错误,
    只因测试不做类型检查才没暴露)。

queryStream async 回调
  此前用 constructor.name === 'AsyncFunction' 判定,对"普通函数返回 Promise"
  完全失效(Promise 被静默丢弃)。现改为双条件识别并走物化路径逐行 await,
  async 回调被真正等待。

测试契约修正:
  - aria-cache:'缓存大小受上限约束' 在极小缓存下是不可成立的契约,改为断言
    真正重要的不变量(数据完整;可装入时受上限约束),并新增"超大 SSTable 常驻"
    用例;'缓存驱逐后全表扫描仍返回完整数据' 保留 300 行断言(此前会失败)。
  - hybrid:磁盘引擎标签断言从 indexeddb(v0.6.0 已移除)改为 opfs。
This commit is contained in:
thzxx
2026-09-14 21:43:21 +08:00
parent 752bdea97d
commit 074afd3f1e
7 changed files with 312 additions and 73 deletions
+8 -3
View File
@@ -6,6 +6,7 @@
import type { IStorageEngine } from './interface';
import type { QueryPlan, TableSchema, WhereCondition } from '../constants';
import { DatabaseError } from '../constants';
import { cloneRow } from './interface';
import { matchWhere, applyOrderBy, projectColumns, containsUnresolvedSubqueries } from '../query/where-matcher';
import { stripUndefinedUpdates } from '../table/schema';
@@ -184,9 +185,11 @@ export class MemoryEngine implements IStorageEngine {
/** v0.7.3: 按主键取已验证行(KVStoreEngine 持久化 validated 行用,含 default/类型归一) */
getRow(tableName: string, pkValue: string): Record<string, unknown> | null {
// v0.8.0: 返回副本(调用方用于持久化,不得持有内部引用)
const table = this.tables.get(tableName);
if (!table) return null;
return table.get(pkValue) ?? null;
const row = table.get(pkValue);
return row ? cloneRow(row) : null;
}
async find(tableName: string, query: QueryPlan): Promise<Record<string, unknown>[]> {
@@ -206,7 +209,9 @@ export class MemoryEngine implements IStorageEngine {
if (query.columns && query.columns.length > 0 && query.columns[0] !== '*') {
results = results.map((row) => projectColumns(row, query.columns!));
}
return results;
// v0.8.0: 返回副本 —— 此前直接交出内部行对象,调用方原地修改即改写存储
// 并让索引与行失配(该行从此查不出来)。见 engine/interface.ts 的行所有权约定。
return results.map((row) => cloneRow(row));
}
/** v0.4.0: 流式查询 — 逐行回调(单次迭代,不物化结果数组) */
@@ -225,7 +230,7 @@ export class MemoryEngine implements IStorageEngine {
for (const row of table.values()) {
if (hasWhere && !matchWhere(row, query.where!)) continue;
if (skipped < offset) { skipped++; continue; }
onRow(project ? project(row) : row);
onRow(project ? project(row) : cloneRow(row));
count++;
if (count >= limit) break;
}