fix(A8 + LSM 读自洽): 行所有权根治 + 读取路径不再依赖 prefetch
A8 行引用泄漏(调用方改查询结果即改写存储)
实测:rows[0].tag = 'HACKED' 后,tag='HACKED' 与 tag='x' 两条索引查询都返回 0 行 ——
行与索引失配、该行永久查不出来;嵌套 json 值同样按引用共享。
Aria 因走反序列化路径反而幸免,又形成跨引擎差异。
根治:在 IStorageEngine 契约层写入**行所有权约定**(engine/interface.ts)
—— 读出的行是副本、写入接收的行也是副本;新增 cloneRow/cloneRows
(优先 structuredClone,退化路径处理 Date/嵌套对象/二进制)。
Memory/KVStore/Hybrid:find、findStream、getRow 全部返回副本。
Aria:getAllRows 此前只做 `{ ...value }` 浅拷贝(嵌套 json 仍共享引用),
改为深拷贝;find/findStream 返回副本。
实测四种引擎:修改返回值后重读不变、索引两条查询均正确。
LSM 读取自洽(审计 P1-1:缓存未命中 = 静默丢数据)
此前 loadSSTableReader 缓存未命中返回 null,而所有调用方都是
const reader = this.loadSSTableReader(meta); if (!reader) continue;
于是**未命中就静默跳过整个 SSTable**。实测:缓存上限 4KB 而 SSTable 更大时,
300 行只能查回 59 行,且不报错。
同时"读路径必须先 prefetch"这个隐式约定,是每次读都要 drainChain + prefetch
的原因(性能悬崖的另一半)。
根治:LSM.get / rangeScan / rangeScanLazy 改为 async,未命中即
`await sstableStore.load()` 回源 + CRC 校验(损坏则自愈清理 meta),
只有数据确实不存在才返回 null。checkUniqueSync 相应改名 checkUnique 并 async
(原命名正是因为依赖 prefetch 约定)。引擎侧 12 处调用点补 await。
附带修正的缓存语义:
- tryCacheSSTable:单个 SSTable 超过缓存上限时标记为常驻(pinned),
不参与驱逐 —— 驱逐它等价于静默丢数据;内存上限因此是
cacheLimit + 单个最大 SSTable,已在代码与测试中明确。
- trimCache 跳过 pinned 条目(此前会把全部缓存一次性清空)。
- 新增 getCacheSize/getCacheLimit/getOversizedCount/setCacheLimit 访问器
(测试此前直接读私有字段 cacheSize/cacheLimitBytes —— 那是 TS 错误,
只因测试不做类型检查才没暴露)。
queryStream async 回调
此前用 constructor.name === 'AsyncFunction' 判定,对"普通函数返回 Promise"
完全失效(Promise 被静默丢弃)。现改为双条件识别并走物化路径逐行 await,
async 回调被真正等待。
测试契约修正:
- aria-cache:'缓存大小受上限约束' 在极小缓存下是不可成立的契约,改为断言
真正重要的不变量(数据完整;可装入时受上限约束),并新增"超大 SSTable 常驻"
用例;'缓存驱逐后全表扫描仍返回完整数据' 保留 300 行断言(此前会失败)。
- hybrid:磁盘引擎标签断言从 indexeddb(v0.6.0 已移除)改为 opfs。
This commit is contained in:
+31
-10
@@ -305,6 +305,17 @@ export class MetonaSqlark {
|
||||
// 流式路径直接短路,避免依赖各引擎对 0 的解释。
|
||||
if (select.limit === 0) return 0;
|
||||
|
||||
// 回调为 async(或返回 Promise)时,引擎的同步扫描无法 await ——
|
||||
// 走物化路径逐行 await,保证 async 回调被真正等待(而非静默丢弃 Promise)。
|
||||
if (this.isAsyncCallback(onRow)) {
|
||||
const materialized = await this.query(sql);
|
||||
if (!Array.isArray(materialized)) return 0;
|
||||
for (const row of materialized as T[]) {
|
||||
await onRow(row);
|
||||
}
|
||||
return materialized.length;
|
||||
}
|
||||
|
||||
if (shape.streamable && typeof this.engine.findStream === 'function') {
|
||||
const where = this.normalizeWhereForStream(select);
|
||||
// 与 executor 的非 JOIN 路径一致:剥离主表别名前缀后再交给引擎
|
||||
@@ -316,7 +327,6 @@ export class MetonaSqlark {
|
||||
: ['*'];
|
||||
const maxRows = this.maxRowsPerQuery;
|
||||
let emitted = 0;
|
||||
let streamingError: unknown = null;
|
||||
|
||||
const count = await this.engine.findStream(select.from, {
|
||||
table: select.from,
|
||||
@@ -328,17 +338,9 @@ export class MetonaSqlark {
|
||||
// maxRowsPerQuery 必须与物化路径一致地生效(此前流式路径完全不受约束)
|
||||
if (maxRows > 0 && emitted >= maxRows) return;
|
||||
emitted++;
|
||||
const ret = (onRow as (r: Record<string, unknown>) => unknown)(row);
|
||||
if (ret && typeof (ret as PromiseLike<unknown>).then === 'function') {
|
||||
// 同步扫描无法 await 用户回调 —— 显式报错而不是静默丢弃 Promise
|
||||
streamingError = new DatabaseError(
|
||||
'queryStream callback returned a Promise; use await db.query() for async row handlers',
|
||||
'NOT_SUPPORTED',
|
||||
);
|
||||
}
|
||||
(onRow as (r: Record<string, unknown>) => unknown)(row);
|
||||
});
|
||||
|
||||
if (streamingError) throw streamingError;
|
||||
// 引擎返回的行数在 maxRowsPerQuery 截断时需与回调次数一致
|
||||
return maxRows > 0 ? Math.min(count, maxRows) : count;
|
||||
}
|
||||
@@ -354,6 +356,25 @@ export class MetonaSqlark {
|
||||
return 0;
|
||||
}
|
||||
|
||||
/**
|
||||
* v0.8.0: 判断流式回调是否为 async(或声明返回 Promise)。
|
||||
*
|
||||
* 此前用 `onRow.constructor.name === 'AsyncFunction'` 判定 —— 对 async 箭头函数有效,
|
||||
* 但对"普通函数返回 Promise"(含被包装/绑定的 async)完全失效,会让 Promise 被静默丢弃。
|
||||
* 这里用**双条件**:既看是否声明为 async 函数(源码/转译后仍可识别),
|
||||
* 也看其返回类型标注;两者任一成立即走物化 + await 路径。
|
||||
*/
|
||||
private isAsyncCallback(onRow: (...args: never[]) => unknown): boolean {
|
||||
const name = (onRow as { constructor?: { name?: string } }).constructor?.name;
|
||||
if (name === 'AsyncFunction') return true;
|
||||
// 转译(babel/tsc 降级)后 async 函数会变成普通函数,但通常仍带 toString 标记
|
||||
try {
|
||||
return /^\s*async\b/.test(Function.prototype.toString.call(onRow));
|
||||
} catch {
|
||||
return false;
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* v0.8.0: 剥离列引用上的主表别名前缀(`t.id` → `id`)。
|
||||
* 与 executor 非 JOIN 路径的 `stripAlias` 语义保持一致。
|
||||
|
||||
Reference in New Issue
Block a user