From 22028c91c3a4893225351ee20f81945873f58ac7 Mon Sep 17 00:00:00 2001 From: thzxx <1440196015@qq.com> Date: Fri, 21 Aug 2026 23:09:36 +0800 Subject: [PATCH] =?UTF-8?q?fix:=20v0.5.5=20=E5=85=A8=E9=87=8F=E5=A4=8D?= =?UTF-8?q?=E6=A3=80=E4=BF=AE=E5=A4=8D=20=E2=80=94=20=E5=9B=BE=E7=89=87=20?= =?UTF-8?q?token=20=E4=BC=B0=E7=AE=97=E7=BC=BA=E5=A4=B1=EF=BC=88=E5=8E=8B?= =?UTF-8?q?=E7=BC=A9=E9=A2=84=E7=AE=97=E5=A4=B1=E7=9C=9F=EF=BC=89+=20?= =?UTF-8?q?=E8=BF=87=E6=97=B6=E6=96=87=E6=A1=88=E6=B8=85=E7=90=86?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 背景：v0.5.4 多模态增强（多轮图片记忆 + 总开关 + DeepSeek vision）发布后的 全量全方位复检，重点核查新增功能的跨模块边界。 复检通过项（无回归确认）: - 多轮图片记忆 × 五家 adapter：Anthropic（base64 块）/ OpenAI（image_url parts）/ Ollama（纯 base64 数组）/ Agnes / MiMo 均正确处理恢复的历史 images - 多轮图片记忆 × 引擎运行时压缩：摘要请求仅含文本（图片不进摘要调用）； toKeep 消息的 images 原样保留；孤立 tool 消息配对逻辑不受影响 - 多轮图片记忆 × 摘要服务：maybeSummarize 用截断文本 transcript，无图片干扰 - history 组装 slice(0,-1) × 图片恢复无冲突（当前消息 images 走独立通道） - 编辑重发/重新生成路径与图片恢复同源（attachments.preview），行为一致 修复项: - P1 token 估算器完全忽略 images（estimateMessagesTokens）： 带 10 张图的消息被按纯文本估算。影响：压缩 keepBudget 严重低估 → 压缩后实际 token 仍超 80% 阈值 → 反复触发压缩循环（每轮多一次 LLM 摘要调用）；上下文占用显示严重失真。修复：每张图按 1000 tokens 计入 （1024px 压缩图在主流 Provider 约 700~1500 视觉 token，取保守上界） - 文案清理：ChatInput 附件按钮 Tooltip 硬编码"DeepSeek 不支持图片"改为 按拒绝原因区分（开关未开启 vs 当前模型不支持）；openai-format.ts 共享层 注释更新（DeepSeek vision 已支持，非 vision 模型才丢弃） 测试（243 → 245 用例）: - 新增 token 估算图片用例 ×2：带 images 消息按每张 1000 tokens 计入 / 无 images 字段消息行为不变（向后兼容） 验证: lint 0 / typecheck 双工程 0 / test:electron 245 全过 / build 成功 --- README.md | 4 +- .../harness/adapters/shared/openai-format.ts | 11 ++--- .../utils/__tests__/token-estimator.test.ts | 21 +++++++++ electron/harness/utils/token-estimator.ts | 45 ++++++++++++++----- package.json | 2 +- src/components/chat/ChatInput.tsx | 4 +- 6 files changed, 66 insertions(+), 21 deletions(-) diff --git a/README.md b/README.md index 1a42b87..8a72a9a 100644 --- a/README.md +++ b/README.md @@ -10,7 +10,7 @@

- Version + Version License Electron React @@ -867,7 +867,7 @@ npm run format # Prettier 格式化 # ─── 测试 ───────────────────────────────── npm test # 运行单元测试 (Vitest, 系统 Node — audit 套件因 better-sqlite3 ABI 自动跳过) -npm run test:electron # 运行全量单元测试 (Electron Node ABI, 243 用例全执行, 含 SQLite 审计链哈希 + 引擎工具链集成) +npm run test:electron # 运行全量单元测试 (Electron Node ABI, 245 用例全执行, 含 SQLite 审计链哈希 + 引擎工具链集成) npm run test:watch # 测试监听模式 # ─── 构建 ───────────────────────────────── diff --git a/electron/harness/adapters/shared/openai-format.ts b/electron/harness/adapters/shared/openai-format.ts index 21492bf..61db1c8 100644 --- a/electron/harness/adapters/shared/openai-format.ts +++ b/electron/harness/adapters/shared/openai-format.ts @@ -47,9 +47,10 @@ export function buildOpenAICompatibleMessages( }; // 注意：图片（多模态）处理不在此共享函数中。 - // DeepSeek 不支持多模态，images 被静默丢弃是正确行为。 - // Agnes/MiMo 各自的 toNativeRequest 中有独立的 images 处理。 - // 审查修复: #27 曾在此添加 images 处理，但 DeepSeek 不支持多模态会导致 API 400，已撤销。 + // DeepSeek 非 vision 模型不支持多模态，images 被静默丢弃是正确行为 + // （vision 模型在 DeepSeekAdapter.toNativeRequest 中独立处理）。 + // Agnes/MiMo/OpenAI 各自的 toNativeRequest 中有独立的 images 处理。 + // 审查修复: #27 曾在此添加 images 处理，但 DeepSeek 非 vision 模型会导致 API 400，已撤销。 // === Assistant 消息 === if (m.role === 'assistant') { @@ -76,9 +77,9 @@ export function buildOpenAICompatibleMessages( // 否则 LLM 看到 "null" 不知道失败原因，可能重复调用导致死循环 msg.content = m.toolResult.error ? m.toolResult.error - : (typeof m.toolResult.result === 'string' + : typeof m.toolResult.result === 'string' ? m.toolResult.result - : JSON.stringify(m.toolResult.result)); + : JSON.stringify(m.toolResult.result); // #26 修复: 确保 tool 消息 content 不为 undefined // JSON.stringify(undefined) 返回 undefined（非字符串），会导致 content 字段在序列化后消失 // OpenAI/DeepSeek/Agnes API 严格要求 tool 消息必须有 content 字段，缺失会返回 400 diff --git a/electron/harness/utils/__tests__/token-estimator.test.ts b/electron/harness/utils/__tests__/token-estimator.test.ts index 07cf9cc..f6aad19 100644 --- a/electron/harness/utils/__tests__/token-estimator.test.ts +++ b/electron/harness/utils/__tests__/token-estimator.test.ts @@ -37,6 +37,27 @@ describe('estimateStringTokens', () => { }); describe('estimateMessagesTokens', () => { + // ===== v0.5.5: 图片 token 估算（多轮图片记忆场景） ===== + + it('带 images 的消息按每张 1000 tokens 计入（v0.5.5 — 此前完全忽略）', () => { + const textOnly = estimateMessagesTokens([{ content: '看这张图', role: 'user' } as never]); + const withImage = estimateMessagesTokens([ + { content: '看这张图', role: 'user', images: [{ url: 'data:image/jpeg;base64,x' }] } as never, + ]); + // 差值 = 1 张图的估算（1000） + expect(withImage - textOnly).toBe(1000); + + const withThree = estimateMessagesTokens([ + { content: '', role: 'user', images: [{ url: 'a' }, { url: 'b' }, { url: 'c' }] } as never, + ]); + // 3 张图 + 消息开销（content 为空 = 0） + expect(withThree).toBe(3 * 1000 + 4); + }); + + it('无 images 字段的消息行为不变（向后兼容）', () => { + expect(estimateMessagesTokens([{ content: 'abc', role: 'user' } as never])).toBe(4 + 1); + }); + it('每条消息计入结构性开销（4 tokens）', () => { const msgs = [{ content: '' }, { content: '' }]; expect(estimateMessagesTokens(msgs)).toBe(8); // 2 * 4 overhead diff --git a/electron/harness/utils/token-estimator.ts b/electron/harness/utils/token-estimator.ts index d4c4769..0077da0 100644 --- a/electron/harness/utils/token-estimator.ts +++ b/electron/harness/utils/token-estimator.ts @@ -20,17 +20,18 @@ */ // 中日韩统一表意文字 + 全角标点 + 日文假名 + 韩文谚文 -const CJK_REGEX = /[\u4e00-\u9fff\u3400-\u4dbf\u3000-\u303f\uff00-\uffef\u3040-\u309f\u30a0-\u30ff\uac00-\ud7af]/; +const CJK_REGEX = + /[\u4e00-\u9fff\u3400-\u4dbf\u3000-\u303f\uff00-\uffef\u3040-\u309f\u30a0-\u30ff\uac00-\ud7af]/; /** * L-17 修复: 提取魔法系数为命名常量，便于统一调整 * v0.3.18 修复: CJK_TOKEN_RATIO 从 1.5 调整为 1.0，更贴近 BPE 实际值 * @see project_memory.md — Token estimation coefficients */ -const CJK_TOKEN_RATIO = 1.0; // 中文字符（含全角标点、日韩文）：1 字符 ≈ 1.0 token（保守，实测 0.6-0.8） -const ASCII_TOKEN_RATIO = 0.25; // ASCII 字符（英文、数字、半角符号）：4 字符 ≈ 1 token -const OTHER_TOKEN_RATIO = 1; // 其他 Unicode（emoji 等）：1 字符 ≈ 1 token -const MSG_OVERHEAD_TOKENS = 4; // 每条消息的结构性开销（role、分隔符，参考 OpenAI 规范） +const CJK_TOKEN_RATIO = 1.0; // 中文字符（含全角标点、日韩文）：1 字符 ≈ 1.0 token（保守，实测 0.6-0.8） +const ASCII_TOKEN_RATIO = 0.25; // ASCII 字符（英文、数字、半角符号）：4 字符 ≈ 1 token +const OTHER_TOKEN_RATIO = 1; // 其他 Unicode（emoji 等）：1 字符 ≈ 1 token +const MSG_OVERHEAD_TOKENS = 4; // 每条消息的结构性开销（role、分隔符，参考 OpenAI 规范） /** * 估算字符串的 token 数 @@ -55,7 +56,9 @@ export function estimateStringTokens(text: string | null | undefined): number { } // L-17 修复: 使用命名常量替代魔法数字 - return Math.ceil(cjkCount * CJK_TOKEN_RATIO + asciiCount * ASCII_TOKEN_RATIO + otherCount * OTHER_TOKEN_RATIO); + return Math.ceil( + cjkCount * CJK_TOKEN_RATIO + asciiCount * ASCII_TOKEN_RATIO + otherCount * OTHER_TOKEN_RATIO, + ); } /** @@ -63,6 +66,17 @@ export function estimateStringTokens(text: string | null | undefined): number { */ const TOOL_CALL_OVERHEAD_TOKENS = 8; +/** + * v0.5.5: 单张图片的 token 估算 + * + * 多模态图片（vision 类模型）按视觉 token 计费：1024px 压缩图在主流 + * Provider（OpenAI/Anthropic/DeepSeek vision）约 700~1500 tokens，取保守 + * 上界 1000。此前估算器完全忽略 images——带 10 张图的消息被按纯文本 + * 估算，压缩 keepBudget 严重低估，导致压缩后实际 token 仍超限、反复 + * 触发压缩循环；上下文占用显示也严重失真。 + */ +const IMAGE_TOKEN_ESTIMATE = 1000; + /** * 估算多条消息的总 token 数 * @@ -71,16 +85,23 @@ const TOOL_CALL_OVERHEAD_TOKENS = 8; * @param messages 消息列表（content 可为 null，对应仅有 tool_calls 的 assistant 消息） * @returns 估算的 token 数 */ -export function estimateMessagesTokens(messages: Array<{ - content: string | null; - reasoningContent?: string; - toolCalls?: Array<{ id?: string; name?: string; args: Record }>; - toolCallId?: string; -}>): number { +export function estimateMessagesTokens( + messages: Array<{ + content: string | null; + reasoningContent?: string; + toolCalls?: Array<{ id?: string; name?: string; args: Record }>; + toolCallId?: string; + images?: Array<{ url: string }>; + }>, +): number { let total = 0; for (const msg of messages) { total += estimateStringTokens(msg.content); if (msg.reasoningContent) total += estimateStringTokens(msg.reasoningContent); + // v0.5.5: 图片按视觉 token 估算（多轮图片记忆场景，防压缩预算低估） + if (msg.images) { + total += msg.images.length * IMAGE_TOKEN_ESTIMATE; + } if (msg.toolCalls) { for (const tc of msg.toolCalls) { // #50 修复: OpenAI tokenizer 会将 tool_call 的完整结构（id、name、args）都计入 token diff --git a/package.json b/package.json index 07a451a..5b599ab 100644 --- a/package.json +++ b/package.json @@ -1,6 +1,6 @@ { "name": "metona-ai-desktop", - "version": "0.5.4", + "version": "0.5.5", "description": "MetonaAI Desktop — 生产级通用 AI Agent 智能体桌面应用", "main": "dist-electron/main/main.js", "author": "Metona Team", diff --git a/src/components/chat/ChatInput.tsx b/src/components/chat/ChatInput.tsx index e4d75dc..ca9f53c 100644 --- a/src/components/chat/ChatInput.tsx +++ b/src/components/chat/ChatInput.tsx @@ -558,7 +558,9 @@ export function ChatInput(): React.JSX.Element { title={ supportsImages ? '附加文件（图片/文本/代码）' - : '附加文件（文本/代码）— DeepSeek 不支持图片' + : multimodalEnabled + ? '附加文件（文本/代码）— 当前模型不支持图片' + : '附加文件（文本/代码）— 多模态未开启（设置 → LLM 配置）' } >