feat: v0.7.0 四阶段全量迭代 — 修复面收口 · 安全纵深 · 架构还债 · 能力演进

P1 修复面收口: v0.6.3 截断自愈推全量(Anthropic/Ollama/非流式/引擎兜底); SSE 上游错误帧检测进重试通道; clearMessages 摘要游标根治; truncateResult 内联图片白名单统一; 前端四 bug(确认弹窗锁死/MemoryViewer/ Virtuoso Footer/abort 尾部过滤) + reasoning 缓冲跨迭代污染; 托盘通知过滤与新建会话死链接线 P2 安全纵深: MCP 审批闭环(ConfirmationHook×PolicyEngine 联动+重名拒注册); SSRF 收敛 ssrf-guard 共享模块 (web_fetch 双通道校验+重定向终态复检); Electron 加固(preload CJS 化→sandbox:true/CSP/权限白名单/will-navigate); run_command cmd.exe 白名单通道元字符守门; diff_viewer 10MB 预检; Anthropic thinking 预算下限; Agnes 思考显式关闭 P3 架构还债: OpenAICompatibleAdapter 中间基类收敛四家样板; 错误分类单轨化(删 mapError/getFetchSignal, 超时显式 ETIMEDOUT); PRAGMA user_version 迁移版本化; 死代码清理专项(cn.ts/SHORTCUTS/ContextMenu 分支/ getWindowState/modifiedArgs/sandbox 空壳); i18next 引入; a11y 第一轮; SearXNG 页批量草稿模型统一 P4 能力演进: Ollama pull 可取消/capabilities 探测/num_ctx 实测缓存; UpdateService feed 比对式自动更新 (app:updateCheck IPC + StatusBar 入口); MiMo providerOptions(web_search 服务端工具/strict JSON); web_fetch extract_mode=markdown(turndown); network.proxyUrl 全局代理(Chromium sessions+undici dispatcher) 测试: 264 → 507 用例(Electron ABI 全绿零跳过), 覆盖引擎压缩管线/重试竞速/MEMORY.md 闸门/file_editor 五操作/ filesystem 七工具实体夹具/git 真实仓库/SSE 错误帧/全线截断自愈/Provider 请求形态矩阵/SSRF 表测/钩子分级矩阵/ OutputValidator 全量/SLO 指标/MCP 安全纯函数/task_manager 链路/渲染层纯域/i18n 桥契约
2026-08-27 17:06:58 +08:00
parent b6e2a8bd25
commit 3940716dc2
78 changed files with 6369 additions and 1341 deletions
@@ -23,8 +23,16 @@ import {
  isInterceptedPage,
  readBodyWithLimit,
  logTool,
+  // v0.6.4 P4-4: 内置 HTML→Markdown 转换（extract_mode='markdown'）
+  htmlToMarkdown,
 } from './network-utils';
 import { getBrowserManager } from './browser';
+// v0.6.4 P2-2 根治安全不对称：web_fetch 此前完全没有 SSRF 校验（仅协议检查）且
+// requiresPermission:false —— LLM 可直接抓取 http://127.0.0.1:<port>、
+// http://169.254.169.254/latest/meta-data 等内网/云元数据地址，浏览器回退通道
+// 同样可达内网。现复用共享 ssrf-guard 模块（与 http_request 同源同行为）：
+// 入口校验 + HTTP 重定向终态 URL 复检（堵 redirect:'follow' 绕道内网的口子）。
+import { validateSSRF } from './ssrf-guard';

 // ===== 跳过重试的状态码 =====

@@ -49,9 +57,9 @@ export class WebFetchTool implements IMetonaTool {
        },
        extract_mode: {
          type: 'string',
-          enum: ['text', 'html'],
+          enum: ['text', 'html', 'markdown'],
          description:
-            'Content extraction mode: "text"=plain text (default), "html"=cleaned HTML with scripts/styles removed',
+            'Content extraction mode: "text"=plain text (default), "html"=cleaned HTML with scripts/styles removed, "markdown"=structured Markdown (headings/links/code/lists)',
        },
        mobile_ua: { type: 'boolean', description: 'Use mobile User-Agent (default false)' },
        retry: {
@@ -76,16 +84,27 @@ export class WebFetchTool implements IMetonaTool {
    const enableRetry = (args.retry as boolean) ?? true;
    // H-3/H-4 修复: 读取 max_chars 和 extract_mode 参数
    const maxChars = (args.max_chars as number) ?? 50_000;
-    const extractMode = ((args.extract_mode as string) ?? 'text') as 'text' | 'html';
+    const extractMode = ((args.extract_mode as string) ?? 'text') as 'text' | 'html' | 'markdown';

    if (!url || !/^https?:\/\//i.test(url)) {
      return { url, content: '', success: false, error: 'URL must start with http:// or https://' };
    }

-    // 先查缓存（HTTP 和浏览器阶段共享同一缓存）
-    const cached = fetchCache.get(url);
+    // v0.6.4 P2-2: SSRF 校验 —— 覆盖 Phase1 HTTP 与 Phase3 浏览器两条通道的入口。
+    // 协议白名单 / 私有段 IP / 云元数据地址一律拒绝。
+    try {
+      await validateSSRF(url);
+    } catch (ssrfErr) {
+      logTool('web_fetch', `SSRF blocked: ${(ssrfErr as Error).message}`);
+      return { url, content: '', success: false, error: (ssrfErr as Error).message };
+    }
+
+    // v0.6.4 P2-2: 缓存键携带 extract_mode —— 原实现 html/text 共用同一 URL 键，
+    // 先请求 text 再请求 html 会命中 text 缓存，把纯文本冒充"清理后的 HTML"返回
+    const cacheKey = `${extractMode}:${url}`;
+    const cached = fetchCache.get(cacheKey);
    if (cached) {
-      logTool('web_fetch', `Cache hit: ${url}`);
+      logTool('web_fetch', `Cache hit: ${url} [${extractMode}]`);
      return this.buildSuccess(url, cached, 'cache', maxChars);
    }

@@ -96,7 +115,14 @@ export class WebFetchTool implements IMetonaTool {

    if (phase1Result.success && !phase1Result.intercepted) {
      // 根据 extract_mode 选择返回内容：'html' 模式返回清理后的 HTML，'text' 模式返回纯文本
-      const phase1Content = extractMode === 'html' ? phase1Result.html : phase1Result.text;
+      // v0.6.4 P4-4: markdown 模式在 Phase1 的清理后 HTML 上做结构化转换；
+      // 浏览器回退通道产出纯文本，降级为 text 语义（回退产物不做二次包装）。
+      const phase1Content =
+        extractMode === 'html'
+          ? phase1Result.html
+          : extractMode === 'markdown'
+            ? htmlToMarkdown(phase1Result.html)
+            : phase1Result.text;

      // 内容过短检测 → Phase 2 升级（仅对 text 模式生效，html 模式不升级）
      if (extractMode === 'text' && phase1Content.length < 200) {
@@ -109,14 +135,23 @@ export class WebFetchTool implements IMetonaTool {
          return this.buildSuccess(url, browserResult, 'browser', maxChars);
        }
      }
-      // 写入缓存（仅缓存 text 模式的内容，html 模式不缓存以避免模式混淆）
-      if (extractMode === 'text') {
-        fetchCache.set(url, phase1Content);
+      // 写入缓存（缓存键已含模式：text/markdown 可缓存，html 不缓存以避免模式混淆）
+      if (extractMode !== 'html') {
+        fetchCache.set(cacheKey, phase1Content);
      }
      return this.buildSuccess(url, phase1Content, 'http', maxChars, extractMode);
    }

    // ===== Phase 3: 浏览器回退 =====
+    // v0.6.4 P2-2: SSRF 阻断的请求禁止进入浏览器回退（否则等于借 Chromium 绕过校验）
+    if (phase1Result.blocked) {
+      return {
+        url,
+        content: '',
+        success: false,
+        error: phase1Result.reason,
+      };
+    }
    logTool('web_fetch', `Phase 3: Falling back to browser (${phase1Result.reason})`);
    const browserResult = await this.browserFetch(url);
    if (browserResult) {
@@ -144,6 +179,8 @@ export class WebFetchTool implements IMetonaTool {
    text: string;
    intercepted: boolean;
    reason: string;
+    /** v0.6.4 P2-2: true=被 SSRF 防护阻断 —— execute() 必须立即失败返回，禁止进入浏览器回退 */
+    blocked?: boolean;
  }> {
    const maxRetries = enableRetry ? 3 : 1;
    const backoffBase = 2_000;
@@ -153,6 +190,25 @@ export class WebFetchTool implements IMetonaTool {
        const headers = buildAntiCrawlHeaders(url, attempt, mobileUA);
        const response = await fetchWithTimeout(url, { headers, redirect: 'follow' }, 20_000);

+        // v0.6.4 P2-2: 重定向终态复检 —— redirect:'follow' 下 fetch 可能跟随跳转
+        // 到与入口校验不同的目标；SSRF 校验 initial URL 后再对 response.url（终态）
+        // 复检，堵住"外网跳内网"绕道。终态指向私有地址时按拦截处理转入浏览器通道
+        // 也会被浏览器侧域名校验拒绝。
+        if (response.url && response.url !== url) {
+          try {
+            await validateSSRF(response.url);
+          } catch (ssrfErr) {
+            return {
+              success: false,
+              html: '',
+              text: '',
+              intercepted: false,
+              blocked: true,
+              reason: `Redirect target blocked by SSRF guard: ${(ssrfErr as Error).message}`,
+            };
+          }
+        }
+
        // 跳过重试的状态码 → 直接进入浏览器回退
        if (SKIP_RETRY_STATUS.has(response.status)) {
          return {
@@ -222,8 +278,8 @@ export class WebFetchTool implements IMetonaTool {
  // ===== Phase 2/3: 浏览器回退（使用共享 BrowserWindowManager 单例） =====

  private async browserFetch(url: string): Promise<string | null> {
-    // 查缓存
-    const cached = fetchCache.get(url);
+    // 查缓存（浏览器阶段产出的是纯文本，与 text 模式同键）
+    const cached = fetchCache.get(`text:${url}`);
    if (cached) {
      logTool('web_fetch', 'Browser cache hit');
      return cached;
@@ -250,7 +306,7 @@ export class WebFetchTool implements IMetonaTool {
            : text;

        // 写缓存
-        fetchCache.set(url, safeText);
+        fetchCache.set(`text:${url}`, safeText);
        logTool('web_fetch', `Browser fetch success: ${safeText.length} chars`);
        return safeText;
      }
@@ -270,7 +326,7 @@ export class WebFetchTool implements IMetonaTool {
    text: string,
    method: string,
    maxChars?: number,
-    extractMode?: 'text' | 'html',
+    extractMode?: 'text' | 'html' | 'markdown',
  ): unknown {
    // H-3/H-4 修复: 应用 max_chars 截断，防止过长内容消耗过多 token
    let content = text;