 thzxx
|
d9a08716bc
|
fix(v2.0.1): 修复反爬误判 + Wayback 兜底未触发两个 bug
Bug 1: Wayback 兜底未触发 (search.py fetch_page)
- 根因: Cloudflare JS 质询页常返回 HTTP 200 (非 403), 主抓取 result 非 None
- _should_try_fallback 在 result 非 None 时直接返回 False, 跳过兜底
- 反爬检测在兜底判断之后执行, 错过兜底入口
- 修复: 反爬检测提前到兜底判断之前, anti_bot_detected=True 也触发 Wayback
- Wayback 结果重新做反爬检测 (防御性)
Bug 2: WAF 指纹库误判正常内容 (search.py WAF_FINGERPRINTS)
- 根因: 裸公司名 (cloudflare/akamai) 和宽泛词 (captcha/challenge/dd-) 做全文匹配
- DataCamp 文章引用 cloudflare.com 文档链接 -> 误判为 cloudflare WAF
- 'coding challenges' 正常内容 -> 误判为 generic 反爬
- Wayback 归档正文被误判, 兜底返回的有效内容被丢弃
- 修复: 移除裸公司名和宽泛词, 改用技术标识符 (cf-ray/incap_ses/bm_sz 等)
- 通用文案用完整短语 (please complete the captcha) 替代单词
- 增加 <title> 标签精准检测 (反爬页 title 是特征文案, 误判率极低)
- 新增 Anubis 反爬系统检测 (anubis_challenge/miserere)
真实测试验证 (search.metona.cn 实例):
- v2.0.0: --fetch 3 全部失败 (3 ERR: cloudflare/generic, Wayback 未触发)
- v2.0.1: --fetch 3 全部成功 (3 OK: 38100/93442/1945 chars, UA 轮换绕过 Cloudflare)
测试: 458 个全部通过 (新增 7 个测试覆盖修复行为)
|
2026-08-01 21:44:58 +08:00 |
|
|
thzxx
|
28ff7c0a48
|
feat(v2.0.0): 反爬增强 + 抓取稳定性大幅提升
反爬措施:
- 浏览器指纹头 build_browser_headers(): Sec-Ch-Ua/Sec-Fetch-*/Accept-Language/Accept-Encoding, 绕过 80%+ 轻量 WAF
- 12 个 UA 池 (Chrome/Edge/Firefox x Win/macOS/Linux x v129-131)
- 确定性 UA 轮换 get_ua_for_domain(): SHA-256 按域名固定 UA, 会话内稳定跨进程可复现
- WAF 指纹库 _detect_anti_bot(): 识别 Cloudflare/Imperva/PerimeterX/DataDome/Akamai/通用, 全文档扫描
- Retry-After 遵守: 429/503 读取 header (数字或 HTTP date) 作为最小重试延迟
- 退避封顶 60s (原无上限, N=10 时 1536s 卡死进程)
抓取稳定性:
- requests.Session 复用: 连接池(10/host) + cookie 持久化 + TLS 会话恢复
- 超时分离 (connect, read) 元组, 避免大页面浪费已建连接
- Wayback Machine 兜底: 404/403/超时自动重试 web.archive.org, 默认启用 --no-fallback 关闭
- AdaptiveThrottle 自适应限流: 3 次失败翻倍延迟+减半并发, 5 次成功渐进恢复, 429 全局暂停 30s
- readability-lite 提取: article/main 缺失时按文本密度选最可能正文 div
新增 CLI flags:
- --fetch-report: 结构化抓取报告到 stderr (每 URL 状态/WAF 类型/兜底方式/字符数 + JSON 摘要)
- --no-fallback: 禁用 Wayback 兜底
- --referer: 设置 Referer 头 (默认实例 URL)
- --request-delay: 抓取请求间隔秒数 (默认 0.3, 自适应可能增大)
fetch 结果新字段: anti_bot_detected (bool), waf_type (str|null), fallback_used (str|null)
测试: 新增 4 个测试文件 (test_browser_headers/test_anti_bot/test_wayback_fallback/test_adaptive_throttle), 451 个测试全部通过
|
2026-08-01 21:34:57 +08:00 |
|