73 lines
4.5 KiB
Markdown
73 lines
4.5 KiB
Markdown
# GYXX Flow 源码迁移阶段报告
|
||
|
||
## 当前结论
|
||
|
||
核心采集脚本已经修改，但修改的是复制到 `D:\gyxx-flow` 的新项目副本；四个旧项目的
|
||
原始代码和现有定时任务均未修改。新工作流不再通过环境变量、动态导入或子进程引用旧
|
||
项目代码。
|
||
|
||
当前可用能力：
|
||
|
||
- 统一列出并 dry-run/执行 21 个定时工作流和 7 个正式手工工作流；
|
||
- 统一发现并 dry-run/执行 131 个迁入后的本地脚本；
|
||
- 生成 21 个 Windows Task Scheduler XML 和单任务安装器；
|
||
- 将新数据按模块写入 `data/{raw,normalized,curated,exports,evidence}/<module>`，运行状态、
|
||
日志和临时文件写入 `state/logs/tmp`；
|
||
- 更换项目根和数据根后继续完成入口发现与 dry-run。
|
||
|
||
## 已完成
|
||
|
||
- [x] 四模块源码实体迁移及逐文件来源/目标哈希清单
|
||
- [x] 21 个计划任务到新项目本地入口的一一映射
|
||
- [x] 131 个本地可执行脚本目录与统一手工入口
|
||
- [x] 旧项目根目录、旧环境变量和旧配置回退清零
|
||
- [x] 数据、日志、Profile、状态和临时目录迁入可配置数据根
|
||
- [x] 敏感默认值清理、来源清单校验、重定位测试和全量自动化测试
|
||
- [x] 只生成不应用的候选调度包；安装器强制逐任务应用
|
||
- [x] 部署、迁移、运维和回滚手册更新
|
||
- [x] 131 个脚本唯一 CDP 端口、独立可迁移 Profile/Cookie/storage state
|
||
- [x] 原飞书透传、现有云 PostgreSQL 和本机 Hermes 的统一运行时边界
|
||
|
||
## 未完成
|
||
|
||
- [ ] 为每个外部写入证明 run_id 追踪和重跑幂等
|
||
- [ ] 用户授权后的凭据轮换、逐任务生产切换和回滚演练
|
||
- [ ] 日任务 7 天、周任务 2 个周期、月任务历史回放及最终对账
|
||
|
||
`gyxx acceptance status` 在上述生产门禁完成前应继续返回 incomplete。这是有意保留的
|
||
安全状态，不影响当前已具备的本地手工运行和候选任务注册能力。
|
||
|
||
## 统一适配器补充验收（2026-07-27）
|
||
|
||
- `config/runtime-bindings.json` 覆盖 131/131 脚本，CDP 端口 131 个且无重复。
|
||
- 顶层 workflow/manual 与嵌套 Python/PowerShell 均按目标脚本 ID 重新绑定。
|
||
- Cookie、storage state 原子保存并跨运行复用，全部位于可迁移数据根。
|
||
- 生产源码中固定 `9222/18801/18802/18803`、源码目录 Profile 和临时即删 Profile 已清除。
|
||
- 飞书身份/调用后端保持原样；三套数据库变量映射到现有云端，回环数据库被拒绝；
|
||
Hermes 非回环 URL 被拒绝。
|
||
- Python 3.12 全量测试 `294 passed`；框架 Ruff、compileall、敏感信息和迁移哈希通过。
|
||
|
||
## 采集数据目录收口补充验收（2026-07-27）
|
||
|
||
- [x] 四模块统一使用 `data/{raw,normalized,curated,exports,evidence}/<module>`。
|
||
- [x] JSON、CSV、XLS/XLSX、浏览器下载和原始截图进入 raw；清洗结果进入 normalized；
|
||
聚合结果进入 curated；最终 Markdown/Excel 报告进入 exports。
|
||
- [x] checkpoint、缓存、锁、浏览器状态、日志和临时处理文件不再混入 raw 或源码目录。
|
||
- [x] CLI/vendor 自定义输出受数据根边界校验，不能写到 cwd、源码树或数据根之外。
|
||
- [x] 历史 `legacy` 前后均为 48,961 个文件、1,091,967,729 字节，无移动、删除或改写。
|
||
- [x] raw 按 `run_id` 追加保留，不清理历史原始产物；浏览器 Profile/Cookie 在任务结束后保留复用。
|
||
- [x] 空/纯空白数据根安全回退项目 `var`，不会把 cwd 当成数据根。
|
||
- [x] 全量 `294 passed`，Ruff、compileall、PowerShell AST 和来源清单哈希通过。
|
||
|
||
本次只修改 `D:\gyxx-flow` 内迁入副本和工程文件，没有修改四个旧项目，也没有注册、
|
||
禁用或改动任何现有定时任务；未启动真实浏览器采集，未写飞书、云端数据库或 Hermes。
|
||
|
||
## 四源项目增量重新对齐（2026-07-28）
|
||
|
||
- [x] 内容营销 4 个源端修复文件及两份动态映射资源已重新对齐。
|
||
- [x] 商品商业 ERP 天猫权威来源修复已重新对齐。
|
||
- [x] 源端新增波塞冬历史销量回填脚本及测试已实体迁入并改接统一数据分层。
|
||
- [x] 新脚本可通过统一脚本目录手工启动，使用独立 CDP 端口和可复用 Cookie 状态。
|
||
- [x] 四份来源清单现覆盖 250 个文件；目标哈希、全量 294 项测试、18 项定向回归、compileall 和 doctor 通过。
|
||
- [ ] Ruff 未安装在当前 `.venv`，未作为本轮通过项；P6/P7 的真实外部写入和生产切换门禁继续保持未完成。
|