 wangyunlong
|
622a609800
|
feat(product-commerce): 系列聚合去重与采集开关两层语义
配置来源收敛
- 系列平台编码 tm/jd/dy/jd_self 与 9 类飞书地址改为整系列并集去重后挂锚点，
子款编码保留在 series.platform_ids 备查；多表冲突保留最高优先级并告警
- 写表脚本（当日/天猫主图/京东主图）去掉本地 JSON 回退，地址缺失或读取失败
直接 fail closed，避免库与表地址不一致被静默掩盖
- 测试注入 records_provider 时禁用配置缓存读写，防止假数据写入生产快照
采集开关（dim_style.collect_enabled）
- 锚点为系列总开关：false 则整系列不采
- 锚点为 true 时，子款自身 false 仅把自己的 ERP 编码排除出聚合，其余子款照常
- 排除结果记录在 series.erp_excluded 并在运行时提示
聚水潭全店铺日报防错
- 列布局 fail closed、行 td 数校验、满页判定 + 总页数兜底、值域交叉校验
- 新增单日总量闸：超近 14 天中位数 8 倍拒绝落库
其他
- 新增电商费用归集配置 ad_cost_rollup.json 与积分兑换周报采集
- 店铺情报、供应链到货同步、通知路由与相关配置/文档同步更新
- 忽略本地 dsh workbench 脚手架（含 node_modules）
|
2026-10-30 11:49:31 +08:00 |
|
|
wangyunlong
|
2f31d5872f
|
chore(product): 废弃并删除 db/sync_sku_master.py
与上一并废弃的 sync_dim_style.py 同类问题，且更彻底：
- 身份列自投影：脚本读 runtime_workflow_configs()（现已直读 dim_style），
再把 jd_spus/dy_spus/tm_spus/jd_self_skus/erp_codes 全量 EXCLUDED 覆盖写回
dim_style。对「同系列只填主款平台编码」的子款，它会走动态配置兜底把旧商品 ID
反写，绕过系列共享规则
- 唯一还写的 bitable_sku_master_url/base/table 是 sales_bitable_url 的副本：
生产库 24 行与 bitable_weekly_* 完全相同、无一行独有，且采集端、data-hub
后端、运维脚本均无任何读取点（data-hub 审计文档标注「flow 只写，全生态不读」）
删除后款式身份的唯一写入口是 data-hub「产品生命进程」建档页。
bitable_sku_master_* 三列保留在库中不删（存量值不动，需要时可低成本恢复）。
- 删除 src/gyxx_flow/modules/product_commerce/db/sync_sku_master.py（170 行）
- 移除 config/runtime-bindings.json 绑定（cdp_port 22071）与 source-manifests 条目
- 测试计数同步：PRODUCTION_PYTHON 64 -> 63，集成绑定 157 -> 156
- docs/dynamic-workflow-config.md 合并两个废弃脚本的说明
验证：tests 根级套件 11 failed / 820 passed / 1 skipped，与改动前一致。
|
2026-10-28 14:51:44 +08:00 |
|
|
wangyunlong
|
423f8d1f75
|
chore(product): 废弃并删除 db/sync_dim_style.py
采集端运行时身份已改为直接读 dim_style，这个脚本的投影方向变成"自己写自己"：
既补不了旧 cmt_styles 台账数据，upsert 又是 EXCLUDED 全量覆盖，跑一次有可能把
空值写回 dim_style。款式新增与改款统一走 data-hub「产品生命进程」建档页。
- 删除 src/gyxx_flow/modules/product_commerce/db/sync_dim_style.py（390 行）
- 移除 config/runtime-bindings.json 绑定（cdp_port 22070）与 source-manifests 条目
- 测试计数同步：PRODUCTION_PYTHON 65 -> 64，集成绑定 158 -> 157
- docs/dynamic-workflow-config.md 补废弃说明；运行时路径图与表说明由 cmt_styles
更正为 dim_style
- db/__init__.py 表来源说明同步
验证：tests 根级套件 11 failed / 820 passed，与改动前完全一致（失败均为清单
sha256 与既有环境问题，非本次引入）。
|
2026-10-28 14:39:50 +08:00 |
|
|
wangyunlong
|
9feb188d93
|
fix(cookie-gate): 必需 cookie 改全量校验并收紧各账号必需名单
required_cookie_names 原语义是「任一必需名命中即有效」，单个匿名 cookie
（如小红书 a1）就能把游客会话判为有效；改为全部必需名都存在、存活且域名
匹配才算通过。随之按实际登录产物收紧名单：jd 去 pin、erp321 留
u_id+u_co_id、小红书改 customer-sso-sid+solar.beaker.session.id、
星图仅 sid_guard。cookie_gate 用例冻结时钟改相对时钟防过期漂移。
|
2026-10-14 18:38:03 +08:00 |
|
|
wangyunlong
|
9a91ce80e4
|
feat(product): 聚水潭销售主题分析按日采集工作流
collect_erp_sales_theme_daily.py 采集 bi.erp321.com「报表→销售主题分析→按日统计」，
异步导出 + OSS 直连兜底，固定品牌+店铺口径，写 erp_sales_theme_daily_metrics
（db 层建表与 upsert 同步，每日一行幂等覆盖）。注册 product.erp_sales_theme_daily.collect
手动命令，复用 erp-account 登录绑定新增 CDP 22167；目录/集成计数 60→61，
新脚本纳入 CI 聚焦 lint 清单。
|
2026-10-14 18:29:15 +08:00 |
|
|
wangyunlong
|
dc8be88e60
|
chore(config): 工作流配置、清单与文档同步
workflows/schedules/commands/notification-routing 与 source-manifests 四模块
清单同步登录统一化与新工作流(product.hk_anpei_public_inventory.daily 等)；
docs 运维手册、控制台与耗时分布文档、CI 关键脚本清单、AGENTS 指南更新；
测试与模块注册对齐。
|
2026-10-09 13:45:30 +08:00 |
|
|
wangyunlong
|
78ea4641ce
|
refactor(login): 移除脚本内扫码重登，登录统一交给账号 vault 与 cookie-gate
删除 relogin_*/friday_relogin_parallel 子进程及其测试；批量补采、评论采集、
星图/蒲公英/B站/抖音自营与抖店竞品脚本不再内嵌扫码等待，登录态失效统一由
cookie-gate 阻断并走 gyxx accounts login 恢复；runtime-bindings 与模块注册
同步移除 content.relogin.weekly。
|
2026-10-09 13:45:19 +08:00 |
|
|
wangyunlong
|
01f3d7aaf7
|
chore: [workflow] 提交工作区代码
|
2026-09-30 10:46:15 +08:00 |
|
|
wangyunlong
|
2ff588a65d
|
chore: [workflow] 提交工作区改动
|
2026-09-07 15:14:54 +08:00 |
|
|
wangyunlong
|
b124d757b0
|
feat: expand module workflows, dynamic config, notifications and console API
|
2026-09-04 09:49:37 +08:00 |
|
|
wangyunlong
|
8df5266abb
|
feat: complete production workflow migration
|
2026-08-06 14:29:57 +08:00 |
|
|
wangyunlong
|
c23b62a8c8
|
feat: consolidate legacy workflows into gyxx-flow
|
2026-07-28 14:51:15 +08:00 |
|