wangyunlong/gyxx-flow
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
38 Commits 2 Branches 0 Tags
6f1c193f4baf9a881beda408c72cdb30493e2528
Commit Graph
6 Commits
Author SHA1 Message Date
wangyunlong 6f1c193f4b feat(product-commerce): 款式主键统一 style_id 并下线评价采集 
采集端与 data-hub 统一用 style_id (= dim_style.id) 关联款式，style_name 降级为显示冗余。

款式主键：
- 14 张采集表加 style_id BIGINT + style_match_method + *_style_id_idx 索引
- 一律逻辑外键：不建 FOREIGN KEY，早期 10 个 *_style_id_fk 在 schema.sql 里幂等 DROP
- loader 下发 dim_style.id；db 层 attach_style_ids / resolve_style_ids_by_product 兜底
- 新增 backfill_style_id.py 三段回填（款名 / 日报按商品 ID / 广告表按 spu_id）
- 新增视图 v_style_id_coverage、v_style_unmatched_product、v_style_unmatched_source
- 实库补录 199 个商品 ID 到 67 款 spus；日报 style_id 覆盖 49.1% -> 79.0%，
  tm 广告 99.4% / jd 92.4% / dy 83.2%，其余 11 张 100%

评价采集下线：
- product_reviews 归档为 product_reviews_archived_20261101
- 差评改由 shop.{tmall,jd,dy}_negative_reviews.daily 采集，消费方读 v_negative_reviews
- 删除 import_product_reviews.py / orchestrate_review_collection.py 及相关命令与绑定
- dy_product_scraping 默认流程摘除评论采集，保留 --reviews-only

天猫广告：
- 迁移到独立表 tm_product_ad_daily_metrics，不再写 product_daily_metrics.raw_data

同批附带：
- 光合上传支持天猫新店 new_bag（仅黑曜石系列）
- 京东商智双月日历排除 -diff-month 补位格
- 万相主体搜索词覆盖 STYLE_SEARCH_KEYWORDS
- ERP 部分编码失败时用已成功编码销量兜底，避免整款归零
 2026-11-01 16:43:27 +08:00
wangyunlong 2f31d5872f chore(product): 废弃并删除 db/sync_sku_master.py 
与上一并废弃的 sync_dim_style.py 同类问题，且更彻底：

- 身份列自投影：脚本读 runtime_workflow_configs()（现已直读 dim_style），
  再把 jd_spus/dy_spus/tm_spus/jd_self_skus/erp_codes 全量 EXCLUDED 覆盖写回
  dim_style。对「同系列只填主款平台编码」的子款，它会走动态配置兜底把旧商品 ID
  反写，绕过系列共享规则
- 唯一还写的 bitable_sku_master_url/base/table 是 sales_bitable_url 的副本：
  生产库 24 行与 bitable_weekly_* 完全相同、无一行独有，且采集端、data-hub
  后端、运维脚本均无任何读取点（data-hub 审计文档标注「flow 只写，全生态不读」）

删除后款式身份的唯一写入口是 data-hub「产品生命进程」建档页。
bitable_sku_master_* 三列保留在库中不删（存量值不动，需要时可低成本恢复）。

- 删除 src/gyxx_flow/modules/product_commerce/db/sync_sku_master.py（170 行）
- 移除 config/runtime-bindings.json 绑定（cdp_port 22071）与 source-manifests 条目
- 测试计数同步：PRODUCTION_PYTHON 64 -> 63，集成绑定 157 -> 156
- docs/dynamic-workflow-config.md 合并两个废弃脚本的说明

验证：tests 根级套件 11 failed / 820 passed / 1 skipped，与改动前一致。
 2026-10-28 14:51:44 +08:00
wangyunlong 423f8d1f75 chore(product): 废弃并删除 db/sync_dim_style.py 
采集端运行时身份已改为直接读 dim_style，这个脚本的投影方向变成"自己写自己"：
既补不了旧 cmt_styles 台账数据，upsert 又是 EXCLUDED 全量覆盖，跑一次有可能把
空值写回 dim_style。款式新增与改款统一走 data-hub「产品生命进程」建档页。

- 删除 src/gyxx_flow/modules/product_commerce/db/sync_dim_style.py（390 行）
- 移除 config/runtime-bindings.json 绑定（cdp_port 22070）与 source-manifests 条目
- 测试计数同步：PRODUCTION_PYTHON 65 -> 64，集成绑定 158 -> 157
- docs/dynamic-workflow-config.md 补废弃说明；运行时路径图与表说明由 cmt_styles
  更正为 dim_style
- db/__init__.py 表来源说明同步

验证：tests 根级套件 11 failed / 820 passed，与改动前完全一致（失败均为清单
sha256 与既有环境问题，非本次引入）。
 2026-10-28 14:39:50 +08:00
wangyunlong b124d757b0 feat: expand module workflows, dynamic config, notifications and console API 2026-09-04 09:49:37 +08:00
wangyunlong 8df5266abb feat: complete production workflow migration 2026-08-06 14:29:57 +08:00
wangyunlong c23b62a8c8 feat: consolidate legacy workflows into gyxx-flow 2026-07-28 14:51:15 +08:00