 wangyunlong
|
6f1c193f4b
|
feat(product-commerce): 款式主键统一 style_id 并下线评价采集
采集端与 data-hub 统一用 style_id (= dim_style.id) 关联款式，style_name 降级为显示冗余。
款式主键：
- 14 张采集表加 style_id BIGINT + style_match_method + *_style_id_idx 索引
- 一律逻辑外键：不建 FOREIGN KEY，早期 10 个 *_style_id_fk 在 schema.sql 里幂等 DROP
- loader 下发 dim_style.id；db 层 attach_style_ids / resolve_style_ids_by_product 兜底
- 新增 backfill_style_id.py 三段回填（款名 / 日报按商品 ID / 广告表按 spu_id）
- 新增视图 v_style_id_coverage、v_style_unmatched_product、v_style_unmatched_source
- 实库补录 199 个商品 ID 到 67 款 spus；日报 style_id 覆盖 49.1% -> 79.0%，
tm 广告 99.4% / jd 92.4% / dy 83.2%，其余 11 张 100%
评价采集下线：
- product_reviews 归档为 product_reviews_archived_20261101
- 差评改由 shop.{tmall,jd,dy}_negative_reviews.daily 采集，消费方读 v_negative_reviews
- 删除 import_product_reviews.py / orchestrate_review_collection.py 及相关命令与绑定
- dy_product_scraping 默认流程摘除评论采集，保留 --reviews-only
天猫广告：
- 迁移到独立表 tm_product_ad_daily_metrics，不再写 product_daily_metrics.raw_data
同批附带：
- 光合上传支持天猫新店 new_bag（仅黑曜石系列）
- 京东商智双月日历排除 -diff-month 补位格
- 万相主体搜索词覆盖 STYLE_SEARCH_KEYWORDS
- ERP 部分编码失败时用已成功编码销量兜底，避免整款归零
|
2026-11-01 16:43:27 +08:00 |
|
|
wangyunlong
|
622a609800
|
feat(product-commerce): 系列聚合去重与采集开关两层语义
配置来源收敛
- 系列平台编码 tm/jd/dy/jd_self 与 9 类飞书地址改为整系列并集去重后挂锚点，
子款编码保留在 series.platform_ids 备查；多表冲突保留最高优先级并告警
- 写表脚本（当日/天猫主图/京东主图）去掉本地 JSON 回退，地址缺失或读取失败
直接 fail closed，避免库与表地址不一致被静默掩盖
- 测试注入 records_provider 时禁用配置缓存读写，防止假数据写入生产快照
采集开关（dim_style.collect_enabled）
- 锚点为系列总开关：false 则整系列不采
- 锚点为 true 时，子款自身 false 仅把自己的 ERP 编码排除出聚合，其余子款照常
- 排除结果记录在 series.erp_excluded 并在运行时提示
聚水潭全店铺日报防错
- 列布局 fail closed、行 td 数校验、满页判定 + 总页数兜底、值域交叉校验
- 新增单日总量闸：超近 14 天中位数 8 倍拒绝落库
其他
- 新增电商费用归集配置 ad_cost_rollup.json 与积分兑换周报采集
- 店铺情报、供应链到货同步、通知路由与相关配置/文档同步更新
- 忽略本地 dsh workbench 脚手架（含 node_modules）
|
2026-10-30 11:49:31 +08:00 |
|
|
wangyunlong
|
7b305b0b12
|
fix(content): 蝉妈妈导出标签页崩溃自愈与 cookie 文件格式对齐
导出点击后 tab 死亡（渲染进程被清理）时：页面级死亡先同 context 重开
新页（facade 新增 reopen_page），context 也死亡才整套重建驱动，按
profile → cookie 文件 → 账密顺序恢复会话，两种自愈各限一次防死循环。
cookie 文件改存裸列表，与 vault 同步及适配器 BrowserCookieStore 三方
格式对齐（字典格式会被适配器拒绝加载）；adapters 暴露
is_browser_closed_error 供模块识别目标已关闭类异常。
|
2026-10-14 18:35:44 +08:00 |
|
|
wangyunlong
|
6cd563eab0
|
fix(product): 天猫百补报名登录链路三类阻断兜底
vault 假登录态（SPA 缓存店铺名误判已登录）与 SSO 中间态停留时改走显式
账密登录兜底；登录页识别服务协议/隐私弹窗并先处理，二次验证标记补充
滑块；报名导入增加账号级锁防并发挤兑。
|
2026-10-14 18:33:32 +08:00 |
|
|
wangyunlong
|
0cc4fafc7c
|
fix(product): 聚水潭 allsku 模板隐藏列错位致 daily 销量全 0
2026-10-11 模板重置把 38 列置隐藏后可见列整体左移，固定索引 45/57 落到
「今日实退货量/今日仅退款量」。daily 改表头名匹配「昨日销量/昨日退货量」
（weekly 暂留老索引待实测）；backfill 恢复自定义列可见（window._Cols +
_RptRefresh），并把表头索引按可见列换算成行内位置防 td 缺位错读。
|
2026-10-14 18:31:23 +08:00 |
|
|
wangyunlong
|
9a91ce80e4
|
feat(product): 聚水潭销售主题分析按日采集工作流
collect_erp_sales_theme_daily.py 采集 bi.erp321.com「报表→销售主题分析→按日统计」，
异步导出 + OSS 直连兜底，固定品牌+店铺口径，写 erp_sales_theme_daily_metrics
（db 层建表与 upsert 同步，每日一行幂等覆盖）。注册 product.erp_sales_theme_daily.collect
手动命令，复用 erp-account 登录绑定新增 CDP 22167；目录/集成计数 60→61，
新脚本纳入 CI 聚焦 lint 清单。
|
2026-10-14 18:29:15 +08:00 |
|
|
wangyunlong
|
dc8be88e60
|
chore(config): 工作流配置、清单与文档同步
workflows/schedules/commands/notification-routing 与 source-manifests 四模块
清单同步登录统一化与新工作流(product.hk_anpei_public_inventory.daily 等)；
docs 运维手册、控制台与耗时分布文档、CI 关键脚本清单、AGENTS 指南更新；
测试与模块注册对齐。
|
2026-10-09 13:45:30 +08:00 |
|
|
wangyunlong
|
90282ae766
|
fix(product): 千川任务中心账户选择页兜底与 jd_spus jsonb 查询修复
千川任务中心深链缺账户上下文时会被重定向到账户选择页，按 .account-list-item
卡片自动选中目标广告主后继续下载；jd_spus 列改 jsonb 后查询改用
jsonb_typeof/jsonb_array_length 防类型报错。
|
2026-10-09 13:45:30 +08:00 |
|
|
wangyunlong
|
b0e1b5066d
|
feat(content): 自营三平台指标入库管线完善
sync_self_video_metrics 按平台隔离入库与字段口径调整，配套自营指标验收测试
更新。
|
2026-10-09 13:45:30 +08:00 |
|
|
wangyunlong
|
41f448420d
|
fix(chanmama): 导出确认弹窗被浮层清理误删与代理出口拉黑修复
浮层清理只删可见浮层——页面常驻 90+ 个 display:none 弹窗模板(含导出确认框
模板)，误删后 Vue 只在游离节点上"打开"弹窗，页面上仅剩灰色遮罩与滚动锁，
导出等待 1320s 必超时；导出等待改为逐秒弹窗状态机(可点即点/点不到先关/卡死
强删并补点导出)，导出失败落截图与 HTML 诊断；浏览器强制直连并切换真 Chrome
非 stealthy 模式(StealthySession 下蝉妈妈前端会静默压制弹窗渲染)；导出按钮
原生可信点击优先，防 @click 绑定在内层元素时 JS 合成点击无效。
|
2026-10-09 13:45:29 +08:00 |
|
|
wangyunlong
|
78ea4641ce
|
refactor(login): 移除脚本内扫码重登，登录统一交给账号 vault 与 cookie-gate
删除 relogin_*/friday_relogin_parallel 子进程及其测试；批量补采、评论采集、
星图/蒲公英/B站/抖音自营与抖店竞品脚本不再内嵌扫码等待，登录态失效统一由
cookie-gate 阻断并走 gyxx accounts login 恢复；runtime-bindings 与模块注册
同步移除 content.relogin.weekly。
|
2026-10-09 13:45:19 +08:00 |
|
|
wangyunlong
|
01f3d7aaf7
|
chore: [workflow] 提交工作区代码
|
2026-09-30 10:46:15 +08:00 |
|
|
wangyunlong
|
2ff588a65d
|
chore: [workflow] 提交工作区改动
|
2026-09-07 15:14:54 +08:00 |
|
|
wangyunlong
|
485e77ee74
|
feat: [workflow] 统一飞书款式身份配置
|
2026-09-07 15:01:04 +08:00 |
|
|
wangyunlong
|
b124d757b0
|
feat: expand module workflows, dynamic config, notifications and console API
|
2026-09-04 09:49:37 +08:00 |
|
|
wangyunlong
|
8df5266abb
|
feat: complete production workflow migration
|
2026-08-06 14:29:57 +08:00 |
|