ai-labeling: Prompt 1 v0.3(80%) + Prompt 3 v0.2(90%) + GT v0.4.2
Prompt 1 迭代 v0.1→v0.3: - 多选字段加显著篇幅门槛+从属零件反例教学 - 前沿科技vs横切类比拆清(技术主角测试) - 装备深解加同类体系/窄类别测试 - 跨域改为传播分类框(≥3域即标,非军事术语) - 全对率 40%→80% Prompt 3 开篇钩子 v0.1→v0.2: - 阅读范围扩至3段(导视+主持人+首段解说) - 强判定从紧迫感硬门槛改为6条独立路径 - 弱判定区分信息性提问vs悬念式提问 - 命中率 50%→90% ground-truth v0.4.2:ep008补标跨域 + 20期opening_hook全标注 脚本:run_labeling/summarize 支持 opening_hook,summarize改从源GT读取 Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
This commit is contained in:
+45
-22
@@ -12,8 +12,8 @@
|
||||
|
||||
## 🔖 状态栏(每次结束 session 前必须更新这三行)
|
||||
|
||||
- **最后更新**:Claude Opus(顾问)| 2026-06-24(晚)
|
||||
- **当前状态一句话**:Prompt 1 v0.1 完成 + ground-truth v0.4.0(20期4分类字段全填) + MiMo 首轮跑批完成(题材75%/装备域70%/场景95%/技术70%/全对40%)。Prompt 需迭代改进多选字段门槛。
|
||||
- **最后更新**:Claude Opus(顾问)| 2026-06-25
|
||||
- **当前状态一句话**:Prompt 1 v0.3(题材分类80%全对)+ Prompt 3 v0.2(开篇钩子90%)完成。ground-truth v0.4.2(20期opening_hook全标注)。三个Prompt均达可用水平。
|
||||
- **下一个动手的人从这里开始**:见下方「⏩ 交接备注」
|
||||
|
||||
---
|
||||
@@ -108,7 +108,7 @@
|
||||
| 层 | 名称 | 做什么 | 当前状态 |
|
||||
|----|------|--------|----------|
|
||||
| L1 | **数据沉淀** | 每期节目的收视数据、文稿全文、编导、选题单持续入库 | 主项目已有 episodes 表基础结构 |
|
||||
| L2 | **AI 打标** | 读文稿自动判别:题材分类(4字段)、叙事结构(2档)、开篇钩子(3档) | Prompt 1 v0.1 + Prompt 2 已锁定,Prompt 1 需迭代,Prompt 3 待写 |
|
||||
| L2 | **AI 打标** | 读文稿自动判别:题材分类(4字段)、叙事结构(2档)、开篇钩子(3档) | Prompt 1 v0.3(80%) + Prompt 2 v0.2(100%) + Prompt 3 v0.2(90%),三个均达可用水平 |
|
||||
| L3 | **分析引擎** | 基于双引擎模型,计算走势、编导对比、题材对比、高低样本对照等多维分析 | 待设计 |
|
||||
| L4 | **诊断报告** | 调用 LLM 生成文字诊断结论 + 改进建议(对标 PPT 第 8-10 页水平) | 待设计 |
|
||||
|
||||
@@ -181,10 +181,12 @@ ai-labeling/
|
||||
│ ├── 军事科技栏目收视复盘与提振方案_v2.pptx ← 质量标杆(14 页诊断报告)
|
||||
│ └── 军事科技栏目收视诊断分析_v2.xlsx ← 质量标杆(8 个分析 Sheet)
|
||||
├── benchmark-set/
|
||||
│ ├── transcripts/ ← 10 期文稿 .md(基准卷子)
|
||||
│ └── ground-truth.json ← 基准答案 v0.2.1(核心资产,入 git)
|
||||
│ ├── transcripts/ ← 20 期文稿 .md(基准卷子)
|
||||
│ └── ground-truth.json ← 基准答案 v0.4.2(核心资产,入 git)
|
||||
├── prompts/
|
||||
│ └── prompt2_narrative.md ← 叙事结构判别 v0.2(已锁定,入 git)
|
||||
│ ├── prompt1_classification.md ← 题材分类判别 v0.3(入 git)
|
||||
│ ├── prompt2_narrative.md ← 叙事结构判别 v0.2(已锁定,入 git)
|
||||
│ └── prompt3_opening_hook.md ← 开篇钩子判别 v0.2(入 git)
|
||||
├── experiments/ ← 跑批结果 .json(不入 git)
|
||||
├── scripts/
|
||||
│ ├── import_transcripts.py ← docx → md 解析清洗
|
||||
@@ -199,7 +201,7 @@ ai-labeling/
|
||||
### 2.4 常用命令(PowerShell)
|
||||
|
||||
```powershell
|
||||
# 单期打标(narrative 或 classification)
|
||||
# 单期打标(narrative / classification / opening_hook)
|
||||
cd E:\tps-dashboard\ai-labeling
|
||||
python scripts/run_labeling.py --ep 1 --model mimo-v2.5-pro --field classification
|
||||
|
||||
@@ -209,6 +211,7 @@ python scripts/run_labeling.py --all --model mimo-v2.5-pro --field classificatio
|
||||
# 汇总命中率
|
||||
python scripts/summarize.py --model mimo-v2.5-pro --field classification
|
||||
python scripts/summarize.py --model mimo-v2.5-pro --field narrative
|
||||
python scripts/summarize.py --model mimo-v2.5-pro --field opening_hook
|
||||
```
|
||||
|
||||
### 2.5 模型配置(`scripts/run_labeling.py` 内 MODEL_CONFIG)
|
||||
@@ -226,14 +229,17 @@ python scripts/summarize.py --model mimo-v2.5-pro --field narrative
|
||||
|
||||
## 3. 当前进度(动态,核心交接区)
|
||||
|
||||
- **已完成**:Prompt 1 v0.1 + ground-truth v0.4.0(20期完整标注)+ MiMo 首轮跑批(题材75%/装备域70%/场景95%/技术70%/全对40%)+ 脚本 ep 编号升级至 3 位数 + summarize classification 比对逻辑实现
|
||||
- **已完成**:Prompt 1 v0.3(80%全对)+ Prompt 2 v0.2(100%)+ Prompt 3 v0.2(90%)+ ground-truth v0.4.2(20期6字段全标注)+ 脚本支持三种 field + summarize 改为从源GT读取
|
||||
- **正在做**:无(本轮收摊)
|
||||
- **卡点/待解**:Prompt 1 需迭代(多选字段门槛太松、program_format 三组边界混淆);Prompt 3(开篇钩子)待写;L3/L4 架构设计未启动
|
||||
- **卡点/待解**:Prompt 1 剩 3 期硬骨头(ep005/011/016,装备域从属判定边界);Prompt 3 剩 2 期(ep004/007,钩子强度边界);L3/L4 架构设计未启动
|
||||
|
||||
---
|
||||
|
||||
## 4. 已完成(只追加,最新在上)
|
||||
|
||||
- [2026-06-25 | Opus] Prompt 1 迭代 v0.1→v0.3(全对率40%→80%):v0.2加多选字段显著篇幅门槛+从属零件反例+前沿科技vs横切类比拆清+装备深解同类体系测试;v0.3修正跨域规则(传播分类框非军事术语)+训练舰窄类别判定+装备首发校准。ground-truth v0.4.1(ep008补标跨域)。
|
||||
- [2026-06-25 | Opus] Prompt 3 v0.1→v0.2(开篇钩子,命中率50%→90%):v0.1撰写+脚本opening_hook支持;v0.2修复三问题——阅读范围扩至3段(导视+主持人+首段解说)、强判定从紧迫感硬门槛改为6条独立路径、弱判定区分信息性提问vs悬念式提问。ground-truth v0.4.2(20期opening_hook全标注,制片人逐期审定含钩子分析)。summarize.py改为从源GT文件读取。
|
||||
- [2026-06-25 | 制片人] 开篇钩子经验规则:0-1钩≈弱,2钩≈中,3钩及以上≈强(钩子质量也影响,3个轻钩可能仍为中)。
|
||||
- [2026-06-24晚 | Opus] Prompt 1 v0.1 撰写完成(4分类字段:题材/装备域/场景/技术)+ ground-truth v0.4.0(10→20期扩展,旧ep编号重映射,4分类字段全填,制片人逐期审定)+ 脚本升级(ep编号2位→3位、ALL_EPISODES扩至1-20、summarize classification比对逻辑实现)+ MiMo首轮跑批20期(题材75%/装备域70%/场景95%/技术70%/全对40%)。主要错误模式:多选字段过度标注、装备深解/前沿科技与横切类比混淆。
|
||||
- [2026-06-24 | Opus+Cline] ground-truth v0.3.0 结构扩展(4 分类字段骨架预留)+ run_labeling.py / summarize.py 扩展 --field 参数支持 classification。脚本可直接跑 Prompt 1,等 prompt 文件就位即用。
|
||||
- [2026-06-24 | Opus] CLAUDE.md 二次更新:精读 v1-v4 四份续接快照,补入双引擎象限图视觉规格、6 字段完整枚举定义、三层分步交付策略、编导能力地图设计、v1-v4 关键决策。
|
||||
@@ -250,12 +256,14 @@ python scripts/summarize.py --model mimo-v2.5-pro --field narrative
|
||||
|
||||
### L2 — AI 打标(当前主战场)
|
||||
|
||||
- [ ] **Prompt 1 v0.2 迭代** — v0.1 首轮全对率 40%,主要问题:多选字段(equipment_domain/tech_tags)过度标注("一笔带过"也选了)+ program_format 三组边界混淆(装备深解vs横切类比、前沿科技vs横切类比、装备深解vs前沿科技)。改进方向:加强门槛描述+加反例教学。
|
||||
- [ ] **Prompt 3(开篇钩子)撰写** — 只看前 1-2 分钟判强/中/弱。同上套路。
|
||||
- [ ] **opening_hook AI 验证** — ground-truth 里 opening_hook 是人工标的,等 Prompt 3 上线后跑一次看 MiMo 命中率。
|
||||
- [ ] **Prompt 1 继续迭代(可选)** — v0.3 全对率 80%,剩 3 期硬骨头(ep005/011/016:前沿科技节目中装备域从属判定边界)。边际收益递减,可暂停。
|
||||
- [ ] **Prompt 3 继续迭代(可选)** — v0.2 命中率 90%,剩 2 期(ep004 枪王对决强→中:AI复活人物的反差未识别;ep007 巨舰反差中→强:旗语开头过度放大)。可考虑融入"数钩子"辅助判据(0-1钩弱/2钩中/3+钩强)。
|
||||
- [ ] **新增 10 期跑 Prompt 2 补 narrative_structure** — ground-truth 中 ep004/007/009/014-020 的 narrative_structure 仍为 null。
|
||||
- [ ] **示例集月度更新机制** — 上线后启用,每月集中替换,不碎片化(吃 prompt 缓存红利)。
|
||||
- [x] Prompt 2 v0.2 撰写 + 锁定
|
||||
- [x] ground-truth v0.2.1 锁定
|
||||
- [x] Prompt 1 v0.3 迭代完成(80% 全对)
|
||||
- [x] Prompt 2 v0.2 撰写 + 锁定(100%)
|
||||
- [x] Prompt 3 v0.2 撰写完成(90%)
|
||||
- [x] ground-truth v0.4.2(20期6字段全标注)
|
||||
- [x] 模型选型(mimo-v2.5-pro 生产)
|
||||
|
||||
### L1 — 数据沉淀(与主项目交界,需 Opus 审)
|
||||
@@ -301,6 +309,19 @@ python scripts/summarize.py --model mimo-v2.5-pro --field narrative
|
||||
- [2026-06-10] **话题性不独立立维**:稳态热度→横轴,时机→scene_tags,切口→横切类比形态。
|
||||
- [2026-06-10] **6 字段枚举锁定**(见 §1.4):program_format 6 值 / equipment_domain 9 值多选 / scene_tags 4 值 / tech_tags 3 值 / narrative_structure 2 档 / opening_hook 3 档。
|
||||
|
||||
### 题材分类判别
|
||||
|
||||
- [2026-06-25] **`跨域`是传播分类框,不是军事术语**:一期节目天上、水里、地上都讲了没法归单一域就标跨域。涉及≥3个具体装备域时额外加选,不需要节目主题是"跨域协同作战"。
|
||||
- [2026-06-25] **同一功能体系/窄类别内的多装备 = 装备深解**:防空体系远/中/近程、三艘训练舰、航母编队舰/机/护航——这些不是横切类比。换装测试要区分"换同类型号"和"换完全不同类别"。
|
||||
- [2026-06-25] **前沿科技 vs 横切类比的核心判据**:串联各案例的角度本身是不是一项新兴技术?是→前沿科技,否→横切类比。
|
||||
|
||||
### 开篇钩子判别
|
||||
|
||||
- [2026-06-25] **"数钩子"经验规则**:0-1钩≈弱,2钩≈中,3钩及以上≈强。钩子质量也影响(3个轻钩可能仍为中)。
|
||||
- [2026-06-25] **紧迫感不是判强的唯一门槛**:画面震撼、情感冲击、认知冲突(反差)、叙事吸引(战场故事)、节日/文化共鸣都是独立的强钩子路径。
|
||||
- [2026-06-25] **阅读范围是前三段**(导视+主持人+首段解说),不是两段。有些节目的钩子在主持人之后才引爆。
|
||||
- [2026-06-25] **信息性提问 vs 悬念式提问**:能用一句话/列表回答的是信息性提问(倾向弱),需要讲故事或揭示原理才能回答的是悬念式提问(至少中)。
|
||||
|
||||
### 叙事结构判别
|
||||
|
||||
- [2026-06-11] **3 档收为 2 档**:`主线演进` / `并列结构`。原"强主线悬念 vs 主线演进"实操中区分不开,合并。
|
||||
@@ -319,7 +340,9 @@ python scripts/summarize.py --model mimo-v2.5-pro --field narrative
|
||||
- v0.2:改 2 期(ep12 逆袭战局改为并列→后经复议改回主线演进、ep14 X76 确认并列)
|
||||
- v0.2.1:改 1 期(ep12 经制片人复读稿 + 三家模型独立一致,最终定为并列结构)。**边界期用"多家独立一致 + 人工复审"双重证据机制**。
|
||||
- v0.3.0:为 Prompt 1 预留 4 分类字段骨架(null/[]),ep 编号仍为旧制。
|
||||
- **v0.4.0(当前锁定)**:期号重映射(旧ep3-15→新ep001-020按播出日期排序),10→20期扩展,4分类字段(program_format/equipment_domain/scene_tags/tech_tags)全部填入,制片人逐期审定。新增10期暂无narrative_structure/opening_hook标注。
|
||||
- v0.4.0:期号重映射(旧ep3-15→新ep001-020按播出日期排序),10→20期扩展,4分类字段全部填入。新增10期暂无narrative_structure/opening_hook。
|
||||
- v0.4.1:ep008马年装备图鉴补标跨域(制片人确认遗漏)。
|
||||
- **v0.4.2(当前锁定)**:新增10期opening_hook标注(制片人逐期审定含钩子分析)。20期6字段覆盖:4分类+opening_hook全填,narrative_structure仍有10期null待补。
|
||||
|
||||
### Prompt 设计原则
|
||||
|
||||
@@ -338,11 +361,11 @@ python scripts/summarize.py --model mimo-v2.5-pro --field narrative
|
||||
## 7. ⏩ 交接备注(换人/换工具 0 摩擦续上)
|
||||
|
||||
- **全貌已对齐**(2026-06-24):看板升级四层架构(L1-L4)、双引擎理论、多 LLM 共识机制、季度+自定义双轨周期、全员可见——这些方向已与制片人确认。新来的人先读完第 1 节「子项目全貌」再动手。
|
||||
- **Prompt 1 v0.1 已完成,需迭代至 v0.2**:首轮 MiMo 跑批全对率 40%。两大错误模式:① 多选字段(equipment_domain/tech_tags)过度标注——"一笔带过"的也选了;② program_format 三组边界混淆(装备深解vs横切类比、前沿科技vs横切类比)。改进方向:加强门槛措辞 + 加反例教学 + 可能需要增补示例。
|
||||
- **ground-truth v0.4.0 已锁定**:20 期全部标注(4 分类字段),期号已重映射至 ep001-020。新增 10 期暂无 narrative_structure/opening_hook(待 Prompt 2/3 跑批后补)。
|
||||
- **脚本已升级**:ep 编号 2 位→3 位,ALL_EPISODES 扩至 1-20,summarize classification 比对逻辑已实现(逐字段命中 + 全对率)。
|
||||
- **下一步优先级建议**:Prompt 1 v0.2 迭代 → Prompt 3(开篇钩子)→ 新增 10 期跑 Prompt 2 补 narrative_structure。
|
||||
- **L3/L4 待设计**:分析引擎和诊断报告的架构尚未展开。建议 Prompt 1/3 锁定后启动,可与 schema 加字段并行。
|
||||
- **三个 Prompt 均达可用水平**(2026-06-25):Prompt 1 v0.3(题材分类80%全对)/ Prompt 2 v0.2(叙事结构100%)/ Prompt 3 v0.2(开篇钩子90%)。Prompt 1 剩 3 期硬骨头(装备域从属边界),Prompt 3 剩 2 期(钩子强度边界),边际收益递减可暂停。
|
||||
- **ground-truth v0.4.2 已锁定**:20 期,4分类+opening_hook 全填。narrative_structure 仍有 10 期 null(ep004/007/009/014-020),待跑 Prompt 2 补。
|
||||
- **脚本支持三种 field**:`classification` / `narrative` / `opening_hook`。summarize.py 已改为从 ground-truth.json 源文件读取 GT(不依赖实验文件中的快照)。
|
||||
- **下一步优先级建议**:① 新增 10 期跑 Prompt 2 补 narrative_structure → ② schema 加字段方案(跨层硬前置)→ ③ L3 分析引擎设计。
|
||||
- **L3/L4 待设计**:分析引擎和诊断报告的架构尚未展开。三个 Prompt 已到位,可启动 L3。
|
||||
- **schema 加字段是跨层硬前置**:episodes 表加 6+1 字段,必须 Plan + Opus 审 + 制片人批准 + `pg_dump` 备份。这是主项目的事,不在沙盒内做。
|
||||
|
||||
---
|
||||
@@ -352,5 +375,5 @@ python scripts/summarize.py --model mimo-v2.5-pro --field narrative
|
||||
- [x] ~~Prompt 1 的 4 分类字段枚举最终口径~~ → 已在 v2 快照锁定(见 §1.4)
|
||||
- [ ] 多 LLM 共识机制的模型阵容(MiMo + GLM 5.2 + ?)待选型测试后定
|
||||
- [ ] L3 分析引擎是否需要超出 Excel 8 Sheet 的额外分析维度
|
||||
- [x] ~~下一步优先级:先推 Prompt 1 还是先推 schema 加字段方案?~~ → Prompt 1 先行,已完成 v0.1
|
||||
- [ ] Prompt 1 v0.2 示例集是否需要扩充?当前 5 个示例(含 2 个陷阱反例),首轮全对率 40% 偏低
|
||||
- [x] ~~下一步优先级:先推 Prompt 1 还是先推 schema 加字段方案?~~ → Prompt 1 先行,已完成 v0.3(80%)
|
||||
- [x] ~~Prompt 1 示例集是否需要扩充?~~ → v0.3 已扩至 7 个示例(含防空反导、硅基大脑等易错案例),全对率 80%
|
||||
|
||||
Reference in New Issue
Block a user