tps-dashboard/cca/src/ai_proofreader.py

# -*- coding: utf-8 -*-
"""
AI 校对器 — ASR 稿与 A 稿比对 + 上下文纠错

解决的核心问题:
- ASR 同音字误识别（"建制"→"舰只"、"舰手"→"舰艏"）
- 军事术语规范化（"f15j"→"F-15J"）
- 的/地/得纠错
- 去除口语填充词（"嗯""那个""就是说"）
- 专家采访段落强化去口头语

策略:
- 将 ASR 全文 + A 稿全文一起发给 DeepSeek
- AI 结合节目主题和上下文做纠错
- 返回修正后的句子列表 + 修改说明
- 专家采访段落用增强版 Prompt，更严格地删除口头语
"""

import json
import os
import sys
from pathlib import Path
from typing import List, Tuple, Dict

try:
    from dotenv import load_dotenv
    _env_path = Path(__file__).resolve().parent.parent / ".env"
    if _env_path.exists():
        load_dotenv(str(_env_path), override=True)
except Exception:
    pass


PROOFREAD_SYSTEM_PROMPT = """你是电视军事节目《军事科技》的字幕校对专家。你将收到两份材料：
1. **ASR稿**：语音识别的转写结果，带有时间编号，是字幕的基础
2. **A稿**：编导写的节目文稿（仅包含解说词，不包含专家采访的具体内容）

你的任务是校对 ASR 稿中的**语音识别错误**。

**铁律（违反任何一条都算失败）：**
- ASR稿是已经录好的音频的转写，内容不能改——**绝不润色语句、绝不调整语序、绝不增删实词**
- 只修下列允许的几类问题，除此之外一个字都不能动
- **A稿与ASR内容冲突时ASR优先**（配音员可能改过措辞），但专有名词的正确写法/格式按A稿
- **数字表达照抄ASR原文**：不要参考A稿调整数字的位置、格式或表述方式。ASR说"马赫数0.9"就保持"马赫数0.9"，不要改成A稿的"0.9马赫"

**允许修的类别：**
1. **同音字/错别字**（ASR听错的字）：如"建制"→"舰只"、"舰手"→"舰艏"、"继承"→"击沉"、"空花弹"→"滑翔弹"、"沉默"→"沉没"（指船只）
2. **代词纠错**：武器装备/导弹/飞机/舰艇等的代词应为"它"而非"他"。注意：指代国家时不改（国家口语中用"他"是可接受的）。只纠正明确指代物件（武器、军舰、飞机、导弹）的情况
3. **的/地/得纠错**（重要！ASR无法区分三个"de"，你必须逐句检查并修正）：
   - **"的"用在名词前**（形容词/名词 + 的 + 名词）：强大的性能、日本的军备、重要的舰只
   - **"地"用在动词前**（副词 + 地 + 动词）：不断地进行、持续地推动、快速地发展、正式地把、大规模地改装、积极地推进、不断地扩大、明确地表示
   - **"得"用在补语前**（动词 + 得 + 补语）：发展得很快、做得很好、打得很准
   - 判断方法：看"de"后面跟的是名词还是动词——跟动词就用"地"，跟名词就用"的"，是评价/程度补语就用"得"
   - 常见错误模式："不断的进行"→"不断地进行"、"持续的推动"→"持续地推动"、"正式的把"→"正式地把"、"大力的发展"→"大力地发展"
4. **术语格式**：英文型号大小写+连字符（"f15j"→"F-15J"、"v22"→"V-22"、"rq四"→"RQ-4"）
5. **中文数字保留**：ASR可能把"数十"转成"数10"、"几百"转成"几100"——必须改回中文写法
6. **武器昵称引号**：如A稿中武器有引号昵称（"鱼鹰""战斧""全球鹰"），ASR中同一武器无引号时补上中文双引号
7. **口语填充词删除**：只删"嗯""呃""唉""那个""就是说"这类纯填充词。"这个"后面紧跟名词作指示代词（"这个导弹"）时保留

**绝对不许做的（哪怕你觉得改了更好也不许）：**
- 不许调整语序（"它在性质上就是"不许改成"它本质上就是"）
- 不许替换实词（"不是那么特别的顺利"不许改成"不太顺利"）
- 不许参考A稿的数字表达方式来改ASR的数字写法
- 不许增删标点来改变句子结构
- 不许把口语化表达改成书面语
- 不许根据A稿的措辞替换ASR中意思相同但用词不同的表达（如A稿"陆续订购"，ASR说"先后采购"→保持"先后采购"）

**输出格式：**
JSON数组，每个元素：{"id": 编号, "original": "原文", "corrected": "修正后", "changes": "修改说明（无修改写空字符串）"}
只输出JSON，不要其他内容。"""


PROOFREAD_EXPERT_SYSTEM_PROMPT = """你是电视军事节目《军事科技》的字幕校对专家。你将收到两份材料：
1. **ASR稿**：语音识别的转写结果，带有时间编号，是字幕的基础。**本批全部来自专家采访段落**
2. **A稿**：编导写的节目文稿（仅包含解说词，不包含专家采访内容——专家说的话A稿里没有）

你的任务是校对 ASR 稿中的**语音识别错误**，同时**严格清除专家的口头语**。

**铁律（违反任何一条都算失败）：**
- ASR稿是已经录好的音频的转写，内容不能改——**绝不润色语句、绝不调整语序、绝不增删实词**
- 只修下列允许的几类问题，除此之外一个字都不能动
- 由于是专家采访，A稿中没有对应内容，所以**不要用A稿措辞替换专家的话**，A稿只用于确认专有名词写法

**允许修的类别：**
1. **同音字/错别字**（ASR听错的字）：如"建制"→"舰只"、"舰手"→"舰艏"、"继承"→"击沉"、"沉默"→"沉没"（指船只）
2. **代词纠错**：武器装备/导弹/飞机/舰艇等的代词应为"它"而非"他"。指代国家时不改
3. **的/地/得纠错**（重要！ASR无法区分三个"de"，你必须逐句检查并修正）：
   - **"的"用在名词前**（形容词/名词 + 的 + 名词）
   - **"地"用在动词前**（副词 + 地 + 动词）：不断地进行、持续地推动、正式地把、大规模地改装
   - **"得"用在补语前**（动词 + 得 + 补语）：发展得很快
   - 常见错误："不断的进行"→"不断地进行"、"持续的推动"→"持续地推动"
4. **术语格式**：英文型号大小写+连字符
5. **口语填充词删除（专家采访重点！必须严格执行）**：
   - **必删**：嗯、呃、唉、啊（句首或句中作语气词时）、那个、这个（非指示代词时）、那么（非表示程度时）、就是说、应该说、可以说、怎么说呢、相对来讲、相对来说
   - **判断"这个/那个"**：紧跟具体名词="指示代词"保留（"这个导弹"）；单独出现或后面是虚词/停顿=口头语删除（"这个呢它是"→删"这个"、"发展这个日向级"→删"这个"）
   - **判断"啊"**：句首"啊射程""啊这个"=口头语删除；"啊"在感叹句末尾=保留（极少出现在专家采访中）
   - **判断"那么"**："那么大""那么快"=程度副词保留；"那么它就是"=口头语删除
6. **数字表达照抄ASR原文**，不参考A稿

**绝对不许做的：**
- 不许调整语序、替换实词、把口语化改书面语
- 不许用A稿的措辞替换专家的话（专家说的内容A稿没有，不存在"参考"关系）
- 不许删除有意义的词（只删纯口头语填充词）

**输出格式：**
JSON数组，每个元素：{"id": 编号, "original": "原文", "corrected": "修正后", "changes": "修改说明（无修改写空字符串）"}
只输出JSON，不要其他内容。"""


PROOFREAD_USER_TEMPLATE = """**A稿（节目文稿，仅供参考）：**
{script_text}

**ASR稿（需要校对，请逐条检查）：**
{asr_text}"""


def _create_client():
    api_key = os.environ.get("DEEPSEEK_API_KEY", "").strip()
    if not api_key:
        raise ValueError("请在 .env 中设置 DEEPSEEK_API_KEY")
    from openai import OpenAI
    return OpenAI(
        api_key=api_key,
        base_url=os.environ.get("DEEPSEEK_BASE_URL", "https://api.deepseek.com"),
    )


def identify_speakers(
    sentences: List[Tuple[int, int, str, int]],
) -> Dict[int, str]:
    """
    识别每个 speaker_id 的角色。

    规则（基于《军事科技》节目结构）：
    - 找到说"各位观众你们好"或"欢迎收看军事科技"的 speaker → 主持人（也是解说配音员）
    - 导视段（最早出现的）speaker 如果和主持人不同 → 也是解说（录音环境不同导致分裂）
    - 剩余的 speaker → 专家/其他（统一按"专家采访"对待，加强去口头语）

    返回: {speaker_id: "narration"|"host"|"expert"}
    """
    if not sentences:
        return {}

    speaker_texts: Dict[int, str] = {}
    speaker_first_appear: Dict[int, int] = {}
    for i, (bg, ed, text, spk) in enumerate(sentences):
        if spk not in speaker_texts:
            speaker_texts[spk] = ""
            speaker_first_appear[spk] = i
        speaker_texts[spk] += text

    roles: Dict[int, str] = {}

    # 找主持人：说过"各位观众你们好"或"欢迎收看军事科技"
    host_spk = None
    for spk, text in speaker_texts.items():
        if "各位观众" in text or "欢迎收看" in text or "主持人" in text:
            host_spk = spk
            roles[spk] = "host"
            break

    # 最早出现的 speaker 是解说（导视段配音员）
    earliest_spk = min(speaker_first_appear, key=speaker_first_appear.get)
    if earliest_spk not in roles:
        roles[earliest_spk] = "narration"

    # 如果主持人和解说是不同 speaker，两个都标记
    # 如果相同，那就是同一个人（标为 narration 即可）
    if host_spk is not None and host_spk == earliest_spk:
        roles[host_spk] = "narration"

    # 剩余的全部标为专家/其他
    for spk in speaker_texts:
        if spk not in roles:
            roles[spk] = "expert"

    role_summary = {spk: f"{role}({len([s for s in sentences if s[3]==spk])}句)"
                    for spk, role in roles.items()}
    print(f"[校对] Speaker 角色识别: {role_summary}")

    return roles


def proofread_batch(
    asr_sentences: List[Tuple[int, int, str, int]],
    script_text: str,
    batch_size: int = 30,
) -> List[Tuple[int, int, str, int]]:
    """
    对 ASR 句子列表做 AI 校对。
    专家采访段落使用增强版 Prompt（更严格的口头语清除）。
    """
    if not asr_sentences:
        return []

    client = _create_client()
    script_truncated = script_text[:8000] if len(script_text) > 8000 else script_text

    # 识别说话人角色
    speaker_roles = identify_speakers(asr_sentences)

    corrected_sentences = list(asr_sentences)
    total_changes = 0

    # 按角色分组处理：专家用增强 Prompt，其余用标准 Prompt
    expert_indices = []
    normal_indices = []
    for i, (bg, ed, text, spk) in enumerate(asr_sentences):
        if speaker_roles.get(spk) == "expert":
            expert_indices.append(i)
        else:
            normal_indices.append(i)

    print(f"[校对] 解说/主持 {len(normal_indices)} 句, 专家采访 {len(expert_indices)} 句")

    def _process_batch(indices, system_prompt, label):
        nonlocal total_changes
        for batch_start in range(0, len(indices), batch_size):
            batch_idx = indices[batch_start:batch_start + batch_size]

            asr_lines = []
            for seq, idx in enumerate(batch_idx):
                asr_lines.append(f"[{seq+1}] {asr_sentences[idx][2]}")
            asr_text = "\n".join(asr_lines)

            print(f"[校对-{label}] 处理第 {batch_start+1}-{batch_start+len(batch_idx)} 句...")

            try:
                resp = client.chat.completions.create(
                    model=os.environ.get("DEEPSEEK_MODEL", "deepseek-chat"),
                    messages=[
                        {"role": "system", "content": system_prompt},
                        {"role": "user", "content": PROOFREAD_USER_TEMPLATE.format(
                            script_text=script_truncated,
                            asr_text=asr_text,
                        )},
                    ],
                    temperature=0.1,
                    max_tokens=4000,
                )

                result_text = resp.choices[0].message.content.strip()
                if result_text.startswith("```"):
                    result_text = result_text.split("\n", 1)[1]
                    if result_text.endswith("```"):
                        result_text = result_text[:-3]
                    result_text = result_text.strip()

                corrections = json.loads(result_text)

                for item in corrections:
                    seq = item.get("id", 0) - 1
                    corrected = item.get("corrected", "")
                    changes = item.get("changes", "")

                    if 0 <= seq < len(batch_idx) and corrected and changes:
                        original_idx = batch_idx[seq]
                        bg, ed, _, spk = corrected_sentences[original_idx]
                        corrected_sentences[original_idx] = (bg, ed, corrected, spk)
                        total_changes += 1
                        print(f"  修正: '{item.get('original','')}' → '{corrected}' ({changes})")

            except json.JSONDecodeError as e:
                print(f"[校对-{label}] JSON解析失败，跳过本批: {e}", file=sys.stderr)
            except Exception as e:
                print(f"[校对-{label}] 出错: {e}", file=sys.stderr)

    if normal_indices:
        _process_batch(normal_indices, PROOFREAD_SYSTEM_PROMPT, "解说")
    if expert_indices:
        _process_batch(expert_indices, PROOFREAD_EXPERT_SYSTEM_PROMPT, "专家")

    print(f"[校对] 完成，共修正 {total_changes} 处")
    return corrected_sentences