训练语料清洗

离线、确定性的训练语料清洗工具。把原始文本语料归一化（NFC 统一、去控制字符、去 HTML 标签、实体解码、全角字母数字转半角并保留中文标点、空白压缩），做精确去重与 3-gram Jaccard 近重复去重，按质量规则过滤（长度、符号率、数字率、重复字符连续段、唯一字符率），并识别 PII（邮箱、手机号、身份证、IPv4、URL，可选脱敏）。输出清洗后语料与统计报告（人类可读或 JSON），逐条给出丢弃原因。纯标准库、不联网、不读工作区、不生成内容。适合算法工程师、数据标注与语料准备团队在构建训练集前做第一道清洗。只做确定性清洗与统计，不做语料质量结论。