跳到正文

whisper-diarization

语音转录并标注每个说话人的开源项目

访问官网

whisper-diarization 是什么

whisper-diarization 被介绍为一个结合 Whisper 自动语音识别(ASR)、声音活动检测(VAD)和说话人嵌入技术的开源项目,通过提取音频中的声音部分来提高说话人嵌入的准确性。它用 Whisper 生成转录文本,用 WhisperX 校正时间戳并对齐,并把基于时间戳的单词级说话人检测关联起来。

你可以用它做什么

  • 用 Whisper ASR 生成高质量的语音转录
  • 用声音活动检测排除静音
  • 用说话人嵌入技术识别说话人
  • 用 WhisperX 校正并对齐时间戳

流程是怎么走的

  • MarbleNet 做 VAD 与分割,排除静音片段
  • TitaNet 提取说话人嵌入,识别每个段落的说话人
  • 把结果与 WhisperX 时间戳关联,检测每个单词的说话人
  • 用标点模型重新对齐,补偿小的时间偏移

上手流程

  • 确保系统已安装 FFMPEG 和 Cython 作为先决条件
  • 克隆或下载 whisper-diarization 的代码库
  • 按需修改 diarize.py 和 helpers.py 中的 WhisperX 与 NeMo 参数
  • 用命令行工具输入参数和音频文件名运行模型

优点与缺点

✓ 我们认可的地方

  • 支持批处理推理,提高处理效率
  • 先提取声音部分再算说话人嵌入,提高准确性

! 需要留意的地方

  • 系统需先安装 FFMPEG 与 Cython 作为先决条件
  • WhisperX 与 NeMo 参数需要在项目文件中修改

常见问题

流程里用到哪些组件?

资料列出 Whisper、WhisperX、MarbleNet、TitaNet、标点模型以及 NeMo 参数。

运行前要装什么?

资料把 FFMPEG 和 Cython 列为先决条件,并要求克隆或下载代码库。

最后评测: 2026-11-15

更多 AI 音频工具 工具

查看全部 →

评测方法