分类 AI语音识别
whisper-diarization 是什么
whisper-diarization 被介绍为一个结合 Whisper 自动语音识别(ASR)、声音活动检测(VAD)和说话人嵌入技术的开源项目,通过提取音频中的声音部分来提高说话人嵌入的准确性。它用 Whisper 生成转录文本,用 WhisperX 校正时间戳并对齐,并把基于时间戳的单词级说话人检测关联起来。
你可以用它做什么
- 用 Whisper ASR 生成高质量的语音转录
- 用声音活动检测排除静音
- 用说话人嵌入技术识别说话人
- 用 WhisperX 校正并对齐时间戳
流程是怎么走的
- MarbleNet 做 VAD 与分割,排除静音片段
- TitaNet 提取说话人嵌入,识别每个段落的说话人
- 把结果与 WhisperX 时间戳关联,检测每个单词的说话人
- 用标点模型重新对齐,补偿小的时间偏移
上手流程
- 确保系统已安装 FFMPEG 和 Cython 作为先决条件
- 克隆或下载 whisper-diarization 的代码库
- 按需修改 diarize.py 和 helpers.py 中的 WhisperX 与 NeMo 参数
- 用命令行工具输入参数和音频文件名运行模型
优点与缺点
✓ 我们认可的地方
- 支持批处理推理,提高处理效率
- 先提取声音部分再算说话人嵌入,提高准确性
! 需要留意的地方
- 系统需先安装 FFMPEG 与 Cython 作为先决条件
- WhisperX 与 NeMo 参数需要在项目文件中修改
常见问题
流程里用到哪些组件?
资料列出 Whisper、WhisperX、MarbleNet、TitaNet、标点模型以及 NeMo 参数。
运行前要装什么?
资料把 FFMPEG 和 Cython 列为先决条件,并要求克隆或下载代码库。
最后评测: 2026-11-15