跳到正文

speech-to-speech

把语音活动检测、转写、语言模型与合成串成语音到语音转换

访问官网

speech-to-speech 是什么

speech-to-speech 被介绍为一个开源的模块化 GPT4-o 项目,通过语音活动检测、语音转文本、语言模型和文本转语音等连续部分依次完成语音到语音的转换。它使用 Transformers 库和 Hugging Face hub 上可用的模型,每个组件都作为类实现,并支持服务器/客户端方法与本地方法运行。

你可以用它做什么

  • 用 silero VAD v5 进行语音活动检测
  • 用 Whisper 模型及蒸馏版本做语音转文本
  • 在 Hugging Face Hub 上任选指令模型作为语言模型
  • 用 Parler-TTS 与不同检查点合成语音

应用场景

  • 开发者创建语音助手,实现语音交互
  • 研究人员进行语音识别和语音合成的实验研究
  • 教育机构集成到教学工具中,帮助理解语音技术

上手流程

  • 把仓库克隆到本地环境
  • 安装所需的依赖
  • 根据需要配置模型参数和生成参数
  • 在服务器/客户端方法与本地方法之间选择运行方式

优点与缺点

✓ 我们认可的地方

  • 每个组件都作为类实现,可按需重新实现
  • 同时支持服务器/客户端方法和本地方法

! 需要留意的地方

  • 运行前需要配置模型参数和生成参数
  • 转换依赖 VAD、STT、LM 与 TTS 多个独立组件

常见问题

管线由哪些部分组成?

语音活动检测、语音转文本、语言模型和文本转语音依次串联。

各阶段点名了哪些模型?

检测用 silero VAD v5,语音转文本用 Whisper,语言模型可任选 Hugging Face Hub 上的指令模型,合成用 Parler-TTS。

最后评测: 2026-11-15

更多 AI 音频工具 工具

查看全部 →

评测方法