跳到正文

Mini-Omni

开源实时语音到语音对话模型

访问官网

Mini-Omni 是什么

Mini-Omni 被介绍为一个开源的多模态大型语言模型,支持实时语音输入与流式音频输出的对话能力。资料说明它无需额外的 ASR 或 TTS 模型即可进行语音到语音对话,并能在思考的同时生成文本和音频。

你可以用它做什么

  • 进行实时语音到语音对话
  • 同时生成文本和音频
  • 输出流式音频
  • 通过 Audio-to-Text 与 Audio-to-Audio 批量推理提升性能

应用场景

  • 开发者构建可实时语音对话的聊天机器人
  • 研究人员进行语音识别与语音合成技术的实验和研究
  • 教育机构开发提供实时语音反馈的语言学习应用

上手流程

  • 创建并激活一个新的 conda 环境
  • 通过 git 克隆 Mini-Omni 代码库到本地
  • 安装所需的 Python 包
  • 启动服务器并运行 streamlit 或 gradio 演示

优点与缺点

✓ 我们认可的地方

  • 语音到语音对话无需额外 ASR 或 TTS 模型
  • 可通过命令行快速启动交互式演示

! 需要留意的地方

  • 运行演示需要新建 conda 环境并安装 Python 包
  • 批量推理依赖 Audio-to-Text 与 Audio-to-Audio 模式

常见问题

需要单独的 ASR 或 TTS 模型吗?

资料说明实时语音到语音对话无需额外的 ASR 或 TTS 模型。

演示怎么启动?

资料记录的步骤是新建 conda 环境、克隆代码库、安装 Python 包,再运行 streamlit 或 gradio 演示。

最后评测: 2026-11-15

更多 AI 音频工具 工具

查看全部 →

评测方法