跳到正文

LookOnceToHear

看向说话者,只听想听的声音

访问官网

LookOnceToHear 是什么

LookOnceToHear 被介绍为一种创新的智能耳机交互系统,允许用户通过简单的视觉识别选择想要听到的目标说话者,并在 CHI 2024 上获得最佳论文荣誉提名。它通过合成音频混合、头相关传输函数(HRTFs)和双耳房间脉冲响应(BRIRs)实现实时语音提取,提供一种新颖的交互方式。

你可以用它做什么

  • 通过看向目标说话者几秒钟选择想听的声音
  • 使用 Scaper 工具包合成生成音频混合
  • 利用自包含的数据集和训练用 .jams 规范文件
  • 借助模型检查点评估实时语音提取与目标语音听力模型

应用场景

  • 在会议中通过系统选择听取特定发言人的声音
  • 在嘈杂的公共场所帮助听力障碍者集中听取对话
  • 在音频分析研究中用于区分和提取多个声源

上手流程

  • 下载并解压提供的 .zip 文件到 data/ 目录
  • 运行命令以开始训练过程
  • 用 Scaper 的 generate_from_jams 函数在 .jams 规范文件上生成音频混合
  • 下载并加载目标语音听力模型的检查点进行评估

优点与缺点

✓ 我们认可的地方

  • 提供模型检查点,方便训练与评估
  • 支持嘈杂环境下的语音识别与提取

! 需要留意的地方

  • 训练需先准备提供的 .zip 数据与 .jams 规范文件
  • 音频混合的生成依赖 Scaper 工具包

常见问题

怎样选中说话者?

资料说明用户看向目标说话者几秒钟,即可选择想要听到的声音。

训练提供了什么?

资料列出自包含数据集、.jams 规范文件、Scaper 音频混合生成以及模型检查点。

最后评测: 2026-11-15

更多 AI 音频工具 工具

查看全部 →

评测方法