分类 AI语音识别
LookOnceToHear 是什么
LookOnceToHear 被介绍为一种创新的智能耳机交互系统,允许用户通过简单的视觉识别选择想要听到的目标说话者,并在 CHI 2024 上获得最佳论文荣誉提名。它通过合成音频混合、头相关传输函数(HRTFs)和双耳房间脉冲响应(BRIRs)实现实时语音提取,提供一种新颖的交互方式。
你可以用它做什么
- 通过看向目标说话者几秒钟选择想听的声音
- 使用 Scaper 工具包合成生成音频混合
- 利用自包含的数据集和训练用 .jams 规范文件
- 借助模型检查点评估实时语音提取与目标语音听力模型
应用场景
- 在会议中通过系统选择听取特定发言人的声音
- 在嘈杂的公共场所帮助听力障碍者集中听取对话
- 在音频分析研究中用于区分和提取多个声源
上手流程
- 下载并解压提供的 .zip 文件到 data/ 目录
- 运行命令以开始训练过程
- 用 Scaper 的 generate_from_jams 函数在 .jams 规范文件上生成音频混合
- 下载并加载目标语音听力模型的检查点进行评估
优点与缺点
✓ 我们认可的地方
- 提供模型检查点,方便训练与评估
- 支持嘈杂环境下的语音识别与提取
! 需要留意的地方
- 训练需先准备提供的 .zip 数据与 .jams 规范文件
- 音频混合的生成依赖 Scaper 工具包
常见问题
怎样选中说话者?
资料说明用户看向目标说话者几秒钟,即可选择想要听到的声音。
训练提供了什么?
资料列出自包含数据集、.jams 规范文件、Scaper 音频混合生成以及模型检查点。
最后评测: 2026-11-15