跳到正文

R1-Omni

结合强化学习的全模态情绪识别模型

访问官网

R1-Omni 是什么

R1-Omni 被介绍为一个多模态情绪识别模型,通过强化学习提升模型的推理能力和泛化能力。它基于 HumanOmni-0.5B 开发,能够借助视觉和音频模态信息进行情绪分析。

你可以用它做什么

  • 从视频和音频输入中分析情绪
  • 查看详细推理过程,了解结果如何得出
  • 在分布外数据上检验模型表现
  • 集成 Whisper、Siglip 等预训练模型

应用场景

  • 在智能客服系统里分析客户语音和视频的情绪
  • 在心理健康应用中读取用户的情绪表达
  • 在视频内容审核中标记负面情绪

上手流程

  • 安装 PyTorch 及所需的多模态模型
  • 克隆代码仓库并按 README 说明设置环境
  • 下载预训练模型并配置路径
  • 用推理脚本对单个视频或多模态输入做情绪推理

优点与缺点

✓ 我们认可的地方

  • 在分布外数据上表现出色
  • 提供训练与推理代码便于复现和扩展

! 需要留意的地方

  • 环境需要 PyTorch 及 Whisper、Siglip 等多模态模型
  • 需下载 HumanOmni-0.5B 等预训练模型并配置路径

常见问题

基于什么开发?

资料说明该模型基于 HumanOmni-0.5B 开发。

读取哪些模态?

资料说明通过视觉和音频模态信息进行情绪分析。

最后评测: 2026-11-15

更多 AI 聊天助手 工具

查看全部 →

评测方法