跳到正文

CLaMP 3

跨模态与跨语言的音乐检索

访问官网

CLaMP 3 是什么

CLaMP 3 被介绍为音乐信息检索模型,通过对比学习对齐乐谱、演奏信号、音频与多语言文本的特征。它支持跨模态和跨语言检索,并能泛化到未见过的语言。

你可以用它做什么

  • 由乐谱检索对应音频
  • 用多种语言的文字检索音乐
  • 由图像描述匹配音乐
  • 无需标注样本即可分类音乐

数据集与对齐

  • 特征由对比学习完成对齐
  • 训练采用大规模 M4-RAG 数据集
  • WikiMT-X 作为基准数据集提供
  • 评估采用语义相似性计算

上手流程

  • 打开在线演示页或下载模型权重
  • 输入文本、图像或其他模态的查询
  • 模型把查询与音乐特征对齐
  • 返回与查询最匹配的音乐

优点与缺点

✓ 我们认可的地方

  • 框架覆盖多组模态组合
  • 提供 M4-RAG 与 WikiMT-X 数据集

! 需要留意的地方

  • 检索依赖对比学习得到的特征对齐
  • 资料所述评估基于语义相似性

常见问题

支持哪些检索任务?

资料列出乐谱到音频、多语言文本到音乐以及图像到音乐的检索。

点名了哪些数据集?

功能列表列出 M4-RAG 与基准数据集 WikiMT-X。

最后评测: 2026-11-15

更多 AI 音乐创作 工具

查看全部 →

评测方法