WeST 是什么
WeST 被介绍为一个开源的语音识别系统,用约 300 行代码借助大型语言模型把语音转成文本。它由一个大型语言模型、一个语音编码器和一个投影器组成,仅投影器参与训练。
你可以用它做什么
- 把大型语言模型替换为 LLaMA 或 QWen 等
- 用 whisper 等语音编码器编码语音信号
- 以 jsonl 格式配置训练和测试数据
应用场景
- 开发者快速搭建语音助手原型
- 研究人员做语音识别实验并撰写论文
- 教学场景展示语音识别的工作原理
优点与缺点
✓ 我们认可的地方
- 训练参数可配置学习率、权重衰减等
- 支持 Deepspeed 配置以优化训练过程
! 需要留意的地方
- 只有投影器部分可训练
- 训练与测试数据需符合 jsonl 格式要求
常见问题
哪部分可训练?
资料说明仅投影器部分可训练。
项目灵感来自哪里?
资料列出 SLAM-ASR 和 LLaMA 3.1。
最后评测: 2026-11-15