跳到正文

RLLoggingBoard

用细粒度指标可视化 RLHF 训练过程

访问官网

RLLoggingBoard 是什么

RLLoggingBoard 被介绍为一个专注强化学习人类反馈训练可视化的工具,围绕细粒度指标监控展开。

你可以用它做什么

  • 查看训练曲线与得分分布
  • 按奖励或 KL 散度给响应排序
  • 查看每个 token 的奖励、价值与概率

应用场景

  • 押韵任务中检查诗句是否押韵
  • 对话任务中观察奖励分布
  • 文本任务中发现异常 token

优点与缺点

✓ 我们认可的地方

  • 与训练框架解耦
  • 支持 .jsonl 指标文件

! 需要留意的地方

  • 训练框架需保存所需指标
  • 参考模型对比也要保存指标

常见问题

用什么格式?

资料说明支持 .jsonl 文件。

怎么启动?

流程是保存指标、放置文件、安装依赖,再运行 bash start.sh。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法