稳健,是 Gate 持续增长的核心动力。
真正的成长,不是顺风顺水,而是在市场低迷时依然坚定前行。我们或许能预判牛熊市的大致节奏,但绝无法精准预测它们何时到来。特别是在熊市周期,才真正考验一家交易所的实力。
Gate 今天发布了2025年第二季度的报告。作为内部人,看到这些数据我也挺惊喜的——用户规模突破3000万,现货交易量逆势环比增长14%,成为前十交易所中唯一实现双位数增长的平台,并且登顶全球第二大交易所;合约交易量屡创新高,全球化战略稳步推进。
更重要的是,稳健并不等于守成,而是在面临严峻市场的同时,还能持续创造新的增长空间。
欢迎阅读完整报告:https://www.gate.com/zh/announcements/article/46117
NVIDIA NeMo-RL 利用 GRPO 进行高级强化学习
张彼得
2025年7月10日 06:07
NVIDIA推出NeMo-RL,一个用于强化学习的开源库,支持与GRPO的可扩展训练,并与Hugging Face模型集成。
NVIDIA 已推出 NeMo-RL,这是一个前沿的开源库,旨在增强强化学习 (RL) 的能力,具体内容可以参考 NVIDIA 的官方博客。该库支持可扩展的模型训练,从单 GPU 原型到大规模的千 GPU 部署,并与 Hugging Face 等流行框架无缝集成。
NeMo-RL的架构与特点
NeMo-RL 是更广泛的 NVIDIA NeMo 框架的一部分,以其多功能性和高性能能力而闻名。该库包括与 Hugging Face 模型的原生集成,优化的训练和推理过程。它支持 DPO 和 GRPO 等流行的强化学习算法,并采用基于 Ray 的编排以提高效率。
NeMo-RL的架构设计时考虑了灵活性。它支持各种训练和回滚后端,确保高层算法实现与后端细节保持无关。这种设计允许模型的无缝扩展,而无需修改算法代码,使其非常适合小规模和大规模部署。
使用 GRPO 实现 DeepScaleR
这篇博客文章探讨了如何应用NeMo-RL来重复使用Group Relative Policy Optimization (GRPO)算法的DeepScaleR-1.5B食谱。这涉及到训练高性能的推理模型,例如Qwen-1.5B,以便在AIME24学术数学挑战中与OpenAI的O1基准进行竞争。
训练过程分为三个步骤,每个步骤都增加使用的最大序列长度:从8K开始,然后是16K,最后是24K。这种逐步增加有助于管理推出序列长度的分布,优化训练过程。
训练过程与评估
训练设置涉及克隆 NeMo-RL 仓库并安装必要的软件包。训练分阶段进行,模型持续评估以确保达到性能基准。结果表明,NeMo-RL 在仅 400 步内达到了 0.65 的训练奖励。
在AIME24基准测试中的评估显示,训练模型超越了OpenAI O1,突显了NeMo-RL与GRPO算法结合时的有效性。
开始使用 NeMo-RL
NeMo-RL 可供开源使用,提供详细的文档和示例脚本,存放在其 GitHub 存储库中。这个资源非常适合那些希望使用可扩展和高效的方法进行强化学习实验的人。
该库与Hugging Face的集成及其模块化设计使其成为研究人员和开发者在项目中利用先进强化学习技术的强大工具。
图片来源:Shutterstock