据英伟达官方博客，英伟达宣布推出一款名为 Nemotron-CC 的大型英文AI训练数据库，目前，业界各类AI模型的具体性能主要取决于相应模型的训练数据。然而现有公开数据库在规模和质量上往往存在局限性，英伟达称Nemotron-CC 的出现正是为了解决这一瓶颈，该训练数据库 6.3 万亿 Token 的规模内含大量经过验证的高质量数据，号称是“训练大型语言模型的理想素材”。

　　数据在性能方面，英伟达称与目前业界领先的公开英文训练数据库 DCLM相比，使用 Nemotron-CC-HQ 训练的模型在 MMLU基准测试中的分数提高了 5.6 分。

　　进一步测试显示，使用 Nemotron-CC 训练的 80 亿参数模型在 MMLU 基准测试中分数提升 5 分，在 ARC-Challenge 基准测试中提升 3.1 分，并在10项不同任务的平均表现中提高 0.5 分，英伟达官方表示，Nemotron-CC 的开发过程中使用了模型分类器、合成数据重述等技术，最大限度地保证了数据的高质量和多样性。同时他们还针对特定高质量数据降低了传统的启发式过滤器处理权重，从而进一步提高了数据库高质量 Token 的数量，并避免对模型精确度造成损害。

　　英伟达已将 Nemotron-CC 训练数据库已在 Common Crawl 网站上公开，英伟达称相关文档文件将在稍晚时候于该公司的 GitHub 页中公布。