中国完成首个全国产化万卡万参大模型训练,并
“中国电信人工智能研究院”官方今天宣布,中国电信人工智能研究院成功完成官方表示,这项科研成果标志着TeleChat2-115B 基于中国电信自研的天翼云“息壤一体化智算服务平台”和人工智能公司“星海 AI 平台”训练完成。据介绍,其在保证训练精度的前提下利用多种优化手段提升模型训练效率和稳定性,实现了 GPU 同等算力计算效率超 93% ,模型有效训练时长占比超 98% 。
针对超大参数模型训练,TeleAI 采用了在 Post-Training方面,TeleAI 首先针对数学、代码和逻辑推理等内容合成了大量问答数据,用于 SFT第一阶段模型训练。
其次,其采用迭代式更新策略,使用模型对提示词数据进行指令复杂性提升与多样性扩充,通过模型合成和人工标注提升答案质量,并利用拒绝采样获取优质 SFT 数据及 RM代表性数据,用于 SFT 训练和 DPO训练,以及模型效果迭代。
GitHub:
Gitee:
ModelScope:
Modelers:
