鹏程·盘古：大规模自回归中文预训练语言模型及应用

II带着世界上最早的2亿个训练参数回到中文。鹏程盘古模型基于1.1TB高质量的高山训练数据，采用全场景人工智能计算框架MindSpore自动并行技术，实现了五维并行训练策略，可有效地将训练任务扩展到4096个处理器。对比实验表明，在样本数较少或为零的情况下，鹏程盘古模型在多个中文或生成任务中具有更好的性能。在此基础上，鹏程盘古模型在大模型压缩、快速微调学习、多任务学习和连续学习等方面也取得了良好的应用效果。