【产品简介】
悟道·天鹰Aquila语言大模型在技术上继承了GPT-3、LLaMA等的架构设计优点，替换了一批更高效的底层算子实现、重新设计实现了中英双语的tokenizer，升级了BMTrain并行训练方法，在Aquila的训练过程中实现了比Magtron+DeepSpeed zero-2将近８倍的训练效率。Aquila语言大模型是在中英文高质量语料基础上从０开始训练的，通过数据质量的控制、多种训练的优化方法，实现在更小的数据集、更短的训练时间，获得比其它开源模型更优的性能。也是首个支持中英双语知识、支持商用许可协议、符合国内数据合规需要的大规模开源语言模型。
官方网址：github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila
前往官网
声明：本文来自AIGC收录导航网投稿，不代表吾站网立场，版权归原作者所有，欢迎分享本文，转载请保留出处！
