古风汉服美女图集

悟道·天鹰

2024-01-12 18:55 吾站网

【产品简介】

悟道·天鹰Aquila语言大模型在技术上继承了GPT-3、LLaMA等的架构设计优点,替换了一批更高效的底层算子实现、重新设计实现了中英双语的tokenizer,升级了BMTrain并行训练方法,在Aquila的训练过程中实现了比Magtron+DeepSpeed zero-2将近8倍的训练效率。Aquila语言大模型是在中英文高质量语料基础上从0开始训练的,通过数据质量的控制、多种训练的优化方法,实现在更小的数据集、更短的训练时间,获得比其它开源模型更优的性能。也是首个支持中英双语知识、支持商用许可协议、符合国内数据合规需要的大规模开源语言模型。

悟道·天鹰


官方网址:github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila



前往官网

声明:本文来自投稿,不代表吾站网立场,版权归原作者所有,欢迎分享本文,转载请保留出处!

2024-01-12

2024-01-12

扫一扫二维码分享