AI训练模型

悟道

智源“悟道”大模型，中国首个+世界最大人工智能大模型

标签： AI训练模型

访问官网

2021年6月，北京智源研究院（BAAI）推出了悟道1.0的后续版本悟道2.0，作为中国第一个超大规模智能模型系统。悟道是一个语言模型，旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。经过4.9TB的图像和文本训练，并在9个基准上超过了最先进（SOTA）水平，悟道比任何同行都更接近于实现通用人工智能（AGI）和人类水平的思维。

悟道接受了4.9 TB高质量英文和中文图像和文本的训练：

1.2TB中文文本数据
2.5TB中文图形数据
1.2TB英文文本数据

悟道是基于开源的 MoE 系统 FastMoE 进行训练的。MoE是一种机器学习技术，其工作原理如下：

将预测建模任务划分为子任务，针对每个子任务训练专家（学习者）模型，开发门控模型，该门控模型基于要预测的输入来学习咨询哪个专家，并组合预测。FastMoE使悟道能够并行咨询不同的专家模型，并切换到预测结果最好的模型。例如，如果输入是英文文本，悟道将使用预测模型，该模型可以在英文文本中生成回应。

©️版权声明：若无特殊声明，本站所有文章版权均归陆客资源网-AI工具集原创和所有，未经许可，任何个人、媒体、网站、团体不得转载、抄袭或以其他方式复制发表本站内容，或在非我站所属的服务器上建立镜像。否则，我站将依法保留追究相关法律责任的权利。

类似网站

http://www.lookae.cn/uploadfile/202312/2c8f55d3f5d0620.png

OpenAI旗下最新的GPT-4模型

http://www.lookae.cn/uploadfile/202312/0cfca08b007120.png

Stable Diffusion

StabilityAI推出的文本到图像生成AI

http://www.lookae.cn/uploadfile/202312/21d0f62296448f0.png

本地运行Llama和其他大语言模型

http://www.lookae.cn/uploadfile/202312/9e3d3a7dff75.png

复旦大学团队开发的对话式大型语言模型

http://www.lookae.cn/uploadfile/202312/0957c12e41558a9.png

讯飞星火认知大模型

科大讯飞推出的类ChatGPT的讯飞星火认知大模型

http://www.lookae.cn/uploadfile/202312/822279f0dbd3e.png

爆火的实现GPT-4完全自主的实验性开源项目，GitHub超10万星

http://www.lookae.cn/uploadfile/202312/e57e1bb45f4c0b3.png

腾讯混元大模型

腾讯研发的大语言模型，具备强大的中文创作能力，复杂语境下的逻辑推理能力，以及可靠的任务执行能力

http://www.lookae.cn/uploadfile/202312/c4923363980aa8f.png

OpenAI旗下DALL·E 2图像生成模型

http://www.lookae.cn/uploadfile/202312/9242c9e439cf2.png

HuggingFace推出的大型语言模型（LLM）