跳到主要内容

阅读指引

Colossal-AI为您提供了一系列的并行训练组件。我们的目标是支持您开发分布式深度学习模型,就像您编写单GPU深度学习模型一样简单。ColossalAI提供了易于使用的API来帮助您启动您的训练过程。为了更好地了解ColossalAI的工作原理,我们建议您按照以下顺序阅读本文档。

  • 如果您不熟悉分布式系统,或者没有使用过Colossal-AI,您可以先浏览概念部分,了解我们要实现的目标同时掌握一些关于分布式训练的背景知识。
  • 接下来,您可以按照基础教程进行学习。该节将介绍关于如何使用Colossal-AI的细节。
  • 这时候,您就可以小试牛刀了!功能 部分将帮助您尝试如何使用Colossal-AI为您的模型训练进行加速。我们将为每个教程提供一个代码库。这些教程将涵盖Colossal-AI的基本用法,以实现简单的功能,如数据并行和混合精度训练。
  • 最后,如果您希望应用更高超的技术,比如,如何在GPT-3上运行混合并行,快来高级教程部分学习如何搭建您自己的模型吧!

我们始终欢迎社区的建议和讨论,如果您遇到任何问题,我们将非常愿意帮助您。您可以在GitHub 提 issue ,或在论坛上创建一个讨论主题。