基于 PyTorch 的深度进修优化库 DeepSpeed

MIT
Python 检查源码»
跨平台
微软
2020-02-11
编辑部的故事

六一兴趣技巧问答,“秃顶”要从娃娃抓起!>>>

DeepSpeed 是一个深度进修优化库,它可使分布式练习变得轻易、高效和有效。

  • 10x 更大年夜的模型
  • 5x 更快地练习
  • 最小的代码更改

DeepSpeed 可以在以后一代的 GPU 集群上练习具有逾越千亿个参数的 DL 模型,而与最新技巧比拟,其体系性能可以进步 5 倍以上。DeepSpeed 的早期采取者曾经临盆出一种说话模型(LM, Language Model),它具有逾越 170 亿个参数,称为 Turing-NLG(Turing Natural Language Generation,图灵天然说话生成),成为 LM 种别中的新 SOTA。 

DeepSpeed API 是在 PyTorch 长停止的轻量级封装,这意味着开辟者可以应用 PyTorch 中的一切,而无需进修新平台。另外,DeepSpeed 管理着一切样板化的 SOTA 练习技巧,例如分布式练习、混淆精度、梯度积累和检查点,开辟者可以专注于模型开辟。同时,开辟者仅需对 PyTorch 模型停止几行代码的更改,便可以应用 DeepSpeed 独特的效力和效益优势来进步速度和范围。

的码云指数为
逾越 的项目
加载中

评论(0)

暂无评论

微软开源深度进修优化库 DeepSpeed,可练习 1000 亿参数的模型

人工智能的最新趋势是,更大年夜的天然说话模型可以供给更好的精确性,然则由于本钱、时间和代码集成的妨碍,较大年夜的模型难以练习。微软日前开源了一个深度进修优化库 DeepSpeed,经过过程进步范围、速...

02/12 08:48

没有更多内容

加载掉败,请刷新页面

没有更多内容

暂无问答

暂无博客

前往顶部
顶部