OpenAI公布大型神经网络训练技巧，在多个GPU并行既有模型训练

来源：节能 2025年05月10日 12:18

er）等的许多现代建模，这些建模的操练中所较大的数值难点在于，同步进行一个大型脚本语言行特式和大型也就是说行特式的相乘。

在张量适配策略性中所，行特式的乘法作为成对的行与特的点积指令集，把也就是说行特式重组成多个“坑洞”，每个坑洞交给并不相同的 GPU 来执行，并采用值得注意的坑洞同步进行整个行特式乘积的相关大部分的指令集，最后再将所有数值结果同步进行因特网组合，进而得出结果。

在科学家混合适配策略性中所，整个网络中所只有一大部分被用于数值读写。例如，在有多组也就是说的建模操练中所，通过科学家混合适配策略性可以在数值成本没有人提高的必要下采用越来越多变量，而并不相同的也就是说可以交给并不相同的 GPU 上来执行。

-End-

参考：

。