MoEの並列化戦略を示した図 オープンソースのMoEシステムフレームワークをまとめた表 DeepSpeed-MoE [3] では、MoEに特化した並列化手法が提案されています。 expertごとに計算を分散させることで、大規模なMoEを効率的に学習できるようになりました。

混合専門家モデル（Mixture-of-Experts、MoE）は、大脳に似たネットワーク、特にトランスフォーマーモデルに最適化された、革新的な神経ネットワーク設計です。MoEは、データが流れる際にそれを動的に処理する多数の「専門家」や小型のスマートモデルを内包 ...