Distributed Layout — 2×2 GPU Mesh 上的 8×8 Matrix
在 4 个 GPU 上 fully sharded | 点击 cell 查看放置位置
Layout
Fully Sharded
Shard + Replica
Shard + Offset
GPU Mesh (2×2)