TMEM 中的 Scale Factor(nvfp4)
M = 128,一个 MMA-K block(SF_K = 4) · .warpx4 broadcast(向 4 个 warp 广播):R[4 : 32@TLane]
Logical SFA (M × SF_K)
点击 cell = SFA[m, sfk] · 颜色 = Mgroup(m // 32)
TMEM (128 lanes × 4 TCols × 4 bytes)
TCol 0: m 0–31 · TCol 1: m 32–63 · TCol 2: m 64–95 · TCol 3: m 96–127 · TCol 内 byte = sfk
Layout SFA[m, sfk] → TMEM
TLane
= m mod 32 ·
Mgroup
= m div 32 ·
TCol
= Mgroup ·
byte
= sfk ·
byte offset
= TCol·4 + byte ·
.warpx4 broadcast(向 4 个 warp 广播)
→ lanes { TLane, +32, +64, +96 }
点击左侧的一个 cell…