Tile 程式設計 (Tile Programming)

重點總覽

Tile 程式模型概觀 (1.2.2.3)

除了前述的 SIMT 模型外，CUDA 另支援 tile programming model。在此模型中，programmer 不再為每個 thread 撰寫程式，而是在整個 thread block 的層級撰寫程式，描述對多維資料集合（稱為 tiles）的運算。compiler 負責把這些運算映射到 block 內的各個 thread。

• Tile kernel 一樣 launch 在 grid of blocks 上；每個 block 執行 tile kernel，並可查詢自己在 grid 中的位置以決定負責哪一塊資料。
• programmer 只指定 grid 維度；每 block 的 thread 數由 compiler 根據 kernel 中的 tile 運算自動決定。
• block 內走單一控制流（single control flow）：仍支援條件（conditionals）與迴圈（loops），但因整個 block 同一控制流，故沒有 warp divergence 的概念。
• scalar 運算（如計算索引或迴圈邊界）由 block 中單一 thread 執行；tile 運算（如兩個 tile 逐元素相加）則由 block 內所有 thread 平行協作執行。

SIMT 模型                          Tile 模型
─────────────                      ─────────────
programmer 寫 per-thread 程式       programmer 寫 per-block 程式
控制每個 thread 如何存取資料         描述對 tiles 的運算
                                    ↓
                              compiler 把運算分配給 block 內各 thread
                              compiler 決定 threads/block

Arrays 與 Tiles (1.2.2.3.1)

Tile kernel 處理兩種資料：arrays 與 tiles。兩者性質幾乎相反，是本主題最容易混淆的對比，務必用表格牢記。

• Array（global array）：多維容器，元素存於 device memory，內容可被 kernel 內的 store 運算修改，具 shape 與 dtype。
• Tile：只存在於 tile code、且 local to a single block 的多維值集合；immutable——每次運算都產生新 tile 而非修改既有 tile。
• Tile 不一定有記憶體表示：compiler 決定如何儲存，可能用 registers、shared memory 或 SM 的其他資源。

Tile space 與資料搬移 (1.2.2.3.2)

資料透過 load 與 store 在 array 與 tile 之間搬移，兩者皆建立在 tile space 概念上。

• Tile space：把 array 概念性地切成等大小、不重疊的 tiles 後所形成的索引空間。
  • 例：array shape 為 (M, N)，load 指定 tile shape (tm, tn)，則 array 被概念性分成 ⌈M/tm⌉ 列 × ⌈N/tn⌉ 行的 tiles。
  • tile-space 索引（如 (i, j)）用來指定要 load 哪一個 tile；load 回傳 shape (tm, tn) 的 tile。
• 越界處理：當 array 維度非 tile 維度的整數倍時，邊緣 tile 會超出 array 邊界；load 自行指定越界元素如何處理，例如補零（fill with zeros）。
• Store：為 load 的反向操作——給定一個 tile 與 tile-space 索引，把 tile 元素寫回 array 對應區域；落在 array 邊界外的寫入會被靜默丟棄（silently discarded）。
• Gather / Scatter：tile 程式也支援，可從 array 任意位置 load，或 store 到任意位置。

Array (M, N)                        Tile space  (⌈M/tm⌉ × ⌈N/tn⌉)
┌──────────────┐                    ┌────┬────┬────┐
│              │    load (i,j)      │0,0 │0,1 │0,2 │
│   array in   │  ───────────────►  ├────┼────┼────┤
│ device mem   │   store (i,j)      │1,0 │1,1 │1,2 │ ← 邊緣 tile 越界→補零
│              │  ◄───────────────  ├────┼────┼────┤
└──────────────┘                    │... │... │... │
   (mutable)         tile (tm,tn)   └────┴────┴────┘
                     (immutable)

Tile 運算 (1.2.2.3.3)

Tile 程式提供一組作用於 tile 的內建運算：

• Elementwise 算術：逐元素的算術運算。
• Matrix multiplication：矩陣乘法。
• Reductions：沿一或多個軸做 reduction，例如 sum、maximum。
• Shape manipulation：形狀操作，例如 reshape、transpose。
• Type conversion：型別轉換。

與 SIMT 的關係 (1.2.2.3.4)

Tile programming 與 SIMT programming 在 CUDA 中共存（coexist），並非取代關係。

• 一個 application 可同時包含 SIMT 與 tile kernel，且兩種 kernel 可操作 device memory 中的同一份資料。
• 程式模型的選擇是 per-kernel 的決定。
• 因為 thread 層級決策交給 compiler，同一 tile kernel 可在不同 GPU 架構上執行而不需修改原始碼。
• 兩種模型都建構在相同的底層硬體（SMs、thread blocks、grids）之上，也使用相同的 device memory spaces。

              同一份 device memory（global memory）
        ┌──────────────────────────────────────────┐
        │   SMs / thread blocks / grids（共同硬體）   │
        └──────────────────────────────────────────┘
            ▲                              ▲
            │ per-kernel 選擇               │
      ┌─────┴──────┐                ┌──────┴──────┐
      │ SIMT kernel│   可並存於同一    │ Tile kernel │
      │ 細粒度控制  │   application    │ 高層、可攜   │
      └────────────┘                └─────────────┘

考試/測驗重點

Related Notes

• 01-Introduction-to-CUDA/01-GPU-Computing-Foundations
• 01-Introduction-to-CUDA/02-Execution-Model-and-SIMT
• 01-Introduction-to-CUDA/04-GPU-Memory-Hierarchy
• 01-Introduction-to-CUDA/05-CUDA-Platform
• 01-Introduction-to-CUDA/Practice-Introduction-to-CUDA
• 00-Dashboard/Exam-Traps