這週用 TVM 中的 TensorIR 來實際展示 Tensor Computation 的必要元素——如何從較粗糙的 ML Operator 轉換成可以實際編譯執行（Deployable）的 Primitive Function。
課程中舉例。現在 ML Model 是簡單的矩陣相乘（Matrix Multiplication）之後接一個整流函數（ReLU）。表示成數學式為：
這裡 TQ 直接切入 Python abstraction 底下，開始介紹 TVM 所提供的 API — axis_type, axis_range and mapped_value。並且展示了 TVM 提供 Loop Splitting, Loop Interchange 的 API 來做出 Tiling 的例子。
不過大家真正想學的應該也不是 TVM，整場聽你安麗就飽了啊 (☉д⊙)（？）。這裡的 take-away 應該是我們需要解決的問題——在高階語言後關心實際實作（如何分配 multithreading）與執行（環境下的 locality）的最佳化。
在課程中 TQ 用 TVM 所示範的 Tiling 例子，其實追根究底是複用了 Halide [1] 的最核心概念—— Decoupling Algorithm from Schedules [2]。 TVM 所展現的 modularity 就是透過這樣的 decoupling 產生的。經過解耦，可以展開出 multithreading 與 locality 的解平面來做最佳化。ML operator 的確也是這一概念很好的應用對象！
個人 OS：要是乖乖上課不查資料就真的只是 TVM 新生訓練而已了⋯⋯
[1] Halide: A Language and Compiler for Optimizing Parallelism, Locality, and Recomputation in Image Processing Pipelines
[2] Decoupling Algorithms from Schedules for Easy Optimization of Image Processing Pipelines
eopXD 