幾個(gè)月前注意到Graphcore這個(gè)公司，是因?yàn)樗麄兊腎PU處理器：Intelligence Processing Unit。但除了看到他們一系列非常漂亮的DNN Graph（比如上面這個(gè)對(duì)于ResNet Conv1的可視化處理）之外，一直沒(méi)有更詳細(xì)的信息。在最近的RAAIS會(huì)議上，Graphcore的CTO，Simon Knowles做了一個(gè)介紹，讓我們可以一窺IPU設(shè)計(jì)背后的一些思考。

“We’ve created a completely new processor that’s the first to be specifically designed for machine intelligence workloads – an Intelligence Processing Unit (IPU) that will set a new pace of innovation. ” “The IPU has been optimized to work efficiently on the extremely complex high-dimensional models needed for machine intelligence workloads. It emphasizes massively parallel, low-precision floating-point compute and provides much higher compute density than other solutions.” - Graphcore

從目前看到的信息，可以看到Graphcore IPU的一些關(guān)鍵Feature：

1. 同時(shí)支持Training和Inference，對(duì)于這一點(diǎn)，Grophcore有自己的一些獨(dú)特的看法。

2. 采用同構(gòu)多核（many-core）架構(gòu)，超過(guò)1000個(gè)獨(dú)立的處理器。每個(gè)處理器核的處理能力和具體支持的操作還不清楚。支持all-to-all的核間通信，采用Bulk Synchronous Parallel的同步計(jì)算模型（又是上個(gè)世紀(jì)80年代提出的）。

3. 采用大量片上memory，不直接連接DRAM。這可能是他們的架構(gòu)中最激進(jìn)的一個(gè)選擇。

其它一些feature，比如

1. Training or Inference
Graphcore’s machine intelligence processors support both training and inference. If you’re thinking about it in terms of training and inference, though, you’re probably thinking about hardware for machine learning in the wrong way.

可以看出，當(dāng)被問(wèn)及他們的IPU是用于Training還是Inference的（這是對(duì)各種PU最常見(jiàn)的一個(gè)問(wèn)題）時(shí)候，Graphcore試圖從另一個(gè)角度去解答，即這種分類(lèi)本身就是不對(duì)的（是目前某些廠商提出的不合適的說(shuō)法）。總的來(lái)說(shuō)，他們認(rèn)為先做Training然后做Inference的機(jī)制，未來(lái)一定會(huì)被Learning取代。也就是未來(lái)理想的機(jī)器智能應(yīng)該能夠在部署之后還能保持持續(xù)的學(xué)習(xí)和進(jìn)化。對(duì)于這個(gè)問(wèn)題，Graphcore專(zhuān)門(mén)有一篇Blog做了說(shuō)明，大家可以參考我在知乎上給出的翻譯（https://zhuanlan.zhihu.com/p/28053630）。

另一方面，他們認(rèn)為，從計(jì)算上來(lái)說(shuō)，Inference和Training也有類(lèi)似的特征。因此，他們的模型是下圖這樣，其中并沒(méi)有Training的模塊。

我的看法：
機(jī)器智能努力的方向之一就是Continuous Learning。如果在一個(gè)架構(gòu)上能夠同時(shí)很好的支持Training和Inference當(dāng)然非常理想。不過(guò)從目前的實(shí)踐來(lái)看，Deep Learning中的Training和Inference還是有較大的差異的，運(yùn)算量的巨大差別，精度要求不同，算法差別，部署的Constraints等等。Graphcore最終推出的IPU能否很好的解決這些問(wèn)題，還有待觀察。

2.? What Shall we bet is fundamental to MI workload

IPU的設(shè)計(jì)的基礎(chǔ)是Graphcore對(duì)于機(jī)器智能的Workload的理解。“在所有形式的機(jī)器智能計(jì)算中，我們?cè)噲D從數(shù)據(jù)中推斷知識(shí)模型，然后使用這些學(xué)習(xí)的模型從其他數(shù)據(jù)推斷出新的結(jié)果。所以在很大程度上，工作量是由知識(shí)模型的性質(zhì)來(lái)定義的”?！爸R(shí)模型和對(duì)它們執(zhí)行推理所需的算法最自然地表示為圖形（Graph）”。因此，他們用Graph來(lái)作為機(jī)器智能的基礎(chǔ)表示方法。這種表示既適用于神經(jīng)網(wǎng)絡(luò)，也適用于貝葉斯網(wǎng)絡(luò)和馬爾科夫場(chǎng)，包括未來(lái)可能出現(xiàn)的新的模型和算法。

這些Graph的第一個(gè)特征，是它們規(guī)模很大，通常包括數(shù)千到數(shù)百萬(wàn)個(gè)頂點(diǎn)。這也意味著巨大的并行性。第二個(gè)特征是它們是稀疏的，大多數(shù)頂點(diǎn)只連接到其他一小部分頂點(diǎn)。因此，必須在架構(gòu)上適應(yīng)這種稀疏性，因?yàn)樗鼘?duì)處理器之間的存儲(chǔ)器訪問(wèn)模式和通信模式有重大影響。第三個(gè)基本特征是數(shù)據(jù)的統(tǒng)計(jì)近似值。從處理器設(shè)計(jì)的觀點(diǎn)來(lái)看，這有利于低精度浮點(diǎn)運(yùn)算。這可能是低精度數(shù)據(jù)的高性能計(jì)算的第一個(gè)主要應(yīng)用，和傳統(tǒng)的高性能計(jì)算（HPC）是非常不同的（或者說(shuō)完全相反的？）。另一個(gè)特征是模型參數(shù)的重用性。簡(jiǎn)單來(lái)說(shuō)，卷積是空間重用，而回歸是時(shí)間重用。這種重用可以獲取數(shù)據(jù)中的空間或時(shí)間不變性。同時(shí)，如果重用參數(shù)，則會(huì)將其作用于給更多的數(shù)據(jù)，從而更快地學(xué)習(xí)。最后一個(gè)基本特征是，圖形結(jié)構(gòu)可以被視為靜態(tài)的 - 至少在很長(zhǎng)一段時(shí)間內(nèi)。這對(duì)于構(gòu)建高效的并行計(jì)算至關(guān)重要，因?yàn)槭沟镁幾g器可以在將程序映射到多核并行處理器時(shí)的三個(gè)NP hard任務(wù)有可能實(shí)現(xiàn)：1）平衡跨處理器核的計(jì)算任務(wù)；2）分區(qū)和分配內(nèi)存；3）處理器之間的消息調(diào)度。

對(duì)于稀疏性，還可以更進(jìn)一步的說(shuō)明一下。當(dāng)我們把圖模型存儲(chǔ)到物理可實(shí)現(xiàn)的存儲(chǔ)器中的時(shí)候，存儲(chǔ)器訪問(wèn)的有效稀疏度進(jìn)一步增加了。例如，一個(gè)圖中的頂點(diǎn)可能連接到同樣接近的100個(gè)相鄰頂點(diǎn)。但是，如果我將該頂點(diǎn)的狀態(tài)存儲(chǔ)在具有線性地址的存儲(chǔ)器中，則它只能有兩個(gè)直接鄰居。在低維存儲(chǔ)器中存儲(chǔ)高維Graph的效果是使鄰域分散在存儲(chǔ)器中。這對(duì)于非常寬的向量機(jī)（如GPU）來(lái)說(shuō)是一個(gè)潛在的問(wèn)題。圖處理有利于更細(xì)粒度的機(jī)器，從而有效地分散和收集（scatter and gather）數(shù)據(jù)。這就是為什么IPU擁有比GPU更多的處理器，每個(gè)處理器都設(shè)計(jì)用于處理較窄的向量。

基于上述對(duì)機(jī)器智能的Workload的理解，Graphcore提出了IPU的設(shè)計(jì)。

和CPU (scalar workload)，GPU (low-dimensional workload)相比，IPU是為了high-dimensional graph workload而設(shè)計(jì)的。下面我們就看他們的一些比較有參考價(jià)值的設(shè)計(jì)上的考慮。