TPU也有玄機？告訴你谷歌AI芯片背后的小秘辛！

Google在Google Cloud NEXT 2018活動中宣布推出新AI芯片Edge TPU，這個芯片功能是什么？和過往的第一代到第三代TPU芯片（又稱為Cloud TPU）哪里不同呢？

主攻工業物聯網，10月銷售開發版套件

根據Google官方資料，Edge TPU是一種低功耗低成本的ASIC芯片，而且體積非常小，小于1美分銅板。ASIC專用芯片和GPU通用芯片比較之下，芯片功耗較低，延遲性也較低，運算效率較高，如Edge TPU在高分辨率影音上可以以每秒30幀的速度，在每幀上同時執行多個AI模型。

另外，Google也將推出Edge TPU開發版套件（module development kit）。其中含有恩智浦CPU、Edge TPU、Wi-Fi功能和加密芯片的開發版在今年10月就會對外販售。

Google也提到Edge TPU將主攻預測性維護、異常檢測、機器視覺、機器人、語音識別等工業物聯網應用場景，除了在工業制造領域，在醫療、零售、智能空間與交通等領域也是用。而LG已經計劃在產品線上使用Edge TPU。

而支援Edge TPU的框架和軟體服務則全都綁定在Google自家的架構之中，打造「封閉的生態系」意圖明顯。希望開發者或企業也會采用Edge TPU后，也會被綁定在Google Cloud服務中。因此在使用上必須搭配Google的 Cloud IoT Edge 軟體，并且針對 TensorFLow 機器學習模型優化。

EdgeTPU新芯片和Google過往推出的TPU芯片不同。Google過往推出的第一代到第三代TPU芯片用途在資料中心，也就是云端運算的機器學習訓練和推論使用，因此被稱為Cloud TPU，而剛推出的新芯片則用在終端裝置，也就是邊緣運算的推論，也因此Gogole以Edge TPU稱之。

邊緣運算的推論又是什么意思呢？

什么是邊緣運算與推論？根據臺灣產業分析公司拓墣的描述：邊緣運算可說是物聯網時代下的產物，「邊緣運算在傳統云端與裝置端的連接中間，多了一層運算層──Edge 端，Edge 其實指的是靠近數據源的運算單位，包括閘道器、路由器，以及硬體底層相關的各種機器、裝置、設備與系統。」

「有了 Edge 端直接針對多裝置、龐大訊息先做擷取、過濾與處理，對裝置端做出回饋與反應，不用讓所有資料都上到云端，以期在資料量逐漸龐大、重視資訊即時處理傳輸的現代，更能有效率處理資訊，減少事事上云端所帶來的時間遞延與資料傳輸/儲存成本。」

而推論呢？NVIDIA的官網文章中指出，「深度神經網路進行『訓練』階段，就猶如校園里的授課活動。就跟大多數人接受教育的理由一樣，神經網路接受教育的理由也是學習怎么執行工作。更明確一點來說，經過訓練的神經網路會在數位環境里發揮所學習到的內容，通過應用程式這種簡單的形態來辨識影像、人類語言、血液疾病，或建議人們下一雙可能會買的鞋子等等。這個速度更快、效率更高的神經網路會按照訓練過的內容，猜想新資料的走向。在人工智慧圈的詞匯里，這稱為「inference」（推論）。」也因此神經網路模型未經過訓練便不會進行推論。

理解邊緣運算與推論之后，我們回過頭來看Edge TPU。以應用場景來看，Google Cloud首席合作伙伴暨代理商愛卡拉互動媒體共同創辦人暨營運長鄭鎧尹指出：

Edge TPU可以讓整個硬體產業，將云端的強大運算能力「下載」到本地端的機器上面， 使本地端的機器具備一定的智能。

如一般居家設備或電子設備，能做一定程度的『預測功能』。舉例來說，家中的智慧「門」遇到來客時，并不需要透過網路把人臉丟回「云端」辨識，而是「門」自己直接就可做完這個辨識。

終端設備無須將資料回傳云端，就能直接做出預測可以帶來資料安全性更高、延遲速度較小與不受頻寬限制等許多好處，可以提供更好的使用者體驗。以上述的智慧門人臉辨識為例，就可以更快速地提供來客身份確認。

Edge TPU會取代 Cloud TPU？

那EdgeTPU優點這么多會取代Cloud TPU嗎？也不會。在AI應用場景中，邊緣運算短期內不會取代云端運算，因為許多高階應用機器學習模型，由于消耗的運算量大，還是需要透過「云端」訓練機器學習模型，邊緣運算由于硬體成本與環境限制，還是有其運算局限，也因此若延伸到兩種芯片的關系上，兩者是相輔相成，功能不重疊，是互補關系。

Google在官方部落格中強調：「Edge TPU是設計來讓Google的 Cloud TPU 產品更完整。」如此一來，可以更快地在云端中訓練機器學習，然后在Edge飛速進行機器學習推演。這讓你的感測器不再只是數據收集器，而是可以做出更在地、即時、智慧的決策。

針對Edge TPU的新設備是：AIY Edge TPU Dev 開發板和 AIY Edge TPU 加速器，二者皆采用 Google 的 Edge TPU 芯片。

不過Edge TPU本質上是ASIC芯片，由于是專用定制芯片，在AI演算法不斷推陳出新，還沒有到成熟穩定時期，Edge TPU很難克服不同演算法之間的差異性。