本文使用的Raspberry Pi 5開發板和Raspberry Pi AI Kit人工智慧套件| PCIe 擴充套件，由台灣樹莓派Sosorry先生贊助提供，特此感謝！
電玩遊戲可以透過電腦的CPU處理圖像，但若要獲得高畫質與流暢的遊戲體驗，就需要搭配GPU（圖形處理器）。對於「影像物件偵測」這種典型的AI應用，例如：偵測視訊畫面是否包含人物或汽車，樹莓派的CPU每秒僅能處理幾個影格（frame）畫面。
AI加速器（AI accelerator），通常稱為類神經處理單元（Neural Processing Unit，簡稱NPU）或張量處理單元（Tensor Processing Unit，簡稱TPU），是專門設計用來計算AI演算法的硬體，尤其是深度學習和機器學習任務。與一般用途的CPU不同，AI加速器能以更高效率、更低功耗處理複雜的數學運算，例如矩陣乘法和張量運算。
樹莓派官方推出的Raspberry Pi AI Kit（人工智慧套件），能將視覺物件偵測的性能提升至每秒處理30個影格（30 fps）。樹莓派AI套件的核心是由Hailo Technologies Ltd.人工智慧技術公司開發的Hailo-8晶片。Hailo公司成立於2017年，總部位於以色列特拉維夫，專門研發AI處理器和AI加速器晶片；該公司的AI晶片已應用於邊緣運算、自動駕駛汽車、安全攝影機和機器人。
邊緣運算（edge computing）代表讓設備（如：搭載感測器、攝影機的微電腦） 在網路「邊緣」就地處理資料，而不是將所有資料傳送至遠方的雲端伺服器進行分析。
Raspberry Pi AI套件的兩種款式
Raspberry Pi AI套件有兩種款式，底下是Hailo-8晶片直接焊接在擴充板的“Raspberry Pi AI HAT+”款式（圖片取自台灣樹莓派）。
另一款“Raspberry Pi AI Kit”的外觀也是樹莓派的擴充板（圖片取自樹莓派官網），但核心的Hailo-8 AI加速卡採用M.2介面，可以取下來。
除了晶片的連接型式不同，Hailo-8 AI加速卡還分成13 TOPS（Hailo-8L）和26 TOPS（Hailo-8）兩種性能；TOPS是一種衡量AI晶片處理任務速度的方法，代表Trillions of Operations Per Second（每秒兆次運算），13 TOPS意味著晶片每秒可以進行13兆次計算。
M.2介面的Hailo-8 AI加速器
Hailo-8 M.2 AI加速器模組產品網頁提到，它的介面有M.2 Key M（PCIe Gen-3.0，4通道，最高32 Gb/s），以及Key B+M和Key A+E（PCIe Gen-3.0，2通道，最高16 Gb/s）三種型式，支援Linux與Windows作業系統，以及TensorFLow, TensorFlow Lite, ONNX, Keras和Pytorch程式框架。
M.2介面的AI加速器可安裝在具備M.2擴充槽的電腦或開發板，也能透過支援雷電4（Thunderbolt）協定的高速（32 Gb/s或更高）M.2外接硬碟盒來連接AI加速卡。
我查了國外幾個網路商店，僅26 TOPS的款式採用M.2 Key M介面，13 TOPS則是Key B+M或Key A+E介面。
組裝Raspberry Pi AI Kit人工智慧套件和相機（攝像頭）模組
Raspberry Pi AI套件包含：
- Raspberry Pi M.2 HAT+：連接Pi 5 PCIe介面並提供M.2插槽的擴充卡。
- Hailo-8L AI加速器模組：預先安裝在HAT+的M.2插槽。
- 16mm FPC軟性電路板接線：已預先安裝，連接HAT+到Pi 5 PCIe介面的接線。
- 40針GPIO延長座、尼龍柱和螺絲。
這是從Raspberry Pi AI套件擴充板拆下Hailo-8L模組的樣子：
這是反面：
組裝AI套件只需要自備一把十字起子。連接PICe排線、插入GPIO延長座，再鎖上尼龍柱和螺絲就完成了。
安裝樹莓派相機（攝像頭）模組
進行視覺辨識應用，樹莓派肯定要接相機模組。我使用九年多前買的500萬畫素Raspberry Pi Camera 1.3版（已停產）。當今最新版樹莓派相機模組是Camera Module 3，採用1200萬畫素Sony IMX708影像感測器，具備自動對焦、改善低光靈敏度並支援HDR（高動態範圍）。新、舊版相機模組的介面接線都一樣。
為了快速進行實驗，我在相機模組以及樹莓派的外殼各黏上一塊樂高積木，簡單搭建一個高架平台。
邊緣運算AI加速器晶片：訓練 VS 推論
AI應用可分成「訓練（training）」和「推論（inference）」兩大領域。「訓練」用於建立能夠執行特定任務（如：圖像辨識和自然語言處理）的模型，需要使用大量資料、強大且昂貴的運算資源、耗費數小時甚至數週來「教導」AI 模型。
「推論」則是使用已經訓練好的模型，對輸入資料進行預測、分類或生成輸出，所需計算量、運算時間與消耗功率相對小很多，可以在個人電腦、手機、嵌入式（邊緣運算）設備等各種裝置上進行。
日常生活的各種AI應用，如：聊天助理、臉部解鎖、即時翻譯、消除環境噪音、美肌修圖、自動輔助駕駛…等，都是在設備本身（邊緣）執行訓練好的模型，也就是進行推論。也因此，「推理型」AI晶片或內建NPU的處理器的市場，正以驚人的速度增長。
這裡要澄清一點，AI加速器晶片僅加速「推論」運算，無法提升AI的「訓練」速度。而Hailo主要應用於視覺物件偵測，不用於LLM（大型語言模型）。在個人電腦或高階運算平台，AI加速器元件無法取代NVIDIA GPU，通常也不能跟AMD Ryzen Al Max+ 395（內建高達50 TOPS的NPU）之類的處理器相提並論，但這些高階晶片的價格與耗電量也不是相同量級。
更高的效能通常會帶來更高的價格。樹莓派AI套件取其平衡，以合理的價格（13 TOPS套件，當前售價台幣2600元）提供顯著的AI升級，視覺物件偵測的推論性能遠遠超過CPU。
“MarketsandMarkets”於2025年2月發布的“AI Inference Market（AI推論市場）”研究報告，預測全球AI推論市場將從2025年的1061.5億美元，增長到2030 年的2549.8 億美元，複合年增長率為19.2%。“SNS Insider”於2024年10月發布的研究報告指出，推論領域在2023年佔據了AI 晶片市場的主導地位，預估到 2032年複合年增長率將高達30.38%，預計到那時整個AI晶片市場規模將達到6210 億美元。
亞洲和歐美都有公司積極研發AI晶片，例如，荷蘭Axelera AI公司的Metis M.2 AI推論加速卡，宣稱效能高達214 TOPS。Hailo公司也有性能更強的Hailo-10H（40 TOPS）以及用於「智慧型攝影機」的Hailo-15 AI視覺處理器（VPU）。
Robotics & Automation News（機器人與自動化新聞）網站，根據商業影響力、技術創新以及與當前 AI 應用的相關性，列出” Top 25 AI chip companies in the world（全球 25 大 AI 晶片公司）”，大多是美國的知名企業，其中四家位於中國，如：阿里巴巴和寒武紀。
