上一篇文章介紹了搭載Hailo-10H晶片與8GB記憶體的ASUS UGen300 USB AI加速器、安裝Windows驅動程式、LLM語言模型以及跟它對話的辦法，本文將說明如何透過Python程式跟Hailo AI加速器連線。
華碩UGen300 USB AI加速器（一）：突破邊際（Edge AI）
AI推理的性能越高往往越耗電，而華碩AI加速器採用Hailo-10H NPU（類神經網路處理器），可提供高達40 TOPS (INT4) 的推理效能，且內建8GB LPDDR4記憶體，在一般工作負載下功耗僅約2.5W。
超圖解Python程式設計：從入門、網頁應用、YOLO到生成式AI實作
- 快速入門瞭解基礎語法
- 從實戰範例應用邊做邊學
- 實作檔案備份工具、YouTube影片下載工具、網路爬蟲、資料庫與留言板、影像辨識、物體偵測、肢體動作、RAG應用、LINE聊天機器人
- 涵蓋Flask與Streamlit網頁應用框架、OpenCV程式庫、YOLO模型、LangChain框架等延伸套件
- 搭配Ollama設計本地端LLM應用
換新筆電以及測試13台電腦執行本機大型語言模型（LLM）的效能
原本計畫明年換一台搭載AMD Ryzen Al Max+ 395處理器的筆電，後來接手一台搭載NVIDIA RTX3060獨顯的二手電競筆電，升級SSD和RAM，順便測試13台內顯與獨顯，從RTX1060到RTX5070的筆電，在本機執行LLM的效果。
