西班牙的Ángel Hurtado Flores (Pelochus) 基於瑞芯微的RKNN-LLM和RKNN-Toolkit2開源專案,編寫了一個能在Rockchip系統單晶片(目前聚焦於RK3588)簡單佈署大型語言模型(LLM)應用的開源程式,稱作“ezrknpu”。
西班牙的Ángel Hurtado Flores (Pelochus) 基於瑞芯微的RKNN-LLM和RKNN-Toolkit2開源專案,編寫了一個能在Rockchip系統單晶片(目前聚焦於RK3588)簡單佈署大型語言模型(LLM)應用的開源程式,稱作“ezrknpu”。
原本計畫明年換一台搭載AMD Ryzen Al Max+ 395處理器的筆電,後來接手一台搭載NVIDIA RTX3060獨顯的二手電競筆電,升級SSD和RAM,順便測試13台內顯與獨顯,從RTX1060到RTX5070的筆電,在本機執行LLM的效果。

Raspberry Pi 5是約信用卡大小的單板64位元微電腦。配備Broadcom BCM2712四核Arm Cortex A76 處理器,第5代的特點:配備PCIe介面、雙4Kp60 HDMI輸出並支援HDR、搭配自研RP1 I/O控制器,內建RTC即時鐘以及PoE接腳。
微軟的VS Code程式編輯器有許多支援大型語言模型的AI程式助手延伸模組,能在編輯器裡面提供生成程式碼、偵錯(除錯)、優化和交談等功能,其中一個Continue模組支援多個線上LLM服務,也支援本機端的Ollama服務。
Begin typing your search term above and press enter to search. Press ESC to cancel.