透過Ollama在本機電腦執行大型語言模型(LLM):macOS篇

Ollama是個在macOS, Windows和Linux系統上執行 LLM(Large Language Model,大型語言模型)的開放原始碼專案,也是迄今最易用的方案,適合用於不允許或不方便使用線上AI服務(如:ChatGPT)的場域。

Ollama首頁

點擊ollama.com首頁的“Download”下載Ollama程式並開啟它,將出現底下的畫面,建議你將它移入「應用程式」目錄,點擊”Move to Applications”即可將它移入「應用程式」。

Move to Applications

接著會出現底下的歡迎畫面,點擊“Next”,進入下個畫面。

Ollama歡迎畫面

點擊“Install”安裝”ollama“命令行工具,它將會要求你輸入本機電腦管理員的帳號與密碼。

安裝”ollama“命令行工具

安裝完畢後,它會提示一行終端機命令,複製之後貼入「終端機」執行,將能安裝並執行名叫“llama2”的大語言模型。點擊“Finish”完成安裝。

執行模型

Ollama官網Models(模型)頁面列舉所有可用的大語言模型,例如,由臉書母公司Meta免費提供,應該是當今最強的開源大語言模型“Llama 3”,或者微軟公司提供,可在行動裝置運作的輕量級開放模型”Phi-3 mini”,還有協助程式開發的“Code Llama”(Meta提供)和“CodeGemma”(Google提供)。

以安裝Code Llama為例,在終端機輸入”ollama run codellama”,電腦將下載此模型;把“codellama”換成其他語言模型名稱,如:“llama3”,即可安裝執行該模型。

ollama run codellama

下載完畢後,即可和它交流,例如,你可以問它演算法的問題,請它寫一個特定功能的函式,或者讓它用JavaScript寫一個俄羅斯方塊(Tetris)遊戲試試。我在搭載M1晶片 + 16GB RAM的MacBook Air,以及用了將近六年的MSI筆電(第八代Intel i7處理器 + GTX1060 6G顯卡)上執行,都還蠻順的。

Code Llama的俄羅斯方塊程式

如同上圖裡的回應訊息提到的,這不是一個完整的俄羅斯方塊遊戲,只是一個空殼,而且它採用表格(Table)呈現遊戲元素,而非使用Canvas(畫布),所以你需要給它明確的指示。

其實,若要照抄這種知名的經典遊戲,不如直接用Google搜尋關鍵字,不僅能找到JavaScript, Python, C/C++, Arduino,… 等版本的程式碼,還有相關資源(圖檔和音檔)。

若要關閉Ollama,請在提示符號輸入“/bye”。

日後要再啟動Ollama和大模型語言,同樣在終端機輸入“ollama run 模型名稱”命令。除了“run”(執行),其他常用的命令還有:

pull”:下載指定名稱的模型,但不立即執行,例如,下載phi3(Phi-3 mini)模型:

ollama pull phi3

list”:列舉已經下載安裝的語言模型。

ollama list

rm”;代表remove(移除),刪除指定的模型。例如,執行“ollama rm phi3”,將刪除“Ph-3 mini”模型。

Posts created 471

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

Related Posts

Begin typing your search term above and press enter to search. Press ESC to cancel.

Back To Top