
作者:趙英傑
出版社:旗標科技股份有限公司
出版日期:2026年11月27日
頁數:496頁,雙色印刷。
定價:NT$880
本書特色
- 使用 ESP-IDF 開發 FreeRTOS 專案
- 學會 FreeRTOS 多工任務與同步機制
- 利用網路串流 PCM 音訊
- 透過 Opus 編碼幫串流音訊瘦身
- 打造離線語音辨識的語音命令控制
- 用本地端 Ollama 當大腦生成回覆
- 把 LLM 回覆內容轉成語音
- 建立可隨時插話的交談系統
- 幫作品加上表情與動作化身機器人
- 用 Function Calling(工具呼叫)控制裝置
AI 正在重新定義人與裝置的互動方式。從鍵盤、按鈕、搖桿、觸控螢幕到姿態感測,人機介面不斷朝著更直覺、更自然的方向演進。如今,隨著大型語言模型與語音辨識技術日益成熟,自然語言控制已不再是大型科技公司的專利。本書以 ESP32 為核心,從零開始,設計並打造一款能聽懂語音指令、操控各種周邊元件的 AI 智慧音箱。

本書製作的智慧音箱有兩種版本,一種屬於「離線語音控制器」,語音喚醒和命令詞辨識都由ESP32獨自完成,無需連網。「喚醒」代表ESP32平時不會回應使用者說話,唯有聽到 “Hi, 喵喵”, “喵喵同學”或“Hi, 瓦力” 之類的特定詞彙(從開發環境設定),它才接著等待並聆聽使用者對它下達命令,例如:開燈、關窗簾…等(從程式設定)並操控對應的硬體設備。

音箱被喚醒或者答覆命令之後的一段時間(如:8秒)內,處於「追問」模式,也就是等待使用者下達其他命令;超過這段時間,音箱將回到初始的「等待喚醒」狀態,使用者必須先說出「喚醒詞」,它才有反應。
ESP32開發板價格低廉,可在家中佈署多個「離線語音控制器」操控不同設備。對於語音辨識的概念和術語,書中採用圖解方式說明:

還有數位音訊處理:

以及相關電子元件的電路構成與原理:

採用具備PSRAM的ESP32-S3開發板
ESP32晶片有多種款式,本書採用具備AI邊緣運算(edge computing,代表「由裝置自行完成運算任務,無須雲端處理)的ESP32-S3。ESP32-S3 沒有獨立的 NPU(神經網路處理單元),但其 Xtensa LX7 雙核心CPU 具有用於 AI 與數位訊號處理加速的 SIMD∕向量指令。這些指令可一次處理多筆 INT8 或 INT16 資料,因而加速神經網路常見的點積、矩陣乘法和卷積運算。
語音喚醒與命令詞辨識是由預先訓練並量化(壓縮)過的神經網路模型,由開發ESP32晶片的樂鑫科技(Espressif Systems)研發的開源ESP-SR語音識別框架提供,在 ESP32-S3 本機執行推論,不需要把語音傳送到雲端。

附帶一提,烏克蘭的工程師Slava借鑑Google Gemma 3n 的「分層嵌入(Per-Layer Embeddings)」技術,發佈了一個能讓搭載8MB PSRAM(外部記憶體)與16MB Flash(快閃記憶體)的 ESP32-S3開發板,離線、獨立執行2890萬參數(28.9M)的大型語言模型。
這個ESP32-AI開源專案程式能直接在ESP32-S3完成模型推理,以每秒約9.88個詞元(token)的速度即時生成文字,但它無法回答通用複雜問題、寫程式碼、進行邏輯推理⋯,僅適用於語料極度簡單且專一的特定模型。專案發布時僅支援簡單兒童故事生成(TinyStories)與Barista咖啡問答之類的模型(一次僅能燒入並處理一個模型)。
搭配本機電腦構成可進行對話交流的智慧音箱
離線版智慧音箱沒有對話能力,只對預設的命令詞有反應,而另一種智慧音箱實作,是把ESP32當作的前端,負責「喚醒詞」辨識、收音和播放、網路收發/壓縮/解壓縮語音資料。語音辨識、大語言模型(LLM)推理、生成文字和語音合成,都是透過在電腦上執行的Python程式達成。

完成這些後端功能的Python範例程式,涉及語音辨識、LLM(大語言模型)、非同步(並行)處理等概念和實作。因為篇幅有限,LLM基礎與應用實作請參閱「超圖解Python程式設計」第18 ~ 20章。
書中的Python程式,從網路通訊、語音處理到大模型語言AI推論,都採用「非同步」並行處理,因此第9章安排了一個單元來解說和實作Python非同步程式。

ESP-IDF程式開發框架及FreeRTOS即時系統核心
常見的ESP32程式開發工具有Arduino, MicroPython和ESP-IDF,ESP-IDF是樂鑫為ESP32系列晶片提供的官方開發框架,全稱是Espressif IoT Development Framework,物聯網開發框架),程式結構較接近傳統的嵌入式 C/C++ 開發。
ESP-IDF 的學習門檻較高,但也提供更完整、細緻的系統控制能力。智慧音箱採用ESP-IDF主因之一,是ESP-SR語音辨識框架只有ESP-IDF版。此外,智慧音箱程式還需要同時、精確處理與協調多項任務,例如:麥克風收音、判讀命令、揚聲器播放回應語音、網路串流語音和控制周邊,ESP-IDF也比Arduino更適合開發大型即時語音專案。
ESP-IDF應用程式都基於FreeRTOS開源嵌入式即時作業系統,其主要概念是把程式的運作流程拆解成多個任務(task),實現同時讀取感測器、控制馬達、處理通訊等多工需求。因此書本用幾個章節的篇幅說明FreeRTOS的核心概念和程式實作,例如,在不同任務之間傳遞資料的緩衝記憶體和佇列:

還有事件通知用的旗號(Semaphore)、保護共享資源的互斥鎖(Mutex)以及優先權等概念:

並且用適合搭配內文說明的不同形式圖解,說明程式的運作流程,像這個任務執行的時序圖:

不同任務之間的中斷處理流程:

暫存壓縮網路音訊的流程:

還有程式檔的結構:

第12章也包含OLED螢幕動畫顯示、WS2812全彩LED和伺服馬達控制等說明,讓讀者了解智慧音箱前後端的運作方式,進而打造屬於自己的「桌面互動寵物」。對喜歡動手組裝、撰寫程式,或想了解智慧音箱如何「聽、想、說、做」的電子DIY愛好者而言,這是一項兼具趣味性、實用性與擴充性的學習專題。

在撰寫本書期間,感謝旗標科技的黃昕暐先生提供諸多專業建議,例如,調整內文編寫的順序、專有名詞翻譯,並逐一測試每個單元程式,還有糾正內容與程式的錯誤、添加文字讓文章更通順、晚上和假日加班改稿、替智慧音箱新增Function Calling(工具呼叫)機制,讓 LLM 根據提問內容自主判斷是否需要程式呼叫特定函式送出控制命令,達到利用自然語言即可操控各式裝置的成果…由衷感謝昕暐先生對本書的貢獻。筆者也依照這些想法和指正,逐一調整解說方式,讓圖文內容更清楚易懂。
目錄
第 0 章 從科幻元素到人人皆能動手做的智慧音箱
0-1 從 GUI 圖形操作介面邁入語音操控紀元
0-2 ESP32 智慧音箱程式開發工具: ESP-IDF
0-3 ESP32-S3 開發板
第 1 章 ESP-IDF 應用開發入門
1-1 ESP-IDF 程式設計快速入門
1-2 ESP-IDF 的數位輸出∕入程式
動手做 1-1 閃爍 LED
1-3 FreeRTOS 快速入門
1-4 讀取類比輸入
動手做 1-2 讀取 ADC
1-5 輸出 PWM 調變(模擬類比)訊號
動手做 1-3 從 ADC 輸入改變 PWM 輸出
1-6 FreeRTOS 任務的一生
第 2 章 FreeRTOS 的多工任務
2-1 多工任務以及任務通知
動手做 2-1 任務通知實驗
2-2 認識佇列(queue)
動手做 2-2 透過佇列傳送數位輸入狀態
2-3 使用旗號傳送事件訊息
動手做 2-3 透過二元旗號表示開關狀態
2-4 觸發中斷的時機與中斷服務常式
2-5 FreeRTOS 的命名規範
第 3 章 安裝 ESP-IDF 開發工具
3-1 使用 ESP-IDF 安裝管理員(EIM)下載開發工具
3-2 在 macOS 使用 Homebrew 安裝必要的套件
3-3 設置 ESP-IDF 專案開發環境
3-4 在 VS Code 中新建 ESP-IDF 專案
3-5 其他常用 ESP-IDF 工具命令
第 4 章 ESP32 與 Python 網路連線
4-1 ESP32-S3 的 Wi-Fi 功能與 API 介紹
4-2 調整快閃記憶體大小與分區設定
4-3 ESP32 連接 Python 伺服器
動手做 4-1 建立一對一 Python 網路通訊程式
第 5 章 串流 PCM 音訊
5-1 I2S 與 PDM 麥克風元件以及取樣定理
5-2 驅動與配置 I2S 介面的程式
5-3 DMA 與讀取 I2S 資料的 i2s_channel_read() 函式
5-4 多工任務與循環緩衝區
5-5 使用 Python 程式接收 PCM 音訊並轉存成 WAV 檔
第 6 章 Opus 聲音編碼
6-1 使用 Opus 編解碼聲音資料
6-2 安裝與設置 ESP-IDF Audio Codec(聲音編解碼器)組件
6-3 用 Opus 壓縮串流語音
6-4 在電腦上安裝 Python Opus 編解碼套件
第 7 章 離線語音辨識與控制
7-1 離線語音辨識運作流程
7-2 I2S 聲音擴大器模組
7-3 建立 ESP-IDF 離線語音辨識專案
7-4 設置 ESP-SR 語音識別框架
7-5 準備與轉換回覆語音的聲音檔
7-6 離線語音辨識任務
第 8 章 語音喚醒串流 Opus 編碼
8-1 語音喚醒程式的任務劃分
8-2 AFE(聲學前端)
8-3 串流語音的程式碼
8-4 接收 Opus 串流音訊的 Python 程式
第 9 章 簡易智慧音箱的後端 Python 程式
9-1 安裝測試 Ollama 本機語言模型
9-2 Python 的非同步處理(async)
9-3 進行語音辨識
9-4 TTS 語音合成以及 MP3 音訊轉 PCM
9-5 編碼與傳送 Opus 音訊
9-6 處理 TCP 連線以及回覆語音
第 10 章ESP32 智慧音箱前端程式
10-1 智慧音箱的新增任務和系統狀態
10-2 接收語音訊框資料
第 11 章可自然對話的智慧音箱
11-1 使用 AEC 消除回聲
11-2 使用 FreeRTOS 的串流緩衝區
11-3 串流任務的修改要點
11-4 處理進入「追問等待」狀態的程式
11-5 可掌握對話脈絡的 Python 聊天程式
11-6 多輪對話的 Python 程式處理流程
第 12 章OLED 顯示器動畫、全彩 LED 與伺服馬達控制
12-1 SSD1306 顯示器
動手做 12-1 顯示文字
12-2 在 OLED 螢幕顯示動畫
12-3 控制 WS2812 全彩 LED
12-4 控制伺服馬達
動手做 12-2 控制伺服馬達
12-5 支援大語言模型控制命令的智慧音箱
