摘要

系統架構

單張畫面只能看到當下的動作，而飢餓與哭泣是隨時間發展的過程，所以系統分兩個階段：先在每一幀找出行為，再依時間整合。

提示畫面示意與偵測影片，請見「成果展示」。

研究背景

研究目的

• 不等嬰兒大哭才反應：在出現「張嘴＋手在嘴邊」這類飢餓徵兆時就給提示。
• 兩種提示各自偵測：飢餓徵兆與哭泣分開判斷；哭泣時另外標示是否同時有飢餓徵兆，或原因未知。
• 研究分兩個階段：第一階段在單張畫面上偵測張嘴、手、皺眉、嘴，得到三個可觀察的行為單元；第二階段依時間累積逐幀結果，判斷飢餓徵兆與哭泣。

醫學依據

臉部動作

Grunau 等人（1998）在新生兒加護病房床邊即時使用新生兒臉部編碼系統（Neonatal Facial Coding System, NFCS）評估早產兒的疼痛反應，所用的臉部動作包括眉間隆起、緊閉雙眼、鼻唇溝加深與張開嘴唇等。本研究的「皺眉」與「張嘴」取自其中兩項。NFCS 是疼痛評估工具，本研究只借用它對臉部動作的定義，不評估疼痛。

飢餓線索

McNally 等人（2016）的系統性回顧整理了 0～2 歲嬰兒表達飢餓與飽足的行為。回顧中引用的觀察研究發現，「先張嘴、再把手碰到嘴」的動作只在餵食前出現；也有研究把飢餓線索分成早期（例如警覺度提高）與晚期（例如煩躁、哭泣）。同一篇回顧也指出，目前缺乏經過驗證的飢餓測量工具。

本研究據此設計兩種提示：一是張嘴＋手在嘴邊（參考回顧中「先張嘴、再把手碰到嘴」只在餵食前出現的觀察），二是哭泣（回顧所列的晚期線索）。

行為單元定義

兩種提示由這三個行為單元組成：飢餓徵兆看 M 與 H；哭泣看 C，也就是同一幀同時有 M 與 B。

轉頭尋找乳頭的尋乳動作（rooting）也與飢餓有關，但它是連續的動作，單張畫面的標註無法完整描述，所以本研究不把它列為偵測類別。

一、資料與標註

1.1 資料來源

這些影片與照片只用於模型訓練與評估，本網站不展示原始畫面。

1.2 標註準則

模型偵測的是張嘴、手、皺眉、嘴四類；手在嘴邊（H）不是偵測類別，而是由手框與嘴框的位置判斷（見 2.4）。評估 H 用的人工答案來自另一套標註：同一批圖片以「手到嘴邊」為一類，框出整顆頭與手。

1.3 資料切分

同一部影片相鄰的截圖非常相似，如果分散到不同集合，驗證和測試時等於看過類似的畫面，分數會偏高。因此以「群」為單位切分：同一部影片的所有截圖是一群，整群只會進入同一個集合，降低資料洩漏的風險。目標比例為訓練集（train）81%、驗證集（val）9%、測試集（test）10%。

二、第一階段：逐幀行為偵測

2.1 模型與訓練設定

使用 YOLO11s（You Only Look Once 第 11 代，s 尺寸）物件偵測模型（Jocher & Qiu, 2024），從 COCO（Common Objects in Context）資料集的預訓練權重開始訓練。模型約有 941 萬個參數，運算量 21.4 GFLOPs（Giga Floating-point Operations，十億次浮點運算）。

2.2 訓練結果

100 輪全部跑完，約 1.4 小時。mAP（mean Average Precision，平均精度均值）用來衡量偵測框的準確度；mAP50-95 是在 IoU（Intersection over Union，預測框與標註框的交集除以聯集）門檻 0.50 到 0.95 之間取平均。驗證集的 mAP50-95 在第 53 輪最高（0.406），採用這一輪的權重。

驗證集的 box loss 與 DFL（Distribution Focal Loss）約 20 輪後就沒有明顯下降，60 輪後 DFL 回升；mAP50-95 在第 40 輪後於 0.37～0.41 間起伏。後期訓練集持續變好、驗證集沒有跟上，表示開始過度擬合，所以不用最後一輪（驗證集 mAP50-95 0.375）。

圖 2　訓練曲線（點開查看）

左上 box_loss、右上 cls_loss、左下 dfl_loss，藍線為 train、橘線為 val；右下為 val 的 mAP50（藍）與 mAP50-95（橘），虛線為第 53 輪的最佳權重。

2.3 各類別信心門檻

模型對每個框輸出 0～1 的信心值。信心門檻越高，模型越保守：精確率（Precision, P）上升、召回率（Recall, R）下降；降低門檻則相反。為了減少誤報造成的警報疲勞，我們優先確保精確率。決策規則是：在驗證集上，對每一類只保留 Precision ≥ 0.70 的門檻，再從中選 F1 最高者。0.70 是團隊自訂的操作目標。

門檻 = argmax F1(c)，c ∈ {0.01, 0.02, …, 0.99}，條件 P(c) ≥ 0.70；　F1 = 2PR ÷ (P + R)

AP50：IoU 門檻 0.50 時的平均精度（Average Precision, AP）。張嘴、手、嘴 F1 最高的門檻本身就已達到 Precision ≥ 0.70。

2.4 手在嘴邊（H）的判定

D 再放寬，Recall 最高也只到 0.392：答案為「有」的 120 張中，同時偵測到手框和嘴框的只有 47 張；有手框、沒有嘴框的有 61 張。

三、第二階段：時序判斷

3.1 事件狀態機

第一階段給的是每一幀的結果，難免有零星誤判，也會漏抓幾幀。第二階段把這些結果放進時間窗累積：零星的誤判要累積到門檻才會通知；漏抓幾幀時，間斷的陽性仍會累加。

• 陽性：哭泣看 C（同一幀張嘴且皺眉）；飢餓徵兆看 H 與 M（張嘴）。
• 累積與確認：每一幀把前一幀到這一幀之間的陽性時間加入視窗 [t − W, t]（W 為累積視窗秒數）；視窗內累積 ≥ 門檻（W × 比例）就確認事件，並通知一次。確認後進入維持，期間不重複通知。
• 結束：哭泣在最後一個 C 之後、飢餓徵兆在最後一個 H 之後，分別超過 5 秒、W 秒沒有再出現，事件就結束並清空累積，從結束那一幀重新累積。
• 邊界：影片剪接處設為切點、沒有嬰兒的畫面設為排除區間，累積不跨越這些邊界。

飢餓徵兆的結束只看 H、不看 M，原因是哭泣時嬰兒幾乎一直張嘴，若以 M 延續，飢餓事件會隨著哭泣一直延長；嬰兒吸手時又看不到口腔。手到嘴的動作斷斷續續，等待 W 秒才結束，可以避免同一段行為被重複通知。

3.2 事件整合與提示規則

哭泣只有一種累積方式，就是累積 C。飢餓徵兆比較兩種：same（same-frame）是同一幀同時有 H 且 M 才算陽性；sep（separate）是 H、M 各自累積、各自達標。哭泣與飢餓徵兆各自確認、各自結束，畫面提示依兩個事件當下的狀態決定：

3.3 參考事件標註

為了評估第二階段，我們在驗證集的 19 部影片（共 105,462 幀）上，逐段人工標註 M、H、B（皺眉）的起訖時間，狀態分為「有」「不確定」「沒有」。測試集的影片沒有使用。

• 哭泣：C（同一幀 M 且 B）為「有」的區段。
• 飢餓徵兆：H 與 M 皆為「有」且時間重疊的區段。
• 任一成分不確定，該段記為不確定；間隔 ≤ 2 秒的段落合併；合併後不到 1 秒記為短暫，不當正例。
• 「沒有」的範圍為陰性區，誤報只在陰性區計算；整部影片不會有未歸類的片段。

3.4 配對與評分方式

每筆通知依確認時間分類：

• 落在正例 [起點 − 1 秒, 終點 + 1 秒] 內，記為 TP（True Positive，真陽性）；一件正例只配對一次。
• 同一件正例的第二筆通知記為重複，不計入 P。
• 落在陰性區記為誤報（False Positive）。
• 落在不確定或短暫事件 ±1 秒內，主分數不計（不算 TP、也不算誤報），改以上下限呈現。
• 正例開始前就已確認、到正例起點仍然有效的事件，算「維持涵蓋」，也算偵測到該正例。

P = TP ÷ (TP + 誤報)；　R = (配到 + 維持涵蓋) ÷ 正例數；　F1 = 2PR ÷ (P + R)

F1 的上下限：下限把不確定事件內的通知算成誤報、沒被碰到的不確定事件算成漏報；上限把不確定事件內的通知算成 TP、被碰到的不確定事件算成偵測到。上下限不是信賴區間。

3.5 候選參數與選參規則

選參規則（哭泣、飢餓徵兆各選一組），在評分前就訂好，39 組候選共用同一份參考事件：

1. 至少 2 部影片有 TP 的參數組才有資格。
2. 取 F1 最高者；與最高 F1 相差 ≤ 0.05 的視為同分（同分帶）。
3. 同分時優先選 P 較高（誤報較少）的組合。

一、第一階段：測試集結果

套用驗證集選出的門檻後，四類在測試集的精確率（Precision, P）為 0.717～0.908，都達到 0.70 的目標；召回率（Recall, R）差異較大，皺眉最低。四類合計的 mAP50（mean Average Precision）為 0.809。

TP（True Positive）＝正確框到；FP（False Positive）＝誤報；FN（False Negative）＝漏抓。AP50＝平均精度（Average Precision）；F1＝P、R 的調和平均。

• 張嘴、嘴：Precision 和 Recall 都在 0.80 以上，四類中表現最好。
• 手：Precision 0.732、Recall 0.741（驗證集為 0.852），328 個中漏抓 85 個。
• 皺眉：Recall 0.521，146 個中漏抓 70 個，占全部漏抓（210 個）的三分之一；AP50-95 只有 0.191，表示框的位置不夠準。皺眉只標眉間，面積極小，框稍有偏移，與標註框的重疊比例就可能低於 0.5 而被判為漏抓。

手在嘴邊（H）在驗證集上的結果為 Precision 0.900、Recall 0.375。Recall 最高只到 0.392，主要是因為手把嘴整個蓋住時偵測不到嘴框（見研究方法 2.4）。

二、第二階段：驗證影片結果

依事先訂定的規則，從 39 組候選中，哭泣與飢餓徵兆各選出一組。以下結果都在驗證集的 19 部影片上得到；由於參數選擇與評分用的是同一批影片，分數偏樂觀，測試集影片尚未評估。

2.1 選參過程

F1 與最高者相差 ≤ 0.05 的組合視為同分（同分帶），同分時取 P 較高者（見研究方法 3.5）。

• 哭泣：同分帶有 5 組；選定的組合 F1 最高（0.651），P 也最高（1.000）。
• 飢餓徵兆：同分帶有 8 組（手在嘴邊、張嘴各自累積 4 組，同一幀累積 4 組）。F1 最高為 0.661，選定的是同分帶中 P 最高的一組（F1 0.656），誤報比 F1 最高的那組少 7 筆。
• 把不確定事件全算錯或全算對，F1 的範圍為哭泣 0.511～0.706、飢餓徵兆 0.449～0.763；飢餓徵兆的範圍較寬，因為不確定的事件較多（18 件）。

2.2 選參結果的穩定性

哭泣的選參結果對影片組成穩定；飢餓徵兆較不穩定，重抽樣中選定的組合只有 389 次仍在同分帶，但仍依事先訂定的規則採用。

2.3 誤報與漏報分析

選定參數下，誤報共 2 筆，都是飢餓徵兆（哭泣 0 筆）。漏報 25 件（哭泣 15、飢餓徵兆 10），都是逐幀訊號累積不到門檻。下圖中 M＝張嘴、B＝皺眉、H＝手在嘴邊、C＝同一幀張嘴且皺眉。

• 哭泣：漏報的 15 件中，M 判為陽性的幀比例中位數是 0.97，B 只有 0.13。C 需要同一幀皺眉，所以受第一階段皺眉偵測的限制。
• 飢餓徵兆：H 只有 30% 的幀被判到，手把嘴整個蓋住時沒有嘴框，就判不到 H。H、M 同一幀都被判到的比例只有 23%，「同一幀」較難累積到門檻；在相同參數下，H、M 各自累積的 R 都不低於同一幀累積（12 組中 9 組較高、3 組相同）。

一、提示畫面示意

畫面上單一幀的偵測結果不會直接觸發提示，必須在時間窗內累積到門檻才會確認事件。下圖用一段模擬訊號，依本研究的規則跑一次，可以按播放或拖動時間軸觀察提示的變化。

二、偵測影片

影片為本組自行拍攝，由成人模擬嬰兒的飢餓徵兆與哭泣，示範系統從偵測到提示的流程。畫面中的框與提示皆為系統直接輸出，未經人工修改；提示規則與本研究選定的參數相同。