技術名稱

深度偽造影片識別機制

技術摘要

近年來隨著深度學習快速發展，大數據分析和影像辨識技術廣泛應用在不同領域，與此同時深度偽造的造假能力也越趨逼真，導致在現今網路多媒體蓬勃發展的環境下，其在社交工程中造成的影響甚钜。除了濫用此偽造技術生成難以識別的虛假內容會造成難以估量的危害，驗證內容的真實性同樣是重要的課題，其背後所牽涉的道德問題、隱私權問題，甚至是潛在的國安威脅皆不容忽視，因此我們迫切需要有效防止造假影片汙染社群媒體的能力。

現階段深度偽造的語音、圖片之偵測技術已越趨成熟，傳統上深度偽造之影片的識別方法與圖片相似，可以將影片擷取多個圖片來套用原先檢測的手段。由於考量到現行人臉辨識的資料集當中，往往缺乏不同臉部元件變化的關鍵特徵訊息，以眨眼為例，無論是靜態或是動態影像幾乎都是正面的睜眼狀態，缺少閉眼狀態的特徵，而導致換臉影片生成時，眼部狀態變化的過程將出現破綻，再加上影片與時間高度相關的連續性，因此本技術提出藉由偵測影片中臉部元件變化的特徵，用深度學習的方式進行換臉影片的檢測，來實現以時序為基準之眼部狀態變化的量化，來判斷該影片是否經過深度偽造。

現有技術描述、現有技術問題及其缺陷描述

1. 深度偽造影片的檢測難以使用單一方法套用在各種類型的影片，因此需要能夠鎖定不同影片性質的檢測方法，才能夠全面的應對深度偽造造成的危害。
2. 僅僅偵測眨眼動作的檢測方法，對於時常較短的影片或是不連續的影片，可能會錯失偵測的時機，從而無法找到關鍵的特徵缺陷。
3. 靜態影像偵測無法善用時間序列作為檢測手段，局部特徵的提取相當仰賴資料集的質量，另一方面動態影像偵測對影格的長度很敏感，對於時間連續性不高的影片辨識以及針對局部特徵的分析效果較有限。

本技術發明目的、所欲解決之問題、能提昇的功效

1. 最主要的目的，包括藉由檢測影片的真實性，來處理濫用深度偽造技術生成虛假內容所造成的危害，還有驗證內容的真實性來保障當事人可能受侵害的權益。
2. 有別於傳統的靜態影像檢測方法，本技術透過偵測影片中臉部元件變化的特徵，進行深度偽造影片的檢測。
3. 解決之問題除了能夠篩選出過長時間沒有眨眼動作這種不符合人體現象的異常影片，對於時長較短或是不連續性的影片，則可以分析臉部元件特徵所輸出的變化訊息的量化結果，來判斷是否為深度偽造影片。

適用產業類別

1. 網路多媒體上影片的傳播
2. 深度偽造防範之相關法案制定
3. 利用深度偽造進行資安攻擊事件之防範

聯絡窗口

單位名稱：產學創新總中心

聯絡人：黃意婷

電話：06-2360524轉133

電子郵件：clairehu@mail.ncku.edu.tw

圖片

F001  深度偽造影片

F002  檢測系統流程圖