技術名稱

基於景深影像之精確快速虛擬視角影像生成系統

技術摘要

近年來娛樂產業、醫療體系等等都將 3D影像顯像技術在許多顯像生活應用。然而舒適 3D影像顯像需多視角影像，可惜因多視角攝影機拍攝成本昂貴，且須大量頻寬傳送，導致內容缺乏及品質下降，造成實際3D應用的困難。因此，人們使用基於深度影像的生成法，可將具有深度圖的2D圖像轉換為 3D多視角影像，以解決此問題，但其品質尚待加強。因此，本發明提出精確且快速的基於深度影像生成(DIBR)系統，可轉成精緻多視角 3D影像。再利用混合虛擬多視角影像以產生舒適的3D裸眼立體影像。本發明提出改良深度影像生成技術演算法，以取代傳統演算法，完成高精確度且快速深度影像生成系統。實驗證明我們的基於深度影像生成系統比較現有方法，可獲得更自然且計算低的高質量合成虛擬視角影像。

現有技術描述、現有技術問題及其缺陷描述

現有傳統深度影像生成技術(DIBR)生成虛擬視角的 3D 影像，乃利用了光學投射原理之技術，當給定一張 2D影像與其對應之深度資訊，即可以生成出從虛擬視角觀看之影像。傳統 DIBR系統是一習知的技術流程，利用影像圖及其相應的深度圖以生成虛擬視角圖像。 它包括三個主要處理階段：1)深度圖預處理(Preprocessing)；2）3D曲移計算(3D Warping)；3）空洞填補(Hole Filling)。

深度圖預處理乃對深度圖進行平滑處理，以減少水平深度變化，進而降低 3D曲移之後的空洞。3D曲移乃利用光學投射原理，將影相圖素依景深值做線性水平移動。景深值大的彩色像素移動較大；反之則移動較小。然而，像素均為整數值，當彩色像素移動量有小數點時，只好捨去小數點，不只產生較多空洞，並且不正確。由於景深差異及整數3D曲移的影像會產生很多孔洞，精確孔洞填補是DIBR系統中重要的階段，它可採水平內插(Horizontal Interpolation)、往外外插(Extrapoloation)、或修復算法(Inpainting Algorithm)來解決。背景內差及外插孔洞填補法較簡易，但常會產生錯誤；修復算法孔洞填補雖較佳，但不易達到即時計算之需求。深度影像生成技術(DIBR)通常須於 3D 顯示器端完成，其整體 DIBR 演算法應可用超大型積體電路(VLSI) 實現為主要關鍵考量。

本技術發明目的、所欲解決之問題、能提昇的功效

相較於現有深度影像生成技技術，本發明技術之最大特色在於採用加權式 3D 分數曲移(Weighted 3D Fractional Warping)法以獲得精確值，亦可降低空洞。然後再利用雙向梯度補洞(Two-Direction Gradient Hole Filling)演算法將曲移後之空洞完成快速且高品質補洞程序。最後，完成可以超大型積體電路(VLSI)實現之深度影像生成虛擬影像。

1. 相關原整數曲移技術的步驟，在小數投影曲移後，內插回原彩圖大小時所參考的像素點為相對應的前景，然而前景的像素可能包含不只一個像素點，距離內插位置越近的像素應更重要，此現有的方法未將距離考量進去。在彩圖小數曲移的步驟中，將彩圖小數投影使小數點位移的像素點有位置加權，以計算精確位移的彩圖曲移值。

2. 相較於現有補洞技術，雙向梯度補洞演算法特別針對線性結構之背景進行了優化。人眼對於明顯的線條較為敏感，若透過傳統的內差及外差填補方式，將產生邊界模糊及線條扭曲之現象，降低 3D影像觀看品質，若選擇採用修復算法，則會因為演算法較為複雜，需考量整體是否可提供即時處理之可行性。本技術利用了對應的彩圖影像資訊作為依據，並考量人們對於視覺的預期，提出了低運算複雜度之填補概念。

適用產業類別

3D 電影產業、3D 影像處理產業、3D 顯示器產業

聯絡窗口

單位名稱：技轉育成中心

聯絡人： 黃意婷

電話：06-2360524轉133

電子郵件：clairehu@mail.ncku.edu.tw