手機全景影像常有景物扭曲、變形,及照片有物體不共線的問題。本研究所設計的解決方法,主要包含全景影像瑕疵校正及全景影像扭曲修正兩項。我們自行撰寫 RGB 判斷法,使簡單圖像可修正未連接的線段,接著使用 gated convolution 進行 inpainting,填補影像缺空;全景影像扭曲修正則利用圓柱投影法,將全景影像映射至平面上,並調整參數 f 改變不同扭曲程度,綜合主觀與客觀測試,以找到最佳修正函數。最後將程式與介面結合,讓使用者可自行運用。
本研究希望透過圖像瑕疵校正及扭曲修正,建立一完整系統校正全景圖至正常照片。
觀察全景影像後可知,半徑及移動速度並不影響全景圖之成像,且前後震動對全景影像產生瑕疵的影響較上下震動大。對於每張全景圖的扭曲修正可找到一最佳 f 值,以 iphone 拍攝之全景圖為例,f 值多介於 3000~5500,且前後景沒有明顯景深差異者修正效果較好。
未來希望針對景物不共線的問題設計出效果更好的修正方式,並調整 inpainting 模型的訓練效果,以提升圖像瑕疵的校正。對於圖像扭曲,希望能歸納出最佳 f 值和全景圖的關係,使程式能自動為使用者選擇最佳 f 值,提高實用性。