高光譜圖像不僅包含空間信息,還包含豐富的光譜信息,目前已被廣泛應用于農業(yè)、城市規(guī)劃等領域。近年來,無人機的快速發(fā)展使高光譜在更多領域成為可能。無人機操控簡單、成本相對較低、使用靈活,航空高光譜拍攝示意圖如圖1所示。但是航空高光譜技術也存在一些限制,當追求高的分辨率時,成像儀的視場角就會變小,從而導致成像區(qū)域變小。單幅圖像很難覆蓋大面積的區(qū)域,需要運用圖像拼接技術得到一幅全景高光譜圖像。
圖1 航空高光譜拍攝示意圖
普通圖像的拼接領域已經(jīng)獲得了較多成果,但高光譜圖像拼接的研究還并不是十分成熟。而且高光譜圖像與普通圖像存在一定的差異,高光譜圖像的拼接目前面臨了一系列的困難。高光譜圖像有幾十上百個波段,數(shù)據(jù)量非常大,直接對高光譜數(shù)據(jù)進行拼接會產生很大的計算量從而導致拼接時間過長,降低效率。其次,用于遙感的高光譜圖像通常由機載設備拍攝,無人機拍攝的條件不穩(wěn)定,飛機振動、曝光時飛機快速運動導致的像點偏移等現(xiàn)象會使拍攝得到的圖像質量下降并且存在非剛性變換。這些情況造成特征點匹配時存在大量的誤匹配。除此之外,無人機的飛行高度并不高,圖像會存在視差,要得到好的高光譜拼接效果,需要解決上述挑戰(zhàn)。在此背景下,迫切需要一種高精度的高光譜圖像拼接方法。
武漢大學梅曉光副教授團隊利用我司推掃式無人機高光譜成像系統(tǒng)(GaiaSky-mini)在300m高度拍攝的一組植物園場景。數(shù)據(jù)包含18 幅圖像,大小為96×1057,光譜范圍是400nm 到1000nm,共176 個波段。圖2以偽彩色圖像的形式展示了18 張高光譜圖像數(shù)據(jù),選取的三個波段分別為第13 波段(436.5nm),第47 波段(547.6nm),第92 波段(700.2nm),將圖片從左往右,從上往下依次標號為1-18。
圖2 18幅高光譜圖像數(shù)據(jù)
首先,選取一個波段作為參考波段,得到灰度圖像后用SIFT算法提取相鄰兩幅圖像的特征點。本研究對比了SIFT、SURF、SS-SIFT這三種特征點提取的算法。其中SIFT和SURF是針對單個波段的圖像進行特征點的提取,SS-SIFT是針對高光譜的算法,所提取的特征點具有三維信息。實驗選取圖2中的第1、2作為圖片進行測試,實驗記錄了三個算法的幾個衡量指標,實驗結果如表1所示。
表1 特征點提取的算法對比結果
特征點提取算法 | 提取特征點數(shù)量 | 匹配特征點數(shù)量 | 運行時間 |
SIFT | 7455 | 1256 | 10.120s |
SURF | 467 | 80 | 0.849s |
SS-SIFT | 8304 | 82 | 950.311s |
從以上實驗結果可以看出,SS-SIFT相較于SIFT和SURF需要運行大量時間,降低了算法的效率,因此不能采用直接從高光譜圖像數(shù)據(jù)中直接提取特征點的方法。SIFT和SURF算法相比較,SIFT的運行時間為10.012s,雖然沒有SURF運行速度快,但是檢測和匹配的特征點的數(shù)量足夠多,使后續(xù)的圖像配準更加準確。
無人機拍攝的遙感圖像通常存在局部地形變化、尺度變化、旋轉、視差以及其他非剛性變化等情況,在特征點的匹配過程中會造成很多誤匹配現(xiàn)象。為了解決這個問題,本研究采用基于mTopKRP的算法來剔除誤匹配,得到的結果如圖3所示。
圖3 通過mTopKRP算法剔除誤匹配的結果
接下來,為了驗證mTopKRP算法在剔除誤匹配點上的*性,我們對比了mTopKRP和其他誤匹配剔除算法VFC和LPM。我們選擇精確率(precision),召回率(recall)和F-score作為評價特征點匹配算法的指標。得到的特征點匹配算法對比實驗結果如圖4所示。
圖4 特征點匹配算法對比實驗結果
從以上實驗結果中可以看出,無論是在圖像存在剛性變換還是非剛性變換時,本研究特征點匹配算法mTopKRP都得到了更好的F-score,證實了我們的特征點匹配算法的*性。在得到正確的匹配點集之后,我們需要用匹配的特征點來建立圖片對之間的變換關系,即計算圖片對之間的單應性矩陣。為了避免投影變換帶來的失真,本研究采用基于魯棒彈性扭曲的算法。并將本研究采用的圖像變換模型和其他圖像變換模型ANAP,NISwGSP和ELA進行對比,實驗利用線性加權的圖像融合算法,分別在單個波段拼接了18幅高光譜圖像,得到圖5的結果。
圖5 圖像拼接模型對比(從左到右ANAP、NISwGSP、ELA和本研究算法)
從實驗結果中可以看出,算法ANAP,NISwGSP 和ELA 得到結果均在邊處有明顯的形變、不規(guī)則放大或扭曲。而本研究的魯棒彈性變換模型更準確地對齊圖像,在拼接后的非重疊區(qū)域消除了形變、扭曲等問題。本研究所采用的圖像變換模型得到的拼接結果中圖像清晰,沒有明顯模糊、重影的現(xiàn)象。
高光譜圖像拼接的最后一步就是進行全波段的圖像融合。將參考波段的魯棒彈性變換模型參數(shù)運用于其他剩余波段,這樣就可以獲得所有波段的空間信息。在單個波段的重疊部分得到光譜值之后,將融合參數(shù)應用到其他波段,則全波段重疊部分都得到新的光譜值,非重疊部分的光譜值保留本身波段原有的光譜值。此處,將得到的高光譜全景圖像用 RGB 圖像的形式展示如圖6所示。選取的三個波段分別為第 13 波段 (436.5nm),第 47 波段(547.6nm),第 92 波段(700.2nm)。
圖6 以RGB形式展示的高光譜圖像整體拼接結果
對于圖像的光譜進行分析可以實現(xiàn)對地物的分類和識別,所以拼接任務除了關注空間信息外,還應對光譜曲線進行分析。理想情況下拼接后的全景圖在重疊區(qū)域的光譜曲線應該與參考圖像的保持一致。通過計算兩個光譜曲線的光譜角大?。⊿AD),可以判斷它們的相似程度。找出在圖1、2重疊部分的兩對典型地物(土地和植被),分別記錄為A、A′ 和B、B′,如圖7所示。由于圖像1是參考圖像,因此拼接得到的高光譜圖像的光譜曲線應該與圖像1的光譜曲線接近。通過圖8計算得到,對于同名點對A、A′,圖像1和2在此點的光譜角為0.0894。在同名點B、B′,圖1與圖2 光譜角大小為0.0471。因此,可以得出結論,在原始圖像同名點對的光譜值有較大差異的情況下,本研究的算法得到的圖像的光譜接近于參考圖像,保證了光譜信息的一致性。
圖7 同名點對示意圖
圖8 光譜分析曲線
本研究提出了新的高光譜圖像拼接方法,適用于存在旋轉、尺度變化、非剛性變換的圖像集。得到的圖像清晰,無明顯錯誤拼接和接縫,圖像的光譜曲線失真較小,適用于存在大視差的機載高光譜圖像。
通訊作者簡介:
梅曉光,博士,武漢大學電子信息學院副教授,博士生導師。
主要研究方向:高/超光譜應用中的計算機視覺、機器學習等相關問題的研究。
參考文獻:Yujie Zhang, Zhiying Wan, Xingyu Jiang and Xiaoguang Mei, in IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 13, pp. 3145-3154, 2020, doi: 10.1109/JSTARS.2020. 3001022.