多光譜相機(jī)技術(shù)

第 一批多光譜系統(tǒng)要么用于太空科學(xué)成像，要么用于分析和數(shù)字化繪畫(huà)和文化遺產(chǎn)。1972 年發(fā)射的原始 LANDSAT 1 衛(wèi)星配備了四波段多光譜成像系統(tǒng)，包括可見(jiàn)的綠色和紅色通道以及兩個(gè) NIR 波段。

到 1999 年 LANDSAT 7 發(fā)射時(shí)，該系統(tǒng)已擴(kuò)展到八個(gè)多光譜波段，從可見(jiàn)藍(lán)光到熱紅外。這些多光譜衛(wèi)星和后續(xù)多光譜衛(wèi)星主要用于農(nóng)業(yè)和環(huán)境分析，包括沿海和洋流觀測(cè)、植被分析、干旱脅迫、燒毀/火災(zāi)影響區(qū)域，甚至云層覆蓋模式。從光學(xué)器件到所用的傳感器，這些都是極其復(fù)雜且昂貴的系統(tǒng)。

同樣，先進(jìn)的多光譜靜態(tài)相機(jī)多年來(lái)一直用于藝術(shù)和考古學(xué)。這些相機(jī)使用多達(dá) 18 個(gè)多光譜波段來(lái)繪制和初步識(shí)別藝術(shù)品上的顏料和修飾。這些圖像還用于數(shù)字化和/或視覺(jué)增強(qiáng)舊的和褪色的文件和文物。保護(hù)者還可以使用多光譜成像來(lái)區(qū)分原始部分和油漆部分，并選擇適當(dāng)?shù)谋Ｗo(hù)程序。

隨著時(shí)間的推移，基于傅里葉變換光譜、液晶可調(diào)濾波器、寬帶和窄帶濾波器等，已經(jīng)開(kāi)發(fā)出不同類(lèi)型的多光譜系統(tǒng)。隨著各種方法的改進(jìn)，它們已經(jīng)從超高端衛(wèi)星和藝術(shù)品保護(hù)系統(tǒng)遷移到機(jī)器視覺(jué)相機(jī)中，提供分辨率、幀速率和價(jià)格的組合，使其能夠用于廣泛的多光譜應(yīng)用。在本技術(shù)指南中，我們將重點(diǎn)介紹這些基于相機(jī)的多光譜成像技術(shù)，這些技術(shù)在機(jī)器視覺(jué)應(yīng)用中越來(lái)越受歡迎。

l  兩個(gè)（或更多）獨(dú)立相機(jī)（區(qū)域或線掃描）
為機(jī)器視覺(jué)設(shè)置增加更多光譜范圍的原始方法是將多臺(tái)相機(jī)對(duì)準(zhǔn)目標(biāo)。例如，如果水果生產(chǎn)商想要檢查顏色并查看是否有瘀傷，他們可能會(huì)在彩色相機(jī)之外在其設(shè)置中添加 NIR 相機(jī)。但將兩幅圖像的光譜數(shù)據(jù)組合到一個(gè)檢查步驟中極具挑戰(zhàn)性且容易出錯(cuò)。即使將兩臺(tái)相機(jī)緊挨著放置，仍會(huì)存在足夠的光學(xué)視差，幾乎不可能對(duì)齊兩幅圖像的像素。因此，任何“融合”兩幅圖像的嘗試通常都會(huì)失敗。相反，大多數(shù)客戶將額外的光譜成像視為完全獨(dú)立的檢查步驟，使用獨(dú)立的相機(jī)、照明、鏡頭和安裝（以及費(fèi)用），并且無(wú)法利用整個(gè)過(guò)程中使用的任何其他相機(jī)的圖像數(shù)據(jù)。

l  濾光輪相機(jī)（區(qū)域掃描）
濾光輪相機(jī)又稱(chēng)為基于多個(gè)窄帶濾光片的成像儀，通過(guò)旋轉(zhuǎn)安裝在傳感器或鏡頭前面的濾光輪中的濾光片來(lái)捕獲多通道光譜圖像。這種濾光輪通?？梢灾С侄噙_(dá) 12 個(gè)波段。然后根據(jù)多光譜圖像估算每個(gè)像素的光譜反射率。基于濾光輪的相機(jī)的優(yōu)勢(shì)在于每個(gè)波段的全空間分辨率?？梢愿鶕?jù)應(yīng)用要求定制濾光片，并且可以修改濾光輪。該系統(tǒng)的缺點(diǎn)包括成像速度慢且耗時(shí)、圖像配準(zhǔn)復(fù)雜、幾何失真復(fù)雜以及定制濾光片成本高。還有一個(gè)問(wèn)題是，在系統(tǒng)中添加機(jī)械元件（電動(dòng)輪），可能需要定期維護(hù)或更換。

像素化多光譜濾波器陣列（區(qū)域掃描）
使用拜耳彩色濾波器陣列 (CFA) 和去馬賽克的單傳感器成像已在當(dāng)前的緊湊型低成本彩色數(shù)碼相機(jī)中得到充分應(yīng)用。通過(guò)將 CFA 的概念擴(kuò)展到多光譜濾波器陣列 (MSFA)，人們可以一次性獲取多光譜圖像，在某些情況下甚至可以獲取高光譜圖像，而無(wú)需增加尺寸或成本。這種捕獲方法也稱(chēng)為快照馬賽克成像。快照馬賽克傳感器可以支持 VIS (可見(jiàn)光)、VIS-NIR 和 NIR-SWIR 波長(zhǎng)中的 4 到 40 個(gè)通道。在批次間制造中實(shí)現(xiàn)非常高的基于像素的一致性一直具有挑戰(zhàn)性。真實(shí)世界波段可能具有相對(duì)較高的串?dāng)_，這會(huì)影響整體光譜靈敏度、像素相關(guān)的噪聲參數(shù)和光譜重建的準(zhǔn)確性。這些濾波器的算法校正非常復(fù)雜。更重要的是，由于濾波器陣列中每個(gè)光譜帶的采樣非常稀疏，多光譜濾波器陣列的多光譜去馬賽克一直是一個(gè)具有挑戰(zhàn)性的問(wèn)題。波段越多，每個(gè)波段的空間精度就越低。

兩個(gè)帶有分束器的相機(jī)（區(qū)域掃描）
解決與多個(gè)獨(dú)立相機(jī)方法相關(guān)的問(wèn)題的一種方法是引入一個(gè)分束器元件，該元件可以從一組通用光學(xué)器件同時(shí)捕獲多個(gè)相機(jī)上的圖像。例如，使用兩個(gè)拜耳模式相機(jī)，可以捕獲兩個(gè) 3 波段圖像并將其重建為 6 通道（2 倍 RGB）光譜圖像?；蛘呖梢詫荻鄼C(jī)與 NIR 相機(jī)組合以產(chǎn)生 4 通道 RGB+NIR 輸出。可以添加額外的分束器和相機(jī)來(lái)捕獲額外的波段。這種方法緩解了與基本多相機(jī)方法相關(guān)的圖像捕獲和圖像配準(zhǔn)問(wèn)題。光譜信息可以在多個(gè)捕獲的圖像之間關(guān)聯(lián)和組合。最 大的缺點(diǎn)是，如果系統(tǒng)中有多個(gè)相機(jī)，系統(tǒng)會(huì)變得非常龐大且昂貴。此外，使用分束器會(huì)損失光強(qiáng)度。這種方法通常需要高功率照明，因此需要在高速度和系統(tǒng)的光靈敏度之間進(jìn)行權(quán)衡。

多傳感器二向色棱鏡相機(jī)（區(qū)域或線掃描）
乍一看，這似乎與分束器方法非常相似，但有兩個(gè)非常顯著的區(qū)別。首先，只有傳感器，而不是完整的相機(jī)，被安裝并對(duì)準(zhǔn)到棱鏡面。與前面描述的多相機(jī)分束器成像系統(tǒng)相比，這顯著減小了尺寸。其次，棱鏡塊使用硬二向色涂層，充當(dāng)干涉濾光片，將入射光的適當(dāng)光譜范圍引導(dǎo)到每個(gè)傳感器。因此，每個(gè)通道不會(huì)將相同的光分裂到多個(gè)通道并從而降低其強(qiáng)度，而是接收其需要捕獲的范圍的全部光量，無(wú)論是可見(jiàn)光還是不可見(jiàn)光區(qū)域中的寬帶還是窄帶。與馬賽克方法不同，可以實(shí)現(xiàn)每個(gè)波段的全空間分辨率。在區(qū)域掃描場(chǎng)景中，如今分辨率可達(dá) 3.2 MP，每波段速度超過(guò) 100 fps，而在線掃描中，相機(jī)可在 35 kHz 下實(shí)現(xiàn)每波段 8192 像素。這種方法的主要限制是棱鏡的尺寸（因此相機(jī)的尺寸）需要支持多個(gè)大型傳感器。這可能會(huì)限制可使用的傳感器的最 大分辨率和/或像素大小。

多線相機(jī)（帶濾波器的三線、四線、TDI 型線掃描）
帶有多線傳感器的線掃描相機(jī)也可用于多光譜應(yīng)用。帶有三線 RGB 傳感器的線掃描相機(jī)常用于彩色成像應(yīng)用。四線傳感器相機(jī)可以由 RGB-NIR 或 RGB-單色組成。這是實(shí)現(xiàn)多光譜成像的方法之一。多線傳感器上的線數(shù)可以從 3 條到幾十條不等。當(dāng)今最流行的相機(jī)有 8 到 16 條線，其中每條像素線都有一個(gè)獨(dú)特的光譜帶通濾波器，因此可以捕獲多達(dá) 16 個(gè)波段的多光譜圖像。相同的技術(shù)可以擴(kuò)展到 TDI 型傳感器，它由近 200 條線組成，分為 3 或 4 個(gè)光譜域。多線相機(jī)還可以在現(xiàn)有的 RGB 傳感器上安裝額外的光學(xué)濾光片。這種方法將水平線分辨率分為最多 4 個(gè)部分，具體取決于光學(xué)濾光片的數(shù)量。通過(guò)將 5 個(gè)光學(xué)濾鏡與 RGB 傳感器相結(jié)合，最多可以實(shí)現(xiàn) 15 個(gè)光譜波段。這種方法的缺點(diǎn)是光譜通道數(shù)越多，系統(tǒng)的水平分辨率就越低。

用于多光譜成像的推掃式相機(jī)（線掃描）
傳統(tǒng)上用于高光譜相機(jī)的推掃式方法也可應(yīng)用于多光譜成像，為可捕獲的光譜波段數(shù)量增加了極大的靈活性。x-λ 掃描（即跨越水平分辨率和多個(gè)波段）同時(shí)進(jìn)行，而沿傳輸方向（y 軸）的掃描是連續(xù)的。這項(xiàng)技術(shù)可以逐行捕獲完整的空間和光譜信息。推掃式相機(jī)由三個(gè)主要部件組成：鏡頭、成像光譜儀和硅基圖像傳感器（對(duì)于 VIS-NIR）或 InGaAs 傳感器（對(duì)于 NIR-SWIR）。成像光譜儀由光色散單元和聚焦光學(xué)元件組成，是推掃式相機(jī)的關(guān)鍵部件。在成像光譜儀中，光線穿過(guò)輸入狹縫（準(zhǔn)直器）到達(dá)色散單元，然后聚焦到圖像傳感器上，提供單線的 x-λ 坐標(biāo)。如今，線分辨率可以達(dá)到 1024 像素，波長(zhǎng)可在 5 到 224 個(gè)波段之間自由選擇。光譜范圍取決于所用傳感器的類(lèi)型，但 VIS-NIR 很受歡迎。雖然這項(xiàng)技術(shù)提供了良好的靈活性，但缺點(diǎn)是速度會(huì)隨著通道數(shù)量的增加而增加。在全范圍（224 個(gè)波段）中，這是一種高光譜方法，幀速率僅為 500 Hz。對(duì)于許多工業(yè)應(yīng)用來(lái)說(shuō)，這太慢了。

多光譜成像的區(qū)域掃描與線掃描

在所解釋的多光譜成像方法中，只有極少數(shù)方法可用于高速工業(yè)應(yīng)用。在區(qū)域掃描中，基于多傳感器棱鏡的方法非常適合檢查高速生產(chǎn)的批量產(chǎn)品。其他區(qū)域掃描方法，如像素化多光譜像素陣列（快照馬賽克）和基于濾光輪的方法，對(duì)于工業(yè)成像來(lái)說(shuō)太慢了。除此之外，使用快照馬賽克相機(jī)的空間分辨率和像素信息重建也非常具有挑戰(zhàn)性。

基于濾光輪的相機(jī)體積龐大，由多個(gè)活動(dòng)部件組成，這降低了該方法的穩(wěn)健性。話雖如此，與基于多傳感器棱鏡的方法相比，快照馬賽克和濾光輪方法提供了更多的光譜波段?？煺振R賽克適用于不需要良好空間精度的農(nóng)業(yè)、智能農(nóng)業(yè)和醫(yī)學(xué)成像應(yīng)用?；跒V光輪的相機(jī)特別適合舊畫(huà)和古典藝術(shù)的數(shù)字存檔?；诙鄠鞲衅骼忡R的相機(jī)非常適合精準(zhǔn)農(nóng)業(yè)、智能農(nóng)業(yè)、水果、蔬菜、肉類(lèi)、海鮮等商品的在線檢查以及食品和藥品包裝、電子產(chǎn)品和印刷電路板等工業(yè)品。

對(duì)于使用線掃描相機(jī)進(jìn)行多光譜成像，有兩種主要方法具有良好的潛力。一種是使用 Pushbroom 高光譜傳感器，它允許從高光譜方法（225 個(gè)光譜帶）縮小到多光譜方法（5 個(gè)光譜帶，6.5kHz 線速率），這使得該方法可用于工業(yè)中速應(yīng)用，例如檢查食品、回收和包裝貨物。

基于多傳感器棱鏡的線傳感器方法可實(shí)現(xiàn)極高的速度（4K 像素下最 高可達(dá) 77 kHz），并可同時(shí)對(duì)可見(jiàn)光和近紅外波段進(jìn)行成像，最多可組合四個(gè)光譜波段。速度使得該方法可用于所有基于皮帶、通道或自由落體分揀的高速應(yīng)用。

第三種方法 - 使用帶有光學(xué)濾波器的標(biāo)準(zhǔn)三線線傳感器，降低水平線分辨率，并實(shí)現(xiàn) 6 到 12 個(gè)通道 - 多年來(lái)一直試圖進(jìn)入印刷、食品、陶瓷和紡織品檢測(cè)領(lǐng)域，但由于校準(zhǔn)程序復(fù)雜、精度低和 API 難以使用而未能成功。

選擇多光譜成像相機(jī)技術(shù)時(shí)的主要考慮因素

易于設(shè)置（系統(tǒng)集成）-使用多光譜成像比使用標(biāo)準(zhǔn)機(jī)器視覺(jué)相機(jī)復(fù)雜得多。為了設(shè)置和集成多光譜成像系統(tǒng)的不同組件，重要的是要擁有良好的專(zhuān)業(yè)知識(shí)，不僅要了解相機(jī)，還要了解涉及光源、要檢查的物體的性質(zhì)以及數(shù)據(jù)處理和圖像數(shù)據(jù)校正產(chǎn)生的瓶頸的校準(zhǔn)程序。整個(gè)系統(tǒng)集成可能不像高光譜系統(tǒng)那么復(fù)雜，但這實(shí)際上取決于用戶希望通過(guò)多光譜成像系統(tǒng)實(shí)現(xiàn)什么。

速度和分辨率：工業(yè)檢測(cè)程序需要高吞吐量。許多多光譜系統(tǒng)的讀出架構(gòu)和結(jié)構(gòu)在速度上受到限制。速度取決于波長(zhǎng)通道的數(shù)量、使用的多光譜技術(shù)類(lèi)型和接口。光譜帶的數(shù)量越多，捕獲高速應(yīng)用所需的光量就越困難。空間分辨率對(duì)于多光譜成像來(lái)說(shuō)也是一個(gè)挑戰(zhàn)，尤其是在檢測(cè)小物體時(shí)?；诳煺振R賽克傳感器的相機(jī)使用插值從單個(gè)像素值估計(jì)缺失的空間信息，但在檢測(cè)較小的缺陷尺寸時(shí)，這種方法并不十分準(zhǔn)確。每個(gè)應(yīng)用可能需要在可能的多光譜通道數(shù)量和可實(shí)現(xiàn)的速度和分辨率之間進(jìn)行不同的權(quán)衡。

光譜波段數(shù)量：應(yīng)用所需的光譜波段數(shù)量實(shí)際上取決于待檢測(cè)物體的性質(zhì)、所需的檢測(cè)精度以及使用額外的光譜估計(jì)技術(shù)在圖像處理方面可以實(shí)現(xiàn)的精度。在某些應(yīng)用中，例如紅色邊緣檢測(cè)或 NDVI 分析，可以清楚地知道需要紅色和 NIR 區(qū)域中的哪些波段來(lái)從植物中捕獲所需的數(shù)據(jù)。對(duì)于光譜數(shù)據(jù)眾所周知的塑料和有機(jī)材料，情況也是如此。另一個(gè)例子是熒光內(nèi)窺鏡檢查，其中 ICG 吸收和熒光反射波段是已知的。在這種情況下，可能不需要超出有限數(shù)量的波段。但是，也有一些應(yīng)用涉及要檢查的不同材料的混合，或者需要多個(gè)光譜帶來(lái)準(zhǔn)確識(shí)別特定波長(zhǎng)帶，或者基于多光譜成像的光譜顏色測(cè)量應(yīng)用。這樣的應(yīng)用需要相對(duì)較多的光譜波段。

靈活性：靈活或可擴(kuò)展的多光譜系統(tǒng)主要適用于在同一臺(tái)機(jī)器上檢查不同類(lèi)型材料的應(yīng)用。靈活性允許用戶根據(jù)應(yīng)用需求調(diào)整多光譜成像系統(tǒng)。這種靈活性主要體現(xiàn)在所需的光譜波段數(shù)量上，這會(huì)增加或降低成像系統(tǒng)的速度。某些系統(tǒng)的靈活性也意味著較低的穩(wěn)健性，因?yàn)榭赡苄枰鼡Q變化或移動(dòng)的部件（例如，在濾光輪方法中，濾光輪可以輕松更換，但它會(huì)在系統(tǒng)中增加一個(gè)移動(dòng)組件，這會(huì)影響系統(tǒng)的穩(wěn)健性）。另一方面，有些相機(jī)在制造時(shí)具有靈活性，但在產(chǎn)品完成后就沒(méi)有靈活性了。多傳感器棱鏡式相機(jī)在制造過(guò)程中具有靈活性，可以根據(jù)硬二向色涂層和基本棱鏡參數(shù)選擇相機(jī)所需的光譜響應(yīng)。但是，一旦制造了棱鏡傳感器組件，就無(wú)法更改。基于快照馬賽克傳感器的相機(jī)具有相同的邏輯。一旦多光譜濾波器陣列固定在傳感器上，在檢查任務(wù)期間就無(wú)法更換或修改。

處理多光譜數(shù)據(jù)立方體和數(shù)據(jù)流：多光譜成像的挑戰(zhàn)之一是處理多光譜數(shù)據(jù)立方體。這遠(yuǎn)沒(méi)有高光譜數(shù)據(jù)立方體復(fù)雜，高光譜數(shù)據(jù)立方體每個(gè)像素可能有幾百個(gè)光譜，但比處理傳統(tǒng)的 RGB 相機(jī)系統(tǒng)更復(fù)雜。系統(tǒng)架構(gòu)必須能夠正確處理、過(guò)濾和解釋多光譜數(shù)據(jù)。光譜通道數(shù)越少，這就越簡(jiǎn)單。第二個(gè)挑戰(zhàn)可能來(lái)自從相機(jī)到處理站的數(shù)據(jù)流所使用的方法。在多流的情況下，其優(yōu)點(diǎn)是可以獨(dú)立控制各個(gè)數(shù)據(jù)流，挑戰(zhàn)在于在應(yīng)用軟件上管理這一點(diǎn)。處理多流需要能夠同時(shí)處理兩個(gè)或更多個(gè)流的軟件架構(gòu)。僅為單流設(shè)計(jì)的軟件期望設(shè)備發(fā)送單幀或同時(shí)可用的多部分有效載荷。因此，對(duì)于單幀和多部分有效載荷，用戶都可以調(diào)用單個(gè)函數(shù)并從一個(gè)流中獲取圖像。但是，也有一些平臺(tái)，例如 JAI 的 eBUS Player，它可以在只讀模式下第二次或第三次打開(kāi)相機(jī)設(shè)備并處理多個(gè)數(shù)據(jù)流。

系統(tǒng)成本 –決策的一個(gè)驅(qū)動(dòng)因素始終是成本。緊湊、用戶友好、量產(chǎn)的相機(jī)比高度專(zhuān)業(yè)化和笨重的系統(tǒng)成本更低。成本還取決于需要執(zhí)行的檢查任務(wù)。與研究、高科技或科學(xué)成像中的應(yīng)用相比，由最終消費(fèi)者或接近最終消費(fèi)者驅(qū)動(dòng)的應(yīng)用（例如食品和農(nóng)業(yè)檢查）對(duì)價(jià)格更為敏感。如今，高端高光譜成像系統(tǒng)的起價(jià)約為每臺(tái)相機(jī)系統(tǒng) 20,000 歐元。量產(chǎn)的多光譜相機(jī)應(yīng)遠(yuǎn)低于 10,000 歐元，才能具有商業(yè)吸引力。基于多臺(tái)相機(jī)的多光譜相機(jī)比其他方法（例如基于多傳感器棱鏡的相機(jī)或基于多光譜陣列的相機(jī)）更昂貴。同樣重要的是要注意，成本討論必須權(quán)衡并根據(jù)多光譜成像可以提供的價(jià)值來(lái)解決或簡(jiǎn)化現(xiàn)有成像問(wèn)題。