近日，中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院集成所光電工程技術(shù)中心李劍平博士團(tuán)隊(duì)在海洋觀測(cè)機(jī)器視覺(jué)算法研究中取得新突破，設(shè)計(jì)發(fā)展了一種深度學(xué)習(xí)圖像著色算法，可將水下原位拍攝的海洋浮游生物灰度圖像自動(dòng)著色為天然色彩，著色效果極為接近人眼觀察。最新研究論文以Colorization for In Situ Marine Plankton Images為題，被國(guó)際機(jī)器視覺(jué)三大頂級(jí)學(xué)術(shù)會(huì)議之一的歐洲機(jī)器視覺(jué)大會(huì)(European Conference on Computer Vision，2022 ECCV，10.23日-27日于以色列特拉維夫召開(kāi))接收發(fā)表，中國(guó)科學(xué)院大學(xué)碩士研究生郭冠男為第一作者，李劍平博士為論文通信作者，來(lái)自廈門大學(xué)、哈爾濱工業(yè)大學(xué)（深圳）的數(shù)據(jù)科學(xué)家參與本課題的合作研究。

　　浮游生物是海洋生態(tài)系統(tǒng)的基本組成部分，它們不僅是海洋漁業(yè)和水產(chǎn)養(yǎng)殖業(yè)的基礎(chǔ)，還對(duì)全球氣候變化和海洋碳匯起著難以估量的影響。因此，對(duì)浮游生物的觀測(cè)不僅是海洋生態(tài)科學(xué)研究的基礎(chǔ)，也是現(xiàn)代海洋生態(tài)環(huán)境管理不可或缺的手段。 自20世紀(jì)90年代初以來(lái)，水下顯微光學(xué)成像技術(shù)和儀器被逐步研發(fā)利用，通過(guò)原位成像觀測(cè)助力海洋浮游生態(tài)系統(tǒng)研究，大大推動(dòng)了人類對(duì)以浮游生物觀測(cè)為基礎(chǔ)的相關(guān)科學(xué)認(rèn)知。 

　　近年來(lái)，隨著技術(shù)的發(fā)展，越來(lái)越多的浮游生物成像儀實(shí)現(xiàn)了彩色成像，也有許多實(shí)驗(yàn)證明彩色圖像能夠比灰度圖像帶來(lái)更為豐富的信息，對(duì)浮游生物觀測(cè)起到重要作用。然而，水下彩色成像需要使用白光照明，會(huì)導(dǎo)致浮游動(dòng)物因趨光性大量聚集在水下成像儀器前，改變它們在水下的原有空間分布（如下圖所示）。這種非自然的改變，會(huì)使導(dǎo)致浮游生物的觀測(cè)結(jié)果產(chǎn)生嚴(yán)重偏差，觀測(cè)定量無(wú)法準(zhǔn)確。

　　由于絕大多數(shù)浮游動(dòng)物對(duì)波長(zhǎng)較長(zhǎng)的紅光不敏感，傳統(tǒng)的水下成像儀多數(shù)使用紅光或近紅外光照明成像，以避免浮游動(dòng)物的趨光性聚集。但是，顯然這樣的拍攝條件只能獲得浮游生物的灰度圖像。如果能夠訓(xùn)練人工智能，將紅光照明下獲取的灰度圖像轉(zhuǎn)換為高保真的彩色圖像，則上述問(wèn)題即可迎刃而解。 

　　針對(duì)這一設(shè)想，李劍平團(tuán)隊(duì)設(shè)計(jì)并訓(xùn)練了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的浮游生物自動(dòng)著色算法，命名為IsPlanktonCLR網(wǎng)絡(luò)。 IsPlanktonCLR網(wǎng)絡(luò)采用了一種具有自指導(dǎo)功能的雙通路網(wǎng)絡(luò)結(jié)構(gòu)，配合定制化的調(diào)色板和逐步聚焦的損失函數(shù)，實(shí)現(xiàn)了對(duì)浮游生物灰度圖像的自動(dòng)化著色，且對(duì)稀有物種和普通物種的關(guān)鍵部位的色彩還原具有優(yōu)異的準(zhǔn)確性。 

　　為實(shí)現(xiàn)IsPlanktonCLR算法的訓(xùn)練開(kāi)發(fā)，李劍平團(tuán)隊(duì)通過(guò)長(zhǎng)期不懈積累，構(gòu)建了一個(gè)包含上千對(duì)浮游生物彩色-灰度原位圖像對(duì)數(shù)據(jù)集。利用該數(shù)據(jù)集，團(tuán)隊(duì)不僅訓(xùn)練了著色算法，還與CIC、MemoColor、LetColor、InstCol、Chroma等現(xiàn)有最優(yōu)水平著色算法進(jìn)行了性能對(duì)比。實(shí)驗(yàn)結(jié)果證實(shí)，無(wú)論是在人眼視覺(jué)感受效果上，還是在PSNR、SSIM、FID等機(jī)器視覺(jué)的經(jīng)典量化指標(biāo)上，IsPlanktonCLR算法所取得的效果均為最佳。 

　　為使比測(cè)實(shí)驗(yàn)更加公平，團(tuán)隊(duì)進(jìn)行了一項(xiàng)較大規(guī)模的人眼感受評(píng)價(jià)民眾調(diào)查。利用網(wǎng)上調(diào)查問(wèn)卷，團(tuán)隊(duì)收集了115名志愿者對(duì)多種不同模型著色結(jié)果與真實(shí)圖像色彩相似性的評(píng)分。這些志愿者包含了海洋學(xué)家、浮游生物專家和研究生。統(tǒng)計(jì)評(píng)分結(jié)果進(jìn)一步證實(shí)了IsPlanktonCLR算法的著色效果比現(xiàn)有其他方法更加接近人眼視覺(jué)感受。 　此外，團(tuán)隊(duì)還注意到現(xiàn)有面向圖像復(fù)原的著色算法普遍缺乏客觀、定量的著色評(píng)價(jià)指標(biāo)。現(xiàn)有評(píng)價(jià)指標(biāo)不僅難以模擬人眼視覺(jué)的色彩感知能力，還難以客觀量化評(píng)價(jià)著色圖像與真實(shí)圖像之間的色彩相似程度。 

　　因此，該論文提出了一個(gè)融合了色彩直方圖、色彩聚合向量、色彩相關(guān)圖和色彩梯度等彩色特征的圖像色彩相似度評(píng)價(jià)指標(biāo)CDSIM。通過(guò)在海洋浮游生物和自然場(chǎng)景圖像上分別開(kāi)展測(cè)試（如下圖所示），驗(yàn)證了CDSIM在著色算法效果評(píng)價(jià)中不僅有效，而且比現(xiàn)有其他指標(biāo)更適合在科學(xué)成像領(lǐng)域的圖像著色評(píng)價(jià)中應(yīng)用。 

　　IsPlanktonCLR算法的發(fā)展為海洋成像觀測(cè)儀器獲取準(zhǔn)確、真實(shí)的觀測(cè)結(jié)果提供了一種新的人工智能解決方案，其效果不僅直接規(guī)避了海洋浮游生物原位成像中因生物趨光聚集所致的觀測(cè)不準(zhǔn)確問(wèn)題，還有可能為其他海洋生物的成像觀測(cè)困難或損傷帶來(lái)新的問(wèn)題解決思路，為人類探索和認(rèn)識(shí)海洋提供新的技術(shù)手段。本項(xiàng)目得到中國(guó)科學(xué)院和深圳市科技創(chuàng)新計(jì)劃等項(xiàng)目資助。 

　　　　浮游生物圖像自動(dòng)著色算法的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖 

　　　CDSIM在海洋浮游生物圖像（a）和自然場(chǎng)景圖像（b）上的測(cè)試結(jié)果示例