社交行為是高等哺乳動(dòng)物重要的本能行為，社交障礙是自閉癥、抑郁癥以及社交焦慮癥等疾病的高度共有病征，社交行為的讀取與解析是研究社交障礙神經(jīng)環(huán)路機(jī)制關(guān)鍵技術(shù)之一。
1月8日，中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院腦所/深港腦科學(xué)創(chuàng)新研究院蔚鵬飛研究員團(tuán)隊(duì)在人工智能領(lǐng)域國(guó)際頂級(jí)期刊《自然 機(jī)器智能》(Nature Machine Intelligence) 期刊發(fā)表了題為 Multi-animal 3D social pose estimation, identification, and behavior embedding with a few-shot learning framework的論文，發(fā)布了神經(jīng)環(huán)路研究領(lǐng)域一項(xiàng)突破性應(yīng)用技術(shù)：針對(duì)社交行為研究的小樣本學(xué)習(xí)計(jì)算框架模型Social Behavior Atlas （以下簡(jiǎn)稱“SBeA”）。
該技術(shù)實(shí)現(xiàn)了自由社交動(dòng)物模型的無(wú)標(biāo)簽、高精度三維姿態(tài)估計(jì)、零樣本身份識(shí)別和精細(xì)化社交行為分類，真正解決了精確檢測(cè)動(dòng)物社交行為的多個(gè)重要難點(diǎn)，有望為社交行為神經(jīng)環(huán)路機(jī)制的研究帶來(lái)研究范式上的變革創(chuàng)新。該工作為科技創(chuàng)新2030-“腦科學(xué)與類腦研究”重大項(xiàng)目“社交障礙的神經(jīng)環(huán)路機(jī)制與干預(yù)研究”的實(shí)施，提供了重要的精細(xì)行為數(shù)據(jù)分析支撐。
近年來(lái)，深度學(xué)習(xí)技術(shù)在傳統(tǒng)行為學(xué)研究領(lǐng)域的廣泛應(yīng)用，促進(jìn)了計(jì)算神經(jīng)行為學(xué)（computational neuroethology）這一新興學(xué)科的蓬勃發(fā)展，DeepLabCut、SLEAP、MoSeq等AI動(dòng)物行為追蹤技術(shù)正在成為神經(jīng)科學(xué)家的重要研究工具。但是在多目標(biāo)、自由社交行為的研究領(lǐng)域，盡管上述技術(shù)都相繼推出了自己社交行為分析版本，但是在海量數(shù)據(jù)標(biāo)注問(wèn)題、連續(xù)追蹤的身份準(zhǔn)確性等問(wèn)題上的技術(shù)不成熟，使得目前研究人員仍沒(méi)有真正可用的有效工具，社交行為的研究大部分仍停留在傳統(tǒng)三廂行為實(shí)驗(yàn)階段。
上述現(xiàn)有歐美技術(shù)的性能首先受制于人工標(biāo)注數(shù)據(jù)集的數(shù)據(jù)量。在社交行為實(shí)驗(yàn)中，無(wú)法避免地需要在多種行為實(shí)驗(yàn)范式中使用不同的模式動(dòng)物，深度學(xué)習(xí)模型精準(zhǔn)與否取決于實(shí)驗(yàn)人員標(biāo)注的視頻的數(shù)量，每一個(gè)數(shù)據(jù)集的準(zhǔn)備都需要花費(fèi)實(shí)驗(yàn)人員數(shù)周的時(shí)間，極大地降低了實(shí)驗(yàn)效率，限制了上述工具的應(yīng)用場(chǎng)景。SBeA在自由社交動(dòng)物的姿態(tài)估計(jì)、身份識(shí)別和行為分類的三個(gè)階段，分別針對(duì)性地提出了小樣本的數(shù)據(jù)生成算法、零樣本雙向遷移學(xué)習(xí)方法和自然結(jié)構(gòu)啟發(fā)的無(wú)監(jiān)督社交行為分解聚類策略，有效降低了每個(gè)階段的數(shù)據(jù)標(biāo)注量。
SBeA的姿態(tài)估計(jì)小樣本數(shù)據(jù)生成算法和身份識(shí)別零樣本雙向遷移學(xué)習(xí)方法的設(shè)計(jì)均受到大腦的工作機(jī)制的啟發(fā)（圖1）。人類在識(shí)別交互的動(dòng)物時(shí)，能 “腦補(bǔ)”動(dòng)物可能存在的遮擋關(guān)系，這一過(guò)程為大腦提供大量的新數(shù)據(jù)。據(jù)此所提出的連續(xù)遮擋復(fù)制粘貼數(shù)據(jù)算法可以有效合成大量新數(shù)據(jù)（圖1a），能夠訓(xùn)練精度更高的模型，獲得更加準(zhǔn)確的3D社交姿態(tài)估計(jì)結(jié)果。在非社交場(chǎng)景中，人類能夠通過(guò)外表區(qū)分每一只動(dòng)物的身份，也能“腦補(bǔ)”到多動(dòng)物社交場(chǎng)景，識(shí)別每一只動(dòng)物的身份。受到啟發(fā)，SBeA的多動(dòng)物社交身份識(shí)別通過(guò)共享不同網(wǎng)絡(luò)的知識(shí)實(shí)現(xiàn)雙向遷移學(xué)習(xí)（圖1b），借助模型之間的“腦補(bǔ)”，消除了標(biāo)注數(shù)據(jù)的過(guò)程，并實(shí)現(xiàn)了高精度的外表相似動(dòng)物的身份識(shí)別。
多動(dòng)物社交行為分析最大的難點(diǎn)在于同時(shí)區(qū)分外觀非常相似的動(dòng)物。兩只小鼠在自由社交時(shí)，區(qū)分它們的身份是研究特定疾病造模個(gè)體的基礎(chǔ)，然而即使是專業(yè)的實(shí)驗(yàn)人員也很難區(qū)分每一只的身份。零樣本雙向遷移學(xué)習(xí)借助人工智能超越人類精度的圖像特征分辨能力，實(shí)現(xiàn)了大于90%的自由社交動(dòng)物身份識(shí)別準(zhǔn)確率（圖2），推動(dòng)社交行為研究進(jìn)入不需要約束動(dòng)物的自然行為時(shí)代，革新社交實(shí)驗(yàn)范式。
動(dòng)物行為具有類比人類語(yǔ)言的“字母-單詞-語(yǔ)句”結(jié)構(gòu)，社交行為則包含動(dòng)物與動(dòng)物之間行為語(yǔ)言結(jié)構(gòu)的交互。根據(jù)社交行為的自然結(jié)構(gòu)，將社交行為類比語(yǔ)言進(jìn)行并行、動(dòng)態(tài)的分解，綜合考量多種社交行為特征進(jìn)行社交行為的自適應(yīng)無(wú)監(jiān)督聚類，獲得百余種精細(xì)社交行為模塊（圖3）。SBeA不需要提前定義社交行為類別，有利于發(fā)現(xiàn)新的、未定義的社交行為差異。SBeA能夠鑒定三箱社交、分區(qū)域社交等經(jīng)典社交實(shí)驗(yàn)范式難以獲得的自由社交行為表型。使用SBeA，鑒定得到孤獨(dú)癥小鼠模型和正常小鼠兩兩之間社交的精細(xì)行為差異（圖4），孤獨(dú)癥小鼠模型缺少的相互理毛、同伴嗅探和增加的原地不動(dòng)、刻板的同步行為顯示出自然狀態(tài)下孤獨(dú)癥小鼠模型親社會(huì)樣行為的缺失、社交新穎性和運(yùn)動(dòng)能力的降低。僅通過(guò)社交行為的差異即可分類孤獨(dú)癥小鼠社交組和正常小鼠社交組，證明了SBeA具有通過(guò)社交行為來(lái)識(shí)別異常小鼠的能力。
除了小鼠外，SBeA也適用于計(jì)算鳥(niǎo)類和家犬的精準(zhǔn)的3D社交姿態(tài)、身份和精細(xì)社交模塊，具有跨物種應(yīng)用的潛力（圖5）。家犬部分的工作與中國(guó)科學(xué)院昆明動(dòng)物研究所張亞平院士和王國(guó)棟研究員團(tuán)隊(duì)、公安部昆明警犬基地李靜團(tuán)隊(duì)合作，在科技創(chuàng)新2030“腦科學(xué)與類腦研究”重大項(xiàng)目支持下共同完成。
深圳先進(jìn)院腦所蔚鵬飛研究員為論文的通訊作者。論文第一作者是深圳先進(jìn)院腦所在讀博士生韓亞寧，共同第一作者包括碩士生陳可（現(xiàn)就職芯動(dòng)科技）和助理研究員王云珂（現(xiàn)就職微創(chuàng)醫(yī)療）。研究的開(kāi)展要大力感謝深圳先進(jìn)院腦所王立平研究員的關(guān)懷與指導(dǎo)，同時(shí)感謝已畢業(yè)博士黃康（現(xiàn)就職深圳一灣生命科技）的積極支持。感謝科技部科技創(chuàng)新2030“腦科學(xué)與類腦研究”重大項(xiàng)目、國(guó)家自然科學(xué)基金委員會(huì)、中國(guó)科學(xué)院青年創(chuàng)新促進(jìn)會(huì)、國(guó)家重點(diǎn)研發(fā)計(jì)劃、中國(guó)科學(xué)院腦聯(lián)結(jié)解析與調(diào)控重點(diǎn)實(shí)驗(yàn)室和廣東省腦連接圖譜重點(diǎn)實(shí)驗(yàn)室的資助與支持。
圖1 小樣本連續(xù)遮擋復(fù)制粘貼數(shù)據(jù)生成算法
(a)和零樣本雙向遷移學(xué)習(xí)方法 (b)示意圖
圖2 外觀相似動(dòng)物的身份識(shí)別準(zhǔn)確率>90%
圖3 自然行為結(jié)構(gòu)啟發(fā)的社交行為動(dòng)態(tài)分解和聚類流程圖
圖4 SBeA鑒定孤獨(dú)癥小鼠多種異常的精細(xì)社交行為模塊
圖5 SBeA量化鳥(niǎo)類和家犬的精細(xì)社交行為
附件下載：