勇于冒險 甘于艱苦 樂于和諧

? ? ? ?2020年9月18日，應我系郭瓊玉助理教授邀請，廈門大學劉剛教授來我系進行訪問交流，并開展了題為“分子影像探針設計、構建及臨床轉化研究”的學術報告。 會議現場 ? ? ? ?劉剛教授團隊主要圍繞腫瘤精準診療關鍵科學和技術問題，在分子影像探針領域進行深入系統的研究。為了實現腫瘤光熱治療、熒光成像、核磁成像等效果，設計了聚多巴胺修飾的F3O4納米探針；為了提高載體腫瘤靶向效率，設計了錳片載體的遞送系統，提高了腫瘤的靶向效率；劉教授團隊設計了系列新型的高靈敏度多模態分子影像探針，提高了細胞/分子成像示蹤監測的精確性并進行臨床轉化。為了進一步提高腫瘤手術切除的精確度，通過超臨界混合技術將碘化油與吲哚菁綠均勻混合，提高了吲哚菁綠在碘化油中的穩定性，同時在腫瘤精確切除中起到良好效果。 ? ? ? ?最后，基于Exosomes具有非常好的載體遞送特性，劉教授介紹了應用基因工程及原位組裝技術將抗體、多肽等靶向分子構建到Exosomes表面，制備了多功能生物醫用載藥體系，建立了基于仿生細胞分子定向錨定的腫瘤靶向藥物遞送系統和診療一體化新策略。講座結束后，同學們就分子影像探針設計、超臨界技術等相關問題與劉教授進行了深入的交流探討。   文字：高雅楠

? ? ? ?2020年9月4日下午，深圳市科技創新委黨組書記兼副主任邱宣一行6人到訪我系進行調研，深圳市政協副主席、致公黨深圳市委會主委、我系兼職教授王大平，校黨委書記郭雨蓉，協理副校長、前沿與交叉科學研究院院長、科研部部長、講席教授趙予生，科研部副部長、電子與電氣工程系教授貢毅，生物醫學工程系主任、講席教授蔣興宇及我系教研序列教授代表參與了調研座談。 邱宣書記 ? ? ? ?座談上趙予生校長和貢毅部長分別介紹了我校重點科研工作進展與科研項目相關工作基本情況。郭雨蓉書記表示，在各級政府部門領導支持下，學校整體發展情況良好，“2020泰晤士高等教育亞洲大學排名”中中國內地有81所高校上榜，南方科技大學位列中國內地高校第8位，亞洲第33位，這令我們備受鼓舞，作為年輕學校我們還要繼續努力。南科大作為教育統籌綜合改革的試驗田，非常感謝深圳市科創委對我們一直以來不遺余力的支持，南科大將繼續在人才培養、成果轉化、技術創新、深港合作與國際化等方面為深圳經濟建設與發展做出應有貢獻。 ? ? ? ?邱宣書記指出，為促進深圳市生物醫藥產業發展，《深圳市促進生物醫藥產業集聚發展的指導意見》及《深圳市生物醫藥產業集聚發展實施方案(2020-2025年)》、《深圳市生物醫藥產業發展行動計劃(2020-2025年)》、《深圳市促進生物醫藥產業集聚發展的若干措施》四文件同時出臺，力度空前。生物和生命健康產業可謂目前最富活力的新興產業之一，也是全球未來產業競爭的熱點領域。深圳的生物醫藥產業雖然不具有先天優勢，體量不大，但是后發優勢明顯：該產業發展到了新階段，需要大量的資金，而深圳的資金實力雄厚。高校科技工作應進一步突出重點，與國家戰略目標更好銜接，為實現科技強國、教育強國目標，發揮戰略支撐作用。 ? ? ? ?邱宣書記表示，生物醫學工程系近期引入了以王大平教授、吳德成講席教授為代表的多個優秀高端人才科研團隊，發展勢頭強勁。生物醫學工程系前瞻布局人工智能、精準醫療等發展熱點令人印象深刻，未來可期，大有所為。 ? ? ? 邱宣書記對蔣興宇老師關于在南科大盡快搭建深圳市小動物成像平臺的想法表示認可，成像平臺的建立是為深圳市的科研，特別是生物醫藥產業研發這塊來進行使用，讓每一個小企業來建立類似平臺可能很難實現，深圳市政府通過統籌可以集中力量辦大事，建設大平臺，為企業和其他科研機構服務，這種平臺最好是依托像南科大這樣的高校成立，成像平臺也一定是面向深圳市、廣東省甚至全世界公眾開放服務使用，資源共享的。 ? ? ? ? 王大平主席提出，南科大應考慮建立一個醫療器械培訓中心，用于讓一線醫生接觸到一線先進的研發技術，通過這個培訓中心，把最先進最前沿的生物醫學技術介紹給醫生并實現運用，如此良性循環，南科大將會對深圳市的醫療水平的大幅提高起到很大的幫助。 ? ? ? ?蔣興宇系主任會上匯報了我系近年來取得的主要教學科研成就，他強調，特別感謝市科創委?對我校及我系的認可，深圳創造產出也很喜人，蔣興宇老師本人作為首席科學家拿下了南科大首個國家重點研發計劃，我系國家、省市級科研團隊和人才項目也有多項入選。在技術應用方面我系也非常重視跟深圳市企業的合作，協助轉型，參與高端前沿研究。生物醫學工程系將繼續整合世界一流的技術，吸引國內國際上一流的人才加入，爭取更大的科研突破。 ? ? ? ?王大平主席表示，深圳在醫療、教育等方面存在需要長期耕耘，要想實現“民生幸福標桿”，要求非常高，發展好南方科技大學生物醫學工程系不僅事關民生，更事關深圳的創新后勁和人才儲備。我校和我系要找準切入點，比如以服務于深圳市所有的健康產業為出發點，主動對接、主動服務國家重大戰略，建設一批國際交流合作平臺，提升國際合作交流水平，廣泛開展人員培訓與交流、技術轉移和成果轉化。 ? ? ? ?會議座談后，邱宣等人參觀了我系智能骨科重點實驗室。參與此次走訪的代表還包括市科技創新委生物科技處處長黎慧來、市科技創新委生物科技處副處長付秀芹、市科技創新委基礎研究和平臺基地處胡懷江、市科技創新委生物科技處楊明明、市科技創新委生物科技處盧建等。   文字：張藝真

? ? ? ?2020年7月16日，我校副校長、教務長張東曉講席教授到訪我系，在我系324會議室聽取了系主任蔣興宇講席教授、副系主任奚磊副教授、教授代表陳放怡副教授對我系現狀和改革進展做的報告。 ? ? ? ?會議上，蔣興宇老師匯報了近期我系的重點工作主要包括本科新專業以及博士點的申請。關于博士點申請，蔣興宇老師表示，博士點我們從非常早就開始謀劃準備，目前我們系所有申請指標全部達標。并且在全國有博士點的高校數量中，生物醫學工程專業是比較少的，國務院評議小組也特別希望增加生物醫學工程專業博士點數量。總體規劃上說，生醫工系的博士點希望能得到學校的支持，我們也有信心發展進入國內專業前十。 ? ? ? ?張校長表示，對于學科點發展申報工作，學校層面一定會給予支持。生醫工系在短時間內發展勢頭喜人，教授隊伍非常年輕且有干勁，研究質量產出很高。此外，張校長強調，南科大生醫工系的發展一定要有特色，要注重發掘和培養，打造小而精的發展典范。教授們（特別是年輕教授們）在國內和國際科研領域里要注重交流和曝光度，我校生醫工的公共經費支持和人才招聘政策在全國范圍內是非常有優勢的。同時，張校長還鼓勵我系年輕教授們多和領域內的項尖人才交流，注重創新發展。強調只有系里的人才發展好了，學院才能發展好，學校才能發展好，才能持續為人才們提供更好的發展平臺，從而形成良性循環。   文字：張藝真

? ? ? ?2020年7月3日電子科技大學顧實教授受南方科技大學生物醫學工程系劉泉影助理教授邀請，在生物醫學工程系生物醫學講堂進行了題為《腦網絡控制理論分析》的講座。本文為該講座的總結推文。 ? ? ? ?本講座中，顧實教授分別從研究動機、擬解決的問題、理論基礎、臨床應用等角度介紹了其團隊在腦網絡控制理論方面的多個工作。   1. 研究動機與科學問題 ? ? ? ?對腦網絡的控制的研究，主要有如下三個方面的動機： ? ? ? ?研究動機1是腦網絡控制能用于認知控制(cognitive control)。認知控制是一個復雜的人類認知神經過程。在認知任務中，它涉及到認知狀態的轉換。之前的一些研究通過激活地圖(activation map)的方法探究大腦哪些區域會牽涉（involve）到認知控制的過程中，但是這樣的研究缺乏在神經機制上的解釋。網絡神經科學(network neuroscience)的發展則從網絡的角度尋求解釋：牽涉到的大腦hub區域是怎么參與到整個認知調控過程中。 ? ? ? ?研究動機2是它能用于大腦動態重構(Brain Dynamic Reconfiguration)，即在靜態結構的基礎上，關注動態結構的轉換。Bassett et al. (2013)通過研究在不同的時間窗口內動態腦網絡連接結構的調整，發現網絡拓撲結構可能是跟認知能力、認知過程等有關。動態重構大腦能揭示哪些腦網絡模塊化結構(module structure)發生了變化，從網絡動力學模型的角度，而不是簡單的從數據驅動的角度，對網絡隨時間的變化進行解釋。 ? ? ? ?研究動機3是腦網絡控制能用于神經疾病臨床治療(Clinical Treatment of Neural Disorder)。在治療精神疾病過程中，可能會采取腦刺激干涉的方法，比如利用經顱磁刺激技術(TMS)刺激大腦特定區域，以激活或者抑制某些腦區。現有的研究一般是基于經驗規律選擇某些區域施加信號，而通過網絡控制理論構建區域間影響的研究范式，可以設計更優化的治療方案，甚至一些試探性的結果。這些結果使得對神經反饋(neuralfeedback)、干預(intervention)從經驗性方法上升為具有系統性理論保障的科學體系。 ? ? ? ?基于上述3個研究動機，構建腦網絡控制理論，以解答如下三個科學問題： ? ? ? ?科學問題1: 對腦網絡的調控、動態網絡調整、認知過程的狀態轉換(state transition)都需要考慮到一個最基本的問題，即如何去定義、表達大腦狀態以及描述狀態間的轉換，如何使用連續、離散或其他方法把它與可測神經信息結合起來。 ? ? ? ?科學問題2: 如何度量一個腦區對整個系統動態的影響：即如何從網絡的角度，考慮整個神經系統的狀態變化，及其所涉及的多個腦區間的聯系；如何從理論出發，量化某種干預(intervention)在不同腦區的影響；如何去度量每個腦區對整體動力學的影響。 ? ? ? ?科學問題3: 如何建立動力學模型與實際應用之間的聯系，實現理論與實際相結合。   2. 腦網絡與動態 ? ? ? ?腦網絡基本構造分為兩種，結構腦網絡和功能腦網絡。結構腦網絡一般基于彌散張量成像（Diffusion Tensor Image, DTI）。功能腦網絡一般基于功能核磁BOLD信號，或者基于電生理eeg、meg信號。 ? ? ? ?在構建腦網絡的過程中，首先對影像進行預處理，然后結合模板將大腦分成不同的區域。接著基于不同的構造邊(edge)的方式把不同區域作為節點(node)，形成節點間的連接矩陣。對于DTI，使用的是構造性連接的數目、密度等等具體的指標。對于功能性腦網絡，可以直接從時間序列出發開展相關性分析，得到腦網絡圖(graph)。構造腦網絡圖后，進一步結合圖論(graph theory)的方法對圖的網絡性質進行研究。 ? ? ? ?這里使用最一般的動力學方程來描述大尺度腦網絡中大腦的狀態(state)及其狀態轉換(state transition)。x(t)表示每個區域的狀態信息，它的值可以是觀測到的信號，比如說像BOLD信號。假設有n個區域，x(t)構成一個n*1的向量，它表征所研究系統在t時刻的狀態。最簡單的微分方程就是說把它的導數寫成依賴于它當前狀態的一個函數f。具體的建模依賴于怎么定義f。最簡單f函數就是線性模型，復雜的f也可以是高階模型等等。 ? ? ? ?下面是一個簡化的模型，它考慮了不同區域之間的相互作用，比如第i個區域它的導數依賴于自身的狀態變化f_i。相互作用即不同區域對i區域的一個影響。tau_{ij}表示時間的延遲，W_{ij}表示兩個節點間的權值，S表示非線性轉移函數。對于具體功能的腦網絡，我們需要推斷系統的變換參數。對于結構腦網絡，可以假設這個f_i可能的形式,W_{ij}則可能以某種形式依賴于它的連接狀況。 ? ? ? ?基于這個模型，可以開始嘗試性的探究動力系統的過程。比如研究系統可控性、控制能量、系統干預(intervention)等。 3. 大腦控制模型與系統可控性和穩定性 ? ? ? ?從控制的角度出發，講述如何對大腦網絡進行控制。第一個圖是經典的工程控制過程。為了維持系統的正常運行，從當前的狀態校正到期望的狀態。在每個時刻，通過測量系統狀態信息與期望狀態的誤差，通過設計系統控制器，以降低誤差的形式進行系統調控。第二個圖是將類似的思想用于腦網絡控制，例如對于大腦的狀態轉換的控制。比如任務狀態切換、區域激活抑制或者區域信號加強等。大腦內部區域抑制某些區域的信號，通過把某些區域當做控制區域，信號從這些區域輸入，從而影響整個大腦的激活狀態；或者說連接情況的改變，使得大腦從當前狀態轉移到目標狀態，從而實現認知控制的過程。 ? ? ? ?那么怎么類比于工程控制的過程，用相應的控制論方法探究大腦不同區域對整體動力學的影響呢？下面介紹了一個簡單的線性模型。 ? ? ? ?這里列舉了簡單的線性、離散、無噪聲動力學模型。假設t+1時刻的狀態x(t+1)依賴于t時刻的狀態轉換A·x(t)以及相應的控制項B_K·u_K(t)。B_K是一個N*K矩陣，它表示在具體的狀態轉換過程中選擇哪些區域作為控制區域。而u_K表征了在不同的時刻控制的具體形式。 ? ? ? ?具體的建模中，對結構腦網絡，我們最初假設A是與腦結構連接矩陣有一定關聯性。具體的關聯性可以轉換成Laplace，或者說除以一個系數，只需要保證整個系統的穩定性。B_K的選擇取決于感興趣的區域。把它設置成認為的與控制過程相關的區域，或者之前實驗驗證的區域，或者設置成所有區域以探究整體系統的性質。具體來說，u_K就是在研究過程中，可以基于可建模的動力學系統進行優化的外界控制，或者從能量最低或者路徑最短角度進行設計，基于這些限制可以求解最優的u_K。 ? ? ? ?可控性(controllability)就是系統在給定外部輸入，移動到目標狀態的能力。如果每個狀態都是可達的(reachable)，這個系統就是可控的。從純理論上來說就是：系統能否在t步時間內達到目標狀態。從最開始的線性方程，通過推導得到前面t-1時刻可能性的輸入，也就是這里所寫的C矩陣的公式。如果這里所記的C矩陣是一個滿秩矩陣，不管前面的x_t, x_0怎么變，總能選取一定的u值，使得方程成立。 ? ? ? ?系統的穩定性通過系統的同步性S進行度量，直觀上理解這個度量指標就是特征值方差的倒數。公式中，d表示連接的平均強度，主要是用于正則化，消除掉邊的連接強度因素。如果說特征值都靠的非常近，意味著大腦很容易就處于同一個模式(mode)。如果大腦都處于同一個模式，那么它整個狀態的豐富性、靈活性都會受到比較大的影響，整體的效率(efficiency)也會下降。 ? ? ? ?當我們要改變這個系統，系統的可控性涉及到需要多少能量。需要能量很少，意味著這個系統很容易改變，也即這個系統更容易被控制。這里描述的是一個T步的離散的過程。連續過程可以轉換成積分形式。這里控制能量定義為每個時刻的u的2次方做累加，這是一種最直觀的方式。當然也可以采集不同形式進行定義，比如添加正則化等。定義好控制能量之后，可以通過極小化控制能量，來求解出每個時刻的u_K。 4. 腦網絡上的控制系統 ? ? ? ?腦網絡控制目前主要從結構和功能兩個角度進行分析。具體動力學過程都是從類似的線性方程出發。差別在于連接矩陣的定義，包括具體的狀態轉移矩陣A和控制矩陣B的設置。 ? ? ? ?一是基于結構矩陣的分析。基于鄰接矩陣，構造結構控制模型的A矩陣，我們使用節點的連接數目進行定義A矩陣，也可以使用流線(streamline)的密度(density)等等。如果有時間序列或者僅僅從結構出發，這種情況下B矩陣設為單位矩陣。 ? ? ? ?二是功能腦網絡分析。這個時候可以使用不同區域的時間序列的信號推斷狀態轉移矩陣A，考察不同區域之間的關聯性。從功能連接的角度，不同區域之間的時間序列具有一定相關性。這個相關性可能是從某種程度編碼一些交互(interaction)的具體模板(pattern)。例如，構造一個隨機的動力學過程，通過推斷A和B的具體值，然后基于推斷的區域間的方差矩陣和區域間的有效連接，構造基于功能時間序列的控制方程，探究它們的控制集或者控制量等關系。 5. 腦網絡控制系統的可控性 5.1 可控性度量 ? ? ? ?這里介紹兩種可控性度量方法，平均可控性(average controllability)以及模式可控性(modal controllability)。 ? ? ? ?平均可控性主要是衡量單位能量下系統能達到不同狀態的平均情況。也就是說，把一份能量放在哪些區域，平均來說它更容易影響到整個系統的變化。大家可以理解成，給定單位能量，能到達的狀態的一個面積。在這種情況下，如果把這份能量放到連接邊數比較多的區域，那么它就更容易影響其他相連接的區域。從平均的意義上，這些區域就是一個更有效的選擇。 ? ? ? ?而模式可控性，它考慮相對來說最壞的情況。系統遍歷它所有可能的球面，最壞的情況就是某些狀態會消耗特別多的能量。在這個策略下，希望控制能量在最壞的情況下要最好。也就是說，在比較偏的連接比較少的區域，如果把影響施加在連接比較強的區域，那么控制能量分散較少部分到比較偏遠的區域。也就是說，在改變最壞情況的時候，能量消耗就相對比較大。希望最壞情況最好，比較直觀的策略就是直接控制這些區域。   5.2 可控性地圖 ? ? ? ?這里展示了兩種可控性的大腦地圖(map)分布，即基于前面我們定義的度量，這兩種可控性度量在大腦的具體哪些區域的數值比較高(紅色)，哪些腦區比較低(深藍色)。左邊展示了基于結構腦網絡，右邊展示了功能腦網絡的具體情況。 ? ? ? ?可以發現兩個腦網絡的平均可控性是有區別的。整體數值比較高的區域都是連接比較強的。比如，結構腦網絡，它傾向于去選擇結構的hub，而功能腦網絡傾向于選擇功能的hub。基于這個策略，在默認網絡中比較強連接的一些hub被選取為高效的控制節點。從某種程度上，解釋了為什么在靜息態下，默認網絡的相對激活性會更高。因為相對常規的想法是在靜息狀態下，大腦處于相對低耗的狀態，那么維持低耗的有效狀態，就需要考慮在哪些區域影響整體使之更有效率。 ? ? ? ?前面提到的一些最壞情況也就是需要能量更多的情況，即相對更復雜的任務。在執行這些任務的時候，對應的控制區域就是它們自身。像frontal-parietal區域，不管從結構腦網絡，或者從功能腦網絡，相對來說在模式可控性(modal controllability)數值上相對更高。某種程度上也就幫助大家理解為什么說這些相對弱連接的區域它們的功能會更細化，有些時候也會更特殊的輔助大腦執行復雜任務。 ? ? ? ?這里用另一種方式展示大腦的可控性地圖(controllability map)，它是定義的認知度量在大腦上的分布與認知區域的關聯性。這里的LV1其實是用線性回歸(linear regression)得到的一些變量(variables)，也可以理解成，用主成分分析方法看第一個主成分與第二個主成分可能覆蓋哪些區域。可以看到，因為平均可控性涉及到整體平均的效率，所以和一些綜合性指標，比如晶體認知(Crystallized Cognition)、流體智力(Fluid Intelligence)等綜合性指標具有關聯性。那么在這些關聯的區域上，其可控性的差別能顯示出個體差異(Individual Differences)。相應的在模式可控性，所定義的一些特征呈現負相關特性。 5.3 可控性的可靠性 ? ? ? ?在同一篇論文中，分析了另外兩種度量：可重復(Reproducibility)和遺傳性(Heritability)。 ? ? ? ?左圖表示在同一個項目中，通過掃描多次，針對基線(baseline)做可重復性的時候，觀測控制性度量的分布，驗證分布的一致性，判斷是否是隨機的過程。但是這很大程度依賴于它的連接情況，即連接結構的可重復性。 ? ? ? ?右圖反映了遺傳性關系，觀測遺傳基因的表達，或者測量不同子代之間的親代和子代之間的關聯性。可以發現prefrontal的區域，在平均可控性上它的遺傳性相對來說更高。而在模式可控性，遺傳性更多的是在Pre-temporal和Supramarginal的區域，它可能是衡量可遺傳的具體特征。   5.4 可控制之間關系 ? ? ? ?平均可控性和模式可控性兩個度量(average controllability and modal controllability)之間具有一定的關聯性。這種關聯性依賴于不同矩陣的選擇。如何刻畫這兩個度量，可以通過：1)它們自身的直接關聯；2)隨著時間推移或者神經發育的具體過程，兩個度量之間具體的tradeoff關系。隨著年齡的增長，更多的是兩個都有所增強，還是說一部分能力去抵消或者促進另一方面能力的發展。Tang 2018年的論文，具體描述了模式可控性和平均可控性之間的tradeoff關系，是一種Pareto最優的方法，平均可控性跟整體的同步性具有負相關性。但從個體考慮，對brain做整體值考慮，平均可控性與模式可控性兩者是呈現正向相關，但不是單純的線性關系。 ? ? ? ?如果說不同區域有兩種考察方法，一是對整個大腦定義一個具體的值(average across subject)，另一個是對不同區域(average across region)。在這兩種情況下，它們間的關系是不太一樣。在Gu et al.(2015)論文中也發現，如果在區域取平均，以及在樣本空間取平均，考察兩者之間的關系，兩者呈現出很強的負相關區域。總結性的說，模式可控性的分布和平均可控性的分布呈現出很強的負相關。但是從整體考慮的話，就包括像前面的平均可控性和模式可控性的關系，就不是簡單的線性關系。而在功能腦網絡的控制分析，相應的情況就會更復雜。因為它涉及到連接轉換矩陣以及控制矩陣，矩陣的選擇不再是單位矩陣，它涉及到區域間的具體作用。 ? ? ? ?不同的狀態轉移矩陣和控制矩陣的選擇，會對兩個度量之間的關系產生影響，它涉及到一些具體的設定，也就是說兩個度量反映了腦網絡上相應的拓撲性質，而這種拓撲性質是受到控制區域之間的關聯，還有狀態轉移矩陣的影響。   5.5 可控性和圖度量 ? ? ? ?這里探究說這兩個控制度量跟傳統度量(連接的度、communicability)之間的關聯性。從結構的角度來說，連接性就是連接的度，就是把每個區域的連接情況，連接強度求和。平均可控性與連接的度呈現出很強的正相關，這是從樣本空間上求平均得到每個區域的具體結果。 ? ? ? ?communicability可以理解成是在腦網絡上從一個區域到另一個區域，路徑長度的加權平均。實驗發現communicability與可控性呈現出較強的正相關。從控制的角度，信號的傳播(propagate)是沿著腦網絡進行，random walk也是沿著同樣的腦網絡信息。基于這樣的假設，控制網絡會有具體的路徑設置和篩選。右圖是在功能腦網絡上做的實驗，基于功能連接方式(functional connectivity)以及有效連接(effective connectivity)，實驗發現基于有效連接，它與模式可控性呈現強的正相關，而平均可控性與功能連接有很強的負相關。   5.6 可控性的應用舉例 應用實例1: 可控性預測任務表現 ? ? ? ?上圖討論了我們定義的度量與實際應用的關聯。檢驗的標準涉及到它們是否能預測感興趣的東西以及發現臨床上不同群體之間的差異。這里從靜息態以及工作記憶(working memory)兩個角度進行分析，研究發現，在working memory task它們的預測精度相對更顯著，在靜息態下則相對不顯著。 ? ? ? ?在具體的working memory task，我們可以發現平均可控性和模式可控性可以預測具體任務的分數。尤其在frontal和parietal腦區承擔重要角色，從某個角度印證了這兩個控制度量從某種程度確實是可以刻畫大腦在認知任務的效率問題。 應用實例2:可控性標記雙相情感障礙組 另一個例子，如果使用傳統的度量標準，兩組(Control group與bipolar disease)區分不顯著。而采用平均可控性，control和bipolar disease兩組呈現顯著的差異。這從側面印證了控制度量相對于傳統的腦網絡度量，具有更強的敏感性，是一種更靈敏的biomarker。 應用實例3: 可控性與TMS效果的關系 ? ? ? ?這是在TMS’ effect上的研究。在低模式可控性(Low Modal Controllability)以及高模式可控性(high modal controllability)的大腦區域上分別進行TMS的干涉。 ? ? ? ?在open language task中，在低模式可控性以及高模式可控性區域進行不同控制，呈現出不同的Log(RT),（RT: Response Time響應時間）。從某種程度初步驗證了模型的可行性，因為在不同區域上的差異可進一步開展后續的研究，即如何去理解和利用這些差異。 應用實例4:控制能量魯棒性區分輕度腦損傷 ? ? ? ?這個工作是驗證靈敏性指標，從控制能量的角度定義系統的穩定性。比如說把某些區域從整個系統中移除，那么控制路徑以及控制能量也會發生偏差。移除不同區域產生不同的影響，通過對整體求平均從某種程度上刻畫系統的穩定性。 ? ? ? ?這個工作是基于輕度腦損傷mTBI(mild Traumatic Brain Injury)進行驗證。使用控制度量，healthy group與mTBI group具有非常顯著的統計差異。而使用傳統的度量方法，比如度(degree)或者路徑長度，聚類系數等等一些指標，就無法體現出這兩組之間的統計差異。在具體的狀態轉移過程中，把相應的指標轉換成能量指標，相對來說會更敏感及顯著。如果可控性指標作為大腦整體的指標考慮的話，相當于從能量角度進行更靈敏的刻畫，而不是簡單的從connectivity關系的一個重復。 應用實例5:可控性支持神經發育 ? ? ? ?這個研究證明了可控性與神經發育的關系。結合圖a和圖b來看，在不同年齡段，發展的一個趨勢是由變化，即tangent斜率決定的，在8到12歲和18到22歲，它們的tradeoff關系不是線性的。圖c和圖d為不同年齡段的平均可控性與模式可控性的tagent。平均可控性相對來說是一個線性變化。而模式可控性表示執行復雜任務，它的變化是一個非線性的過程。從8到12歲和18到22歲的發育過程，對于復雜任務的處理或者相對復雜任務的發育，呈現出非勻速的過程。平均可控性的tangent在兩組之間相對沒有差異，也就是說青春期之后的大腦的過程，可能涉及到兩個度量之間的tradeoff，對復雜任務和平均任務來說，更多的是平均發育過程。 應用實例6: 可控性支持認知 ? ? ? ?這個圖是Cui et al. elife(2020)的工作，它基于控制能量的角度，描述具體的認知任務中控制能量的關系。右圖表示控制能量越低，任務的執行表現越好。這個與最初的觀點一致，即控制能量低表明效率高，網絡的控制效率高。相應的我們就猜測執行認知任務的效率也會更高。下面的調解分析(mediation analysis)支撐這個結果。 6. 未來發展方向 1.首先是把動態過程從線性到非線性的一個延拓。大腦是個非常復雜的非線性系統。如何比較好的平衡模型的復雜性及可研究性之間的關系，進一步通過構造相對合適的非線性模型刻畫大腦的可控性。 2.針對功能腦網絡，功能腦網絡并不是一個stable的過程，如何添加temporal信息，并且在沒有interaction的時候，如何去考慮外界隨時間變化的信號，對刺激、對大腦的影響。 3.在具體的臨床應用，針對健康人群或者疾病人群診療，我們需要設計科學有效又安全的干預方案，進而影響大腦動態，調控大腦的神經回路。并在實際應用中，驗證和應用所提出來的理論假設。   Q & A Q1:請問使用不同時間分辨率重構出來的神經動力學系統的特征一致嗎？ A1:這個問題取決于你是否做temporal model。如果說就像我們剛剛所說的，其實是相對把連接做static的過程。在這種情況下，我們也試過使用不同的時間序列，得出來的結果相對比較穩定。因為很大程度上是對effective connectivity還有noise covariance的估計。如果說時間分辨率對這兩個的估計不產生影響的話，那么推出來的結果它其實就比較穩定可靠。   Q2:請問controllability指標的靈敏度如何，能否與復雜的認知實驗設計相結合？ A2:這個是比較好的問題啊。根據我們之前和后面介紹的研究。不管是working memory，還有一些與結構相關的mTBI等等的指標。我們的經驗是，跟認知還有整個系統的特征相關的性質、相關的能力上還是比較靈敏的。但是具體的復雜認知實驗，因為實驗設計這塊不是我的專長。我覺得如果這些任務跟整體性有關的話，相對應該是會比較敏感的。   Q3:controllability指標在不同意識狀態下是否會一樣的。比如說麻醉狀態或者昏迷狀態。 A3:比如說它的一些指標，它本身也是要從信號角度出發。如果你所感興趣的信號。在這兩種狀態下，呈現出差別，那么我們要問的問題是說controllability是否能從系統動力學的角度，或者從控制的角度去闡述系統的控制性。在這兩種狀態下是否有差別。如果說有差別，那么我們希望是這個指標，這個方式能去刻畫。而如果定義的某種東西可能只是跟純結構的關聯性。那么，在麻醉或者說昏迷狀態下，它的結構本身不發生變化。那么這個指標當然也不會發生變化。而如果你感興趣的一些功能信號的具體的pattern發生了變化，那么這個pattern如何去影響系統的一些控制性。那么這是一個可以研究和探究的內容。   Q4: controllability這些指標是針對每個被試有個單個的數值，類似于度聚類系數這樣的嗎？ A4:這個是可以的，就是你剛剛所說，你一方面把它具體算出來的話，像我們所謂average controllability，還有一些modal controllability這兩個指標的話，每個個體，每個區域都是有一個值，然后你可以考慮到一些群體效應，既可以在subject level去求平均，也可以在region level去求平均。就是說，每個個體得到一個值，或者說每一個區域得到一個值，都是可以。   Q5:這套方法在eeg或者meg上應用是可行的嗎？ A5:是可以的，我們這邊有個合作方(Scheid, B. H. 2020)，他們做的是利用可控性去探究癲癇的一些性質，用的是eeg還有ecog的信號。   Q6:您使用到的指標，觀察過結構網絡連接和功能網絡連接的關系嗎？ A6:我們之前有過一個工作。那個不是從控制角度出發，因為那個是從純能量角度去構造的一個隨機模型。就是說你可以從結構出發去預測功能。然后這里模型也是類似的啊。就是比如說你去刻畫它的狀態轉換，就是基于結構去刻畫它的狀態轉換，符合hemodynamic的過程，然后去預測功能連接，你就說通過這個模型去探究結構與功能之間的similarity，這樣是可以的。   Q7:能否量化腦網絡中加工中的自動化加工。神經信號活動本身的variability是否屬于controllability的范疇。 A7:這是一個比較好的問題啊。但是這個具體去做的話可能涉及到一些具體的定義問題。就比如說神經活動本身的variability，這個variability是否涉及到它本身，而網絡controllability的一些變化。比如說不同神經活動，它從連接上，或者說從時間序列在某段區域的變化，當然都是有區別的。那么從controllability的角度去闡述這個variability也是非常有意思的方向。這塊工作我目前還沒有做過，但是這個問題我覺得很有意思。   Q8:請問可控性度量和網絡度量的相關性說明了什么問題呢？ A8:他其實就是可靠性度量，尤其是比如說回到結構那個地方，我們其實可以看出來，他很大程度上是基于連接去定義了這么一個度量。因此其實它跟網絡度量的一些相關性其實是相對比較可預測的結果。然后這里展示了他的一些關系，主要也是相當于去幫助大家理解它可能會是跟哪些網絡度量，哪些跟傳統網絡度量之間可能會有一些什么聯系。比如說像跟communicability，就是剛剛舉得一個例子，communicability它相當于去刻畫random walk，可是相對于比較random的信號的propagation。而control的話其實相當于說你有規律的去控制它的propagation，那么這兩者之間就是，有什么差異性或者說有什么關聯。主要是輔助理解，可控性度量跟傳統網絡度量的關聯和差異。倒也不是為了說明什么具體的問題，也不存在是誰誘導出了誰的關系。   Q9:首先是為什么做結構網絡的可控性研究，選用的是DTI這個模態啊，還有其他的模態嗎？第二個問題是做功能網絡的可控性研究，對時間序列的長度有要求嗎？現在常用的時間長度是怎樣的？ A9:為什么選用DTI這個模態，因為我們一般做結構網絡的話，你要有結構連接，然后結構連接DTI或者說DSI等等是比較常用的刻畫區域和區域之間結構性連接的方式。所以我們就選用了DTI這個模態，然后功能可控性的話對時間序列的要求，我們之前用的是HCP的數據，時間序列長度還是有一定要求。因為時間序列過短的話，去估計noise covariance是沒有什么問題，但是去估計effective connectivity問題的時候。在時間序列短的時候會很不穩定。最起碼你的長度肯定是要比你的區域多。比如說，劃分90個區域，你時間序列的長度200左右應該就沒有什么問題。   Q10:功能可控性反映的是灰質類的信號，而DTI是白質。這樣的話可能沒有辦法做一個比較。 A10:一般我們也沒有去直接比較功能和結構可控性的特征。但是， DTI的白質其實也是你可以理解成他是上面那些灰質區域的一個連接，灰質區域一方面它本身有一些近距離的連接情況，但另一方面它也有一些通過白質的連接。所以你不能說這兩個之間的信號就是完全獨立開來。這也就是大家去研究結構和功能連接關系的同樣的出發點。但你可能說去單純比較它的可控性，也不能說完全就沒法去做一個比較。因為出發點也是一樣的嘛。就是說那些灰質區域它的一些連接跟白質不是一個獨立的東西。 Q11:是否已經有比較方便的工具可以做這一類的控制分析。 A11:Bassett教授的網站上，他們分享的一些代碼是我寫的，有一些就是跟控制相關的一些工具。大家可以去他們那個網站上找。然后我們的話我前陣子也做了一個相關于論文的一個collection，我回頭分享到群里面。大家感興趣的話。可以去根據另一個論文的collection去找一些大家感興趣的部分讀一下。   Q12:能否找到一個指標去量化腦網絡中的自動化加工。就是這個自動化加工，我個人的一個理解就是比如說你在靜息狀態下，他其實更多的是一個自發性的，比如說spontaneous activity或者是他是一個反應內在的，而不是說你是有意識去控制的這樣一種活動。所以就比如說包括決策過程中，他有很多就是說bias。然后這個可能是自下而上的，或者說從subcortical到cortical的一個自下而上，或者是從情緒誘發的這樣一種就是區別于純粹的一個認知活動，就是里面可能包含了這一部分信息。然后我就是想知道就是說能不能有這樣一個指標。因為controllability他是你可能更多的是跟自上而下的這樣一種活動有關。那有沒有一個指標可以量化，這種就是自下而上的這種活動。然后因為我看到就是說您那個就是用controllability去預測它的那個resting state那個activity他的效果不是很好，因為靜息狀態下，它更多的是一種自發性的一個信號。所以我覺得這可能是一個原因之一。 A12:我覺得這個點挺好啊。然后我再稍微說一下那個地方我們是拿靜息態去刻畫它的一些任務的執行情況。這個可能是有這方面的原因。您剛剛也說了，靜息態可能是說涉及到一些自發性的，不一定涉及到它具體任務的執行的效率。那么自發性的去預測它整體效率的執行，就相對可能不是一個feasible的事情。但是controllability度量本身就不管用，從結構可控性還是功能可控性。就是從功能可控性的角度來說，他對靜息態和功能態兩個本身其實是非常明顯的。但只是今天做slides的時候，就是沒有去把這一塊作為一個特征給他放出來。我們那個論文里面，我們已經掛在arxiv (Deng, S. (2020))，然后是可以看到里面也列了它在對靜息態還有功能態本身的區別。     顧老師推薦： 1. Must-read papers on Brain Control Analysis https://nangongwubu.github.io/posts/2020/06/blog-post-3/   2. Controllability of Structural Brain Networks Toolbox: https://complexsystemsupenn.com/s/controllability_code-smb8.zip     參考文獻： Cole, M. W., & Schneider, W. (2007). The cognitive control network: integrated cortical regions with dissociable functions. Neuroimage, 37(1), 343-360. Bassett, D. S., Wymbs, N. F., Rombach, M. P., Porter, M. A., Mucha, P. J., & Grafton, S. T. (2013). Task-based core-periphery organization of human brain dynamics. PLoS Comput Biol, 9(9), e1003171. Tang, E., Giusti, C., Baum, G. L., Gu, S., Pollock, E., Kahn, A. E., … & Gur, R. E. (2017). Developmental increases in white matter network controllability support a growing diversity of brain dynamics. Nature communications, 8(1), 1-16. Lee, W. H., Rodrigue, A., Glahn, D. C., Bassett, D. S., & Frangou, S. (2020). Heritability and cognitive relevance of structural brain controllability. Cerebral Cortex, 30(5), 3044-3054. Tang, E., Giusti, C., Baum, G. L., Gu, S., Pollock, E., Kahn, A. E., … & Gur, R. E. (2017). Developmental increases in white matter network controllability support a growing diversity of brain dynamics. Nature communications, 8(1), 1-16. Deng, S., & Gu, S. (2020). Controllability Analysis of Functional Brain Networks. arXiv preprint arXiv:2003.08278. Gu, S., Pasqualetti, F., Cieslak, M., Telesford, Q. K., Alfred, B. Y., Kahn, A. E., … & Bassett, D. S. (2015). Controllability of structural brain networks. Nature communications, 6(1), 1-10. Gu, S., Betzel, R. F., Mattar, M. G., Cieslak, M., Delio, P. R., Grafton, S. T., … & Bassett, D. S. (2017). Optimal trajectories of brain state transitions. Neuroimage, 148, 305-317. Jeganathan, J., Perry, A., Bassett, D. S., Roberts, G., Mitchell, P. B., & Breakspear, M. (2018). Fronto-limbic dysconnectivity leads to impaired brain network controllability in young people with bipolar disorder and those at high genetic risk. NeuroImage: Clinical, 19, 71-81. Medaglia, J. D., Harvey, D. Y., White, N., Kelkar, A., Zimmerman, J., Bassett, D. S., & Hamilton, R. H. (2018). Network controllability in the inferior frontal gyrus relates to controlled language variability and susceptibility to TMS. Journal of Neuroscience, 38(28), 6399-6410. Cui, Z., Stiso, J., Baum, G. L., Kim, J. Z., Roalf, D. R., Betzel, R. F., … & Ciric, R. (2020). Optimization of energy state transition trajectory supports the development of executive function during youth. Elife, 9, e53060. Scheid, B. H., Ashourvan, A., Stiso, J., Davis, K. A., Mikhail, F., Pasqualetti, F., … & Bassett, D. S. (2020). Time-evolving controllability of effective connectivity networks during seizure progression. arXiv preprint arXiv:2004.03059.   講座觀看地址： https://www.bilibili.com/video/BV1kk4y1q7vB?from=search&seid=8807585475690151569 ? 寫作：梁智超 校對：顧實、劉泉影 編輯：王海慧

? ? ? ?2020年7月10日下午14：30，王大平教授到訪南科大生物醫學工程系（以下簡稱“生醫工系”），于臺州樓324會議室召開上半年工作總結及下半年工作安排會議。會議由我系主任蔣興宇老師主持，生醫工系多位老師出席參加。 ? ? ? ?王大平教授指出，為保證科研項目的順利進展，年初應定好目標做好項目進展規劃，末年應對項目進展情況做詳細的總結，保證高水平科研成果的產出，對于未達到預期目標部分應加以分析，為后期改進做好準備。同時，王大平教授指出應增加生醫工系各課題組與醫院、以及課題組與課題組之間的項目合作，匯總各方優勢盡可能的將科研成果轉化到實際應用，促進骨科疾病診斷及治療手段的提升。 ? ? ? ?系主任蔣興宇老師對于各課題組之間以及課題組與醫院之間的合作交流表示鼓勵并會給予大力支持。同時也會跟進各課題組的項目進展，與各課題組負責人保持實時溝通，提高生醫工系優秀科研成果的產出，促進系里未來發展。   王大平教授簡介：? ?? ? ? ? ?王大平教授研究領域為骨關節相關疾病的分子機制、早期診斷及治療康復。曾創建深圳市首個國家級臨床重點專科-骨科，創建創傷外科、創傷骨科、運動醫學科等三個深圳市醫學重點專科，并組建了深圳市組織工程重點實驗室、深圳市數字骨科技術工程實驗室以及廣東省智能化數字骨科技術工程研究中心。任深圳醫學會理事、深圳市創傷骨科學會副主任委員、深圳市中西醫結合骨科學會副主任委員、深圳市手外科學會副主任委員以及《中國現代手術學雜志》常務編委、《中華創傷骨科雜志》、《中國臨床解剖學雜志》、《中國現代醫學雜志》等雜志編委。被評為深圳市首批名醫工程名醫，深圳市青年科技帶頭人。曾擔任深圳市第二人民醫院副院長、深圳市公立醫院管理中心主任等職務。 ??? ? ? ? ? 王大平教授于近期依托南方科技大學生物醫學工程系，組建了智能骨科重點實驗室，開展骨關節炎等運動系統疾病的分子機制與診療工作。分子機制方面主要由張華威博士負責開展，利用冷凍電鏡等結構生物學手段研究骨關節炎病變過程中重要蛋白質的的結構與功能，并與深圳市第二人民醫院骨科研究團隊合作，將其應用于骨關節炎的智能診斷及精準治療。   文字：王佩蓉

? ? ? ?受新冠疫情影響，2020年生物醫學工程系暑期夏令營活動通過線上線下形式同時開展。6月30日至7月2日間，來自全國各地十幾所高校的40多名優秀學生線上線下匯聚一堂，激揚青春，暢談理想，留下了許多生動美好的記憶畫面。 ? ? ? ?6月30日晚，夏令營開營儀式線上線下同步進行，生物醫學工程系副主任奚磊老師主持介紹了我系發展概況，隨后我系各課題組老師也一一為同學們介紹了課題組情況，并回答了線上線下同學的提問，最后與線上線下同學一起合影留念。   ? ? ? ?7月1日我系對線上線下同學進行了面試考核，以考查學員的專業知識素養與綜合素質。結束之后，經面試老師評選，共選出了線上線下共6位優秀營員。 ? ? ? ?下圖為我系副主任吳長鋒教授為獲獎的線下營員頒發優秀營員證書和獎品。 吳長鋒教授與優秀營員李煜民 ? 吳長鋒教授與優秀營員趙文璞 ? 吳長鋒教授與優秀營員劉宇 ? ? ? ?7月1日下午，為展現我校優美的校園環境，加深營員對于南科大的了解，我系為營員組織了聽取學校沙盤講解、觀看我校宣傳片、參觀校園環境等線上線下活動。在此期間，同學們都感嘆著學校給予的良好學習環境，也更加深了自己要來南科大學習的信念。 校園沙盤參觀 ? 校園參觀 ? 圖書館參觀 ? 冷凍電鏡參觀 ? 檢測中心參觀 ? 直播中——線上營員“云參觀” ? ? ? ?7月2日上午，我系為夏令營同學安排了實驗室參觀環節，線上同學也同步參與實驗室云參觀活動。在這期間，各個課題組的老師為同學們耐心講解了課題組研究發展現狀和實驗設備。參觀完畢之后，營員們對我系各個課題組的科研發展方向有了一定的認識，這也使得他們更加清晰明確地選擇自己感興趣的老師進行深入交流。 參觀蔣興宇老師實驗室 ? 參觀劉泉影老師實驗室 ? 參觀張明明老師實驗室 ? 參觀何俊龍老師實驗室 ? ? ? ?在為期三天的夏令營活動中，營員們與我系老師進行了充分的交流互動，充分展現了當代大學生的風采。7月2日下午，來自全國各地的營員們陸續離營，“南方科技大學生物醫學工程系2020年優秀大學生暑期夏令營”圓滿結束。     以下為部分營員對于此次夏令營的感想： ? ? ? ?很榮幸可以作為南科大生醫工線下夏令營的一員得以親自進入這樣令人著迷的校園。短短三天時間，我體驗到了這里堪稱奢華的硬件設施，看到了這里豐富多彩的校園生活。不光如此，這里有著史詩級的教育資源和科研平臺，導師和老師們都很親切和藹，給予我們無微不至的關懷。同時，來到這里我結識了好多優秀的小伙伴，也見識到了自己的不足。總之，很慶幸自己能有這樣的機會來體驗生醫工的點點滴滴。一旦來到這里，便會愛上這里！ ——李凱   ? ? ? ?我是劉宇，南方科技大學生物醫學工程系2020年暑期夏令營營員。很榮幸，很開心，在今年這樣一個特殊的時期，能夠來到向往已久的南科大，感受這里的生活、學習氛圍。 ? ? ? ?首先，生醫工的行政老師們人美心善，溫柔體貼，熱情接待我們。舒適的專家公寓，可口的美味佳肴，耐心周到的接待。我真是受寵若驚，滿滿的幸福感涌上心頭。 ? ? ? ?其次，我覺得生醫工是一個非常溫暖的大家庭，這里不僅有一流的軟硬件設施，更有實力非凡的老師。生醫工的導師，個個都對科研充滿熱情，每個課題組的研究方向都很有特點、很前沿。課題組之間大多互相合作，互相學習。老師待學生如家人，實驗室氛圍非常融洽。 ? ? ? ?最后，必須為南科大秀美的校園環境點贊，出了公寓，幾分鐘就能迎來一輛校園巴士，藍天白云，青山綠水，遠處襲來陣陣花香，乘車游覽于校園中，再愜意不過了。 ? ? ? ?魅力鵬城，美麗南科。感恩在這里與老師、同學們的相遇，期待自己能在不遠的未來與南科大生醫工系再相逢！ ——劉宇   ? ? ? ?感謝各位老師，我很榮幸能夠參加這次南科大的線下夏令營，并且能夠來到深圳參觀校園。在這幾天的時間里，我感受到了各位老師的熱情，體會到了這里豐富的校園生活，見識到了生醫工一流的設施，并且和科研經歷豐富的導師進行了深入的交流。我已經被南科大生醫工深深的吸引了。同時，在這次夏令營活動中也結實了很多優秀的朋友，讓我認識到了自己的缺點和不足。總的來說，這次的經歷讓我印象深刻，我也很希望自己能夠有機會來到南科大生醫工學習。最后，感謝生醫工的各位老師能夠給我這次機會！ ——于永波   ? ? ? ?很感謝各位老師的熱情，也很榮幸可以在疫情期間參加南科大的線下夏令營。這三天來，我感受到了各位老師的熱情，感受到了南科大校園清新的環境，也看到了生醫工強大的師資力量和先進的實驗設備，這些讓我更加喜歡南科大的生醫工系。同時也很開心可以認識各位老師和同學們，雖然只有短短的三天，但是相識便是一種緣分。很慶幸自己可以有這次機會來到南科大參加夏令營，期待可以加入南科大學習！ ——黃夢璐 ? ? 文字：羅淑芳 照片：肖然

? ? ? ?本講座中，何暉光教授首先介紹課題組在醫學影像分析方面的幾個工作，進而介紹視覺信息編解碼的工作。 ? ? ? ?視覺信息編解碼是通過計算方法建立從視覺系統與外界視覺刺激信息之間的映射模型，探索大腦視覺信息處理的過程和機理，其研究不僅有助于探索視覺的加工機制，而且可促進計算機視覺的類腦研究。 ? ? ? ?2020年6月19日中國科學院自動化研究所何暉光研究員受南方科技大學生物醫學工程系劉泉影助理教授邀請在生物醫學工程系生物醫學講堂進行了題為《從神經影像計算與分析到視覺信息編解碼》的講座。本文為該講座的總結推文。 一、研究背景 ? ? ? ?視覺信息編解碼涉及到的問題非常廣泛，其中有很多重要問題長期得不到解決。視覺系統是人類感知外部世界的最主要途徑，大腦視覺皮層基于視網膜感受器采集到的信息，在我們腦中準確地重建出外界環境的樣子。一方面視覺加工過程最快約在200ms以內完成，是一個瞬間、動態的過程。另一方面，外部視覺刺激是多種多樣、雜亂無章的，人類的視覺系統卻能穩定地識別和理解這些視覺輸入。這些問題都需要我們更深入的了解大腦中視覺信息的編解碼問題來解決。 ? ? ? ?從視覺皮層的編碼特征上來看，視覺信號從V1-V2-V4-PIT-IT 信息的逐層處理過程中，對應的神經元的感受野越來越大；每層之間感受野增大的系數大體為2.5；高級別的神經元將信息集成在具有較小感受野的多個低級神經元上，編碼更復雜的特征。分別來說，V1區是編碼的邊緣和線條等基本特征；V2區神經元對錯覺輪廓有反應，是色調敏感區；V3區是信息過渡區；V4是色彩感知的主要區域，參與曲率計算、運動方向選擇和背景分離；IT區是物體表達和識別區（圖1、圖2）。從近些年來深度學習和機器視覺的發展可以看出，深度卷積網絡也與視覺皮層的編碼特征呈現出了類似的形態（圖3）。 圖1 視覺信號分層編碼 ? 圖2 不同區域神經元編碼不同特征 ? 圖3 深度卷積網絡與大腦分層解碼結構 二、視覺信息編解碼 ? ? ? ?視覺編解碼是建立視覺刺激和大腦反應之間的關系，編碼是將視覺信號轉化為大腦反應，解碼為將大腦反應轉化為視覺信號。何老師認為編碼問題在這個過程中有更重要的地位，反映了神經信號加工的機理，更加具有科學價值。在神經信號編解碼過程中，往往不會直接使圖像對神經信號進行映射，而是先從圖像通過非線性變換提取特征，再使用線性編解碼器將圖像特征和神經信號特征相互連接（圖4）。這樣做可以降低數據維度，減少計算量和需要的數據量；又能避免編解碼過程成為一個黑盒，具有更好的可解釋性；同時還能一定程度上避免非線性運算造成的過擬合。 圖4 視覺信息編解碼過程 ? ? ? ?在介紹了幾個重要的解碼模型后，何老師提出了目前視覺信息解碼研究中存在的問題。首先，大多數方法只針對分類或辨識任務；其次，重建算法的效果不佳；最后，常用的線性變換手段缺乏生物學基礎。其中一部分原因是由于視覺信息解碼中的（fMRI）數據特點造成的。這些數據具有維度高、樣本量小、噪音嚴重的特點，對我們應用編解碼模型會造成很大的困擾。根據此，何老師提出了《基于視覺信息編解碼的深度學習類腦機制研究》項目，該項目有兩點目標：1）建立人類視覺系統與外部視覺刺激信息之間的映射模型，利用深度學習對大腦視覺信號進行編解碼，探索深度學習的類腦機制；2）通過對視覺信息的編解碼，引導深度神經網絡建模。 ? ? ? ?比較直接的辦法是將深度神經網絡（例如convolutional auto-encoder 卷積自編碼器）作為圖像和神經信號的特征提取器，再將其特征相互映射（圖4）。這種方法被稱為兩階段法，即特征提取和映射分開進行。同時也可以使用統一訓練的方法，將自編碼器圖像特征提取和與神經信號相互映射兩個步驟合并為一步，進行統一訓練（圖5）。 圖5 卷積自編碼器用于圖像與大腦信號特征提取 三、多視圖生成式自編碼模型 ? ? ? ?然后何老師介紹了多視圖生成式自編碼模型（Deep generative multi-view model（DGMM）），該研究由何老師課題組博士生杜長德（已畢業）完成。該模型基于這樣一個假設，即視覺圖像和大腦響應是同一客體在不同特征空間中的外在表征。由該假設可得視覺圖像和大腦響應可以由同一隱含變量通過不同的生成模型得到。這樣一來，視覺圖形重建問題就轉變為了多視圖隱含變量模型中缺失視圖的貝葉斯推斷問題。 ? ? ? ?所以基于圖像我們采用深度神經網絡（DNNs）建立推理（Inference）網絡和生成（Generative）網絡，這樣一組推理網絡和生成網絡構成了變分自編碼器（VAE）架構，可以模擬大腦視覺信息處理機制（層次化，Bottom-up, Top-down）（圖6，左上到右上）。對于大腦響應，建立稀疏貝葉斯線性模型（圖6，左下到右下），模擬體素感受野和視覺信息的稀疏表達準則。這樣做可以自動降低體素空間維度，避免過擬合；同時可以利用體素間相關性來抑制噪聲，魯棒性更強；最后由于對體素協方差矩陣施加了低秩約束，降低了計算復雜度。 ? ? ? ?在訓練好這兩組推理與生成模型后，給定新的視覺圖像輸入，就可以通過Bottom-up的推理網絡得到隱含表征，再通過線性生成模型預測大腦活動，這就是視覺信息編碼通路。反之，給定新的大腦響應，將先驗知識（表征相似性分析）融入到貝葉斯推理中，得到隱含表征，再通過Top-down的生成網絡預測視覺圖像，這就是視覺信息解碼通路。 圖6 多視圖生成式自編碼模型結構   ? ? ? ?在實際訓練中，我們將圖像和神經信號輸入同一個推斷模型，來保證生成的隱含表征在同一個空間中，再分別進入各自的生成模型中進行重建（圖7）。在測試中，我們通過對輸入的大腦響應與一直大腦響應的相似度矩陣，通過貝葉斯推斷得到對應的隱含表征，再通過生成網絡預測視覺圖像（圖8）。該研究在三個公開數據集中都進行了測試，這些數據集主要記錄了大腦V1和V2的活動。在與多個方法的對比結果中，該模型無論是肉眼觀測的圖像重建效果還是在數值指標上，均有最好的表現（圖9）。在被試差異和模型可解釋性上，該研究也進行了分析。最后，通過對fMRI中體素權重的可視化，該模型展現出了在神經科學研究中的潛力。這項研究得到了MIT Technology Review的高度評價，認為該研究在腦機接口方面做出了一項重要的貢獻。 圖7 多視圖生成式自編碼模型訓練   圖8 多視圖生成式自編碼模型測試   圖9 多視圖生成式自編碼模型生成效果 四、進一步工作 先前研究也存在一些不足之處，例如： · 多用線性模型：不能學習到深層次的特征 · 單一任務 · 單一模態：只能學到單模態信息 不能利用大量非成對數據 在進一步工作中，將對這些問題進行一一改進： · 使用深度學習：能學習到層次化的特征，表達能力強 · 多任務：能同時進行分類和重建任務 · 多模態融合：多個模態互相補充有利于解碼效果的提升 · 半監督：能對大量的非成對數據，或者對缺失模態補全 ? ? ? ?隨后的研究不僅對圖像進行重建，還對其進行了分類；不僅使用了fMRI信號，還使用了EEG信號，不僅使用了成對的監督學習數據，還使用了大量非成對數據進行半監督學習。   五、多模態融合的對抗神經信息編碼 ? ? ? ?在多視圖生成式自編碼模型基礎上，何老師課題組博士生李丹搭建了新的網絡，以用于基于多模態融合的對抗神經信息解碼。從圖10中，我們可以了解該網絡的框架。最上層輸入圖片到標簽的過程是一個AlexNet，該網絡可以學習圖片的分類標簽，并在fc7層輸出一組語義特征。對于文本或EEG信號這樣的非圖像信息，作者也訓練一個網絡來提取語義特征fc2和分類。當這兩個網絡的數據是成對數據的時候，在兩組語義特征間計算一個損失，使兩組特征相互聯系。對于非圖像的網絡，作者提取了語義特征和分類標簽輸入一個生成器生成圖像。生成圖片之后，將圖片輸入一個判別網絡判斷圖片是真實圖片還是生成圖片。如果是成對數據生成的圖片，還要將生成圖片和原始圖片一起輸入另一個判別網絡，以判斷兩張圖片是否對應。 ? ? ? ?在測試中，我們就可以輸入非圖像信息（大腦信號或文本）提取語義特征和分類，再輸入訓練好的生成器重建圖像信息。 圖10 基于多模態融合的對抗神經信息解碼網絡結構 ? ? ? ?在以上網絡結構的條件下，基于fMRI信號的半監督跨模態圖像生成，在實踐中取得了較多視圖生成式自編碼模型更好的效果。基于EEG信號的半監督跨模態圖像生成（圖11）中也可以看到，由于使用了GAN，生成的圖片較之前更為清晰；且由于輸入了語義信息，包含了明確的語義特征。總的來說，這個研究將大腦活動的語義學習和圖像重建任務統一在同一個框架下，使得解碼結果語義明確。同時充分利用非成對的圖像數據可以很好的輔助跨模態圖像生成任務，使圖片重建質量提升，變得更加清晰。 圖11 基于EEG信號的半監督跨模態圖像生成示例 六、其他思路 ? ? ? ?接下來何老師分享了其他的一些思路。同樣是對之前模型的擴展，將多視圖生成式自編碼模型中添加了語義這一輸出，就可以得到語義信息的解碼（圖12）。由于圖像刺激的類別或者向量包含了圖像刺激中的高層次語義信息，該模型可以把大腦響應解碼到高層次的語義空間。 圖12 語義信息的解碼示例 ? ? ? ?將不同人的大腦信號看做不同的視圖，再利用多視圖生成式自編碼模型，就可以得到多被試解碼與腦-腦通訊模型（圖13）。該模型可以綜合利用多個被試的大腦響應數據，提高模型的泛化能力。如果我們將一個人的大腦響應解碼到另一個人的大腦響應上，則該模型不僅可以實現單個被試的大腦響應解碼，還可以實現多個被試間大腦響應的相互轉換。 圖13 多被試解碼與腦-腦通訊模型示例   ? ? ? ?類似的，多視圖生成式自編碼模型還可以應用在更加復雜的工作上，例如動態圖像（視頻）重建。如何根據大腦響應重建動態的視覺刺激場景是一個更具挑戰性的問題。將“推理網絡”和“生成網絡”的類型從多層感知機（MLPs）或卷積神經網絡（CNNs）升級為可以處理時間序列數據的遞歸神經網絡（Recurrent Neural Networks, RNNs），便可以嘗試進行動態視覺場景的重建。 圖14 動態圖像（視頻）重建模型示例   七、總結和展望 何老師對視覺信息編解碼的工作做了如下總結和展望： 本質：建立外界視覺刺激信息與大腦響應之間的映射模型 編碼：通過研究視覺信息編碼，建立類腦計算模型 解碼：通過研究視覺信息解碼，服務于腦機接口研究 模型：提出了基于多視圖生成模型的雙向建模框架 結果：在圖像重構（信息編碼）方面性能優異 展望： · 復雜自然場景的重構工作還在進行中 · 將采用動態編解碼，比如變分RNN，進行視頻重建 · 借鑒機器翻譯、圖像翻譯、對偶學習、自監督學習等思想 · 嘗試其他類型的深度生成模型，如GAN等 · GAN與VAE的結合   該講座介紹的研究的原文和代碼如下，歡迎感興趣的同學進一步研究： 代碼：https://github.com/ChangdeDu/DGMM 網站：http://nica.net.cn       參考文獻： 1. Mauro Manassi, Bilge Sayim, Michael H. Herzog, When crowding of crowding leads to uncrowding, Journal of Vision 2013;13(13):10. doi: https://doi.org/10.1167/13.13.10. 2. Kendrick N. Kay, Jonathan Winawer, Aviv Mezer, and Brian A. Wandell, Compressive spatial summation in human visual cortex, Journal of Neurophysiology 2013 110:2, 481-494 3. Chang de Du, Chang ying Du, Lijie Huang, Huiguang He, Reconstructing perceived images from human brain activities with Bayesian deep multiview learning, IEEE Transactions on Neural Networks and Learning Systems, 2019/8(2018/12/12),30(8), pp:2310-2323, 4. Dan Li, Changde Du, Huiguang He, Semi-supervised cross-modal image generation with generative adversarial networks, Pattern Recognition, 2020/4(2019/11/12),100,pp:107085, 5. Changde Du, Lijie Huang, Changying Du, Huiguang He. Hierarchically Structured Neural Decoding with Matrix-variate Gaussian Prior for Pereceived Image Reconstruction. AAAI 2020   本文作者：NCC lab 魏晨 校對：何暉光

  尊敬的各位領導、各位來賓，親愛的老師們、同學們： ? ? ? 大家晚上好！我是工學院生物醫學工程系的碩士畢業生張子一。非常榮幸作為研究生畢業代表進行發言。 ? ? ? 在今年的特殊疫情下，我們仍能在分別的前夕相聚在一起，要感謝奮戰在一線的抗疫工作者，感謝給予我們關懷的師長和親友們。特別要感謝學校的安排，在周全的部署下，給予我們如此隆重而特別的星空畢業典禮。 ? ? ? 此時此刻，站在這個講臺上，往事歷歷如在眼前。我回想起一同踩著閉館鈴聲走出琳恩圖書館的同學，由于忙著實驗而錯過巴士深夜結伴走過登山棧道的伙伴們，還有在創園路邊提著“實驗鼠盒”行色匆匆的生醫同行……奮斗著的南科人和美麗的校園，組成了我青春年華最溫暖的回憶。兩年的碩士生涯轉瞬即逝，還沒有來得及仔細品讀校園的美景，今天過后，我們就要帶著夢想奔向新的遠方。 ? ? ? 臨行之時收拾行裝，獨特的“南科印跡”將陪伴我們篤定前行。 ? ? ? 第一個“南科印跡”，是永葆無負時代、勇于擔當的責任意識與崇高使命。 ? ? ? 大三那年，我曾前往阿壩高原參加公益醫療援助活動，潔白的哈達、藏民患者期待的眼神和高原醫療資源的匱乏給我留下了深刻的印象，也在我心中埋下一顆種子——為人類健康貢獻自己的力量。帶著這樣的理想我來到南科大，成為碩士研究生聯培項目的一員。今年以來，面對百年一遇的疫情挑戰，我見證了周圍老師和同學們齊心協力、共赴使命、科技抗疫的行動。在深圳市科創委發布的“新冠病毒感染應急防治”專項中，南科大共申報了17個項目，而我所在的生物醫學工程系就申報了7項。在人類健康的問題上，生醫工人始終試圖通過交叉學科的融合特色給出答案。特殊時期，處于南科大“科技抗疫”的隊伍之中，我感受到空前的使命感和責任感，也讓我更加堅定了為人類健康貢獻自己的力量的信念。 ? ? ? 改革創新是南科大的立校之本。無懼困難，勇于攻堅，母校把第二個“南科印跡”裝進了我的行囊。 ? ? ? 從傳統理工科跨進前沿交叉學科，我希望能解決醫療領域的需求。帶著這樣的想法，我確立了自己的研究方向。即使如此，做實驗時仍常常因不理想的實驗結果而感到崩潰。帶著失敗的結果和一身的疲累回到寢室，已經是半夜了。此時此刻，心情有點復雜。放棄？是不可能的。我想，當我站在前沿交叉學科的平臺上時，我應抓住機會提升本領，努力打破專業的壁壘，不斷拓展新的領域。在導師和師兄師姐的幫助下，我堅持著課題研究，在反復試錯中逐漸得到要領。最終，我通過化學方法制備出具有非線性光學性質的納米材料，這些材料在生物成像時不再出現光毒性發射過程。這一特點，契合新型醫學診療的大趨勢，有助于提升診斷的人性化水平。 ? ? ? 開放包容，追求卓越，第三個“南科印跡”賦予全體南科人孜孜以求的人生目標。 ? ? ? 在兩年的科研中，我的導師吳長鋒從未對我設限，并給予我很大的自由度，從前期調研的結果到實驗設計的想法，他都愿意聆聽、討論，并及時指導。他的辦公室永遠為我們敞開。很幸運，我在南科大遇到了這么包容溫暖的課題組。我知道，我所在的課題組、我的導師，都只是南科大的一個縮影。這樣的導師、這樣的課題組，在南科大還有很多很多。正是他們夯實了南科大的科研大廈，筑起了南科大的科研高度，構建了南科大的學術聲譽。 ? ? ? 此時此刻，請把最熱烈的掌聲，獻給南科大所有的老師們！同時，也請將掌聲獻給我們自己，永不言棄的南科學子們！ ? ? ? 感謝始終呵護并引領我們持續成長的母校。作為一名南科人，我慶幸自己在青春年華受益于她的清新、大氣、開放、包容和堅定不移的使命感。 ? ? ? 十年風華共筑南科夢，一路向南再譜新華章。下一程，我將帶著裝滿了“南科印跡”的行囊，進入香港科技大學從事醫學材料方向的研究，并致力于科研產品化，決心將為人類健康而奮斗的青春熱血播灑在中華大地上。 ? ? ? 感謝母校給予我們勇于擔當的意識，面對風雨的勇氣和撐起夢想的能力。南科大建校十周年之際，我僅代表全體畢業生祝母校永遠朝氣蓬勃，在創新之路上啟航未來。最后，請允許我向遠在家中收看直播的父母表示感謝，謝謝你們的支持和陪伴。 ? ? ? 經歷一次畢業就會懂得，“前程似錦”的祝福其實是一句美好的道別。感謝大家共同經歷的時光和青春。祝全體2020屆畢業生前程似錦，不負韶華！ ? ? ? 謝謝！

? ? ? ?感受器神經元在根據環境變化（適應性）的能力上取代了人造傳感器，但其基本機制仍然是感受神經科學中的傳統挑戰。為了研究這種適應過程，宋卓異博士構建了感受受體的多尺度計算模型，旨在將信號傳導動力學從分子到系統層面聯系起來。 ? ? ? ?在6月12日的講座中，來自復旦大學類腦智能科學與技術研究院（ISTBI）青年研究員，宋卓異博士介紹了多尺度建模方法，以及所揭示的一種隨機的自適應采樣機制。該講座主要分為感知系統自適應與隨機自適應采樣機制兩部分。在開始之前，先讓我們欣賞一下宋卓異博士的代表作成果吧。   代表性成果1：揭示光感受器感知大范圍光強變化的自適應機制 照相機vs人眼 ? ? ? ?照相機光圈小時，進光量小，能看到亮處的背景，但暗處的背景細節會丟失；相反，照相機光圈大時，進光量多，能看到暗處的背景，亮處的背景會引起系統（即芯片）的飽和，從而導致亮處細節信息丟失。 ? ? ? ?然而人眼并不會有這種問題。那么，動物是如何實現這種大范圍的、動態的感光范圍呢？這種思想能否用于仿生眼的構建呢？ ? ? ? ? 解決方案：構造從微觀到宏觀的光感受器仿生模型。 ? ? ? ?圖中左上角為果蠅的光感受器的細胞（可感受單光子信號），右上角為一個單光子所產生的QB（Quantum Bump）的電流信號。在整合電流信號時，一個光子到一個Quantum Bump電荷間的放大倍數是6000。這樣的機制，就可以讓動物在極暗光的環境下看到物體，這是現在的照相機所做不到的。從宏觀角度來看，在千億數量的光子情況下，仿生神經元模型依然能夠正常運作。 ? ? ? ?上圖的左上角圖中底部NS為光強序列，黑線為實驗測的光感受器的響應，紅線為模型的仿真結果。可以看到，模型的復現結果非常好，而且該模型無需進行參數調整。現在，讓我們打開這個白箱模型，來進一步看其內部的運作機制。該模型是如何解釋神經元擁有大的高動態感光范圍。這里我們提出了四個機制（右上角圖中，黃字為新提出的創新機制），具體細節見本文硬件層面分析。下方的兩個子圖中表示了捕食者蒼蠅與被捕食蒼蠅的光感受器之間的區別：捕食者蒼蠅第一層感光神經元的視覺反應比被捕食蒼蠅的反應要快，這與其生存壓力息息相關。   代表性成果2：光感受器微跳視機制幫助復眼抵消運動模糊 ? ? ? ?光感受器遇光會發生抖動（微跳視）的現象，即也擁有壓力感知器的特性。這令人驚訝！因為這種抖動現象通常是在壓力感知器或聽力感知器上存在。2012年Hardie和Franze初次在光感受器上發現微跳視現象，其成果發表在Science上。但是這種微跳視現象對視覺產生什么樣的影響呢？我們知道，拍照時照相機的抖動會造成糊片；那么本來果蠅復眼看到的就是馬賽克圖像，如果再加上感受器的抖動現象，這不會讓復眼看到的圖像更糟糕嗎？當然實驗證實，果蠅擁有高分辨率的視覺行為。那么微跳視到底是怎么樣影響視覺的呢？ 微跳視可以調制光信號的變化 ? ? ? ?圖中上排顯示，當兩個光點經過感受野時，峰谷差值小，這會使果蠅把經過的兩個光點當成一個光點。圖中下排顯示，微跳視使感受野移動，使得峰谷差值變大，從而果蠅能更容易的區分兩個光點，增加空間分辨率。 Part1 感知系統自適應（sensory adaptation）： ? ? ? ? 神經元具有自適應性，即不斷的刺激輸入的情況下，神經元放電輸出會隨時間減少。那么如何理解這種自適應，它是如何產生的？ ? ? ? ?根據Marr’s?three levels of analysis（三級計算理論分析框架），即一個系統需要從以下三個層次進行研究： 1.計算理論（計算目標是什么？） 2. 算法（如何設計算法，來實現輸入輸出映射關系？） 3. 硬件實現（芯片或生物學系統如何物理實現？） ? ? ? ?對于光感受器系統，我們需要從以上三個層面來理解系統。傳統的方式是自頂到下進行分析。即首先明確：感知自適應的計算目標是什么，是什么原則決定著感知自適應。 ? ? ? ?物理學家們過去曾對此提出三種不同的理論：1）需要把能量提供給新穎的事件，自適應的計算目標是為了在新穎事件上保持注意力；2）不變的信號不含有信息，自適應是為了移除冗余信息；3）自適應是為了最大化神經元所刻畫的信息量。 ? ? ? ?下面我們集中于第三個理論，即信息最大化理論（information maximization theory），展開討論。 ? ? ? ?光信號在大腦中處理過程的框架如下： ? ? ? ?如何最大化得到輸出的信息？即在輸出范圍（dynamic range K）有限的情況下，如何設計Pn(neural filter神經元)使R（信息量）最大。 ? ? ? ?下面是基于信息最大化理論的兩種預測： ? ? ? ?預測一：假設channel noise與neural filter相互獨立，可在neural filter上增加G增益，使得R’大于R，如下圖所示。（Brenner et al. 2020） ? ? ? ?預測二：neural filter的自適應濾波性質。如下圖所示，高信噪比情況下，neural filter的頻譜特性與輸入譜成倒數關系，具有高通或帶通的濾波器特性；而低信噪比情況下，neural filter的頻譜特性與輸入譜成正比關系，具有低通的濾波器特性。（Sharpee et al.證明，自適應濾波有利于視覺皮層的信息傳輸。） ? ? ? ?這個框架的局限性： 1.自適應濾波為確定性過程，忽略了神經元本身具有隨機性的量綱。 2.假設中channel noise與neural filter是獨立關系，才能最大化信息，但如果Pn和G是相關關系時，在Pn上添加G，就相當于在Nc上添加G，就會相互抵消，導致R沒有增大。 3.沒有說明filter低通到高通變化過程以及具體機制。 ? ? ? ?在從三級計算理論框架自頂向下的研究中我們遇到了局限性，那么自底向上的研究能不能突破這些局限性呢？ ? ? ? ?物理學家Yakov Frenkel認為:“一個好的復雜系統的理論模型，需要突出其中重要的特點而忽略不重要的細節。”但是在研究的時候，我們很難知道哪個是重點哪個不是重點。因此，我們采用自底向上的方法先去研究現象，看能否在其中找到重要與不重要的信息。這里需要一個系統讓我們能夠采用自底向上的模式，這就需要系統滿足自適應和足夠的背景知識讓我們來構建模型兩個條件。我們最后選擇了果蠅光感受器，因為它具有強大的光自適應能力，一個神經元可處理任意光強。過去的研究工作主要集中在兩個領域，其中物理學家通過自頂向下的方式研究，通常提出計算理論來預測神經元的機制，而生物學家通過做各種實驗來研究生物物理機制。宋卓異博士提出構建全細胞（whole-cell）模型（即生物物理模型，從基因分子層級開始搭建系統直到搭建到細胞模型并將映射出輸入輸出的關系為止）來將兩個領域的工作聯系起來，填補這兩個領域之間的空白。 硬件層面分析： ? ? ? 果蠅光感受器的模型：左圖為一個胞體（非感光部分）與微絨毛（感光部分，數量為三萬個），中間圖表示微絨毛的分子反應網絡，將光子轉導為電流響應（右圖，Quantum Bump）。主要針對單細胞對于單光子相應的過程來構建分子反應鏈，這并不是系統模型，不能模擬細胞在持續響應光子輸入情況下的輸出。 ? ? ? ?上圖為宋卓異博士設計的一套模型系統，能夠將整個光感受器的輸入映射到電壓信號的輸出，共分4個環節： 1.三萬個微絨毛吸收光子的過程。 2.對于每個微絨毛，都有一系列的分子反應鏈的模型來轉導光子的能量。 3.仿真三萬個微絨毛所產生的光電流并集成起來輸入到胞體上。 4.使用Hodgkin-Huxley模型模擬胞體上的鉀離子通道的動態特性來產生電壓信號。 ? ? ? ?圖中顯示了在不同的光強序列、暗光、亮光條件下，真實神經元的響應結果與模型仿真結果十分接近。而且模型具有無需調參，擴展性好的優點。 ? ? ? ?在具有一個比較好的模型的情況下，我們可以打開模型，向三級計算理論分析中的上面兩層前進。首先我們對計算理論分析的最下層hardware implementation進行分析。模型可以響應一個光子輸入序列，這是之前業內沒做過也是實驗中做不到的，因為微絨毛太小，不能夠測得單個微絨毛對于光子序列的響應，只有在計算機仿真里可以看到每個微絨毛對光子響應序列的反應動態。分析提出了使光感受器有大范圍感光能力的4個機制： 1.大量微絨毛來感光。 2.單光子反應的不應期。 3.單光子響應，暗光響應大，亮光響應小，Quantum Bump(QB) Adaptation亮光暗光反應相差可達50倍。 4.在反應過程中，內部為隨機機制。 ? ? ? ?其中紅色的兩項機制為宋博士提出的新的機制。傳統觀點認為這兩點都不利于信息編碼，反應不應期會丟失信息，隨機過程會降低信噪比。然而，這并不全面，這兩點對于系統的自適應是十分有益的。 算法層面分析：???? ? ? ? ?Jhon Von Neumann認為參數個數多的復雜模型擬合數據好并不能說明什么，所以簡化模型更能方便研究其內部機制而且有利于構建大型仿真系統。根據四個機制簡化模型，減少原參數數量（50個）到4個關鍵參數，即絨毛的數量，光子到來到響應的延遲（Delay），Quantum Bump(QB)形狀，兩個QB之間的時間間隔即不應期。 ???? ? ? ? ?上圖表示反應不應期分為兩種情況：光子在不應期期間到來，光子會被丟失；光子在不應期之后到來，會形成QB。 ? ? ? ?圖A為不同隨機量的分布，圖B為在不同的光強條件下，QB的Interval有自適應的調節，即在暗光條件下，更趨向于long tail的分布，在亮光條件下更趨向于不應期的分布。 Gain control by refractory sampling分析： ? ? ? ?QE(quantum efficiency)為光子形成QB的比例。由于這種bump interval分布的自適應，使得系統擁有自動增益控制機制：在暗光條件下，每個光子都可產生QB，所以QE為100%。而強光條件下，光子會通過不應期丟掉，QE會下降（可降至1%）。 Adaptive filtering分析： ? ? ? ?通過分析transfer function，由于隨機的反應不應期得出adaptive filtering的機制：在暗光條件下，圖中標記叉號的大括號中反應不應期的那項為0，即大括號中只剩下1，所以transfer function為低通，主要由QB頻譜決定。在亮光條件下，反應不應期不為0，所以具有帶通性質。 ???? ? ? ? ?這樣也就復現了之前信息最大化的兩個預測，先前也提到了理論框架的局限性，現在來看看該模型是否克服局限性： 1.沒有假設noise和filter是否獨立，無論獨立與否都可產生自適應性。 2.通過refractory（不應期） sampling來解釋了高通與低通轉換機制。 3.對于先前忽略隨機性的局限性，提出了隨機性對于信號處理的重要性。 不應期的隨機性分析： ? ? ? ?根據奈奎斯特定理（Nyquist’s?Theorem），還原圖像，采樣頻率需大于2倍的原頻率，采樣的信號才不會失真。采樣頻率低于原頻率2倍時，會出現圖B中的圓圈即為混疊效應也稱為振鈴效應。隨機采樣可以消除振鈴效應，不過與噪聲要有權衡。在視覺上，噪聲可以通過平均消除，不過在感受器上形成的振鈴效應是無法消除的。在時間上來也存在振鈴效應問題（下圖）。隨機性的不應期（黑線）不容易產生震蕩，然而確定性的不應期（灰線）容易產生震蕩（類似于振鈴效應的圓圈）。 自然界物種的自適應分析： ? ? ? ?捕食蒼蠅比被捕食蒼蠅的神經元反應要快，響應快三倍，具有以下幾種機制： 1. 單光子響應QB窄（圖中紅色曲線，顯示捕食者蒼蠅QB分布比被捕食者蒼蠅窄）。 2. 不應期分布窄（圖中黃色區域，顯示捕食者蒼蠅不應期的分布比被捕食者蒼蠅窄）。 3.?微絨毛數量多（捕食者蒼蠅擁有9萬個微絨毛，而被捕食者蒼蠅只擁有3萬個）。 Part 1 總結： 1. 構建全細胞模型，可以把神經元的輸入與輸出都映射出來。 2. 有2個創新發現，亞細胞反應不應期可以作為強大的自動增益控制以及自適應的filtering機制；隨機采樣有利于應對信號處理的抗混疊。 3. 四個隨機自適應采樣機制也解釋了自然界不同物種之間的神經元響應的不同特性。 ? Part 2 隨機自適應采樣機制: ? ? ? ?先前提到模型解決了理論框架所存在的3個局限性，不過沒有說明到底是什么樣的刺激可以讓神經元編碼信息最大化。 ? ? ? ?從傳統的框架來分析，如何設計Sp來讓R最大化。通過信息論可以得到一定是高斯白噪聲來讓Sp最大化，因為高斯白噪聲是一定的帶寬下含信息量最大的信號。但是生物學家（Rleke et al. 1995）通過實驗得出前端感知的神經元并不是對高斯白噪聲響應最強烈而是對自然信號響應最強烈（是高斯白噪聲的2到6倍）。 ? ? ? ?然而一直沒有機理解釋為什么對自然信號的響應更強烈，直到宋卓異博士使用模型系統解釋了其中的原因（Song & Juusola，2014）。使用不同的輸入信號來刺激模型，圖（c）中顯示神經元可以對自然信號編碼更多的信息。這是因為在自然光信號中，暗光信號附近很大概率還是暗光信號（而高斯白噪聲相鄰兩點是不相關的），在連續的暗光信號時期，系統內部的微絨毛更容易從反應不應期之中恢復過來，從而采樣更多的光子，編碼更多信息。這也說明了光感受器對于變化的光強序列處理能力很強。對于動物來說，它們可以利用時空相關性來進行信息編碼。那么到底是什么樣的信號才能驅動光感受器呢？ ? ? ? ?于是我們設計了各種不同頻段高斯白噪聲以及pink noise等。圖中黑色線為輸出，彩色線為輸入。在紅色區域的兩段對比可以看到，感受器對于高斯白噪聲（右下角紅色區域）反應不強，而對于五指山似(burst)的輸入（左上角紅色區域）反應強烈。那么動物是如何與環境互動來獲得五指山一樣的信號呢？ ? ? ? ?通過對比動物三種不同的方式saccadic walking，linear walking, shuffled walking，發現saccadic walking可以產生burst形狀的信號。其中大片暗光的視覺區域，可以使系統更容易地從不應期中恢復過來，從而編碼更多信息。這就說明動物是可以通過自身行為、跟環境互動來調制光信號，來進行感知。 ? 最后用Marr的三級計算理論分析來總結講座： 1. Hardware Implementation Level：全細胞模型給出了生物物理的機制。 2. Algorithm Level：全細胞模型的研究設計了算法。 3. Computational theory Level：隨機自適應采樣理論，彌補了傳統理論的不足，可能是神經信息編碼最優采樣方法之一。同時我們也期待新理論的出現。 ? ? Reference: [1]?Hardie, R. C., & Franze, K. (2012). Photomechanical responses in Drosophila photoreceptors.?Science,?338(6104), 260-263. [2]?Brenner, N., Bialek, W., & Van Steveninck, R. D. R. (2000). Adaptive rescaling maximizes information transmission.?Neuron,?26(3), 695-702. [3]?Sharpee, T. O., Sugihara, H., Kurgansky, A. V., Rebrik, S. P., Stryker, M. P., & Miller, K. D. (2006). Adaptive filtering enhances information transmission in visual cortex.?Nature,?439(7079), 936-942. [4]?Song, Z., & Juusola, M. (2014). Refractory sampling links efficiency and costs of sensory encoding to stimulus statistics.?Journal of Neuroscience,?34(21), 7216-7237. [5]?Rieke, F., Bodnar, D. A., & Bialek, W. (1995). Naturalistic stimuli increase the rate and efficiency of information transmission by primary auditory afferents.?Proceedings of the Royal Society of London. Series B: Biological Sciences,?262(1365), 259-265. ? 文中圖片來源：宋卓異博士講座截圖。 歡迎感興趣的同學與宋卓異老師聯系。宋老師接收博士、碩士、RA申請。 聯系方式為songzhuoyi@fudan.edu.cn。 ? ? 本文作者：NCC lab 曲由之 校對：劉泉影、宋卓異 如需轉載請先發郵件咨詢：劉泉影，liuqy@sustech.edu.cn

? ? ? ?2020年6月11日下午，南方科技大學2020屆本科十佳畢業生評選大會在學生公寓11棟101活動室舉行。我校黨委書記郭雨蓉，黨委副書記李鳳亮，我系系主任蔣興宇等部門負責人出席擔任評委。本次評選采取了現場答辯+線上直播的形式，近3.4萬名觀眾通過南科大社交平臺觀看評選直播。 ? ? ? ? ? ? ? ?2020年，我校有近千名本科畢業生，他們分布于6個書院，16個院系。經過前期層層篩選，19名同學脫穎而出，成為“十佳候選人”。這19名同學通過師生投票、現場答辯的方式角逐2020年南科大十佳畢業生。 ? ? ? ?在此期間，我系科研實踐“兩開花”的鄧雨晴一路過關斬將，榮獲了2020屆十佳畢業生！評選大會上，鄧雨晴因正在麻省理工學院進行為期一年的交流學習，通過視頻的形式展示了自己在學習、科研、社會實踐、校園活動等方面的經歷和收獲。在短短幾分鐘的視頻展示里，她自信洋溢、侃侃而談，充分展現了生醫工學子的綜合素質和風貌風采。 鄧雨晴獲獎感言： ? ? ? ?一覺醒來上演真實躺著拿獎相當激動與驚喜。看到臺上9位獲獎者都上去而我卻無法到場還是有些遺憾的。每個人輪流發言發表獲獎感言都說出了自己對書院 院系 以及南科大的感謝唯獨我卻沒有機會在臺上說出。真的很感謝生物醫學工程系，給了我很多的機會還有幫助。尤其是生醫工的老師們，即使只有短暫接觸的任課老師都給過我很多的幫助。 ? ? ? ?而最想感謝的還是我的學術導師唐斌老師。記得之前一篇關于畢業生故事匯對我寫的報道是：如果有疑惑就去聊天吧，一次不行，那就兩次。真的很真實的概括了我和唐老師的相處。從選專業開始我接觸到了唐老師，他從我如何選專業課、如何安排自己的學習重心分配精力、如何做科研等等給了很多很多很多很多幫助。也給了我很多的機會，讓我多去接觸新事物，多學習新東西。雖然只有短暫的一年時間在實驗室，但是唐老師給我的資源讓我學到了很多的實驗技能以及科研方法。也帶我發出了自己的一篇SCI一作。而對我來說，最大的遺憾可能就是沒能為他招到很多學弟學妹了吧。     ? ? ? 另外系主任蔣老師給我的幫助也讓我很感動，從來沒有想過自己會受到這樣的關心。記得在答辯的前一天晚上11點多，蔣老師還特意打電話跟我交待了一些要點，答辯當天由于我時差原因沒有辦法參與問答，也是后來有同學跟我說是他在答辯結束后支持我說可以幫我回答問題。   ? ? ? ?BME的老師們給了我好多好多令我想象不到的感動，十佳候選時給自己選的標語為：幸運的人中最努力的。也大概從選擇生醫工開始吧。   唐斌老師課題組簡介： ? ? ? ?唐斌副教授，2001年獲得同濟大學材料科學與工程專業學士學位，2006年獲取香港大學機械工程系博士學位。2006年至2011年期間在香港大學機械工程系任職助理教授(研究類) , 2012年至今在南方科技大學任副教授。曾榮獲深圳市“孔雀計劃”B類人才、“MostCited Author 2005-2008”等榮譽,主要從事疾病中組織力學及細胞力學方向的研究，在國際一流學術刊物如《Osteoarthritis and Cartilage》及《Soft Matter》等.上發表SCI論文40余篇，被引用800余次。? 研究領域?? 1. 骨科生物材料 2. 疾病中的細胞及組織生物力學 3. 微觀材料機械表征及制造技術   導師說 ? ? ? ?一起做點好玩兒的東西吧！ ? ? ? ?我想不出這世界上還有什么比發現未知，創造新事物更讓人覺得興奮和好玩的事情。在我的實驗室內，我們自由探索所有感興趣的未知，我們希望用我們的努力滿足自己的求知欲和好奇心，順便讓人類更健康，更長壽，更幸福。 ? ? ? ?和諧，歡樂，腦洞大是本實驗室的特點，笑點低的慎入。研究方向偏小眾，但好處是出國率相應非常高。正經在實驗室混上幾年，踏踏實實干活的都拿了PhD 全獎（UCLA,NUS,HKU等）。目前實驗室本科生出現斷檔了（原因是實驗室3朵金花大三..忽然全部出去交流，一個MIT，一個哥大還有個是UCI）。嗯，招募人手中，只要你對生物，醫學，材料，力學，工程，計算機等等學科感興趣，那就來吧。 ? 唐斌老師課題組官網鏈接：https://www.sustech.edu.cn/zh/tangbin.html  

? ? ? ?2020年6月10日，先健科技有限公司首席醫學官，有源醫療器械部總經理曾樂朋、邁瑞公司生命信息與支持事業部副總經理岑建受聘為南方科技大學生物醫學工程系產業教授，受聘儀式在騰訊會議上舉行。生醫工系系主任蔣興宇及生醫工系副教授陳放怡出席了授聘儀式。 ? ? ? ?授聘儀式上，蔣興宇介紹了曾樂朋、岑建的簡介信息，并宣讀了聘書內容。隨后，兩位教授分別為我系師生帶來了“中國心臟管理有源醫療器械市場現狀與機會”、“國產醫療設備發展之路”的講座。 ? ? ?先健科技公司是業內領先的心血管微創介入醫療器械供應商，集研發、制造和銷售于一體，其高品質的、具自主知識產權的創新型產品暢銷全球100多個國家，分銷商網絡廣泛覆蓋歐洲、南美洲、亞洲、非洲等地，目前為全球第二大、金磚四國最大的先心病封堵器供應商及亞洲第二大大支架產品供應商。2011年11月，先健科技公司于香港聯合交易所成功上市，目前市值近百億港幣。 公司于2008年被評為“國家級高新技術企業”，擁有“博士后科研工作站”，“國家地方聯合工程試驗室”等高水平科研資質，承擔國家“十五”科技攻關課題、國家“973”計劃和國家“863”計劃等政府科研項目共計50余項。公司共有6個產品獲CFDA批準為創新醫療器械，是目前中國獲CFDA批準創新醫療器械產品最多的醫療器械企業。 ? ? ? ?產業教授曾樂朋有著豐富的醫療器械的產業化經驗：建立了美國美敦力公司心臟節律疾病管理部門的中國研發分部。中國的唯一植入專家成功支持國內知名醫院開展無導線起搏器的臨床試驗和上市。 曾完成先健科技左心耳封堵器作為中國首個同類產品在歐洲和中國的上市前臨床試驗并成功獲監管當局批準。曾完成先健科技左心耳封堵器的美國IDE臨床試驗批準。 完成先健科技二代胸主覆膜大支架完成上市前臨床試驗并成功獲中國藥監局批準上市。 實現了國家創新醫療器械芯彤心臟起搏器國產化，填補了國內空白，并于2017年底成功上市銷售。2019年銷售額達到2200萬人民幣。 自主研發的臨時心臟起搏器獲國家創新醫療器械，填補了國內空白，已獲得美國FDA三類器械上市批準，預計2020獲中國藥監局批準上市銷售。 ? ? ? ?邁瑞公司是中國領先的高科技醫療設備研發制造廠商，同時也是全球醫用診斷設備的創新領導者之一。自1991年成立以來，邁瑞公司始終致力于面向臨床醫療設備的研發和制造，產品涵蓋生命信息監護、臨床檢驗及試劑、數字醫學超聲成像、臨床麻醉系統四大領域，將性能與價格完美平衡的醫療電子產品帶到世界每一角落。時至今日，邁瑞公司在全球范圍內的銷售已擴展至140多個國家和地區。2019年全年營業收入165.56億元，同比增長20.38%。 邁瑞公司總部位于中國深圳，全球員工6000余名，在中國32個主要城市設立分公司以及美國、加拿大、英國、土耳其、印度等國家設立了18個子公司，在世界各地建立了強大的分銷和服務網絡。2006年9月邁瑞公司作為中國首家醫療設備企業在美國紐約交易所成功上市，10月獲科技部批準正式掛牌成立“國家醫用診斷儀器工程技術研究中心”，擔綱引領民族醫療設備發展之重任。 ? ? ? ?產業教授岑建負責監護、除顫、呼吸、麻醉、輸液泵等生命監測和支持類產品的技術規劃研究、產品開發、研發管理工作。監護、除顫等產品均為國內市場份額第一。曾作為第一完成人，《高端轉運監護儀》獲得2017年廣東省科學技術獎二等獎；曾作為第二完成人，《基于實時統計分析的高可信生命體征監測關鍵技術及產品應用》獲得2018年廣東省技術發明獎二等獎。曾作為主要完成人獲得一項國家集成電路布圖著作權，作為主要發明人獲得30多項國內發明專利和美國發明專利授權。曾主導完成8項醫療設備國家和行業標準起草，參與多項醫療設備國家和行業標準的制修訂工作 參與除顫儀、脈搏血氧計等多項國家醫療器械審評指導原則編寫。 ? ? ? ?兩位產業教授加入我系之后，將持續深化產教融合，推動所在企業與高校聯合申報國家和省級科研項目，推動所在企業承擔高校科研成果中試放大和產業化基地建設。同時，兩位教授還將參與我系學科團隊建設，對提升本學科水平和支撐、引領產業發展提出戰略性、前瞻性、創造性構想，并與校內導師聯合指導博士、碩士研究生，推動校企良性互動。  

? ? ? ?當下，腦電信號（EEG signal）在臨床醫學診斷、?際交互、認知科學等眾多研究領域已經得到了?泛的應?，但由于腦電信號?分微弱，很容易受到各種噪聲（如眼電、?電、肌電、運動偽跡等）的?擾，因而對其降噪就格外重要。受南?科技?學?物醫學?程系劉泉影助理教授邀請，來?中國科學技術?學的陳勛教授于2020年5?29?晚，在騰訊會議平臺以專業的知識和?動的例?從4個層次介紹了受肌電信號污染的腦電信號降噪問題：簡要理論基礎（如獨?成分分析、聯合盲源分離等）、動機、在該?向上的若?新探索、總結與挑戰。   一、內容簡介 ? ? ? ?盲源分離（Blind Source Separation, BSS）[1,2]是腦電降噪領域非常“有價值且有效的?法”。在盲源分離應用于腦電去噪之前，對于腦電信號的降噪主要使?的是基于濾波器或者回歸思想的?法。但是這些傳統?法都或多或少存在?些難以回避的問題，?如需要測量各噪聲通道來得到參考信號等。與之相?，盲源分離?法的優勢在于其只需要測量信號?不需要參考信號，即能通過統計上的推斷將噪聲信號分離出來。 圖1.雞尾酒舞會問題（Cocktail Party Problem）示意圖 ? ? ? ? ?如上圖1所示，盲源分離技術源于雞尾酒舞會問題（Cocktail Party Problem）。即有?N個?同時在?個舞會?聊天（即圖中S, sources），同時有在舞會的周圍布置有N??克?，這些?克?也都同時在不同的?度記錄了舞會中所有?聲?混合之后的信號（即圖中?X, observations）。針對這個問題，盲源分離技術要實現的就是在沒有額外信息的基礎上，將N個?的聲?獨?地分離出來。該技術的實現原理是統計獨?性。例如上述問題中的N個?產?的N個聲?信號?般在分布、（?階）統計特性上是不同的，即是獨?的。但要注意的?點是，恢復后的信號（recovered sources）?般模式相同，但順序、幅值會發?變化，這是因為混合矩陣A是未知的。我們可以?圖2所示“公式”X=AS來表示這?關系，其中矩陣X, A, S與在?上述問題中的意義相同。 圖2.盲源分離（Blind Source Separation, BSS）的公式表示 ? ? ? ? ?對于腦電信號和其中各種噪聲分離的實現中使?盲源分離技術的思路由圖3所示。 圖3.?盲源分離技術在腦電及噪聲信號分離中的應?思路 ? ? ? ? ?之后，陳教授借由對帕?森病?的腦?絡分析項?介紹，進?步引出了聯合盲源分離（Joint Blind Source Separation, JBSS）技術[3]。在這個項?中使?聯合盲源分離的技術主要是為了實現對多個數據集同時進?盲源分離，并提取出其中具有共性的特征或模式。 ? ? ? ?如圖4所示，盲源分離技術只能夠實現在?個數據集中提取出多個不相關（或獨?）的數據組，?使?聯合盲源分離技術則在單個數據集中實現提取多個不相關（或獨?）數據組的前提下，橫向保證了不同數據集內對應類型的數據組（即圖中深淺不?但顏?相近的?塊）是相關聯的。? ? ? ? ?圖5則展示了在多個通道的腦電信號處理中應?聯合盲源分離技術之后的效果，其中前3?信號均具有相同的模式（例如第1?代表了腦電信號，第2?代表了?電信號等），第4?則是各個通道?有的特殊的模式。使?聯合盲源分離技術的意義在于，可以代替??“對?”各個通道分離之后信號的?作，特別是在通道數較多時更有其優勢。同時，因為聯合盲源分離考慮了“相同意義”數據組的相關性，所以對單通道的盲源分離也會因此有更?的準確度（即其增加了?個維度的信息，使得分解更為有效）。 圖4. 盲源分離與聯合盲源分離對?模式圖 圖5.聯合盲源分離技術在對多通道腦電信號分解時的例? ? 二、研究動機 ? ? ? ?陳教授簡要介紹了聯合盲源分離技術在兩類問題中的應?： 1.?在多模態（Multimodality）分析中的應?； 2. 在組分析（Group Analysis）中的應?。 ? ? ? ?在圖6所示的多模態分析任務中， 醫?可能已經測得了病?的sMRI、fMRI、SNP等信息，便可以使?聯合盲源分析技術對這些模態之間的關聯進?分析。例如，可以通過該?段分析出精神分裂癥患者的腦部在結構上有哪些缺陷，因此導致了怎樣的功能上的失常，同時這樣的結構缺陷?是由哪些基因位點所控制的。 圖6.?聯合盲源分離技術在多模態分析中的應?舉例 ? ? ? ? ?同時，在下圖7所示的組分析任務中，我們已知同?種疾病在不同?群中表現的形式和癥狀可能是“相似??不同”的，即其存在共性?在個體間存在獨特性。因此，在醫學上對于個體的分析有時候可能并沒有太?的意義，此時便需要進?組分析，以得到群體?平上相同或相似的?些特征。 ? ? ? ?接著，陳教授就聯合盲源分離的?標函數（Objective Functions）做了?定的闡述和分析。例如在圖8中展示的IC-PLS or Parallel ICA模型（?種獨?和相關同時優化的模型）的公式中，我們的?標便在于使得數據集之間是有關聯的，同時各個數據集內數據組是相互獨?的，其中權重w是可調的以使其能夠優化。基于此可以推導出適?于多模態分析和組分析的變形。 圖7. 聯合盲源分離技術在組分析中的應?舉例 圖8. IC-PLS 或 Parallel ICA模型的?標函數 ? 三、近期進展 ? ? ? ?在這一部分中，陳教授先介紹了目前同樣廣泛運用的一種盲源分離方法：典型相關分析（Canonical Correlation Analysis，CCA），接著介紹了他近年在腦電信號去噪方面研究的一些進展，從獨立向量分析開始，再到單通道分析和少通道分析，之后再將這兩個方法運用到多通道分析。 ? ? ? ?多通道的盲源分離方法除了ICA以外還有典型相關分析(Canonical Correlation Analysis, CCA)，不同于ICA假設不同來源的信號相獨立，CCA通過利用腦電的自相關系數比肌電大這一特性將腦電與肌電分開。仿真結果顯示（下圖9） CCA相對ICA及其他濾波器效果更好[4]。 圖9. CCA去噪仿真結果 ? ? ? ? ?ICA雖然已經可以較好地完成腦電的去噪任務但在處理復雜肌電噪聲的時候面臨一些問題。陳教授也著眼于ICA的改進，通過保留ICA的獨立性并且借鑒了CCA的自相關性，構建了一個聯合盲源分離方法（下圖11）：獨立向量分析(Independent Vector Analysis, IVA) , 該方法通過對數據進行k次延時獲得k個數據集，以利用數據集之間的依賴信息使數據集之間的對應源相互依賴（CCA），而在每個數據集中利用信息論的相關準則（下圖10）把源分解為相互獨立的部分（ICA）[5]。 圖10. 互信息 圖11. IVA方法模式圖 圖12.?肌電噪聲信號模擬 ? ? ? ? ?在驗證IVA的去噪能力時，陳教授混合四種不同的肌電信號（上圖12）并與干凈的腦電信號疊加，以定量分析算法的去噪能力，最后發現無論是頻域還是時域的，以及相關性上，IVA都優于CCA和ICA，尤其是在污染嚴重的情況下，見下圖13。 圖13.?IVA去噪仿真結果 ? ? ? ? ?接下來陳教授嘗試使用IVA算法對癲癇患者的腦電信號進行了降噪，該信號被肌電嚴重干擾，但是IVA算法也取得了很好的效果（圖14）從圖中可以看出IVA相比ICA和CCA既在高頻段有效壓制高頻肌電信號，又沒有在低頻段（即有效腦電信號波段）破壞腦電信號。 圖14.?癲癇信號降噪頻率圖 ? ? ? ? ?隨著科技的不斷發展，醫療系統有著從傳統的以醫院為中心向以手機為基礎的方向發展的趨勢。在這樣的一個趨勢下，腦電采集設備的體積也越來越小，甚至有些設備只有一個通道，而此時傳統的多通道方法無法應用，那該如何只從一個通道去除噪聲信號呢？ 圖15.?單通道降噪架構圖 ? ? ? ? ?陳教授設計了一個構架（圖15），先將單通道通過小波變換、經驗模式分解（Empirical?Mode?Decomposition，?EMD）、奇異譜分解等方式將其分解為多通道信號，再采用BSS方法對其進行降噪后進行重建。通過仿真實驗（圖16），我們可以看到雖然在污染較為嚴重的地方不是特別完美，但也有著不錯的效果[6]。 圖16. 單通道降噪仿真結果 ? ? ? ? ?接下來陳教授又研究了單通道聯合盲信號分離時，延時的次數（也就是數據集個數）與降噪性能的關系。雖然理論上延時的次數越多降噪的效果越好，但研究發現：當延時次數為三次或者三次以上（也就是有三個或三個以上的數據集）時，性能就比較穩定了（圖17）。 圖17.?延時次數與降噪能力的關系 ? ? ? ? ?既然已經做出來了單通道降噪方法，那將它引入多通道降噪會不會讓產生比傳統的多通道降噪更好的效果呢？ ? ? ? ?理論上多通道包含著更多的信息，也意味著具有更好的去噪效果。這種猜想對EOG、ECG和運動偽跡可能是對的，它們的模式相對簡單。 然而，考慮到肌肉偽跡噪聲源比較多的特點，腦電圖通道的增加很可能意味著肌電來源的復雜性也增加了。在這種情況下，多通道技術可能會失去其固有的優勢。在進行仿真后發現單通道降噪（EEMD-CCA）相比多通道降噪（CCA）確實有更好的效果（下圖18）[7]。 圖18. EEMD-CCA與CCA的降噪能力仿真檢驗 圖19.?適用于不同通道數的統一降噪架構 ? ? ? ? ?因為單通道降噪相對多通道降噪有著更好的效果，陳教授以此為基礎設計了一種統一的架構（EEMD-CCA）（上圖19），無論是單通道、多通道還是少通道，都能進行降噪處理并取得不錯的效果。通過定量分析（下圖20）我們可以看出該架構相對于傳統的ICA和CCA在19通道、9通道、5通道時都能取得更好的效果?[8]。 圖20.適用于不同通道數的統一降噪架構降噪模擬結果 圖21.?MEMD-CCA架構 ? ? ? ? ?未來多數商業化的便攜式腦電圖設備可能都是少量通道設計，如2至8通道。此時如果單純使用多通道BSS方法性能會比較有限。單通道方法也可以以逐通道的方式應用，但是沒有考慮到通道間的相關性。陳教授針對這一需求設計出了一種基于多通道EMD（MEMD）和CCA的新架構（上圖21），相比于之前通過EEMD對每一個通道單獨分解，MEMD將所有通道一起分解，利用不同通道相同的頻率成分，分解更為精確。 在定量測試中，無論是全仿真（simulated）還是半仿真（Semi- simulated），MEMD-CCA相對于其他分解方法都能取得更好的效果（下圖22）（詳細信息見陳教授的論文[9]）。 圖22.?MEMD-CCA仿真結果 ? ? ? ? ?接下來陳教授又將少通道的降噪方法用于多通道去噪，將空間上相近的幾個通道劃為一組，充分利用近鄰直接的相關性，對每一組使用MEMD進行聯合分解，最終通過仿真驗證（下圖23）證明了MEMD-CCA相對于CCA有著更好的效果[10]。 圖23.?MEMD-CCA用于多通道降噪仿真結果 ? ? ? ? ?陳教授的降噪架構也在實際運用中獲得了良好的效果。Prof. Daniel Ferris采用了EEMD-CCA方法作為重要的工具，從高密度腦電圖記錄中去除重肌電噪聲，從而找到平衡學習背后的潛在機制。Prof. Jung的小組在他們的少通道移動BCI系統中采用了MEMD-CCA方法來去除肌肉活動，提高了分類的準確性。 ? ? ? ? ?本次講座，陳教授在Joint BSS的基礎上，探討了多通道、單通道和少通道三種通道構型以及它們之間的關系。 ? ? ? ?在不同的應用中，肌肉偽影可能有非常不同的特征，例如在睡眠、腦磁刺激、電刺激、癲癇、腦電圖-功能磁共振成像中，肌肉源數量、污染程度、可用信道數、時間樣本數量、放電的肌組織都不一樣，而相應降噪方法都會有所差別，需要研究者結合不同的引用來設計不同的方法。陳教授建議大家如果想要在這方面更進一步的話可以從降噪的深度（開發新方法，如欠定、動態、非線性）和廣度（探索一種混合的、循序漸進的方式來結合多種方法的優點）入手。 ? ? ? ?陳教授也在2019年寫了一篇Review（Removal of Muscle Artifacts From the EEG: A Review and Recommendations [11]），包含了近幾年腦電中肌電的降噪工作。 ? ? ? ?本文的最后，陳教授送給各位研究者的降噪大禮包，因為在不同應用條件下噪聲的情況是多種多樣的，沒有一種方法能適合所有情況，陳教授開發了一個免費的工具箱（ReMAE），鼓勵腦電圖研究人員和臨床工作人員廣泛研究各種應用中的各種方法。（下圖24）。 圖24. ReMAE工具箱 ? ? 如何下載降噪工具包？ 請訪問鏈接:? http://staff.ustc.edu.cn/~xunchen/resource.htm ? ? ? ?要獲得工具箱包，請下載網站內的許可協議。將其打印、簽署、掃描并通過電子郵件發送至xunchen@ustc.edu.cn，郵件主題為“ReMAE使用請求”。請使用您所在機構的電子郵件發送申請，并在電子郵件中說明您的職位、您所在的機構以及研究目的。收到后，下載工具箱的鏈接會被發送到您的機構電子郵件。 ? ? 參考文獻： 1. Martin J. Mckeown, Scott Makeig, Greg G. Brown, et al. Analysis of FMRI Data by Blind Separation into Independent Spatial Components[J]. Human Brain Mapping, 1998, 6(3):160-188. 2. Jung T P , Makeig S , Humphries C , et al. Removing electroencephalographic artifacts by blind source separation[J]. psychophysiology, 2000, 37(2):163-178. 3. Chen X , Wang Z J , Mckeown M J . A Three-Step Multimodal Analysis Framework for Modeling Corticomuscular Activity With Application to Parkinson’s Disease[J]. IEEE Journal of Biomedical & Health Informatics, 2014, 18(4):1232-1241. Clercq W D , Vergult A , Vanrumste B , et al. Canonical Correlation Analysis Applied to Remove Muscle Artifacts From the Electroencephalogram[J]. IEEE Transactions on Biomedical Engineering, 2006, 53(12):2583-2587. 4. Chen X, Peng H, Yu F, et al. Independent Vector Analysis Applied to Remove Muscle Artifacts in EEG Data[J]. IEEE Transactions on Instrumentation and Measurement, 2017:1-10. 5. Chen X, Liu A, Peng H, et al. A Preliminary Study of Muscular Artifact Cancellation in Single-Channel EEG[J]. Sensors, 2014, 14(10):18370-18389. 6. Chen X, Liu A, Chiang J, et al. Removing Muscle Artifacts From EEG Data: Multichannel or Single-Channel Techniques?[J]. IEEE Sensors Journal, 2016, 16(7):1986-1997. 7. Chen X, Chen Q, Zhang Y, et al. A Novel EEMD-CCA Approach to Removing Muscle Artifacts for Pervasive EEG[J]. IEEE Sensors Journal, 2018:1-1. 8. Chen X, Xu X, Liu A, et al. The Use of Multivariate EMD and CCA for Denoising Muscle Artifacts From Few-Channel EEG Recordings[J]. IEEE Transactions on Instrumentation and Measurement, 2018, 67(2):359-370. 9. Xu X, Liu A, Chen X. A novel few-channel strategy for removing muscle artifacts from multichannel EEG data[C]// IEEE Global Conference on Signal & Information Processing. IEEE, 2017. 10. Chen X, Xu X, Liu A, et al. Removal of Muscle Artifacts From the EEG: A Review and Recommendations[J]. IEEE sensors journal, 2019, 19(14):5353-5368. 11. Chen X, Xu X, Liu A, et al. Removal of Muscle Artifacts From the EEG: A Review and Recommendations[J]. IEEE sensors journal, 2019, 19(14):5353-5368. ? 文中所有圖片均來自陳勛教授網上講座的屏幕截圖。 ? ? 本文作者：NCC lab李哲汭，張皓銘