0
編輯丨青暮
2021年12月17日，西安電子科技大學人工智能學院教授、歐洲科學院外籍院士、IEEE Fellow焦李成受邀參加2021中國計算機大會“下一代演化計算發(fā)展趨勢”論壇，并做了“進化優(yōu)化與深度學習的思考”的主旨報告。
在報告中焦李成梳理了“進化”相關的發(fā)展淵源與思想起源，指出了當前人工智能的學術缺陷與實際困境，并從類腦的角度給出了解決路徑：
“神經(jīng)網(wǎng)絡不應該是目前的意義上進行權重調參，它的結構應該具備變化性、可塑性、學習性和動態(tài)性；在類腦感知的過程中，腦的獎懲、學習、信息表征機制，以及突觸的學習記憶、再生長和發(fā)育的機制對于信息的重建及編碼和處理具有重要的作用。上述特性是現(xiàn)有深度網(wǎng)絡所沒有重視的?！?/span>
以下是報告全文，AI科技評論做了有刪改的整理：
今天的演講主要分為五個部分：發(fā)展淵源與思想起源、進化優(yōu)化與學習、類腦表征學習與優(yōu)化、進化優(yōu)化與深度表征學習，以及思考與挑戰(zhàn)。
人工智能幾十年來得到了長足的發(fā)展，而進化優(yōu)化和類腦啟發(fā)的深度學習是現(xiàn)在人工智能技術的核心，其關鍵是：用腦處理知識和自然演化思想發(fā)展人工智能技術。這兩個思想的發(fā)展可以通過歷年頒發(fā)的科學獎項窺得一二。
例如通過梳理腦科學諾貝爾獎可以明晰“人類如何思考”，回顧圖靈獎可以討論“機器如何進行學習和推理”，了解歷年生物相關的諾貝爾獎，可以在“生物如何選擇優(yōu)化”方面給我們啟示。那么這些工作對現(xiàn)在的人工智能技術發(fā)展有什么啟示？
其實，目前學者用人工智能解決實際問題可以分為以下幾個步驟：機器學習推導符號 =>深度學習=>深度強化學習（感知+決策）=>深度遷移學習（環(huán)境適應）=>深度元學習（自動學習）。對于這一步驟路徑，徐宗本院士曾經(jīng)有一段關于機器自動學習的描述：
“機器學習自動化：首先在數(shù)據(jù)層面上，數(shù)據(jù)樣本需要實現(xiàn)自生成、自選擇；其次在模型算法層面上，模型算法需要實現(xiàn)自構建、自設計；最后在環(huán)境任務層面上，環(huán)境任務要實現(xiàn)自適應、自轉換。人工智能的發(fā)展軌跡應該是從人工走向自動化，再邁向自主智能?！?/section>
從這段話也可以看出，這幾個步驟環(huán)環(huán)相扣，一層比一層有難度，那么我們應該如何更加有效的優(yōu)化這條路徑？
進化優(yōu)化的思想起源很早，達爾文提出的全局優(yōu)化以及拉馬克、班德溫提出的局部學習奠基了如今進化算法的學術思想。在進化學習語境下，我們希望無組織機器通過進化、學習、反饋的路徑找到通用的機器學習方法。
1948年，圖靈在《智能機》報告中也指出從嬰兒到成人，人類大腦皮層可以看做從無組織機器進化為通用機器。在這之后，進化優(yōu)化發(fā)展出了四大基本分支：
進化編程：1960年，L.J.Fogel提出將模擬進化作為一個學習過程以生成廣泛的人工智能機器，其強調自然進化中群體級行為變化。
進化策略：1964年，德國柏林工業(yè)大學的兩位學生 L.Rechenberg與H. Schwefel借鑒生物的變異和選擇提出了進化策略。
遺傳算法：1975年，J.H.Holland借鑒了C.R.Darwin的生物進化論與G.J.Mendels的遺傳定律提出了遺傳算法。
遺傳編程：1980年，S.F.Smith提出了基于遺傳自適應算法的學習系統(tǒng)，J.R.Koza撰寫了《遺傳編程：用自然選擇讓計算機編程》。
根據(jù)進化計算思想，科學家們又設計了它的動力學過程：群體智能，它可以由混沌狀態(tài)出發(fā)，通過價值啟發(fā)信息探索規(guī)律、模式和知識，最終得到解。它的過程是通過動力學的演化過程，以概率1收斂到全局最優(yōu)解，特點表現(xiàn)為隨機、非線性、遍歷、自組織性、適應性、多樣性、穩(wěn)定性和高度并行性。
如上圖所示，群體智能的思想起源很早，其代表性的方法包括蟻群優(yōu)化、粒子群優(yōu)化、免疫算法、螢火蟲算法等等。利用進化優(yōu)化求解復雜問題，主要是利用它的并行性、奇異性、易修改性、高度的非線性以及廣泛的應用性等特點，從而匹配NP難問題和組合爆炸問題。
此外，在進化優(yōu)化算法發(fā)展的過程中，自然免疫學理論為人工免疫進化優(yōu)化提供了堅實的理論基礎。從信息負表示算法到免疫進化算法，再到人工免疫的網(wǎng)絡、克隆選擇算法，以及樹突細胞算法，讓進化優(yōu)化算法有了“利用先驗知識，具有容錯性、免疫性、魯棒性”等特點，使其和實際問題更加靠近，能夠在動態(tài)中尋求最優(yōu)解。
生物免疫同樣也證明了這一點，生物諾獎的領域也為發(fā)展新的算法提供了堅實的理論基礎。“在記憶中學習，在遺忘中加速”使最優(yōu)解算法更加有效，符合優(yōu)勝劣汰的根本思想。
人工免疫系統(tǒng)模型的特點是：學習記憶性、多樣性、分布性、容錯性和被動免疫性。這也為構造高效、魯棒、容錯的算法提供了生物的基礎。人工免疫系統(tǒng)方法應用在各個領域，已經(jīng)有非常好的表現(xiàn)，希望它能夠和進化計算、深度學習結合起來，共同推動領域發(fā)展。
提及進化，一定離不開類腦的感知和認知，離不開神經(jīng)網(wǎng)絡以及深度學習。2021年諾貝爾醫(yī)學獎頒給了David Julius和Ardem Patapoutian，當時給出的獲獎理由是：
人體對熱、冷和觸覺的感知能力對我們的生存至關重要，并且支撐著我們與周圍世界的互動。他們發(fā)現(xiàn)了“溫度和觸覺的受體”。
這給我們帶來了“類腦感知與認知研究非常有意義”的啟示。從類腦的感知到認知是長時間的過程，而認知科學是一門對心智及其過程進行多學科研究的科學，如果說感知包含視覺、聽覺、觸覺、味覺等，而認知是教會我們理解、思考、推斷、決策，那么如何對心智及其過程進行準確而全面的觀察是認知科學的基礎，也是巨大的挑戰(zhàn)。Tomaso A.Poggio教授認為：人工智能過去的突破來自于神經(jīng)科學，將來的突破也來自于神經(jīng)科學。
回憶類腦的感知和認知，首先要了解腦的生物機理和基本特性。如上圖所示，人腦的六個特性是近20年生物界最新發(fā)現(xiàn)：稀疏性、學習性、選擇性、方向性、知識性和多樣性。
稀疏性：1996年， Olshausen和 Field在《Nature》上發(fā)文提出神經(jīng)元稀編學說；2007年，Svoboda和 Brecht在《Science》上發(fā)表論文，用白鼠實驗驗證了神經(jīng)元“稀疏編碼”假說。
學習性：2011年，美國MIT學者 Tenenbaum與CMU、 Berkeley、 Standford大學等人在《Science》上指出：人類能從少量的數(shù)據(jù)學到一般化的知識，即具有“抽象知識”的學習能力。
選擇性：2011年， Pieter.R等在《Science》發(fā)文提出：經(jīng)實驗證明，猴子大腦細胞具有自主控制注意區(qū)域的能力；2012年 Xilin Zhang在《Neuron》上發(fā)文提出視覺信息加工的初期具有顯著注意機制。
方向性：2015年 Arseny Finkelstein在《Nature》上指出生物大腦中存在能感知方向與位置信息的方位角和傾斜角細胞；2020年 Joshua Jacobsi等人在《Neuron》上發(fā)表觀點提出在人腦內(nèi)側額葉中發(fā)現(xiàn)了一種以自我為中心空間定位的神經(jīng)編碼模式。這群神經(jīng)元在空間和情景記憶中發(fā)揮重要作用。
而現(xiàn)在的深度學習只建立在巨量神經(jīng)元的并行上，更熱衷于前向的網(wǎng)絡，而對于神經(jīng)元與神經(jīng)元之間的反饋連接卻沒有多少研究。因此，對于類腦的感知和認知，無論從宏觀層面、介觀層面以及微觀層面，都需“再出發(fā)”，都需要利用上述機理和特性進行分析、模擬、構造模型。
神經(jīng)網(wǎng)絡的發(fā)展有很長的歷史，上述圖片展示了一些卓越貢獻者。例如最早生物神經(jīng)元的提出者、MP神經(jīng)元模型的提出者、感知機的提出者、連續(xù)神經(jīng)元的提出者以及到后來明斯基提出感知器只能解決線性可分問題而不能解決非線性異或問題。
其他學者在神經(jīng)網(wǎng)絡領域的貢獻更加出色和難能可貴，例如Grossberg夫婦奮斗一生提出了自適應共振機理論和三個ART系統(tǒng)。
在中國層面，提出發(fā)育神經(jīng)元模型的吳文俊先生，提出視覺通路中三色傳導學說的張香桐先生，模式識別的創(chuàng)始人傅京蓀以及提出了憶阻器、Chua電路、細胞神經(jīng)網(wǎng)絡等理論的蔡少棠先生為神經(jīng)網(wǎng)絡的發(fā)展做出了巨大貢獻。
值得一提的是，郭愛克、陳霖、蒲慕明等學者在生物領域的工作，為建立神經(jīng)網(wǎng)絡提供了良好的基礎。
時刻不能忘記前輩的努力，當代華人學者也在接力，他們卓越的學術工作使得中國在國際上更有影響力。
另外，在2021年，深度卷積網(wǎng)絡發(fā)明者日本學者福島邦彥獲鮑爾獎，表彰他通過發(fā)明第一個深度卷積神經(jīng)網(wǎng)絡「 Neocognitron」將神經(jīng)科學原理應用于工程的開創(chuàng)性研究，這是對人工智能發(fā)展的關鍵貢獻。LeCun也曾評價：福島邦彥教授1980年的卷積網(wǎng)絡工作給了他很大的啟發(fā)，促使了他1989,1998年分別提出CCN和LeNet。
人工智能的發(fā)展和深度學習的興起分不開，從1943年、1944年、1949年到今天，已經(jīng)經(jīng)歷了幾起幾落。值得一提的是，BP算法的出現(xiàn)讓神經(jīng)網(wǎng)絡可以學習多層網(wǎng)絡，從某種意義上回答了明斯基“單層感知器不能解決非線性可分”的問題。
BP算法出現(xiàn)自1974年，P.Werbos在其哈佛大學博士論文中首次給出詳細的數(shù)學推導。之后眾多學者在其基礎上進行改進才有了今天神經(jīng)網(wǎng)絡的發(fā)展。2021年Francis Crick最新工作指出：大腦實際上不太可能使用反向傳播，也就是說BP復制或傳遞突觸權重的信息進行更新，但是在生物網(wǎng)絡中，神經(jīng)元只能接收到其他神經(jīng)元的輸出信息，而不能接收到突觸權重或內(nèi)部過程。這一發(fā)現(xiàn)也指出，更具生物學意義的學習機制，或許可以替代反向傳播機制，例如反饋比對、預測性編碼、錐體神經(jīng)元、注意力機制等等。
因此，神經(jīng)網(wǎng)絡不應該只是如今意義上的權重調參，更重要的是其結構要具有變化性、可塑性、學習性和動態(tài)性，目前這些特性是現(xiàn)在深度網(wǎng)絡所沒有重視的。
同樣，在類腦感知的過程中，獎懲機制、學習機制、信息表征機制、再生長和發(fā)育機制等，對于信息的重建、記憶編碼和處理具有重要的作用。目前這些特性在深度神經(jīng)網(wǎng)絡中也沒有得到重視。
人工智能中的“特征工程”、“特征搜索”、“表征學習”的說法，應該換成“大數(shù)據(jù)驅動下的表征學習”、“大數(shù)據(jù)和知識先驗驅動下的表征學習”，這樣顯然更有意義。
在研究認知建模、自動學習以及漸進演化的過程中，應該結合環(huán)境的變化、自然的演化以及學習動態(tài)變化，能夠幫助我們在認知、學習、優(yōu)化、計算、識別的道路上構造新的模型，構造新的算法，創(chuàng)新新的有潛力的途徑。
目前，我們將物理的Wishart極化特性與大腦的稀疏性相結合，提出了一種快速提取目標信息的非線性稀疏變換網(wǎng)絡——Wishart Deep Stacking Network(W-DSN),設計了初級快速感知與高級層次感知模塊，能夠在噪聲未知時對目標數(shù)據(jù)自動抽取高層語義特征，實現(xiàn)自動、高效、精準的分類。
另一個工作是也把物理特征、腦的稀疏特征、多尺度特征與卷積神經(jīng)網(wǎng)絡相結合，提出Contourlet卷積神經(jīng)網(wǎng)絡，解決了稀疏的、方向的、多非變的尺度特征的提取和表征問題。
人腦的進化，包括神經(jīng)網(wǎng)絡的進化，其實是參數(shù)的進化、超參數(shù)調整，以及結構進化和動力學過程。而進化算法其實是從人工到自動的突圍，深度學習與進化相結合或許是讓機器學習擁有自動進化能力的一種路徑。
深度與進化結合的研究有兩方面的優(yōu)勢。其一，進化解決深度網(wǎng)絡結構、權重、參數(shù)等優(yōu)化的科學問題；其二，深度解決進化搜索效率低、復雜度高的科學問題。具體而言，深度學習改善進化計算收斂速度慢、解多樣性退化、質量低的問題。
例如，利用深度神經(jīng)網(wǎng)絡表征問題的特性，維持群體多樣性；深度神經(jīng)網(wǎng)絡代替昂貴的適應度評價過程；利用深度神經(jīng)網(wǎng)絡學習進化計算的選解機制。
進化計算和深度學習相結合在謀求自動求解非線性、小樣本、大數(shù)據(jù)、高維度、組合爆炸等復雜向題非常有潛力。這方面的代表性工作是“神經(jīng)結構進化搜索(NAS)”。
神經(jīng)網(wǎng)絡結構的進化研究已經(jīng)有幾十年的歷程，如上圖所示，已經(jīng)出現(xiàn)了一些出色的工作。它有如下特點：
無需求導：進化搜索是隨機搜索算法，不需要計算梯度和解析的目標函數(shù)。
群體特性：進化搜索是基于種群的搜索算法，一次可以獲得多個解。
組合爆炸：進化搜索應用范圍廣，適合大規(guī)模復雜問題的優(yōu)化。
全局最優(yōu)解： 進化搜索是隨機搜索方法，且算法以概率1收斂到全局最優(yōu)解。
非線性隨機：進化搜索可以解決非線性問題，尋優(yōu)規(guī)則由概率決定。
并行計算：可以通過大規(guī)模并行計算來提高計算速度。
2021年的最新工作中，加拿大渥太華以及麥吉爾大學的研究人員表明：使用突發(fā)規(guī)則構建的深度神經(jīng)網(wǎng)絡具有良好性能，為進化神經(jīng)網(wǎng)絡架構搜索供了更加堅實的理論基礎。換句話說，機器正在進行的學習方式可以通過生理過程來逼近。
神經(jīng)網(wǎng)絡權值優(yōu)化也經(jīng)過了多年的發(fā)展。80年代提出的權重優(yōu)化相關工作包含動力學過程；而目前神經(jīng)網(wǎng)絡的進化優(yōu)化，主要局限于權值的優(yōu)化和超參的優(yōu)化。這是組合爆炸問題，使得優(yōu)化過程收斂速度慢、計算時間長、復雜度高，而難以使用。因此，梯度優(yōu)化算法容易受到局部最優(yōu)的影響，而進化算法在存在鞍點的情況下表現(xiàn)非常好。
當前超參數(shù)選取大多依靠堆疊GPU，這只能緩解計算量問題，但從機理上而言，需要找到自動學習的方法。超參數(shù)優(yōu)化的問題在于：非線性、非凸、組合優(yōu)化、混合優(yōu)化、試錯成本高、組合爆炸。經(jīng)過幾十年的發(fā)展，這些問題仍然沒有解決。
同樣有幾十年研究底蘊的領域還有元學習，它需解決的基本問題是：元知識的表征、元學習器以及元目標。現(xiàn)在已經(jīng)有一系列的辦法解決可解釋性和魯棒性，但遠遠不夠，因為對泛化性能的提高、對可解釋性的追求、對進化全局最優(yōu)解的追求永遠在路上。
因此我們需要通過自然智能（包括類腦智能學習和優(yōu)化）來達成這些目標。在進化的路上，我們需要做到“耳聰目明”，例如表征的緊促、正交、準確，學習的明確，解釋的清楚。以雷達研究為例，從最早的看得見，到測得準，再到觀得清，最后到辨得明，這恰恰印證了人工智能（包括進化計算和深度學習）的發(fā)展特點。
ABC，也就是人工智能（AI）、生物智能（BI）、計算智能（CI）有無限光明。希望我們共同牢記初心、不負使命、砥礪前行，認認真真、扎扎實實做學問。
2021-12-12
2021-12-25
2021-12-29
雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
