2021年，諾貝尓獎委員會決定將物理獎頒發(fā)給復雜系統(tǒng)研究領域、以喬治·帕里西（George Parisi）為首三位科學家。當時不僅物理學界，許多計算神經(jīng)科學家或理論機器學習學者表達了對帕里西的祝賀和感激，認為他的理論成果極大地推動了神經(jīng)網(wǎng)絡理論研究這一跨學科領域的蓬勃發(fā)展。

在新加坡國立大學，Choy Heng Lai（賴載興）教授便是這一波復雜系統(tǒng)與神經(jīng)網(wǎng)絡跨學科研究風潮的代表人物之一。賴教授的學術生涯，始于對物理學的熱愛和對未知的好奇。上個世紀70年代在芝加哥大學求學期間，他深入研究了粒子現(xiàn)象學和場論，探索了弱相互作用模型構建時期的標準模型；在哥本哈根的尼爾斯玻爾研究所，他進一步拓展了自己的學術視野，從量子色動力學的角度研究了電子-正電子湮滅過程中的多噴流結構。這一研究不僅加深了他對物理學的理解，更激發(fā)了他對復雜系統(tǒng)的濃厚興趣。

加入新加坡國立大學后，賴教授面臨著一個全新的學術環(huán)境。遠離實驗信息中心的他，開始轉向粒子物理學的其他領域，探索強子相互作用的幾何圖像、經(jīng)典規(guī)范場理論和量子場理論。然而，他逐漸意識到，還原論方法并不足以充分解釋集體性質和復雜行為的涌現(xiàn)。這一認識，促使他開始探索非線性動力學和混沌，逐步進入復雜網(wǎng)絡和更廣泛的復雜系統(tǒng)研究領域。

在此過程中，賴教授及其團隊在《人工智能與機器人研究國際期刊》(IJAIRR)的最新研究——《Asymptotic edge of chaos as guiding principle for neural network training》——成為了深度學習領域的一個創(chuàng)新之舉。這項研究首次嘗試將混沌邊緣（edge of chaos）的概念應用于神經(jīng)網(wǎng)絡訓練，提出了一種新的訓練原則，即在混沌邊緣，深度學習模型能夠展現(xiàn)出最佳的泛化性能。這一發(fā)現(xiàn)不僅是對深度學習理論的貢獻，也為未來的訓練策略指明了方向。

借此契機，賴教授向AI科技評論介紹了該論文的研究過程，以及混沌研究中存在的感悟。

論文鏈接： https://gairdao.com/doi/10.1142/S2972335323500011

論文引用鏈接：https://www.worldscientific.com/action/showCitFormats?doi=10.1142%2FS2972335323500011&area=0000000000000001

混沌邊緣：神經(jīng)網(wǎng)絡訓練的新思路

“混沌”是“秩序”的反義詞，是隨機混亂，是不可預測的“蝴蝶效應”；混沌邊緣源自復雜系統(tǒng)理論，并描繪了一種處于有序與混沌之間的動態(tài)平衡狀態(tài)。這一理論基礎不僅在物理學、生物學等多個學科中展現(xiàn)出其深遠的影響，也在神經(jīng)網(wǎng)絡和人工智能的研究中揭示了其獨特的價值。

神經(jīng)網(wǎng)絡本質上是復雜的非線性動力學系統(tǒng)，它們展現(xiàn)出的混沌特性賦予了它們獨特的信息處理能力。正是這種與混沌緊密相連的本質，使得混沌神經(jīng)網(wǎng)絡被視為模擬現(xiàn)實世界復雜計算任務的智能信息處理系統(tǒng)之一。在神經(jīng)科學領域，有研究表明，大腦在某些操作點上可能接近混沌邊緣，這樣的狀態(tài)被認為能夠優(yōu)化信息處理和學習能力。不同于當前主流人工智能研究試圖用一種簡單的數(shù)學方法來理解人工智能模型，混沌邊緣的概念不僅啟示了一種新的思考方式，而且為我們理解大腦如何處理復雜信息提供了一個強有力的理論工具。

混沌邊緣原理表明，在有序與混沌之間的動態(tài)平衡狀態(tài)可以促進信息的最大化處理。在神經(jīng)網(wǎng)絡中，這意味著網(wǎng)絡能夠在保持足夠穩(wěn)定性的同時，對輸入數(shù)據(jù)進行高效的信息編碼和處理。這種平衡狀態(tài)為理解網(wǎng)絡內部的決策過程提供了一個窗口，因為網(wǎng)絡在混沌邊緣的操作可能伴隨著更加明顯和可追蹤的動態(tài)模式。

賴教授這項研究的核心，在于如何將混沌邊緣的理論轉化為實際的神經(jīng)網(wǎng)絡訓練策略。賴教授及其團隊選擇了一種常用的訓練算法和正則化過程，展示了如何根據(jù)這一理論原則來設置訓練超參數(shù)，而不是依賴傳統(tǒng)的反復試驗或基于啟發(fā)式的方法。他們提出了一種“半解析”方法來確定最佳的權重衰減強度，這種方法需要對基礎解析方程進行一定的校準，以估計維持模型在混沌邊緣的最佳權重衰減強度。

與上帝擲骰子

賴教授的研究不僅僅在探索混沌邊緣對于優(yōu)化神經(jīng)網(wǎng)絡性能的潛力，而且還著重于提高人工智能系統(tǒng)的可解釋性。在人工智能領域，尤其是深度學習模型，通常被認為是“黑箱”，因為它們的決策過程缺乏透明度。然而，賴教授研究中使用的混沌邊緣原理，提供了一種可能的途徑來增強模型的可解釋性。

通過賴教授的“半解析”方法，研究人員能夠更精確地控制神經(jīng)網(wǎng)絡的權重衰減，從而維持網(wǎng)絡在混沌邊緣的最佳狀態(tài)。這種方法不僅有助于提升網(wǎng)絡的泛化能力，還可能揭示網(wǎng)絡如何通過權重的調整來響應不同的輸入數(shù)據(jù)。因此，混沌邊緣原理的應用為理解神經(jīng)網(wǎng)絡的決策機制提供了一種新的視角，有助于我們解釋和預測模型的行為。

此外，賴教授的研究還指出，通過適當?shù)恼齽t化，可以推動模型向有序狀態(tài)轉移，從而實現(xiàn)更好的性能。這種正則化方法，如權重衰減，通過懲罰過大的權重值來防止模型過擬合，同時保持模型的復雜性和表達能力。這種方法的引入，為解釋模型的行為提供了更多的線索，因為正則化項直接影響了模型的決策邊界和敏感度。

正如一句話所言：問題不在于上帝是否擲骰子，而在于如何擲骰子。賴教授的研究，不僅在理論上具有創(chuàng)新性，更在實踐中顯示出巨大的潛力。這一原則也適用于高度復雜的模型和任務，或許這一研究的潛在應用，有望影響未來的神經(jīng)網(wǎng)絡訓練策略，幫助我們了解“如何擲骰子”。

在這篇文章中，我們將深入探討賴教授的這項創(chuàng)新研究，從其理論基礎到實踐應用，從團隊合作到研究挑戰(zhàn)，我們將一一呈現(xiàn)。以下為雷峰網(wǎng)-AI科技評論與賴教授的采訪實錄，AI科技評論做了不修改原意的編輯：

一、論文解讀

AI科技評論: 您的最新論文《Asymptotic edge of chaos as guiding principle for neural network training》探討了混沌邊緣在神經(jīng)網(wǎng)絡訓練中的作用。您能為我們解讀一下這項研究的創(chuàng)新點嗎？

（論文截圖。來源：IJAIRR）

賴載興:?這項研究我們早期發(fā)現(xiàn)(https://arxiv.org/abs/1909.05176) 的首次應用嘗試，即深度學習模型在接近混沌邊緣時具有最佳泛化性能。然后，我們被激勵在實踐中應用這種“混亂邊緣”原則。我們選擇關注一種常用的訓練算法和正則化過程，以證明人們可以根據(jù)這一理論原理來設置訓練超參數(shù)，而不是像通常那樣進行反復試驗或基于啟發(fā)式方法。

雷峰網(wǎng)-AI科技評論: 您是如何將經(jīng)典的 Sherrington-Kirkpatrick 模型與神經(jīng)網(wǎng)絡訓練過程中的動力系統(tǒng)聯(lián)系起來的？

賴載興:?謝林頓-柯克帕特里克自旋玻璃模型（SK 模型）【注1】已被物理學家用來理解神經(jīng)網(wǎng)絡。我們的貢獻是將現(xiàn)代神經(jīng)網(wǎng)絡訓練過程進一步映射到SK模型相圖上，并進一步將訓練超參數(shù)與物理動力學過程聯(lián)系起來，以便可以清楚地理解每個參數(shù)在有序混沌過渡過程中的作用。

雷峰網(wǎng)-AI科技評論: 論文提到了一種設置最佳權重衰減強度的“半解析”方法。您能詳細說明一下這個方法是如何工作的以及它對提高模型性能的意義嗎？

賴載興:??“半解析”意思是因為它需要對基礎解析方程進行一定的校準。為了估計將模型維持在混沌邊緣的最佳權重衰減強度，我們需要知道它與其他訓練超參數(shù)之間的數(shù)學關系。雖然它們之間的函數(shù)依賴性可以通過分析得出，但方程中的某些常數(shù)需要根據(jù)經(jīng)驗進行校準。本質上，通過“設置”這個最佳權重衰減強度，模型將不斷探索學習數(shù)據(jù)模式的最佳權重配置，從而實現(xiàn)最佳測試精度。

雷峰網(wǎng)-AI科技評論：您如何看待這一研究在深度學習理論和實踐中的潛在應用？它將如何影響未來的神經(jīng)網(wǎng)絡訓練策略？

賴載興:?我們認為這是使用“混沌邊緣”【注2】作為增強深度學習模型訓練原則的第一個概念驗證。雖然我們在簡單的訓練任務上選擇了一個簡單的模型，但我們預計這一原則也適用于高度復雜的模型和任務，盡管控制混沌邊緣的確切實現(xiàn)可能會有所不同。

雷峰網(wǎng)-AI科技評論：團隊在研究過程中遇到的主要挑戰(zhàn)是什么，如何解決的？另外，您認為目前的研究差距和優(yōu)化計劃是什么？

賴載興:?研究過程中有很多失敗的嘗試。我們研究了模型和訓練機制的許多不同變體，但大未能提供清晰的洞見或因過于復雜而難以分析。但所有這些失敗都幫助我們對理論圖景和深度學習訓練動態(tài)有了更深入的了解，其中不少發(fā)現(xiàn)令人振奮。

此外，我們面臨的另一個挑戰(zhàn)是如何將跨學科的研究成果傳達給特定領域的專家，尤其是計算機科學家。物理學家與計算機科學家在研究人工智能時可能采用截然不同的視角和方法，有時甚至顯得格格不入。然而，這種跨學科的交流極大地促進了我們向他們學習，從而顯著提升了我們的研究質量。

我們之間的一個研究差距可能是，目前的人工智能研究依賴簡單的數(shù)學方程來理解人工智能模型，隱含地希望在解釋它時能達到一些簡單性。然而，人工智能似乎利用的是復雜性而不是簡單性，這種隱含的“簡單性”假設可能會阻礙理解人工智能深入理解的進展。工智能深入理解的進展。

雷峰網(wǎng)-AI科技評論：全球范圍內，有哪些頂尖研究團隊正在開展與您類似的項目？

賴載興:?除了人工智能之外，復雜性科學中也有“混沌邊緣”的相關研究。他們中的許多人研究生物網(wǎng)絡和分布式水庫計算機網(wǎng)絡（Reservoir Computer Networks）。著名的包括印第安納大學伯明根分校的約翰·貝格斯（John Beggs）、賓夕法尼亞大學的丹尼·S·巴塞特（Dani S. Bassett）。

二.領域洞見

雷峰網(wǎng)-AI科技評論：您認為當前機器學習和深度學習領域面臨的最大挑戰(zhàn)是什么？您的研究如何幫助應對這些挑戰(zhàn)？

賴載興:?最大的挑戰(zhàn)可能是可解釋性，這樣模型就可以用來完成艱巨的任務。我們研究中使用的混沌邊緣原理可以作為提高人工智能可解釋性的理論基礎。

雷峰網(wǎng)-AI科技評論：您能否介紹一下本研究的應用前景和潛在挑戰(zhàn)？

賴載興:?我們的研究是概念驗證的第一步，表明利用復雜系統(tǒng)科學中的原理可以幫助創(chuàng)建更好的人工智能模型。從長遠來看，它可以帶來更好、更復雜的訓練算法或模型架構。然而，由于大型語言模型等最先進的模型非常龐大且復雜，因此實現(xiàn)更好的人工智能模型非常具有挑戰(zhàn)性。

雷峰網(wǎng) (公眾號：雷峰網(wǎng)) -AI科技評論: 您如何看待量子信息科學和復雜系統(tǒng)研究在未來技術發(fā)展中的作用？他們將如何推動跨學科創(chuàng)新？

賴載興:?量子信息科學正沿著一條不可阻擋的軌跡迅速發(fā)展，這不僅得益于它巨大的潛力，更源于它對量子技術革新的驅動作用。隨著我們對量子世界的認識日益加深，對通信、計算和安全等領域的高級功能需求不斷增長，探索量子領域已成為一個合乎邏輯的下一步。制造量子設備是一個復雜的過程，它要求精密的工程技巧和跨學科知識的融合。量子信息科學有潛力成為連接多個前沿創(chuàng)新的關鍵紐帶。

復雜系統(tǒng)科學正逐漸被視為一種普遍的方法論和思考框架，而不僅僅是特定領域的知識。它已經(jīng)滲透并融入了眾多學科包括物理、化學、生物醫(yī)學、工程，乃至社會科學、經(jīng)濟學、物流等領域，以及城市動力學、彈性和可持續(xù)性問題。這些問題的解決不再局限于傳統(tǒng)學科的視角，而是需要跨學科的協(xié)作和貢獻。隨著復雜性思維成為研究的常態(tài)，“復雜性科學”這個術語在未來很可能會從我們的詞匯中消失。

三、學術背景及展望

雷峰網(wǎng)-AI科技評論：您能簡單介紹一下您的個人背景和學術歷程嗎？您是如何從粒子現(xiàn)象學和場論過渡到非線性動態(tài)系統(tǒng)、量子混沌和復雜系統(tǒng)的？

賴載興:?我1971 年至 1978 年間在芝加哥大學完成了本科至博士的學習， 我的博士論文是關于（反）中微子誘導的二μ子的產(chǎn)生，這項研究為弱相互作用模型構建時期提供了對標準模型的深入和及時評估。隨后，在我哥本哈根的尼爾斯玻爾研究所，我深入研究了量子色動力學下的電子-正電子湮滅過程。

加入新加坡國立大學后，我面臨了與實驗信息中心距離較遠的挑戰(zhàn)，這促使我轉向粒子物理學的其他理論領域，包括強子相互作用、經(jīng)典與量子規(guī)范場理論。我被整體論所吸引，認為還原論方法不能完全解釋復雜系統(tǒng)的集體行為。我的研究逐步從非線性動力學和混沌理論擴展到復雜網(wǎng)絡和系統(tǒng)，這是一段充滿發(fā)現(xiàn)的物理學之旅。

雷峰網(wǎng)-AI科技評論：在學術傳承方面，您在物理學方面有科學根源，在教育方面，您推動了新加坡國立大學計算科學的發(fā)展。您過去的經(jīng)歷如何塑造您的專業(yè)技能和研究視角？它與本研究有何關系？

賴載興:?在我看來，求知欲是學者最寶貴的品質，它驅使我們超越自己的專業(yè)領域，對新的問題保持好奇，欣賞并吸收他人的創(chuàng)新思維和方法，以及用自己學科的原則和概念來構建問題和挑戰(zhàn)。我在芝加哥大學接受的跨學科教育，涵蓋物理、人文、社會科學以及生物和化學，為我日后在新加坡國立大學的多元教育發(fā)展中打下了堅實的基礎。無論是建立計算科學項目、轉型物理系研究方向，還是參與創(chuàng)立耶魯-新加坡國立大學學院，這些經(jīng)歷都豐富了我的教育背景和科學視野。

最近，我將研究領域擴展到了機器學習物理學，這一轉變源自對深度學習基本原理的深入思考。在物理學中，我們習慣于通過對稱性或最優(yōu)化原則（如最小作用原理、熵最大化等）來理解現(xiàn)象。如果我們將深度學習視為一個動態(tài)過程，我會關注在這個過程中哪些量被最小化或最大化，以及這些過程背后的機制是什么。這種探索在某種程度上是第一波神經(jīng)網(wǎng)絡浪潮中物理學家工作的延續(xù)，并有助于我們在深度學習領域實現(xiàn)更高的可解釋性和可重復性。

雷峰網(wǎng)-AI科技評論：您能分享一下您目前的一些研究方向或正在進行的項目嗎？

賴載興:?我的同事（Feng Ling, Chen Kan, 和一些研究生）目前正在進行城市動力學問題的概念框架和應用開發(fā)，包括城市韌性（臨界點、預警信號、預測……）、城市環(huán)境中的疫情傳播，以及社交網(wǎng)絡上的信息傳播和控制（包括錯誤信息）。這項工作是在新加坡國立大學城市框架下進行的。

我參與的另一個方向是新加坡的AI for Science倡議，希望能夠利用新加坡已建立的科學界社群來推動人工智能的應用，并可能為理解人工智能過程的機制和動態(tài)提供反饋。

雷峰網(wǎng)-AI科技評論: 最后，您對科學和教育有哪些個人哲學或信念？這些對您的研究和職業(yè)有何影響？

賴載興:??我的朋友阿圖爾·埃克特（Artur Ekert）是量子技術中心的首任主任，他在所有電子郵件中都引用了一句話：“做你喜歡的事，喜歡你所做的事”。我非常贊同這句話。我個人認為，成為一名科學家是一種特權，你可以追隨自己的熱情，將學習和探索視作生活方式，而非單純的“工作”。換言之，你從事研究是源于你的激情和興趣；教學是希望分享知識的喜悅；承擔學術管理，是因為對所屬機構有深厚的歸屬感和責任感。自己的學術生涯能如此充實，盡管這可能帶有些許理想化色彩。不幸的是（也許？！），現(xiàn)代學術界越來越重視研究成果作為成功的唯一標準，這可能會改變年輕學者對學術成就的認識和滿足感。

注1：謝林頓-柯克帕特里克（Sherrington-Kirkpatrick，簡稱SK）自旋玻璃模型是一個物理學中的簡化模型，涉及到大量元素之間的復雜相互作用，用數(shù)學語言來描述，在一種被稱為自旋玻璃特殊的磁性材料所包含的中隨機分布、完全無序的小磁鐵之間非常復雜和混亂的磁場模式，以及這些小磁鐵如何在這個混亂的網(wǎng)絡中找到一種平衡狀態(tài)。簡而言之，SK模型是一個探索復雜系統(tǒng)中秩序與混亂相互作用的重要工具，這個模型也在研究大腦神經(jīng)元如何協(xié)同工作時提供了洞見。

注2："混沌邊緣"（Edge of Chaos）是一個描述系統(tǒng)動態(tài)行為的術語，它指的是一種特殊狀態(tài)，其中系統(tǒng)的行為既不是完全有序的，也不是完全無序的。這個概念在復雜系統(tǒng)理論中非常重要，因為它通常與系統(tǒng)的高適應性和信息處理能力相關聯(lián)。在人工智能和機器學習中，研究者嘗試利用混沌邊緣的概念來設計更智能、更能適應新情況的算法。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見 轉載須知 。