公眾號/ ScienceAI（ID：Philosophyai）

編輯 | 綠蘿

假設(shè)你有一本一千頁的書，但每一頁只有一行文字。你使用掃描儀提取書中包含的信息，這個特定的掃描儀系統(tǒng)地掃描每一頁，一次掃描一平方英寸，要花很長時間才能讀完整本書，而且大部分時間會浪費在掃描空白處。

這就是許多實驗物理學(xué)家的生活。在粒子實驗中，探測器捕獲并分析大量數(shù)據(jù)，即使其中只有一小部分包含有用信息。「在一張鳥兒在天空中飛翔的照片中，每個像素都可能有意義，」SLAC 國家加速器實驗室的物理學(xué)家 Kazuhiro Terao 解釋道。但在物理學(xué)家看到的圖像中，通常只有一小部分真正重要。在這種情況下，仔細研究每個細節(jié)會消耗不必要的時間和計算資源。

但這種情況正在開始改變。借助一種稱為稀疏卷積神經(jīng)網(wǎng)絡(luò) (Sparse Convolutional Neural Network，SCNN) 的機器學(xué)習(xí)工具，研究人員可以專注于數(shù)據(jù)的相關(guān)部分并篩選出其余部分。研究人員使用這些網(wǎng)絡(luò)極大地加快了他們進行實時數(shù)據(jù)分析的能力。他們計劃在至少三大洲的即將進行或現(xiàn)有的實驗中使用 SCNN。這一轉(zhuǎn)變標志著物理學(xué)界的歷史性變化。

「在物理學(xué)中，我們習(xí)慣于開發(fā)自己的算法和計算方法，」哈佛大學(xué)物理學(xué)家 Carlos Argüelles-Delgado 說。「我們一直走在發(fā)展的最前沿，但現(xiàn)在，在計算端，計算機科學(xué)往往處于領(lǐng)先地位。」

稀疏字符

SCNN 的工作始于 2012 年，當時在華威大學(xué)(University of Warwick)工作的 Benjamin Graham 想要構(gòu)建一個可以識別中文手寫體的神經(jīng)網(wǎng)絡(luò)。

當時處理這類圖像相關(guān)任務(wù)的首要工具是卷積神經(jīng)網(wǎng)絡(luò)（CNN）。對于中文手寫任務(wù)，書寫者會在數(shù)字平板電腦上描寫一個字符，生成一張例如 10,000 像素的圖像。然后，CNN 將在整個圖像上移動一個稱為內(nèi)核的 3×3 網(wǎng)格，使內(nèi)核分別以每個像素為中心。對于內(nèi)核的每個位置，網(wǎng)絡(luò)都會執(zhí)行復(fù)雜的數(shù)學(xué)計算，稱為卷積，以尋找區(qū)別特征。

CNN 旨在用于信息密集的圖像，例如照片。但是包含漢字的圖像大多是空的；研究人員將具有此屬性的數(shù)據(jù)稱為稀疏數(shù)據(jù)。這是自然界中任何事物的共同特征。Graham 說：「舉個例子說明世界是多么稀疏」，如果埃菲爾鐵塔被包裹在盡可能小的矩形中，那么該矩形將由「99.98% 的空氣和僅 0.02% 的鐵」組成。

南極冰立方中微子觀測站。

Graham 嘗試調(diào)整 CNN 方法，以便將內(nèi)核僅放置在圖像的 3×3 部分上，這些部分至少包含一個具有非零值（并且不僅僅是空白）的像素。就這樣，他成功地制作了一個能夠高效識別手寫中文的系統(tǒng)。它以僅 2.61% 的錯誤率識別單個字符贏得了 2013 年的比賽。（人類平均得分為 4.81%。）接下來他將注意力轉(zhuǎn)向了一個更大的問題：三維物體識別。

論文地址：https://arxiv.org/abs/1711.10275

論文地址：https://arxiv.org/abs/1706.01307

到 2017 年，Graham 轉(zhuǎn)到 Facebook AI Research 并進一步完善了他的技術(shù)并發(fā)布了第一個 SCNN 的詳細信息，該 SCNN 僅將內(nèi)核集中在具有非零值的像素上（而不是將內(nèi)核放在任何 3×3 像素上）至少有一個「非零」像素的部分）。Terao 為粒子物理世界帶來的正是這種普遍的想法。

地下拍攝

Terao 在費米國家加速器實驗室參與了探索中微子性質(zhì)的實驗，中微子是已知最難以捉摸的基本粒子之一。它們也是宇宙中質(zhì)量最豐富的粒子（盡管不多），但它們很少出現(xiàn)在探測器內(nèi)。因此，中微子實驗的大部分數(shù)據(jù)都很少，Terao 一直在尋找更好的數(shù)據(jù)分析方法。他在 SCNNs 中找到了一個。

2019 年，他將 SCNN 應(yīng)用于模擬深層地下中微子實驗 (DUNE) 的預(yù)期數(shù)據(jù)，該實驗將于 2026 年上線，屆時將成為世界上最大的中微子物理實驗。該項目將從芝加哥郊外的費米實驗室發(fā)射中微子， 穿過 800 英里的地球到達南達科他州的一個地下實驗室。在此過程中，粒子將在三種已知類型的中微子之間「振蕩」，這些振蕩可能會揭示中微子的詳細特性。

與普通方法相比，SCNN 分析模擬數(shù)據(jù)的速度更快，并且需要的計算能力大大降低。這些有希望的結(jié)果意味著 SCNN 很可能會在實際的實驗運行中使用。

SCNN 比普通方法更快地分析模擬數(shù)據(jù)，并且這樣做需要的計算能力要少得多。有希望的結(jié)果意味著 SCNN 可能會在實際的實驗運行中使用。

與此同時，在 2021 年，Terao 幫助將 SCNN 添加到費米實驗室另一個名為 MicroBooNE 的中微子實驗中。在這里，科學(xué)家們研究了中微子與氬原子核之間碰撞的后果。通過檢查這些相互作用產(chǎn)生的軌跡，研究人員可以推斷出有關(guān)原始中微子的細節(jié)。為此，他們需要一種算法，該算法可以在探測器的三維表示中查看像素（或者從技術(shù)上講，它們的三維對應(yīng)物稱為體素），然后確定哪些像素與哪些粒子軌跡相關(guān)聯(lián)。

由于數(shù)據(jù)非常稀疏——大型檢測器（大約 170 噸液態(tài)氬）中的少量細線——SCNN 幾乎是這項任務(wù)的完美選擇。Terao 說，使用標準的 CNN，由于要完成所有計算，圖像必須分成 50 塊。「使用稀疏的 CNN，我們可以一次分析整個圖像——而且速度更快。」

及時觸發(fā)

從事 MicroBooNE 工作的研究人員之一是一名名叫 Felix Yu 的本科生實習(xí)生。SCNN 的強大功能和效率給他留下了深刻的印象，作為哈佛大學(xué)研究實驗室的研究生，他帶著這些工具來到了下一個工作場所，該實驗室正式隸屬于南極冰立方中微子天文臺。
天文臺的主要目標之一是攔截宇宙中最具活力的中微子并追蹤它們的來源，其中大部分位于我們銀河系之外。該探測器由埋在南極冰層中的 5,160 個光學(xué)傳感器組成，在任何給定時間只有一小部分會亮起。陣列的其余部分仍然是黑暗的，并沒有提供特別的信息。更糟糕的是，探測器記錄的許多「事件」都是誤報，對中微子搜尋沒有用。只有所謂的觸發(fā)級事件才能進行進一步分析，并且需要立即決定哪些事件值得指定，哪些事件將被永久忽略。

標準 CNN 對于這項任務(wù)來說太慢了，因此 IceCube 的科學(xué)家們長期以來一直依賴一種名為 LineFit 的算法來告訴他們潛在有用的檢測結(jié)果。但 Yu 說，該算法并不可靠，「這意味著我們可能會錯過一些有趣的事件。」 同樣，它是一個非常適合 SCNN 的稀疏數(shù)據(jù)環(huán)境。

論文地址：https://arxiv.org/abs/2303.08812

Yu 與他的博士生導(dǎo)師 Argüelles-Delgado 以及威斯康星大學(xué)麥迪遜分校的研究生 Jeff Lazar 一起量化了這一優(yōu)勢，在最近的一篇論文中表明，這些網(wǎng)絡(luò)的速度將比典型的 CNN 快 20 倍左右。Lazar 說：「這足以運行檢測器發(fā)出的每個事件，」每秒大約 3,000 個。「這使我們能夠更好地決定丟棄什么和保留什么。」

IceCube 有數(shù)千個傳感器深埋在南極冰層中，例如左邊的那個（由研究人員和工程師簽名）。在任何時候，這些傳感器中只有少數(shù)能為中微子獵手提供有用的數(shù)據(jù)，因此研究人員需要一種工具來幫助他們分離出不需要的數(shù)據(jù)。

作者還在使用官方 IceCube 數(shù)據(jù)的模擬中成功采用了 SCNN，下一步是在南極計算系統(tǒng)的副本上測試他們的系統(tǒng)。如果一切順利，Argüelles-Delgado 認為他們應(yīng)該在明年將他們的系統(tǒng)安裝在南極天文臺。但這項技術(shù)可能會得到更廣泛的應(yīng)用。「我們認為 [SCNN 可以使] 所有中微子望遠鏡受益，而不僅僅是 IceCube，」Argüelles-Delgado 說。

超越中微子

麻省理工學(xué)院的物理學(xué)家 Philip Harris 希望 SCNN 能夠幫助最大的粒子對撞機：CERN 的大型強子對撞機 (LHC)。Harris 從麻省理工學(xué)院的同事計算機科學(xué)家宋涵那里聽說了這種神經(jīng)網(wǎng)絡(luò)。「Song 是使算法快速高效的專家，」Harris 說——非常適合大型強子對撞機，那里每秒發(fā)生 4000 萬次碰撞。

幾年前，當他們交談時，Song 告訴 Harris 他正在與實驗室成員一起進行的一個自動駕駛汽車項目。Song 的團隊使用 SCNN 分析車輛前方空間的 3D 激光地圖，其中大部分是空的，以查看前方是否有任何障礙物。

Harris 和他的同事在大型強子對撞機上面臨著類似的挑戰(zhàn)。當兩個質(zhì)子在機器內(nèi)部碰撞時，碰撞會產(chǎn)生一個由粒子組成的膨脹球體。當其中一個粒子撞擊收集器時，會發(fā)生二次粒子雨。「如果你能繪制出這場流星雨的全部范圍，」Harris 說，「你就能確定產(chǎn)生它的粒子的能量，」這可能是一個特別感興趣的物體——類似于希格斯玻色子，物理學(xué)家 2012 年發(fā)現(xiàn)的暗物質(zhì)粒子，物理學(xué)家仍在尋找。

「我們試圖解決的問題歸結(jié)為連接點，」Harris 說，就像自動駕駛汽車可能連接激光地圖上的點以檢測障礙物一樣。

Harris 說，SCNN 將使大型強子對撞機的數(shù)據(jù)分析速度至少提高 50 倍。「我們的最終目標是讓 [SCNN] 進入檢測器」——這項任務(wù)至少需要一年的文書工作和社區(qū)的額外支持。但他和他的同事們充滿希望。

總而言之，SCNNs——一個最初在計算機科學(xué)領(lǐng)域構(gòu)想的想法——很快將在中微子物理學(xué) (DUNE)、中微子天文學(xué) (IceCube) 和高能物理學(xué) (LHC) 中進行的最大實驗中發(fā)揮作用。

Graham 說，當他得知 SCNN 已經(jīng)進入粒子物理學(xué)領(lǐng)域時，他感到非常驚喜，盡管他并不完全感到震驚。「從抽象意義上說，」他說，「一個粒子在空間中運動，有點像筆尖在紙上運動。」

參考內(nèi)容：https://www.quantamagazine.org/sparse-neural-networks-point-physicists-to-useful-data-20230608/