科技獵公眾號(hào)/?
編輯 | 蘿卜皮
來自深度語言模型的蛋白質(zhì)表征，已經(jīng)在計(jì)算蛋白質(zhì)工程的許多任務(wù)中表現(xiàn)出最先進(jìn)的性能。近年來，進(jìn)展主要集中在參數(shù)計(jì)數(shù)上，最近模型的容量超過了它們所訓(xùn)練的數(shù)據(jù)集的大小。
牛津大學(xué)（University of Oxford）的研究人員提出一個(gè)替代方向。他們證明，在密碼子而不是氨基酸序列上訓(xùn)練的大型語言模型可以提供高質(zhì)量的表征，并且在各種任務(wù)中都優(yōu)于同類最先進(jìn)的模型。
在某些任務(wù)中，例如物種識(shí)別、蛋白質(zhì)和轉(zhuǎn)錄本豐度預(yù)測等，該團(tuán)隊(duì)發(fā)現(xiàn)，基于密碼子訓(xùn)練的語言模型優(yōu)于所有其他已發(fā)布的蛋白質(zhì)語言模型，包括一些包含超過 50 倍訓(xùn)練參數(shù)的 模型 。
該研究以「Codon language embeddings provide strong signals for use in protein engineering」為題于 2024 年 2 月 23 日發(fā)布在《Nature Machine Intelligence》。
蛋白質(zhì)表征學(xué)習(xí)仍存在不少挑戰(zhàn)
預(yù)訓(xùn)練語言模型已成為計(jì)算蛋白質(zhì)工程許多領(lǐng)域不可或缺的工具。大多數(shù)標(biāo)記蛋白質(zhì)數(shù)據(jù)集的大小有限，因此首先在大型、未標(biāo)記的序列信息語料庫（例如 UniRef）上對(duì)龐大的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，并具有自監(jiān)督的重建目標(biāo)。自監(jiān)督訓(xùn)練賦予模型的潛在變量具有高度信息性的特征，稱為表征學(xué)習(xí)，然后可以在可用訓(xùn)練數(shù)據(jù)有限的下游任務(wù)中利用這些特征。
蛋白質(zhì)表征學(xué)習(xí)目前是用于預(yù)測變異適應(yīng)性、蛋白質(zhì)功能、亞細(xì)胞定位、溶解度、結(jié)合位點(diǎn)、信號(hào)肽、翻譯后修飾、內(nèi)在紊亂等的最先進(jìn)工具的核心，它們?cè)趯?shí)現(xiàn)準(zhǔn)確的免比對(duì)蛋白質(zhì)結(jié)構(gòu)預(yù)測的道路上顯示出了巨大潛力。因此，改進(jìn)學(xué)習(xí)表征是在計(jì)算蛋白質(zhì)工程中實(shí)現(xiàn)一致、實(shí)質(zhì)性改進(jìn)的潛在途徑。
迄今為止，實(shí)現(xiàn)更多信息表征的途徑遵循兩個(gè)主要方向：追求增強(qiáng)規(guī)模的模型，其中增加模型容量單調(diào)地提高性能；模型架構(gòu)的改進(jìn)也持續(xù)帶來了性能提升。但是，這兩個(gè)方向都耗費(fèi)人力和計(jì)算機(jī)時(shí)間，需要顯著優(yōu)化，并且似乎提供遞減（對(duì)數(shù)）回報(bào)。
更豐富的數(shù)據(jù)是另一條途徑
改進(jìn)學(xué)習(xí)表征的另一種途徑可能是使用包含更豐富信號(hào)的生物數(shù)據(jù)。雖然蛋白質(zhì)語言模型迄今為止主要關(guān)注氨基酸序列，但編碼蛋白質(zhì)的 DNA 序列中還包含其他信息。
蛋白質(zhì)編碼 DNA (cDNA) 的語言依賴于 64 個(gè)核苷酸三聯(lián)體，稱為密碼子，每個(gè)密碼子編碼一個(gè)特定的氨基酸或序列的末端。
雖然這種 64 密碼子字母表是高度簡并的，大多數(shù)氨基酸由多達(dá) 6 個(gè)不同的密碼子編碼，但目前的研究表明，編碼相同氨基酸（同義）的密碼子不能互換使用。同義密碼子的使用與蛋白質(zhì)結(jié)構(gòu)特征相關(guān)，近 60 個(gè)同義突變與人類疾病有關(guān)。
圖示：將蛋白質(zhì)語言模型擴(kuò)展到密碼子語言。（來源：論文）
密碼子的使用也與蛋白質(zhì)折疊有關(guān)，有充分的證據(jù)表明密碼子序列的變化會(huì)影響折疊動(dòng)力學(xué)、折疊途徑，甚至正確折疊的蛋白質(zhì)的量。這一證據(jù)表明，同義密碼子的使用包含有價(jià)值的生物信息，機(jī)器學(xué)習(xí)模型可以利用這些信息來提高預(yù)測任務(wù)中的信噪比。
用密碼子序列，而不是氨基酸序列
在最新的研究中，牛津大學(xué)的研究團(tuán)隊(duì)證明在密碼子序列上預(yù)訓(xùn)練蛋白質(zhì)語言模型 CaLM（codon adaptation language model，由 8600 萬參數(shù)進(jìn)行訓(xùn)練），可以產(chǎn)生能夠捕獲關(guān)鍵生化特征的信息豐富的蛋白質(zhì)表征。測試表明，根據(jù)密碼子而不是氨基酸序列訓(xùn)練的蛋白質(zhì)表征，在各種下游任務(wù)中表現(xiàn)出顯著的優(yōu)勢。
圖示：CaLM 概述。（來源：論文）
該團(tuán)隊(duì)的 8600 萬參數(shù)語言模型的性能，優(yōu)于其他具有類似容量的模型，在許多情況下，甚至優(yōu)于參數(shù)超過 50 倍的模型。這種性能是由于密碼子語言模型能夠捕獲跨 DNA 序列的密碼子使用模式的能力，并且當(dāng)密碼子使用信息被損壞時(shí)，這種優(yōu)勢就會(huì)消失。
cDNA 訓(xùn)練模型的額外訓(xùn)練成本可以忽略不計(jì)，并且似乎可以提高所考慮的所有序列級(jí)任務(wù)的性能。由于高通量蛋白質(zhì)測序幾乎完全是通過 DNA 序列的翻譯來完成的，因此原始編碼序列是公開可用的并且可以用于訓(xùn)練。研究人員建議使用 cDNA 而不是簡單的氨基酸序列來訓(xùn)練蛋白質(zhì)語言模型，這為改進(jìn)計(jì)算蛋白質(zhì)工程提供了一條明確的途徑。
密碼子語言模型還可以為無需比對(duì)的蛋白質(zhì)結(jié)構(gòu)預(yù)測，提供有價(jià)值的進(jìn)化信號(hào)，特別是在依賴語言模型來預(yù)測蛋白質(zhì)各部分之間關(guān)系的 ESMfold 和 OmegaFold 等方法中。
基于 cDNA 的模型可以恢復(fù)更廣泛的進(jìn)化關(guān)系，例如同義突變，這在核苷酸水平上很明顯，但在氨基酸水平上并不明顯。已知同義密碼子的使用與結(jié)構(gòu)特征相關(guān)，并且密碼子使用和蛋白質(zhì)折疊之間的聯(lián)系可能為已知無法捕獲折疊物理原理的方法提供有價(jià)值的信號(hào)。
研究人員建議，將密碼子語言模型納入免比對(duì)蛋白質(zhì)結(jié)構(gòu)預(yù)測的流程中，很可能為加速高精度蛋白質(zhì)結(jié)構(gòu)預(yù)測提供一條成本可以忽略不計(jì)的途徑。
提高蛋白質(zhì)表達(dá)質(zhì)量的兩個(gè)方向
該團(tuán)隊(duì)還提出了進(jìn)一步提高蛋白質(zhì)表達(dá)質(zhì)量的兩個(gè)主要方向。
一是規(guī)模擴(kuò)大。當(dāng)前的研究使用了一個(gè)只有 8600 萬個(gè)參數(shù)的簡單模型，這個(gè)大小與最新出版物中的標(biāo)準(zhǔn)模型大小相比顯得相形見絀。
使用的數(shù)據(jù)集也相對(duì)較小：與 ESM 系列模型中使用的 1.25 億個(gè)序列或某些 ProtTrans 模型中使用的近 5 億個(gè)序列相比，僅 900 萬個(gè)序列。通過在包含數(shù)億 DNA 序列的數(shù)據(jù)集上訓(xùn)練數(shù)十億參數(shù)模型，存在一條明確的途徑來提高表征質(zhì)量。
另一個(gè)潛在的改進(jìn)方向是開發(fā)結(jié)合氨基酸和編碼序列的多模式模型。該研究的消融實(shí)驗(yàn)表明，在缺乏密碼子使用信息的情況下，模型性能大幅下降，以至于低于數(shù)據(jù)集中的每個(gè)氨基酸模型。然而，由于模型間接訪問氨基酸序列，因此原則上它應(yīng)該能夠訪問與僅氨基酸模型相同的信息。
這種差異可能是由于訓(xùn)練期間缺乏氨基酸水平信號(hào)造成的，因此結(jié)合氨基酸和密碼子序列的訓(xùn)練模型可以提高整體模型性能。
更豐富的輸入帶來新視角
在生物學(xué)中，人們非常關(guān)注數(shù)據(jù)集偏差的影響，但相比之下，人們很少甚至沒有關(guān)注蛋白質(zhì)工程中更豐富的輸入的重要性。隨著計(jì)算能力和模型架構(gòu)的進(jìn)步，利用更豐富的生物數(shù)據(jù)為提高生物學(xué)中機(jī)器學(xué)習(xí)的能力提供了明確的方向。
基于 cDNA 訓(xùn)練的大型語言模型的開發(fā)，將使研究「不直接由氨基酸序列確定的蛋白質(zhì)特性」成為可能。例如，密碼子的使用與蛋白質(zhì)折疊的相關(guān)性，實(shí)驗(yàn)證據(jù)表明密碼子序列的變化確實(shí)會(huì)影響折疊動(dòng)力學(xué)、折疊途徑，甚至正確折疊蛋白質(zhì)的數(shù)量。
仔細(xì)選擇密碼子序列是蛋白質(zhì)科學(xué)的一個(gè)關(guān)鍵目標(biāo)，其中表達(dá)的 cDNA 的特定序列會(huì)對(duì)產(chǎn)量產(chǎn)生巨大影響。該團(tuán)隊(duì)提出的基于密碼子的語言模型，代表了使用機(jī)器學(xué)習(xí)方法來研究蛋白質(zhì)的這些特性和其他特性的第一步，而這些特性迄今為止還沒有被氨基酸語言模型解決。
相關(guān)報(bào)道：https://www.nature.com/articles/s42256-024-00791-0