在為您的組織選擇最佳大型語言模型 (LLM)時，需要考慮許多因素。其中一個重要方面是模型的參數(shù)數(shù)量；通常，較大的模型往往表現(xiàn)更好。您還可以查看性能基準或推理測試，它們提供性能的量化指標，并允許您比較不同的 LLM。
但是，在選擇了似乎適合您需求的模型后，您可以通過調(diào)整超參數(shù)進一步定制它。這些設置可以顯著影響 LLM 是否滿足或超出您的期望。
什么是 LLM 超參數(shù)？為什么它們很重要？
超參數(shù)是影響LLM 訓練過程的設置。與在訓練期間調(diào)整的模型參數(shù)（或權重）不同，超參數(shù)在訓練開始前設置并保持不變。它們控制模型如何從訓練數(shù)據(jù)中學習，但不會成為最終模型的一部分。因此，您無法確定訓練完成后使用了哪些超參數(shù)。
超參數(shù)至關重要，因為它們允許您調(diào)整模型的行為以更好地滿足您的特定需求。您無需從頭開始創(chuàng)建自定義模型，而是可以通過超參數(shù)調(diào)整對現(xiàn)有模型進行微調(diào)，以實現(xiàn)所需的性能。
探索不同的 LLM 超參數(shù)
1. 模型大小
LLM 的大小（指其神經(jīng)網(wǎng)絡中的層數(shù)）是一個主要的超參數(shù)。較大的模型通常表現(xiàn)更好，可以處理更復雜的任務，因為它們具有更多的層和權重，使它們能夠學習 token 之間的復雜關系。但是，較大的模型訓練和運行成本更高，需要更多數(shù)據(jù)，并且速度可能更慢。它們也更容易過度擬合，即模型在訓練數(shù)據(jù)上表現(xiàn)良好，但在新數(shù)據(jù)上表現(xiàn)不佳。
較小的模型雖然功能較弱，但可以更有效地完成簡單的任務，并且更容易在功能較弱的硬件上部署。它們需要的訓練資源較少，并且可以通過量化和微調(diào)等技術進一步優(yōu)化。
2. 周期數(shù)
一個 epoch 是完整遍歷訓練數(shù)據(jù)集的一次訓練。epoch 的數(shù)量決定了模型處理整個數(shù)據(jù)集的頻率。更多的 epoch 可以提高模型的理解能力，但如果使用的 epoch 太多，則會導致過度擬合。相反，epoch 太少會導致欠擬合，即模型沒有從數(shù)據(jù)中學到足夠的知識。
3.學習率
學習率控制模型在訓練過程中響應錯誤的更新速度。較高的學習率會加快訓練速度，但可能會導致不穩(wěn)定和過度擬合。較低的學習率會增加穩(wěn)定性并改善泛化能力，但會使訓練速度變慢。通常，使用基于時間的衰減、步長衰減或指數(shù)衰減等計劃隨著訓練的進展調(diào)整學習率是有益的。
4. 批次大小
批次大小是模型一次處理的訓練示例數(shù)量。較大的批次大小可加快訓練速度，但需要更多內(nèi)存。較小的批次對硬件的要求較低，但可以提高模型從每個數(shù)據(jù)點學習的徹底程度。
5. 最大輸出代幣
此超參數(shù)也稱為最大序列長度，用于設置模型在其輸出中可以生成的最大標記數(shù)。標記越多，響應越詳細、越連貫，但計算和內(nèi)存需求也會增加。標記越少，這些需求就會減少，但可能會導致響應不完整或連貫性降低。
6. 解碼類型
解碼是從模型的內(nèi)部表示生成模型輸出的過程。主要有兩種類型：貪婪解碼，即在每個步驟中選擇最可能的標記；抽樣解碼，即通過從可能的標記子集中進行選擇來引入隨機性。抽樣可以創(chuàng)建更加多樣化和富有創(chuàng)意的輸出，但會增加無意義響應的風險。
7. Top-k 和 Top-p 采樣
使用抽樣解碼時，top-k 和 top-p 是控制如何選擇 token 的附加超參數(shù)。Top-k 抽樣將模型限制為從概率最高的前 k 個 token 中進行選擇。例如，如果將 top-k 設置為 5，則模型將從 5 個最可能的 token 中進行選擇。這有助于確保可變性，同時保持對可能選項的關注。
Top-p 采樣（或核心采樣）根據(jù)累積概率動態(tài)調(diào)整選擇池，確保所選標記構成指定的概率質(zhì)量（例如 90%）。此方法允許模型根據(jù)其概率考慮不同數(shù)量的標記，從而平衡隨機性和連貫性。
當然！讓我們來思考一下這句話，“她決定以…開始她的一天”。
現(xiàn)在，讓我們看一下結束這個句子的五種可能的方式，每種方式都以不同的標記開頭：
讀書
慢跑
做早餐
冥想15分鐘
在她的日記里寫道
我們將為每個初始標記分配一個概率，如下所示：
Top-k 采樣
如果我們將 top-k 抽樣值設置為 2，則抽樣子集中只會考慮“reading”和“going”。將其設置為 5 將包含所有選項。
Top-p 抽樣
對于 top-p 抽樣，如果該值設置為 0.6，則會包括“閱讀”和“去”，因為它們的組合概率為 0.52（0.28 + 0.24）。包括“烹飪”將使累積概率為 0.72（0.28 + 0.24 + 0.20），這超過了閾值，因此排除了“烹飪”、“冥想”和“寫作”。
如果兩個采樣值都設置了，則top-k優(yōu)先，確保所有超出設定閾值的概率都設置為0。
8.溫度
溫度是一個影響可能輸出 token 的范圍和模型“創(chuàng)造力”的參數(shù)，類似于 top-k 和 top-p 采樣值。它用 0.0 到 2.0 之間的十進制數(shù)表示。溫度為 0.0 會導致貪婪解碼，其中始終選擇概率最高的 token。相反，溫度為 2.0 可以實現(xiàn)最大的創(chuàng)造力。
低溫會放大概率之間的差異，使高概率的標記更有可能被選中，從而產(chǎn)生更可預測和可靠的響應。另一方面，高溫會導致標記概率收斂，使可能性較小的標記有更好的機會被選中，從而增加隨機性和創(chuàng)造性。
9. 停止序列
停止序列提供了一種控制 LLM 響應長度的方法，與最大輸出標記參數(shù)一起。停止序列是一個或多個字符的特定字符串，遇到該字符串時會停止模型的輸出。一個常見的例子是句號（句號）。
或者，您可以使用停止標記限制，即定義輸出長度的整數(shù)值。例如，將停止標記限制設置為 1 會使生成的輸出停止在一個句子處，而將限制設置為 2 會將響應限制為一個段落。這些控制對于管理推理非常有用，尤其是在預算成為問題時。
10. 頻率和存在懲罰
頻率和存在懲罰是超參數(shù)，用于阻止重復并鼓勵模型輸出的多樣性。-2.0 和 2.0 之間的小數(shù)表示兩種懲罰。
頻率懲罰降低了最近使用過的 token 的概率，使其不太可能重復出現(xiàn)。這有助于通過防止重復產(chǎn)生更多樣化的輸出。存在懲罰適用于至少出現(xiàn)過一次的 token，其工作原理類似，但與 token 使用頻率成正比。頻率懲罰阻止重復，而存在懲罰鼓勵使用更多種類的 token。
什么是 LLM 超參數(shù)調(diào)整？
LLM 超參數(shù)調(diào)整涉及在訓練過程中調(diào)整各種超參數(shù)，以找到生成最佳輸出的最佳組合。此過程通常涉及大量反復試驗，細致地跟蹤每個超參數(shù)應用并記錄結果輸出。手動執(zhí)行此調(diào)整非常耗時，因此需要開發(fā)自動化方法來簡化流程。
自動超參數(shù)調(diào)整最常見的三種方法是隨機搜索、網(wǎng)格搜索和貝葉斯優(yōu)化：
隨機搜索：此方法從指定的值范圍內(nèi)隨機選擇并評估超參數(shù)組合。該方法簡單高效，能夠探索較大的參數(shù)空間。但是，由于其簡單性，它可能找不到最佳組合，并且計算成本高昂。
網(wǎng)格搜索：此方法系統(tǒng)地搜索給定范圍內(nèi)所有可能的超參數(shù)組合。雖然像隨機搜索一樣耗費資源，但它可以確保以更系統(tǒng)的方式找到最佳超參數(shù)集。
貝葉斯優(yōu)化：此方法使用概率模型來預測不同超參數(shù)的性能，并根據(jù)這些預測選擇最佳超參數(shù)。它比網(wǎng)格搜索更有效，可以用更少的資源處理較大的參數(shù)空間。但是，它的設置更復雜，并且在識別最佳超參數(shù)集方面可能不如網(wǎng)格搜索可靠。
自動超參數(shù)調(diào)整的優(yōu)勢
自動超參數(shù)調(diào)優(yōu)為機器學習模型開發(fā)提供了幾個顯著的優(yōu)勢。首先，它通過系統(tǒng)地搜索超參數(shù)空間節(jié)省了時間和精力，從而無需手動反復試驗的方法。這可以發(fā)現(xiàn)更優(yōu)化的超參數(shù)配置，從而提高模型性能和準確性。此外，自動調(diào)優(yōu)利用了貝葉斯優(yōu)化、網(wǎng)格搜索和隨機搜索等復雜算法，可以更有效地探索超參數(shù)格局。
這樣可以更快地收斂到最佳設置。此外，自動調(diào)整可以輕松集成到現(xiàn)有的機器學習管道中，確保無縫工作流程并通過迭代改進實現(xiàn)持續(xù)改進。通過減少對人類專業(yè)知識的依賴，它使高級模型調(diào)整的訪問變得民主化，即使是那些在機器學習方面經(jīng)驗有限的人也可以使用它。
結論
超參數(shù)調(diào)優(yōu)通常被視為微調(diào)的一個子集，但它是一門值得單獨關注的重要學科。通過配置本指南中詳細介紹的各種超參數(shù)，并觀察所選 LLM 的響應情況，您可以增強基礎模型的性能，以更好地適應實際應用。
加入捷智算平臺
如果您是 AI 研究員、深度學習專家、機器學習專業(yè)人士或大型語言模型愛好者，我們希望聽到您的聲音！加入捷智算平臺將讓您盡早體驗高性價比的算力資源，幫助您實現(xiàn)項目。
不要錯過這個激動人心的機會，徹底改變您開發(fā)和部署應用程序的方式。立即使用捷智算云平臺：https://www.supercomputing.net.cn/
