企業(yè)面臨著將人工智能融入其產(chǎn)品的壓力。當(dāng)為此考慮大型語言模型 (LLM)時(shí)，選擇通常歸結(jié)為開源與閉源選項(xiàng)。
LLM 是先進(jìn)的機(jī)器學(xué)習(xí)模型，旨在根據(jù)給定的提示理解和生成類似人類的文本。本指南將幫助您權(quán)衡開源和閉源 LLM 的優(yōu)缺點(diǎn)。它涵蓋了可用性、成本、知識產(chǎn)權(quán)、安全措施等。此外，您還將了解這兩個(gè)領(lǐng)域的當(dāng)前形勢、道德考量以及主要的開源 LLM。
鑒于該領(lǐng)域的許可和技術(shù)兼容性的快速發(fā)展，在最終做出決定之前咨詢技術(shù)和法律專家至關(guān)重要。
一、大型語言模型的現(xiàn)狀
Databricks、斯坦福和德國非營利組織 LAION等組織正在努力使 LLM 的獲取變得民主化，與 ChatGPT 等專有模型形成鮮明對比。這一努力引發(fā)了關(guān)于人工智能模型是否應(yīng)該免費(fèi)提供或受版權(quán)保護(hù)的爭論，引發(fā)了對開源 LLM 的道德和安全擔(dān)憂。
GPT-4的發(fā)布加劇了開源爭論，其中包括一份技術(shù)報(bào)告，但隱瞞了模型架構(gòu)、硬件或訓(xùn)練方法的細(xì)節(jié)。批評者認(rèn)為，這種缺乏透明度的做法給人一種開放的假象。OpenAI 曾經(jīng)是開源的倡導(dǎo)者，但現(xiàn)在卻以安全問題為由，拒絕公開模型。
開源 AI 為 AI 的發(fā)展做出了巨大貢獻(xiàn)，許多流行的 LLM 都是基于 Transformers 等開源架構(gòu)構(gòu)建的。然而，公司轉(zhuǎn)向?qū)Ｓ猩虡I(yè)模式引發(fā)了人們對透明度和可訪問性的擔(dān)憂，從而增加了開源替代方案的受歡迎程度。
未來的生態(tài)系統(tǒng)可能會提供多種選擇，開放程度各不相同，以達(dá)到適當(dāng)?shù)钠胶狻ｉ_源模型支持的研究至關(guān)重要，盡管較小的開源 LLM（如 Vicuna）可能不如 ChatGPT 等針對特定應(yīng)用的專有解決方案那么先進(jìn)。
二、開源 LLM 和 AI 模型
開源 LLM 是具有可公開訪問源代碼的語言模型，任何人都可以自由使用、修改和分發(fā)。這些模型促進(jìn)了協(xié)作、透明度和社區(qū)參與。開發(fā)人員、研究人員和愛好者可以積極為其開發(fā)、增強(qiáng)和定制做出貢獻(xiàn)。它們的開源性質(zhì)促進(jìn)了更大的創(chuàng)新、知識共享和集體進(jìn)步。
三、閉源 LLM 和 AI 模型
閉源 LLM 是源代碼不對外公開的語言模型。這些模型由組織或公司開發(fā)和維護(hù)，屬于專有，不對公眾開放。閉源 LLM 通常以商業(yè)產(chǎn)品的形式提供，使用閉源 LLM 往往需要許可證或訂閱。閉源 LLM 的架構(gòu)、訓(xùn)練數(shù)據(jù)和算法的細(xì)節(jié)通常不對外公開。
四、開源與閉源之爭
深度學(xué)習(xí)架構(gòu)（尤其是 Transformer）的進(jìn)步，以及 Google Books 和 Common Crawl 等海量數(shù)據(jù)集的出現(xiàn)，推動(dòng)了大型語言模型 (LLM) 的重大進(jìn)步。到 2018 年，OpenAI 的生成式預(yù)訓(xùn)練 Transformer (GPT-2) 展示了令人印象深刻的文本生成能力，引起了廣泛關(guān)注。由于 GPT-2 的公開發(fā)布和功能，它通常被認(rèn)為是 LLM 開發(fā)的一個(gè)里程碑。
然而，GPT-2 并非完全開源。OpenAI 出于對潛在濫用的擔(dān)憂，選擇了受控發(fā)布，這引發(fā)了關(guān)于 LLM 開發(fā)中開源與閉源方法優(yōu)劣的爭論。
五、LLM 是開源的還是閉源的有關(guān)系嗎？
是的，因?yàn)?LLM 的授課方式（無論是開放式還是封閉式）都會影響以下三個(gè)關(guān)鍵因素：
創(chuàng)新速度與定制
可達(dá)性和費(fèi)用
數(shù)據(jù)安全
這些因素影響哪種模式最適合您的業(yè)務(wù)。
讓我們詳細(xì)探討每一個(gè)，以及它們在開源和閉源模型之間的區(qū)別。
1. 創(chuàng)新速度與定制化
開源 LLM 允許更大程度的定制，并具有更快創(chuàng)新的潛力。
開源大型語言模型
定制：公司可以定制和微調(diào)模型以滿足他們的需求。
快速創(chuàng)新：開放訪問使企業(yè)能夠快速創(chuàng)新，將技術(shù)與其他系統(tǒng)集成，而無需等待供應(yīng)商更新。
社區(qū)支持：開發(fā)人員分享進(jìn)步，加速創(chuàng)新進(jìn)程。
閉源大型語言模型
有限的定制：定制選項(xiàng)通常受到限制。
先進(jìn)的解決方案：利用大量資源開發(fā)，提供尖端的性能或獨(dú)特的功能。
供應(yīng)商依賴：由于依賴供應(yīng)商更新，創(chuàng)新可能會變得更慢。
2. 可達(dá)性和成本
開源和閉源模型的成本和可訪問性各不相同。
例如，ChatGPT-4（閉源）每百萬個(gè)代幣輸入的成本約為 10 美元，每百萬個(gè)代幣輸出的成本約為 30 美元，而 Llama-3-70-B（開源）每百萬個(gè)代幣輸入的成本約為 60 美分，每百萬個(gè)代幣輸出的成本約為 70 美分，這使其成本大約便宜 10 倍，而性能差異卻很小。
開源大型語言模型
降低成本： Llama-3-70-B 等型號可顯著節(jié)省成本。
廣泛的可訪問性：較低的成本使更多開發(fā)人員可以使用先進(jìn)的AI功能。
定制投資：開發(fā)人員可能需要在定制和維護(hù)方面進(jìn)行投資。
閉源大型語言模型
許可費(fèi)用：通常伴隨著更高的成本，包括更新和支持的持續(xù)費(fèi)用。
支持服務(wù)：這些費(fèi)用可能由供應(yīng)商提供的支持和維護(hù)來證明是合理的，以確保有效性和安全性。
3.數(shù)據(jù)安全
如果數(shù)據(jù)安全是首要任務(wù)，那么最好使用開源 LLM 或基礎(chǔ)設(shè)施內(nèi)自建的閉源模型。
開源大型語言模型
增強(qiáng)控制：在私有云上部署可以更好地控制安全措施和數(shù)據(jù)隱私。
定制安全：組織可以實(shí)施定制的安全協(xié)議。
透明度：允許進(jìn)行徹底的審計(jì)和持續(xù)的安全改進(jìn)。
閉源大型語言模型
供應(yīng)商管理的安全性：為沒有大量 IT 資源的公司提供安心。
合規(guī)認(rèn)證：供應(yīng)商可能會提供遵守法規(guī)所需的認(rèn)證。
可見性有限：公司對潛在漏洞的了解較少，必須依賴供應(yīng)商提供安全更新。
六、比較表：開源與閉源大型語言模型
七、評估開源和閉源大型語言模型 (LLM) 的商業(yè)影響
創(chuàng)新、可訪問性和安全性至關(guān)重要，但您還必須考慮可擴(kuò)展性、成本、集成和定制，以最好地滿足您的需求。
下面，我們提供了易于閱讀的表格，以幫助您了解每種模型如何在這些因素下影響您的業(yè)務(wù)。
1.可擴(kuò)展性和成本
考慮短期和長期使用 LLM。隨著您的成長，封閉模型的用例是否會變得不足？您能承擔(dān)擴(kuò)展開源模型相關(guān)的成本嗎？
2. 集成與定制
評估您團(tuán)隊(duì)的技術(shù)能力和定制解決方案的重要性。您的工作流程是否需要開源模型能夠提供的定制 AI 功能，或者您是否更喜歡簡化的、隨時(shí)可用的解決方案以最大限度地減少技術(shù)開銷？
八、為什么我們認(rèn)為開源大型語言模型是最好的
大學(xué)在分享研究和代碼方面有著悠久的傳統(tǒng)，這自然也延伸到了人工智能和大型語言模型課程中。這種開放的合作精神植根于 Linux 等開源運(yùn)動(dòng)的成功，這些運(yùn)動(dòng)展示了社區(qū)驅(qū)動(dòng)開發(fā)的力量。受此啟發(fā)，研究人員和開發(fā)人員已開始采用開源方法攻讀大型語言模型課程。
眾多研究團(tuán)隊(duì)和獨(dú)立開發(fā)者為開源 LLM 生態(tài)系統(tǒng)做出了巨大貢獻(xiàn)。這種協(xié)作努力正在擴(kuò)大可用模型的種類，例如 OpenAI GPT-J、Meta AI Llama、EleutherAI Jurassic-1 Jumbo 和 Hugging Face Transformers。一個(gè)充滿活力的開發(fā)者和公司社區(qū)不斷增強(qiáng)開源 LLM 格局。
這個(gè)領(lǐng)域發(fā)展迅速，新模型不斷開發(fā)和發(fā)布。Hugging Face Transformers 庫提供了 100 多個(gè)預(yù)訓(xùn)練模型，許多獨(dú)立項(xiàng)目也在不斷推出新的開源 LLM。
最近的報(bào)告顯示，人們對開源大型語言模型的偏好日益增長。根據(jù) a16z.com 數(shù)據(jù)顯示，41% 的受訪企業(yè)計(jì)劃增加對開源模型的使用，而非封閉模型。另有 41% 的企業(yè)表示，如果其性能與封閉模型相當(dāng)，則會轉(zhuǎn)向開源模型，而只有 18% 的企業(yè)不打算增加對開源 LLM 的使用。
如果這些預(yù)測成立，我們可能會看到行業(yè)趨勢發(fā)生重大轉(zhuǎn)變。到 2023 年，市場將以 80%-90% 的份額由閉源模型主導(dǎo)，而開放模型和閉源模型之間的分布可能很快就會更加均衡。
結(jié)論
總之，在開源和閉源大型語言模型 (LLM) 之間做出選擇是一項(xiàng)關(guān)鍵決策，它會影響創(chuàng)新、成本、可擴(kuò)展性、安全性和企業(yè)內(nèi)部集成。開源 LLM 提供無與倫比的定制化、社區(qū)驅(qū)動(dòng)的創(chuàng)新和成本效益，使其成為具有技術(shù)專長以發(fā)揮其潛力的組織的一個(gè)有吸引力的選擇。它們還符合學(xué)術(shù)和研究機(jī)構(gòu)的協(xié)作精神，有助于實(shí)現(xiàn) AI 技術(shù)的民主化。
另一方面，閉源 LLM 提供現(xiàn)成的解決方案，并具有強(qiáng)大的支持和維護(hù)，這對于尋求簡化實(shí)施和供應(yīng)商管理安全性的企業(yè)來說非常有價(jià)值。雖然它們成本較高且提供有限的定制，但對于缺乏管理開源模型資源的公司來說，它們通常更容易獲得。
隨著 LLM 格局的不斷發(fā)展，開源社區(qū)和商業(yè)實(shí)體的貢獻(xiàn)不斷增加，未來可能會看到一個(gè)更加平衡的生態(tài)系統(tǒng)。開源模型的不斷發(fā)展，加上企業(yè)興趣的不斷增長，表明開源 LLM 可能會轉(zhuǎn)向更廣泛地采用，只要它們能夠滿足性能預(yù)期。最終，最佳選擇取決于公司的具體需求、技術(shù)能力和長期目標(biāo)，強(qiáng)調(diào)在做出決定之前仔細(xì)評估和咨詢專家的重要性。
