ChatGPT3和4有哪些區別?

【ChatGPT3和4有哪些區別?】
GPT-4比GPT-3改善模仿人類行為
GPT-4在GPT-3的基礎上有著巨大突破和提升,包括改善模仿人類行為和速度模式的文本 。
GPT-4能夠以更廣泛和適應性的方式處理語言翻譯,文本摘要和其他任務 。經過培訓的軟件將能夠以更高的準確性來推斷用戶的意圖,即使人為錯誤的干擾 。
較小規模的更多功率
GPT-4僅比GPT-3大一點 。較新的模型清除了誤解,變得更好的唯一方法是通過更多地依靠機器學習參數而不是大小來獲得更大的方法 。盡管它仍然比大多數上一代神經網絡都要大,但其大小與其性能無關 。
一些最新的語言軟件解決方案實施了令人難以置信的密度模型,達到了GPT-3的三倍以上 。但是,大小本身并不一定會轉化為更高的性能水平 。相反,較小的模型似乎是培訓數字智能的最有效方法 。許多公司正在轉向較小的系統,并從更改中受益 。他們的性能不僅有所提高,而且還可以降低計算成本,碳足跡和進入障礙 。
優化革命
語言模型最大的缺點之一是他們訓練的資源 。公司經常決定以較低的價格買入準確性較低的資源,從而使AI模型訓練不足 。通常,人工智能只會教一次,從而阻止其獲得最佳的學習率,批量大小和序列長度的超參數,以及其他功能 。
長期以來,人們認為模型性能主要受模型大小的影響 。這導致了許多大型公司,包括谷歌,微軟和Facebook,花費大量資本建設最大的系統 。
最近,已經證明高參數調整是性能提高的最重要的驅動因素之一 。但是,對于較大的型號而言,這是無法實現的 。可以將新的參數化模型以較小規模的成本進行訓練,然后將超參數轉移到較大的系統上,幾乎完全沒有成本 。
因此,GPT-4不需要比GPT-3大得多 。它的優化是基于改進模型大小以外的變量(例如更高質量數據)的基礎,盡管我們將在發布之前都無法擁有整個圖片 。所有基準測試基準中令人難以置信的開發都可以通過使用正確的超參數,最佳模型尺寸和準確數量的參數來實現 。