優化算法得到最優解，多目標優化算法 _經驗分享

優化算法是什么?智能優化算法是一種啟發式優化算法，包括遺傳算法、蟻群算法、禁忌搜索算法、模擬退火算法、粒子群算法等。
·智能優化算法一般是針對具體問題設計相關的算法，理論要求弱，技術性強。
一般，我們會把智能算法與最優化算法進行比較，。

文章插圖
優化算法是什么呢?【優化算法得到最優解，多目標優化算法】優化算法是指對算法的有關性能進行優化，如時間復雜度、空間復雜度、正確性、健壯性。
大數據時代到來，算法要處理數據的數量級也越來越大以及處理問題的場景千變萬化。
為了增強算法的處理問題的能力，對算法進行優化是必不可少。
優化算法經驗上,RMSProp 已被證明是一種有效且實用的深度神經網絡優化算法。
目前它是深度學習從業者經常采用的優化方法之一。
Adam (Kingma and Ba, 2014) 是另一種學習率自適應的優化算法,最好被看作結合 RMSProp 和具有一些重要區別。

文章插圖
想知道優化算法是什么?優化算法是通過改善計算方式來最小化或最大化損失函數E(x) 。
模型內部有些參數是用來計算測試集中目標值Y的真實值和預測值的偏差程度的，基于這些參數就形成了損失函數E(x) ，比如說，權重(W)和偏差(b)就是這樣的內部參數。