智能优化算法是一种启发式优化算法，包括遗传算法、蚁群算法、禁忌搜索算法、模拟退火算法、粒子群算法等。
·智能优化算法一般是针对具体问题设计相关的算法，理论要求弱，技术性强。
一般，我们会把智能算法与最优化算法进行比较，。
优化算法是指对算法的有关性能进行优化，如时间复杂度、空间复杂度、正确性、健壮性。
大数据时代到来，算法要处理数据的数量级也越来越大以及处理问题的场景千变万化。
为了增强算法的处理问题的能力，对算法进行优化是必不可少。
经验上,RMSProp 已被证明是一种有效且实用的深度神经网络优化算法。
目前它是深度学习从业者经常采用的优化方法之一。
Adam (Kingma and Ba, 2014) 是另一种学习率自适应的优化算法,最好被看作结合 RMSProp 和具有一些重要区别。
优化算法是通过改善计算方式来最小化或最大化损失函数E(x)。
模型内部有些参数是用来计算测试集中目标值Y的真实值和预测值的偏差程度的，基于这些参数就形成了损失函数E(x)，比如说，权重(W)和偏差(b)就是这样的内部参数。