Python實現(xiàn)所有算法-二分法

Python實現(xiàn)所有算法-力系統(tǒng)是否靜態(tài)平衡

Python實現(xiàn)所有算法-力系統(tǒng)是否靜態(tài)平衡（補篇）

Python實現(xiàn)所有算法-高斯消除法

Python實現(xiàn)所有算法-牛頓-拉夫遜（拉弗森）方法

Python實現(xiàn)所有算法-雅可比方法（Jacobian）

Python實現(xiàn)所有算法-矩陣的LU分解

Python實現(xiàn)所有算法-牛頓前向插值

兄弟們！今天的簡單，我直接給大家表演徒手求導(dǎo)。

求導(dǎo)是數(shù)學(xué)計算中的一個計算方法，它的定義就是，當(dāng)自變量的增量趨于零時，因變量的增量與自變量的增量之商的極限。在一個函數(shù)存在導(dǎo)數(shù)時，稱這個函數(shù)可導(dǎo)或者可微分?？蓪?dǎo)的函數(shù)一定連續(xù)。不連續(xù)的函數(shù)一定不可導(dǎo)。

這個圖一定不可以錯過

基本的做法是這樣的

對于一種數(shù)學(xué)的運算，我們總是給出滿足的規(guī)則

其實哇，這些東西我寫的沒有意義，在座的各位都學(xué)過高等數(shù)學(xué)，數(shù)學(xué)分析，而且高中還學(xué)了兩年。概念不是啥問題。

如果是為了科普，我推薦這本可愛的漫畫書（是數(shù)學(xué)書啦~）

給大家看一個簡單的頁面，是不是很有趣

對一首歌的趨勢的曲線說明

書中的內(nèi)容可能不深，但是這種寓教于樂的方式真的很好，至少這就是大眾接受的數(shù)學(xué)。

其次我推薦這本書，你有沒有想過微積分風(fēng)風(fēng)雨雨這么多年，誕生之初是什么樣的？

本書給你答案

這本書我可太喜歡了，點到為止，是我對本書的評價，是一本真的可以一本書讀下去的數(shù)學(xué)書。

隨便截圖一個，點明對我們的需求來說，這樣就足夠了

非常的簡潔，很OK

還有一套是托馬斯微積分，awesome的好書，1k5多的頁數(shù)，讓人直呼過癮

另外張景中院士的直來直去微積分真的很有特色，本書的特點是不使用極限和無窮小的概念，直截了當(dāng)?shù)慕o出函數(shù)的基本概念。

這段話是對書的最好詮釋

真的這些書給人以舍不得讀下去的感覺，因為讀完就沒有了

如果上面的你覺得太簡單了，微積分筆記這本書是對于數(shù)學(xué)分析方方面面的一個題集總結(jié)。

有代表性的習(xí)題加上簡短的定理總結(jié)，不可多得好書

因為Latex的排版，在美觀上面也是香的一比

emmmm，如果你想在通俗和嚴謹之間得到一個平衡，我個人覺得經(jīng)濟學(xué)的教材是很好的。

最后讓我再推薦一下黃皮書，yyds?。?！

同系列的還有這本，還有一本是線性代數(shù)就該這樣學(xué)

在最后讓我隆重的安利一下，全美經(jīng)典的教材，統(tǒng)計學(xué)原理講的真的是NO.1

內(nèi)容豐富嗷

內(nèi)容也很好，推薦一讀

按照我老師的說法，我的理論已經(jīng)ok了，所以要拉我去做題，emmmm。

這個我不用多說吧？？？

事實上，這次要講的確實是求導(dǎo)，但是比哪個東西高級。

在微積分中，牛頓法是一種迭代方法，用于求可微函數(shù)F的根，它是方程F （ x ） = 0的解。因此，牛頓法可以應(yīng)用于二次可微函數(shù)f的導(dǎo)數(shù)f ‘以求導(dǎo)數(shù)的根（f ’（ x ） = 0的解），也稱為f的臨界點 。 這些解可能是最小值、最大值或鞍點。這與優(yōu)化有關(guān)，優(yōu)化旨在找到函數(shù)f的（全局）最小值。

優(yōu)化的核心問題是函數(shù)的最小化。讓我們首先考慮單變量函數(shù)的情況，即單個實變量的函數(shù)。

找最小

這是基本牛頓法：

理論是這樣的

這是最終的更新公式

接下來再細講，并不是所有的方程都有求根公式，或者求根公式很復(fù)雜，導(dǎo)致求解困難。利用牛頓法，可以迭代求解。

原理是利用泰勒公式，在x0處展開，且展開到一階，即f（x） = f（x0）+（x－x0）f‘（x0）

求解方程f（x）=0，即f（x0）+（x-x0）*f’（x0）=0，求解x = x1=x0－f（x0）/f‘（x0），因為這是利用泰勒公式的一階展開，f（x） = f（x0）+（x－x0）f’（x0）處并不是完全相等，而是近似相等，這里求得的x1并不能讓f（x）=0，只能說f（x1）的值比f（x0）更接近f（x）=0，于是乎，迭代求解的想法就很自然了，可以進而推出x（n+1）=x（n）－f（x（n））/f‘（x（n）），通過迭代，這個式子必然在f（x*）=0的時候收斂。整個過程如下圖：

這是求根

接下來是最優(yōu)化，對一個目標函數(shù)f，求函數(shù)f的極大極小問題，可以轉(zhuǎn)化為求解函數(shù)f的導(dǎo)數(shù)f’=0的問題，這樣求可以把優(yōu)化問題看成方程求解問題（f‘=0）。

剩下的問題就和第一部分提到的牛頓法求解很相似了。為了求解f’=0的根，把f（x）的泰勒展開，展開到2階形式：

當(dāng)且小三角無限趨于0 的時候

這個成立

我們的最終迭代公式就出來了

值得更新公式

牛頓法用于函數(shù)最優(yōu)化求解”中對函數(shù)二階泰勒公式展開求最優(yōu)值的方法稱為：Newton法，

牛頓法用于方程求解”中對函數(shù)一階泰勒展開求零點的方法稱為：Guass-Newton（高斯牛頓）法。

這次得比較難。。。就提前寫好求導(dǎo)：

這個公式就是上面的更新公式

我們提前把函數(shù)和求導(dǎo)的函數(shù)寫好

原文標題：Python實現(xiàn)所有算法-牛頓優(yōu)化法

文章出處：【微信公眾號：云深之無跡】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。