利用Python實(shí)現(xiàn)最小二乘法與梯度下降算法
%matplotlib inlineimport sympyimport numpy as npimport matplotlib.pyplot as pltfrom sympy.abc import x as a,y as b生成模擬數(shù)據(jù)
# 模擬函數(shù) y=3x-1#自變量x=np.linspace(-5,5,num=1000)#加入噪聲noise=np.random.rand(len(x))*2-1#因變量y=3*x-1+noise查看所生成數(shù)據(jù)的圖像
plt.figure(figsize=(10,10))plt.scatter(x,y,s=1)
y=ax+b #目標(biāo)函數(shù)e=1/2*Σ([axi+b]-yi)^2 #代價函數(shù),求使得代價函數(shù)為最小值時,對應(yīng)的a和b對a求偏導(dǎo)->Σ(axi+b-yi)*xi對b求偏導(dǎo)->Σ(axi+b-yi)1. 通過最小二乘法求a,b
我們知道當(dāng)在a,b處的偏導(dǎo)為0時,代價函數(shù)e達(dá)到最小值,所以得到二元一次方程組
Σ(axi+b-yi)*xi=0Σ(axi+b-yi)=0
該方程組是關(guān)于未知數(shù)為a,b的二元一次方程組,通過求解該方程,得到a,b
result=sympy.solve([ np.sum((a*x+b-y)*x), np.sum(a*x+b-y)],[a,b])print(result)#{x: 3.01182977621975, y: -1.00272253325765}
通過sympy庫解方程組,得出了a= 3.01182977621975,b= -1.00272253325765,已經(jīng)與我們真實(shí)的a,b很接近了,下面進(jìn)行作圖
plt.figure(figsize=(10,10))plt.scatter(x,y,s=1)plt.plot(x,result[a]*x+result[b],c=’red’)print(type(a),type(b))#<class ’sympy.core.symbol.Symbol’> <class ’sympy.core.symbol.Symbol’>
我們注意到最小二乘法最后一步要求p個方程組,是非常大的計算量,其實(shí)計算起來很難,因此我們就有了一種新的計算方法,就是梯度下降法,梯度下降法可以看作是 更簡單的一種 求最小二乘法最后一步解方程 的方法
# 注意這里覆蓋了sympy.abc的a和b# 設(shè)定a和b的起始點(diǎn)a,b=0.1,0.1#步長,也稱作學(xué)習(xí)率alpha=0.00001#循環(huán)一千次結(jié)束for i in range(1000): a-=alpha*np.sum((a*x+b-y)*x) b-=alpha*np.sum(a*x+b-y)print(a,b)#3.0118297762197526 -1.002674927350334
通過梯度下降法,得出了a= 3.0118297762197526,b= -1.002674927350334,也是很接近真實(shí)的a,b值了,作圖看看
plt.figure(figsize=(10,10))plt.scatter(x,y,s=1)plt.plot(x,a*x+b,c=’black’)print(type(a),type(b))#<class ’numpy.float64’> <class ’numpy.float64’>
到此這篇關(guān)于利用Python實(shí)現(xiàn)最小二乘法與梯度下降算法的文章就介紹到這了,更多相關(guān)Python最小二乘法與梯度下降內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!
相關(guān)文章:
1. vue實(shí)現(xiàn)web在線聊天功能2. SpringBoot+TestNG單元測試的實(shí)現(xiàn)3. Springboot 全局日期格式化處理的實(shí)現(xiàn)4. idea配置jdk的操作方法5. Docker容器如何更新打包并上傳到阿里云6. Java GZip 基于內(nèi)存實(shí)現(xiàn)壓縮和解壓的方法7. 完美解決vue 中多個echarts圖表自適應(yīng)的問題8. VMware中如何安裝Ubuntu9. python 浮點(diǎn)數(shù)四舍五入需要注意的地方10. JAMon(Java Application Monitor)備忘記
