Python 機(jī)器學(xué)習(xí)之線性回歸詳解分析
為了檢驗(yàn)自己前期對(duì)機(jī)器學(xué)習(xí)中線性回歸部分的掌握程度并找出自己在學(xué)習(xí)中存在的問題，我使用C語言簡(jiǎn)單實(shí)現(xiàn)了單變量簡(jiǎn)單線性回歸。
本文對(duì)自己使用C語言實(shí)現(xiàn)單變量線性回歸過程中遇到的問題和心得做出總結(jié)。
線性回歸
線性回歸是機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)中最基礎(chǔ)和最廣泛應(yīng)用的模型，是一種對(duì)自變量和因變量之間關(guān)系進(jìn)行建模的回歸分析。
代碼概述
本次實(shí)現(xiàn)的線性回歸為單變量的簡(jiǎn)單線性回歸，模型中含有兩個(gè)參數(shù):變量系數(shù)w、偏置q。
訓(xùn)練數(shù)據(jù)為自己使用隨機(jī)數(shù)生成的100個(gè)隨機(jī)數(shù)據(jù)并將其保存在數(shù)組中。采用批量梯度下降法訓(xùn)練模型，損失函數(shù)使用平方損失函數(shù)。
上圖為整個(gè)程序的函數(shù)調(diào)用關(guān)系。
下面貼代碼：
#include<stdio.h>
#include<stdlib.h>
#include<math.h>
#include<time.h>
double w, q;
int m;
//模型
float Model(float x)
{
float y;
y = x * w + q;
return y;
}
//損失函數(shù)
double Loss(float *y,float *x)
{
double L=0;
//循環(huán)參數(shù)
int i, j, k;
for (i = 0; i < m; i++)
{
L += (pow((y[i] - Model(x[i])), 2)) / (2 * m);
}
return L;
}
//梯度下降優(yōu)化函數(shù)
void Gradient_Descent_Optimizer(float *x,float *y,float a)
{
int j, i;
double Q = 0, W = 0;
for (i = 0; i < m; i++)
W += x[i] * (Model(x[i]) - y[i]);
W = W / m;
for (j = 0; j < m; j++)
Q += Model(x[j]) - y[j];
Q = Q / m;
printf("W:%f\nQ:%f\n", W, Q);
w = w - a * W;
q = q - a * Q;
}
//主函數(shù);訓(xùn)練過程
int main()
{
//循環(huán)標(biāo)志
int i, j;
//訓(xùn)練輪次
int epoch;
//損失函數(shù)
double L;
//學(xué)習(xí)率
float a;
float x[100], y[100];
//隨機(jī)數(shù)生成
for (i = 0; i < 100; i++)
{
x[i] = 0.1*i;
y[i] = x[i] * 3 + 5; //+ ((rand() % 11) / 10);
printf("X:%.2f,Y:%.2f\n", x[i], y[i]);
}
//超參數(shù)設(shè)置
m = 100;
a = 0.05;
epoch = 1000;
//參數(shù)初始化
w = 2;
q = 3;
for (j = 0; j < epoch; j++)
{
Gradient_Descent_Optimizer(x, y, a);
L = Loss(y, x);
printf("訓(xùn)練輪次:%d,損失:%f,參數(shù)w的值:%lf,參數(shù)q的值:%lf\n", j+1, L, w, q);
}
printf("最終值:\nw:%lf\nq:%lf\n", w, q);
system("pause");
}
問題總結(jié)
下面對(duì)在編寫過程中需要注意的問題進(jìn)行總結(jié)：
1.參數(shù)更新
模型中的參數(shù)需要同步更新。所有參數(shù)的更新值經(jīng)過梯度下降法計(jì)算得出后要在最后同時(shí)更新所有參數(shù)。
2.保留損失函數(shù)
在代碼編寫過程中自己認(rèn)為不用單獨(dú)寫一個(gè)損失函數(shù)，只需在梯度下降的過程中利用求導(dǎo)后的公式進(jìn)行相關(guān)的參數(shù)優(yōu)化操作即可，但在運(yùn)行沒有算是函數(shù)的程序時(shí)，沒有實(shí)時(shí)的損失函數(shù)結(jié)果評(píng)估模型訓(xùn)練效果可能會(huì)導(dǎo)致模型在錯(cuò)誤的道路上越走越遠(yuǎn)。
3.注意數(shù)據(jù)類型
初次運(yùn)行程序，在訓(xùn)練至十幾輪時(shí)參數(shù)就不再變化，一直到第1000輪參數(shù)都保持不變。后來在檢查代碼時(shí)發(fā)現(xiàn)，在優(yōu)化函數(shù)將一些參數(shù)的數(shù)據(jù)類型錯(cuò)誤設(shè)置為整型。因此當(dāng)參數(shù)值改變程度小于1時(shí)，參數(shù)將不再變化。
4.超參數(shù)的設(shè)置及參數(shù)的初始化
學(xué)習(xí)率，訓(xùn)練輪次等的設(shè)置是一個(gè)對(duì)程序編寫者經(jīng)驗(yàn)要求比較高的工作，需要多次嘗試，找到合適的值，參數(shù)的初始化也是這樣。
心得
本次只是實(shí)現(xiàn)了簡(jiǎn)單線性回歸的最基本的功能，同時(shí)也試一下自己剛買的機(jī)械鍵盤(用起來真的很舒服)。這只是我用來練手的程序，如果真的要編寫程序?qū)崿F(xiàn)功能還是推薦使用python語言搭配TensorFlow、Pytorch等深度學(xué)習(xí)平臺(tái)實(shí)現(xiàn)自己想要的功能。程序的可完善空間非常大，比如數(shù)據(jù)和模型的可視化，將數(shù)據(jù)和模型的訓(xùn)練效果直觀的展示出來，后面還會(huì)有序的用C語言實(shí)現(xiàn)諸如多元線性回歸，二分類問題，多分類問題甚至卷積神經(jīng)網(wǎng)絡(luò)等等。我會(huì)在下面貼出使用Python語言編寫的線性回歸的程序，可以兩者結(jié)合起來比較一下異同。
# -*- coding: utf-8 -*-
"""
Spyder Editor
This is a temporary script file.
"""
import matplotlib.pyplot as plt
import tensorflow as tf
import numpy as np
np.random.seed(5)
x_data = np.linspace(-1,1,100)
y_data = 2 * x_data + 1.0 + np.random.randn(*x_data.shape) * 0.4
np.random.randn(10)
#x_data.shape
#np.random.randn(*x_data.shape)
#np.random.randn(100)
plt.scatter(x_data,y_data)
plt.plot(x_data, 2 * x_data + 1.0, color = 'red',linewidth=3)
x = tf.placeholder("float",name="x")
y = tf.placeholder("float",name="y")
def model(x,w,b):
return tf.multiply(x,w)+b
w = tf.Variable(1.0,name="w0")
b = tf.Variable(0.0,name="b0")
pred = model(x,w,b)
train_epochs = 10
learning_rate = 0.05
loss_function = tf.reduce_mean(tf.square(y-pred))
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss_function)
sess = tf.Session()
init = tf.global_variables_initializer()
sess.run(init)
i_ci=0
for epoch in range(train_epochs):
for xs,ys in zip(x_data,y_data):
_, loss=sess.run([optimizer,loss_function],feed_dict={x:xs,y:ys})
b0temp=b.eval(session=sess)
w0temp=w.eval(session=sess)
plt.plot(x_data,w0temp*x_data+b0temp)
print("w:",sess.run(w))
print("b:",sess.run(b))
plt.scatter(x_data,y_data,label='Original data')
plt.plot(x_data,x_data*sess.run(w)+sess.run(b),label='Fitted Line',color='r',linewidth=3)
plt.legend(loc=2)
到此這篇關(guān)于Python 機(jī)器學(xué)習(xí)之線性回歸詳解分析的文章就介紹到這了,更多相關(guān)Python 機(jī)器學(xué)習(xí)內(nèi)容請(qǐng)搜索本站以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持本站！
版權(quán)聲明：本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請(qǐng)保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非maisonbaluchon.cn所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學(xué)習(xí)參考，不代表本站立場(chǎng)，如有內(nèi)容涉嫌侵權(quán)，請(qǐng)聯(lián)系alex-e#qq.com處理。
關(guān)注官方微信