方正县 德兴市 渭源县 朝阳市 乌兰县 高雄市 西乌珠穆沁旗 林甸县 潞城市 漳浦县 新密市 百色市 兴仁县 南充市 禹州市 神池县

神笔马良_监督学习——logistic进行二分类(python)

标签:殊途 澳门永利402手机版

线性回归及sgd/bgd的介绍:

监督学习——随机梯度下降算法(sgd)和批梯度下降算法(bgd)

训练数据形式: (第一列代表x1,第二列代表 x2,第三列代表 数据标签 用 0/1表示)

训练函数形式: y = sigmod(w0+w1*x1+w2*x2)

通过训练函数就能够得到参数列向量([0,1,…n]^T),当输入样本列向量x([x0,x1,…,xn]),那么我们对样本x分类就可以通过上述公式计算出一个概率,如果这个概率大于0.5,我们就可以说样本是正样本,否则样本是负样本。

利用训练函数进行分类: 输入如果(x1,x2),利用训练函数得到 y值,如果y>0.5 返回1 ,否则返回 0。

image

1. Sigmoid 函数

为了将连续的数值转化为 二进制的0/1,机器学习中一般引入Sigmoid函数,该函数的形式如下:

对应的函数图像:

可以看出它的两个极值就是 0 /1 所以可以很好的将连续之映射为二分类。

Sigmoid函数有一个很棒的特点是它的导数 f′(x) = f(x)(1?f(x))

那么如何通过训练数据得到目标sigmoid函数(训练函数计算过程原理)

Logistic回归及梯度上升算法

2. sigmoid函数+lo婚姻保卫战_2018年最新新闻网gigstic 解决二分类问题

通过上图中的数据源计算目标函数,并通过目标函数对未知数据进行二分类

数据加载:

def loadDataSet():
    dataMat = []; labelMat = []
    fr = open("testSet.txt")
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat,labelMat

批梯度上升算法

def sigmoid(inX):
    return 1.0/(1+exp(-inX))

def gradAscent(dataMatIn, classLabels):
    # 输入训练数据
    dataMatrix = mat(dataMatIn)             #convert to NumPy matrix
    # 输入训练数据的标签(0 / 1)
    labelMat = mat(classLabels).transpose() #convert to NumPy matrix
    m,n = shape(dataMatrix)
    # 训练步长 (越大则收敛的速度)
    alpha = 0.001
    # 最大迭代次数灵域_2018年最新新闻网
    maxCycles = 500
    # 训练函数的系数(为需要求解的结果)
    weights = ones((n,1))
    for k in range(maxCycles):              #heavy on matrix operations
        h = sigmoid(dataMatrix*weights)     #matrix mult
        error = (labelMat - h)              #vector subtraction
        # 梯度上升算法的 迭代 算法
        
weights = weights + alpha * dataMatrix.transpose()* error #matrix mult
    return weights

随机梯度上升算法

由于批梯度算法每次迭代都需要将所有的训练数据进行计算,所以它的运行效率并不高。

而随机梯度上升算法每次迭代只是将一个训练数据进行迭代所以效率很高。

它们的数据源是一样的。

def stocGradAscent0(dataMatrix, classLabels):
    m,n = shape(d随波逐流之一代军师_2018年最新新闻网ataMatrix)
    alpha = 0.01
    weig宝骏_2018年最新新闻网hts = ones(n)   #initialize to all ones
    for i in range(m):
        #每次迭代只需要一个训练数据
        h = sigmoid(sum(dataMatrix[i]*weights))
        error = classLabels[i] - h
        
weights = weights + alpha * error * dataMatri博美犬_2018年最新新闻网x[i]
    return weights

参考:

监督学习——随机梯度下降算法(sgd)和批梯度下降算法(bgd)

梯度上升算法解释: https://blog.csdn.net/szm21c11u68n04vdclmj/article/details/78221784

https://bl与朱元思书_2018年最新新闻网og.csdn.net/u011197534/article/details/53492915?utm_source=itdadao&utm_medium=referral

《机器学习实战》

当前文章:http://plgv78hh-feizheban-com.luanchinese.cn/ma14qwhvy/aa9fa_153760.html

发布时间:2019-08-23 11:04:58

澳门银河娱乐场yh163am.com  银河娱乐手机版yh163am.com  银河娱乐手机版yh163am.com停车杆砸人致死 家属索赔161万元  银河优越会下载  澳门银河娱乐官网下载  银河娱乐在线官方网址  澳门银河手机网站福建霞浦渔船失事致1人失联  澳门银河娱乐送彩金网站  银河优越会会员申请2名男子酒后滋扰游客 三亚民警抓获1人  澳门银河娱乐yh163am.com