Machine Learning in Action -- Logistic regression

这个系列，重点关注如何实现，至于算法基础，参考Andrew的公开课

相较于线性回归，logistic回归更适合用于分类

因为他使用Sigmoid函数，因为分类的取值是0，1

对于分类，最完美和自然的函数，当然是Heaviside step function，即0-1阶跃函数，但是这个函数中数学上有时候比较难处理

所以用Sigmoid函数来近似模拟阶跃函数，

可以看到Sigmoid在增大坐标尺度后，已经比较接近于阶跃函数

其中，

而logistic回归就是要根据训练集找到，最优的w向量

下面就通过源码来看看如何用梯度下降来解logistic问题，

def loadDataSet():
    dataMat = []; labelMat = []  #数组
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])]) #加入一个数据点，其中‘1.0’代表截距
        labelMat.append(int(lineArr[2])) #每个数据点的lable，用于训练
    return dataMat,labelMat

def sigmoid(inX):
    return 1.0/(1+exp(-inX))

def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn)  #首先将array转换为matrix
    labelMat = mat(classLabels).transpose()  #将lables转秩，因为一个lable对应于dataMatrix中的一行，即一个数据点
    m,n = shape(dataMatrix)
    alpha = 0.001   #学习率
    maxCycles = 500  #迭代次数
    weights = ones((n,1))   #初始化weights向量
    for k in range(maxCycles):
        h = sigmoid(dataMatrix*weights)  #这里是矩阵计算，最终h是个列向量，表示每个数据点的预估值
        error = (labelMat - h)  #和真实值比较，算出error列向量
        weights = weights + alpha * dataMatrix.transpose()* error #这个公式是通过梯度下降推导出来的
    return weights #获得最终的weights参数

这里需要注意，numpy支持矩阵计算，所以

h = sigmoid(dataMatrix*weights)， 其实是完成n×m矩阵和n×1矩阵乘，然后执行n次sigmoid，得到h列向量

至于那个公式，是由于由梯度下降求出的weight迭代公式如下，

得到weights后，进行predict很容易，直接把数据点和weights代入sigmoid函数算出h，以0.5为界近似成0或1

这种原始的梯度下降算法的问题，就是计算量比较大，对于每个weight的迭代都需要遍历数据集一遍，所以如果weight和数据集比较大，很低效

stochastic gradient ascent

对于随机梯度下降，每次只用一个数据点来迭代weights

def stocGradAscent0(dataMatrix, classLabels):
    m,n = shape(dataMatrix)
    alpha = 0.01
    weights = ones(n)
    for i in range(m):
        h = sigmoid(sum(dataMatrix[i]*weights)) #只取一个数据点
        error = classLabels[i] - h
        weights = weights + alpha * error * dataMatrix[i]
    return weights

但这个简单的随机算法有些问题，

首先只迭代训练集一遍，很可能没有达到收敛，所以准确率不够 
其次，每次是依次选取数据点，所以weights会产生周期性的波动 
最后，收敛速度不够

def stocGradAscent1(dataMatrix, classLabels, numIter=150):
    m,n = shape(dataMatrix)
    weights = ones(n)
    for j in range(numIter):  #增加迭代次数
        for i in range(m):
            alpha = 4/(1.0+j+i)+0.01   #动态改变学习率
            randIndex = int(random.uniform(0,len(dataIndex))) #随机选取数据点
            h = sigmoid(sum(dataMatrix[randIndex]*weights))
            error = classLabels[randIndex] - h
            weights = weights + alpha * error * dataMatrix[randIndex]
            del(dataIndex[randIndex])
    return weights

对于动态改变学习率， 
可以看到，学习率会随着迭代次数变大，不断变小，但不会为0，因为有常数项，可以缓解数据波动，并保持多次迭代后仍然对数据有一定的影响 
并且当i>>j时，学习略随着迭代次数增加，也不是严格下降的

而随机选取数据点，用于解决周期性波动问题

本文章摘自博客园，原文发布日期：2014-07-22