python:logistic,softmax函数

在学习时，经常会遇到分类的问题，简单的讲：分类就是设定一个阈值，将你想分类的对象与这个阈值进行比较，根据结果来进行决定分类。
最简单的分类函数是阶跃函数（简单粗暴）

但问题在于，这模型不够光滑，阶跃点从0到1突变，阶跃点难以处理，分类的效果也就那样。
logistic函数：一种常见的S形函数，它是皮埃尔·弗朗索瓦·韦吕勒在1844或1845年在研究它与人口增长的关系时命名的。（生物课上经常看到）

公式为：

g(z)=11+e−z

logistic函数的优点：
够光滑，取值从-∞到∞，而且每一点的导数都存在
python实现：

import numpy as np
import matplotlib.pyplot as plt
def logistic(x):
    return 1/(1+np.exp(-x))

x=np.arange(-6.0,6.0,0.1)
plt.plot(x,logistic(x).T,linewidth=2)
plt.show()

结果：

softmax函数：
本质是将一个K维的任意实数向量压缩（映射）成另一个K维的实数向量，其中向量中的每个元素取值都介于（0，1）之间。
与logistic函数不同的是，logistic函数主要解决的是二分类问题，而softmax函数主要解决的是多分类问题
softmax函数公式：

σ(z)j=ezj∑Kk=1ezk

python代码：

import numpy as np
import matplotlib.pyplot as plt

def softmax(x):
    return np.exp(x)/np.sum(np.exp(x),axis=0)

x=np.arange(-2.0,6.0,0.1)
scores=np.stack([x,np.ones_like(x),0.2*np.ones_like(x)])
plt.plot(x,softmax(scores).T,linewidth=2)
plt.show()

结果：