《统计学习方法》学习笔记（第四章）

朴素贝叶斯

是基于贝叶斯定理与特征条件独立假设的分类方法
对于给定训练数据集，首先基于特征条件独立假设学习输入/输出的联合分布概率；然后基于此模型，对给定的输入x，利用贝叶斯理论求出后验概率的最大的输出y。
具体：给定属性值的某类值的概率称为条件概率，通过将条件概率乘以给定类值的每个属性（先验概率），我们得到属于该类的数据实例的概率。
为了进行预测，我们可以计算属于每个类的实例的概率，并选择具有最高概率的类值。

GaussianNB 高斯朴素贝叶斯
特征的可能性被假设为高斯

概率密度函数： $$P(x_i|y_k)=\frac{1}{\sqrt{2\pi {\sigma }_{yk}^2}}exp(-\frac{(x_i-{\mu }_{yk}{)}^2}{2{\sigma }_{yk}^2})$$数学期望(mean)：$\mu$，方差：${\sigma }^2=\frac{\sum (X-\mu {)}^2}{N}$
源代码出处：https://github.com/fengdu78/lihang-code/blob/master/code/第4章 朴素贝叶斯(NaiveBayes)/GaussianNB.ipynb

class NaiveBayes:
    def __init__(self):
        self.model = None

    # 数学期望（计算概率时将其用作高斯分布的中间）
    @staticmethod
    def mean(X):
        return sum(X) / float(len(X))

    # 标准差（方差，表征计算概率时高斯分布中每个属性的预期传播）
    def stdev(self, X):
        avg = self.mean(X)
        return math.sqrt(sum([pow(x-avg, 2) for x in X]) / float(len(X)))

    # 概率密度函数（条件概率）
    def gaussian_probability(self, x, mean, stdev):
        exponent = math.exp(-(math.pow(x-mean,2)/(2*math.pow(stdev,2))))
        return (1 / (math.sqrt(2*math.pi) * stdev)) * exponent

    # 处理X_train，zip函数将数据实例中每个属性的值分组到它们自己的列表中
    def summarize(self, train_data):
        summaries = [(self.mean(i), self.stdev(i)) for i in zip(*train_data)]
        return summaries

    # 分类别求出数学期望和标准差
    def fit(self, X, y):
        labels = list(set(y))
        data = {label:[] for label in labels}
        for f, label in zip(X, y):
            data[label].append(f)
        self.model = {label: self.summarize(value) for label, value in data.items()}
        return 'gaussianNB train done!'

    # 计算概率（计算属于某个类的属性的概率）
    def calculate_probabilities(self, input_data):
        # summaries:{0.0: [(5.0, 0.37),(3.42, 0.40)], 1.0: [(5.8, 0.449),(2.7, 0.27)]}
        # input_data:[1.1, 2.2]
        probabilities = {}
        for label, value in self.model.items():
            probabilities[label] = 1
            for i in range(len(value)):
                mean, stdev = value[i]
                probabilities[label] *= self.gaussian_probability(input_data[i], mean, stdev)
        return probabilities

    # 类别（计算属于每个类值的数据实例的概率）
    def predict(self, X_test):
        # {0.0: 2.9680340789325763e-27, 1.0: 3.5749783019849535e-26}
        label = sorted(self.calculate_probabilities(X_test).items(), key=lambda x: x[-1])[-1][0]
        return label
        
	# 将预测与测试数据集中的类值进行比较
    def score(self, X_test, y_test):
        right = 0
        for X, y in zip(X_test, y_test):
            label = self.predict(X)
            if label == y:
                right += 1

        return right / float(len(X_test))

• df.loc[]和df.iloc[]的区别

loc利用index的名称，来获取想要的行（或列）
iloc利用index的具体位置（所以它只能是整数型参数），来获取想要的行（或列）
df.iloc[:100,:](行，列)

• Zip

zip的作用是将对应位置的数据连接，经常用在连接特征和标签。
for i in zip(*train_data)
*的作用是表示不清楚train_data的参数个数。代码中因为train_data是将数组通过append添加进train_data里面，则对于zip(*train_data)等于将每个数组的对应位置连接，当输入的数组是特征向量时，代码表示N个特征向量的第i个特征组成。

-label = sorted(self.calculate_probabilities(X_test).items(), key=lambda x: x[-1])[-1][0]

sorted函数是排序函数，默认升序
key=lambda x: x[-1]
lambda表示匿名函数，代表的是一种运算；
x: x[-1]表示输入x，输出x[-1]；
[-1][0]取出最后的字典的键