机器学习-朴素贝叶斯

前言
  • 朴素贝叶斯是一种基于贝叶斯定理的分类算法,属于生成式模型的范畴。它的基本思想是基于贝叶斯定理和特征独立性假设。它假设每个特征之间相互独立,因此名称为“朴素”。
  • 在朴素贝叶斯分类中,我们假设给定数据点属于某个类别,可以通过对该类别中各个特征的条件概率进行乘积计算,以计算该数据点属于该类别的概率。最终,选择概率最大的类别作为该数据点的预测类别。
公式
  1. 贝叶斯定理:贝叶斯定理告诉我们如何计算某个事件发生的概率,即:

​ $P(A|B) = P(B|A) * P(A) / P(B)$

​ 其中,P(A|B) 表示事件 A 在事件 B 发生的情况下发生的概率;P(B|A) 表示事件 B 在事件 A 发生的情况下发 生的概率;P(A) 表示事件 A 发生的概率;P(B) 表示事件 B 发生的概率

2.特征独立性假设:朴素贝叶斯假设特征之间是独立的,即:

​ $P(x1, x2, ..., xn | y) = P(x1 | y) * P(x2 | y) * ... * P(xn | y)$

​ 其中,xi 表示第 i 个特征,y 表示分类结果。

  1. 极大似然估计:朴素贝叶斯使用极大似然估计来确定特征与分类结果之间的关系,即:

​ $P(y | x1, x2, ..., xn) = P(x1, x2, ..., xn | y) * P(y) / P(x1, x2, ..., xn)$

​ 其中,P(y | x1, x2, ..., xn) 表示给定特征 x1, x2, ..., xn 时分类结果 y 的概率;P(y) 表示分类结果 y 的先验概 率;P(x1, x2, ..., xn) 表示特征 x1, x2, ..., xn 的先验概率。

实现流程
  1. 数据预处理:对数据进行清洗、格式化等处理,确保数据的可用性和有效性。
  2. 特征抽取:从原始数据中抽取出有效的特征,用于后续的模型训练。
  3. 计算先验概率:计算出每一个分类结果的先验概率,即该分类结果在样本中出现的频率。
  4. 计算条件概率:对于每一个特征,计算出该特征在各个分类结果中出现的条件概率。
  5. 计算后验概率:使用贝叶斯定理计算出后验概率,即在已知特征的情况下,每一个分类结果的概率。
  6. 预测分类结果:选取后验概率最大的分类结果作为最终的预测结果。
代码
import numpy as np
from collections import Counter

class NaiveBayes:
    def __init__(self):
        # 定义类的属性,初始化为None
        self.X = None
        self.y = None
        self.classes = None
        self.priors = None
        self.cond_probs = None

    def fit(self, X, y):
        # 存储训练数据
        self.X = X
        self.y = y
        # 获取分类类别
        self.classes = np.unique(y)
        # 计算先验概率
        self.priors = self._compute_priors()
        # 计算条件概率
        self.cond_probs = self._compute_cond_probs()

    def _compute_priors(self):
        # 统计每个类别的样本数量
        classes_counts = Counter(self.y)
        # 计算总样本数量
        total_count = len(self.y)
        # 计算每个类别的先验概率
        priors = {c: count / total_count for c, count in classes_counts.items()}
        return priors

    def _compute_cond_probs(self):
        # 计算特征数量
        n_features = self.X.shape[1]
        cond_probs = {}
        # 计算每个类别的条件概率
        for c in self.classes:
            # 获取每个类别的样本
            X_c = self.X[self.y == c]
            # 计算每个特征的均值和标准差
            means = np.mean(X_c, axis=0)
            stds = np.std(X_c, axis=0)
            # 将均值和标准差存储在字典中
            cond_probs[c] = (means, stds)
        return cond_probs

    def predict(self, X):
        y_pred = []
        # 遍历所有的预测样本
        for x in X:
            scores = []
            # 遍历所有的类别
            for c, (mean, std) in self.cond_probs.items():
                # 计算每个特征在该类别下的概率密度值
                prob = np.exp(-0.5 * ((x - mean) / std) ** 2) / (np.sqrt(2 * np.pi) * std)
                # 计算概率密度值的乘积
                prob = np.prod(prob)
                # 乘上该类别的先验概率
                prob *= self.priors[c]
                scores.append(prob)
            # 预测该样本的类别
            y_pred.append(self.classes[np.argmax(scores)])
        return np.array(y_pred)
  • fit函数:用于训练模型,接收训练数据X和目标值y,存储数据到对应属性中,计算先验概率和条件概率并存储到对应属性中。
  • _compute_priors函数:用于计算先验概率。
  • _compute_cond_probs函数:用于计算条件概率。
  • predict函数:用于预测目标值,接收预测数据X,计算每个样本在每个类别下的概率,预测该样本的类别并返回预测结果。

你可能感兴趣的:(机器学习人工智能算法朴素贝叶斯)