非线性回归

1. 概率:

     1.1 定义   概率(P)robability: 对一件事情发生的可能性的衡量
     1.2 范围   0 <= P <= 1
     1.3 计算方法: 
          1.3.1 根据个人置信
          1.3.2 根据历史数据
          1.3.3 根据模拟数据
     1.4 条件概率:
                            
2. Logistic Regression (逻辑回归)

     2.1 例子
非线性回归_第1张图片
非线性回归_第2张图片
 2.2 基本模型
         测试数据为X(x0,x1,x2···xn)
         要学习的参数为: Θ(θ0,θ1,θ2,···θn)
          
     
          向量表示:
          
     

          
        处理二值数据,引入Sigmoid函数时曲线平滑化 
          
     

           非线性回归_第3张图片

          预测函数:
                    

          用概率表示:
          正例(y=1):
                  
                         
          反例(y=0):
                              

       2.3  Cost函数
              线性回归:
                    
                非线性回归_第4张图片
     
     
       
          
          
           
            找到合适的 θ0,θ1使上式最小

          Logistic regression:
               
           Cost函数: 非线性回归_第5张图片



           目标:找到合适的 θ0,θ1使上式最小
             
          2.4 解法:梯度下降(gradient decent)
    

        非线性回归_第6张图片    非线性回归_第7张图片
                

  

              更新法则:
                
               

                      学习率
                      同时对所有的θ进行更新
                      重复更新直到收敛   


  

1.      皮尔逊相关系数 (Pearson Correlation Coefficient):
         1.1 衡量两个值线性相关强度的量
         1.2 取值范围 [-1, 1]: 
                    正向相关: >0, 负向相关:<0, 无相关性:=0

                    
         1.3
             
             
      
         
         

2. 计算方法举例:

     
X Y
1 10
3 12
8 24
7 21
9 34
   
       

3. 其他例子:
        非线性回归_第8张图片

  
4. R平方值:

     4.1定义:决定系数,反应因变量的全部变异能通过回归关系被自变量解释的比例。

     4.2 描述:如R平方为0.8,则表示回归关系可以解释因变量80%的变异。换句话说,如果我们能控制自变量不变,则因变量的变异程度会减少80%

     4.3: 简单线性回归:R^2 = r * r
              多元线性回归:
                    
  
非线性回归_第9张图片
  非线性回归_第10张图片



5. R平方也有其局限性:R平方随着自变量的增加会变大,R平方和样本量是有关系的。因此,我们要到R平方进行修正。修正的方法:
  非线性回归_第11张图片


  





5. R平方也有其局限性:R平方随着自变量的增加会变大,R平方和样本量是有关系的。因此,我们要到R平方进行修正。修正的方法:

你可能感兴趣的:(机器学习)