8.1 机器学习—R语言-线性回归

机器学习就是拟人

数据+算法-->找规律

大数据公司主要分四类：

1,数据拥有者，数据源，PB级数据的包子铺

2,大数据咨询公司，Cloudera--CDH

3,大数据工具公司，Databricks--Apache Shark

4,整合应用型，结合机器学习来解决更多实际的痛点

机器学习是什么

已有的数据(经验)

某种模型(迟到的规律)

利用此模型预测未来(是否迟到)

机器学习界“数据为王”思想

R语言：

主要用于 统计分析、 绘图、 数据挖掘

环境安装：

R-3.1.3-win.exe------->相当于JDK

RStudio-0.99.447.exe-------->相当于eclipse

安装R-3.1.3-win.exe的时候路径注意不要有汉字和空格

R语言的数据结构：

向量

R的基本数据结构式向量。向量存储一组有序的值，称为元素

R中的向量有固有的顺序，所以其数据能通过计算向量中各元 素的序号来访问，序号是从1开始

因子

因子是向量的一个特例，它单独用来标识名义属性

把字符型向量转换成因子，只需要应用factor()函数

列表

一种特殊类型的向量--列表，它用来存储一组有序的值

列表允许收集不同类型的值

用列表构建”对象”进行访问

数组

数据框

机器学习中使用的最重要的R数据结构就是数据框，因为它既 有行数据又有列数据，所以它是一个与电子表格或数据库相类 似的结构

提取其中的整个向量数据，就如列表提取一个元素那么简单， 通过名字

数据框是二维的，格式为“[rows, columns]”也可以提取数据

矩阵

保存和加载R数据结构：

save(x,y,z, file="mydata.RData")

load("mydata.RData")

用CSV文件导入和保存数据：

#stringsAsFactors=FALSE指的是读入的数据中的字符串数据是否要变成属性数据

pt_data <- read.csv("pt_data.csv", stringsAsFactors=FALSE)

#header=FALSE指的是第一列不是数据

pt_data <- read.csv("pt_data.csv", stringsAsFactors=FALSE, header=FALSE)

write.csv(pt_data, file="pt_data2.csv")

R语言中“<-”表示赋值，如“x <- 3”表示赋予对象x的值为3。请不要用等号！

R代码中“#”后边的都表示注释，不会被执行此时可输入中文。在代码中R语言支持中文但并不好，建议全英环境

读取指定路径文件：

setwd("D://data")#指定路径

insurance <- read.csv("insurance.csv", stringsAsFactors = TRUE)#上面指定路径下的文件

两个练习R文件：

dataManagement_dataUnderstanding.R：

subject_name <- c("John Doe","Jane Doe","Steve Graves") temperature <- c(98.1, 98.6, 101.4) flu_status <- c(FALSE, FALSE, TRUE) temperature[2] temperature[2:3] temperature[-2] temperature[c(TRUE,TRUE,FALSE)] gender <- factor(c("MALE","MALE","FEMALE")) gender blood <- factor(c("O","AB","A"),levels = c("A","B","AB","O")) blood subject_name[1] temperature[1] flu_status[1] gender[1] blood[1] subject1 <- list(fullname = subject_name[1],                  temperature = temperature[1],                  flu_status = flu_status[1],                  gender = gender[1],                  blood = blood[1]) subject1 subject1[2] subject1$temperature subject1[c("temperature","flu_status")] pt_data <- data.frame(subject_name, temperature, flu_status, gender, blood, stringsAsFactors = FALSE) pt_data pt_data$subject_name pt_data[c("temperature","flu_status")] pt_data[1,2] pt_data[c(1,3),c(2,4)] pt_data[,1] pt_data[1,] pt_data[,] pt_data[c(1,3),c("temperature","gender")] pt_data[-2,c(-1,-3,-5)] x <- subject_name y <- subject1 z <- pt_data save(x,y,z, file="mydata.RData") load("mydata.RData") pt_data <- read.csv("pt_data.csv", stringsAsFactors=FALSE) pt_data <- read.csv("pt_data.csv", stringsAsFactors=FALSE, header=FALSE) write.csv(pt_data, file="pt_data2.csv") str(pt_data) summary(pt_data$temperature) summary(pt_data[c("gender","temperature")]) model_table <- table(pt_data$gender) pmt <- prop.table(model_table) round(pmt, digits=1) plot(x = pt_data$temperature, y = pt_data$flu_status,      main = "Temperature vs. Flu",      xlab = "温度",      ylab = "感冒") mydb <- odbcConnect("127.0.0.1", uid="root", pwd="123123")

线性回归：

对于简单线性回归问题，也就是小学大家就都会了的解应用题。 Y=a+bx

两个变量之间的相关系数是一个数，它表示两个变量服从一条 直线的关系有多麽紧密

相关系数就是指Pearson相关系数，它是数学家Pearson提出 来的，相关系数的范围是-1~+1之间，两端的值表示一个完美 的线性关系

相关系数接近于0则表示不存在线性关系。协方差函数cov()， 标准方差函数sd()，可以求出来cor()

多元线性回归insurance.R：保险费

---

insurance <- read.csv("insurance.csv", stringsAsFactors = TRUE)

str(insurance)

#既然因变量是charges,我们就来看一下它是如何分布的

summary(insurance$charges)

hist(insurance$charges)

table(insurance$region)

cor(insurance[c("age","bmi","children","charges")])

pairs(insurance[c("age","bmi","children","charges")])

library("psych")

pairs.panels(insurance[c("age","bmi","children","charges")])

#lm代表线性回归算法

ins_model <- lm (charges ~ age + children + bmi + sex + smoker + region, data=insurance)

ins_model <- lm(charges ~ . , data=insurance)

ins_model

summary(ins_model)

insurance$age2 <- insurance$age^2

insurance$bmi30 <- ifelse(insurance$bmi >= 30, 1, 0)

ins_models <- lm(charges ~ age + age2 + children + bmi + sex + bmi30*smoker + region , data=insurance)

summary(ins_models)