大数据导论 W1-P1 coursera

课程信息

大数据导论
[美国加州大学圣地亚哥分校]
[Coursera]

这是coursera中的Data Engineer（数据工程）第一课，介绍什么是大数据及其简单应用。

收费与否	可免费旁听（无证书）
教学语言	仅英语
有无课件	有
条件	零基础

第一周 WEEK 1

---

Part 1 Why big data

---

1. 什么产生了大数据技术？

data torrent + cloud computing --> big data

有两种主要因素：

第一，各种设备、软件产生大量数据；
第二，云计算使得信息可以在何时何地储存、处理、返回结果。（简单说就是同步到服务器进行“云”计算和处理）

2. 怎么应用大数据？

2.1 针对客户的分析

（1）个体：提供个性化服务，提高利润和客户满意度。

针对每个用户不同的浏览记录、购买记录、社交网络信息等等，算法自动推荐不同商品和服务给客户。提高了客户购买的概率，从而获得更高利润。同时，客户认为能更快速获得合适的服务，提高了客户满意度和用户粘性。（一个闭环）

例如:
购物平台会根据你以往的购买记录，对你有针对性的投放广告和推荐服务。视频平台会根据你的观看记录推荐符合你口味的视频，获得更高点击量。

（2） 总体：调整商品和服务结构，降低成本，提高利润。

分析整体销售情况，增加热销产品的库存，下架冷门商品。

例如：
航空公司分析机票买卖情况，发现早班机票都会卖完。根据客户浏览记录和点击记录，航空公司发现很多客户希望购买早班机票。后续，航空公司相应地增加了早班机票的班次，或者安排更大的航班，卖出更多机票以获得更高的利润。同时减少晚班机票，降低成本。

（3）分群体：提供分群体的针对性服务

简单的例子就是：针对折扣款、中产、高端奢侈品等等，同一个控股公司会根据群体推出不同的品牌服务。

2.2 改进商品

根据以上分析，购物网站上会有客户评论和评分，自然语言（NLP）处理评价后分析商品有哪里需要改进，后续反馈给厂家进行修改。达到平台和厂家的双赢合作。

2.3 推广应用到各行各业

例如智慧城市，实时监控交通情况没减少堵塞，等等。

---

3. 大数据应用实例一： 监控山火

---

这里两个实例很好的地方是教授自己的项目。

1. 山火监控的难点：
   森林占地太大，无法预测，人工昂贵且监控范围小。

2. 如何监控山火？
   其实就是整合各处产生的信息，设计软件和模型自动告警，预测山火蔓延情况，达到更好的预测山火，减少人员伤亡和财政损失。

3. 信息来源

a. 传感器：
温度传感器、气压传感器、卫星图片和区域监控（需要图片处理技术）

b. 个人：
社交网络实时信息（文字、图片），实时报警信息

c. 组织：
主要是过去记录的电子信息，根据以往信息建模

4. 大数据应用实例二：拯救人类生命

---

1. 简介:
   提供个人化精准用药。

2. 为什么要对不同人提供不同的医疗服务？

（1） 因为每个人对不同的药物反应不一样.
例如: 对A有效的药，可能对B无效。同一种药，可能A要吃三片，但B只需要吃两片就能获得一样的效果。

（2） 实时监测病人对药物的反应，提供更准确的救治。
例如： 有一些病人是第一次服用药物A，虽然药物A对大多数病人有效，但病人可能不幸地对药物A过敏。实时监测能快速告警，并且通过准确的数据找到过敏原，挽救生命。

3. 信息来源：

a. 组织：
得益于医院对医疗信息电子化，现在有大量是医疗信息；
国家和国际的疾控中心资料；
人类基因组计划，人类脑补计划等等。

b. 传感器：
过去医院的各种监控设备用完即丢，不会保存。现在硬件储存成本降低，能把数据存储为电子信息。
可穿戴设备与移动手机中的软件，实时记录健康情况（心跳，血压等等）

c. 个人：
社交网站中实时记录感受，各种心情分享软件（例如人工智能做的聊天用“心理医生”）

---

PS： 以上是个人总结和个人笔记，2018.1.7