大数据介绍

1、大数据概览

1.1 大数据概览 —— 大数据定义

大数据常用定义 —— 4个V：

• Volume：数据规模
  - 海量的数据规模，KB-MB-GB-TB-PB等；
  - 需要可扩展的大存储；
• Variety：多种数据类型
  - 结构性数据，非结构性数据，半结构性数据；
  - 日志数据，社交媒体数据，电商平台交易数据等；
• velocity：数据流转速度（数据被处理的频率以及重要性）
  - 快速生成数据，收集数据，处理数据；
  - 数据处理具有时效性；
• value：数据价值
  - 通过分析学和大数据挖掘发现数据中的潜在价值；
  - 通过数据发现新的商机；

1.2 大数据概览 —— 大数据来源

• 人：社交网络、购物网站、搜索网站、游戏软件；
• 机器：服务器、车辆、感应器、地理位置；
• 商务：邮箱、短信、图片、视频；

1.3 大数据概览 —— 大数据的数据类型

• 结构化数据（具有固定模型和类型的数据）
  - 固定数据合适和长度；
  - 可通过统一格式表示并存储在传统关系式数据库中（行列）；
  - 常见类型 —— 数据库类型；

• 非结构化数据（结构不规则或不完整并且无预定义数据模型的数据）
  - 数据格式和类型是任意的；
  - 常见类型：文本数据、音频数据、邮件数据、调查表数据等；

• 半结构化数据（具有一定模型但是不符合传统关系式数据库数据模式）
  - 无法直接存储在关系式数据库中；
  - 通过处理可以存储在一些数据库中；
  - 常见的类型 —— XML、JSON等；

2、大数据处理及意义

为什么要学习大数据？

• 全球数据总量飞速上升，并且超过80%的是无结构数据；
  
• Big Data的全球搜索指数也飞速上升；
  

传统数据处理一般都是单机处理，处理的数据一般是结构化数据；

• 数据采集：系统单机采集，数据多为结构化数据；
• 数据处理：利用办公软件或者Python单机处理；
• 数据分析：利用办公软件或者SQL查询语句进行分析；

随着大数据时代的来临，数据规模越来越大，数据类型越来越复杂，数据处理难度越来越大；

• 无结构数据难处理；
• 单机处理效率不高；
• 无法存储海量信息；
• 难以提取数据价值；
  

大数据处理特点：

• 并行处理，多个机器一起工作，可扩展能力强；
• 处理速度迅速；
• 可快速处理多种数据格式，文本数据，音频数据等；

3、大数据应用场景

• 移动支付行业
  - 支付宝欺诈行为检测；
  - 微信钱包理财推荐；
  - 京东白条用户违约分析；
• 电商行业
  - 淘宝个性化商品推荐；
  - 拼多多利用数据精准营销；
• 视频行业
  - 抖音用户短视频数据分析及推荐；
  - Youtube视频个性化推荐及广告精确推送；

4、小结