数分-理论-大数据1-概述

数分-理论-大数据1-概述

(数据分析系列)

1知识点

• 大数据基础
• 概念
• 应用
• 关键技术

2具体内容

2.1大数据基础

• “互联网+”信息时代，信息化数据共享
• 对所占有的数据进行深入分析，实现开发利用，从中发现新知识、创造新价值、提升新能力，取得实实在在的工作成效，才能够真正实现数据的价值

2.2概念

4V：数据量大（Volume）、数据类型繁多（Variety）、处理速度快（ Velocity）和价值密度低（Value）

• 数据量大：物联网普及，传感器、摄像头遍布，产生大量数据
• 数据种类多：结构化数据（存储在关系数据库中的数据）和非结构化数据（邮件、音频、视频、微信、微博、位置信息、链接信息、手机呼叫信息、网络日志等）
• 处理迅速：集群处理和独特的内部设计，快速分析海量数据
• 价值密度低

2.3应用

• 高频交易、社交情绪分析和信贷风险分析
• 分析客户行为，进行商品推荐和有针对性的广告投放
• 餐饮O2O模式
• 流行病预测、智慧医疗、健康管理，同时还可以帮助我们解读DNA，了解更多的生命奥秘

2.4关键技术

• 大数据技术，是指伴随着大数据的采集、传输、处理和应用的相关技术，是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的一系列数据处理和分析技术。
• 包括数据采集、数据存储和管理、数据处理与分析、数据安全和隐私保护
• 关系数据库、数据仓库、ETL、 OLAP、数据挖掘、数据隐私和安全、数据可视化
• 分布式并行编程、分布式文件系统、分布式数据库、NoSQL数据库、云数据库、流计算和图计算

3参考

https://shenhao-stu.github.io/Big-Data/#/