【华为网络技术大赛】大数据

HTML是半结构化数据

Hadoop

HDFS(Hadoop Distributed File System)

• 高容错、高吞吐量、大文件存储、流式数据访问
• 不适合大量小文件处理、随机写入、低延迟读写

MapReduce

• 大规模数据集（大于1TB）的并行运算
• 易于编程、良好的扩展性、高容错性，适合子任务相对独立
• 不适合实时交互计算、子任务相互依赖、流式计算、实时分析等

HBase(Hadoop Database)

是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

yarn

• 资源管理系统，通用的资源管理模块，可支持MapReduce（离线处理）,Spark（迭代计算）,Storm（实时处理）等多种框架。

Hive

提供数据提取、转换、加载功能，并可用类似于SQL的语法，对HDFS海量数据库中的数据进行查询统计等操作。

Spark

Spark系统是分布式批处理系统和分析挖掘引擎。Spark可以用来快速处理数据，并支持迭代计算，有效应对多步的数据处理逻辑。

Flume

Flume是Cloudera的开源日志系统。是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

Kafka

Kafka是Linkedin开源的分布式的，基于发布/订阅的日志系统。Kafka 可以在消息队列中保存大量的开销很小的数据，且支持大量的消费者订阅。

数据挖掘

在数据中（半）自动发现隐含的，以前未知的和有价值的信息

常用挖掘软件

Universe SmartMiner
SAS
R语言
IBM MODELER

常用算法

有监督学习

1. 回归算法
   回归分析(Regression Analysis)是指确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。
2. 分类算法
   分类(classification )是这样的过程：使用类标签已知的样本建立一个分类函数或分类模型(也常常称作分类器), 应用分类模型，能把数据库中的类标签未知的数据进行归类。

---

无监督学习

1. 关联算法
   关联分析的目的是找出数据库中隐藏的关联关系，形如X→Y的蕴涵式。啤酒尿布等。
2. 聚类算法
   指根据“物以类聚”的原理，将本身没有类别的样本聚集成不同的组，这样的一组数据对象的集合叫做簇，并且对每一个这样的簇进行描述的过程。它的目的是使得属于同一个簇的样本之间应该彼此相似，而不同簇的样本应该足够不相似。
3. 推荐算法
   利用用户的一些行为，通过一些数学算法，推测出用户可能喜欢的东西。
4. 社交关系算法
   该算法是google提出来的解决网页排名问题。Pagerank算法通过不断的迭代计算之后得到每个节点的PR值。PR值可以用来展示每个网页或者接点的重要性。
   “被越多优质的网页所指的网页，它是优质的概率就越大”。

---

数据挖掘提供了从数据到价值的解决方案。
CRISP-DM定义了数据挖掘项目的标准化流程。

自测题

1. HDFS的是基于流数据模式访问和处理超大文件的需求而开发的，具有高容错、高可靠性、高可扩展性、高吞吐率等特征，适合的读写任务是一次写入，多次读写。
   对
2. 聚类是指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程。
   对
3. 下列选项中，哪一项属于大数据的核心？
   预测
4. 当前大数据技术的基础是由下列哪家公司提出的？
   谷歌
5. 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种情况属于数据挖掘的哪类问题？
   关联规则发现