大数据、人工智能、云计算知识概括

大数据简介

什么是大数据：

• 举例：
  ①商品推荐：
  <1>问题：1、大量的订单如何存储 2、大量的订单如何计算
  ②天气预报：
  <1>问题：1、大量的天气数据如何存储 2、大量的天气数据如何计算
• 本质：
  ①数据的存储：分布式文件系统（分布式存储）
  ②数据的计算：分布式计算

大数据与Java的关系：

• Hadoop框架：基于Java语言开发
• Spark框架：基于Scala语言开发，Scala基于Java语言

学大数据需要的基础：

• java基础（javase）—> 类，继承，I/O，反射，泛型****
• linux基础（linux操作）-----> 创造文件，目录，vi编辑器****

大数据学习路线：

• java基础和linux基础
• Hadoop的学习：体系结构，原理，编程
  ①第一阶段：
  <1>HDFS（数据存储），
  <2>MapRedue（数据计算），
  <3>HBase（NoSql数据库）
  ②第二阶段：
  <1>数据分析引擎：Hive，Pig
  <2>:数据采集引擎：Sqoop，Flume
  ③第三阶段：
  <1>HUE:Web管理工具（基于网页方式）
  <2>ZooKeeper:实现Hadoop的HA（双机集群(HA)系统简称）
  <3> Oozie:工作流引擎
• Spark的学习：
  ①第一阶段：
  <1>Scala编程语言 （注意：spark也支持java，python语言开发）
  ②第二阶段：
  <1>Spark Core---->基于内存，数据的计算
  ③第三阶段：
  <1>Spark SQL----->类似Oracle中的SQL语句
  ④第四阶段：
  <1>Sprak Streaming ----> 进行实时计算（流式计算）：比如：自来水厂
• Apache Storm的学习：类似Sprak Streaming ----> 进行实时计算（流式计算）
  ①NoSQL：Redis基于内存的数据库用于计算完成后保存结果

Hadoop和Storm对比：

• 应用场景对比
  ①Storm： 分布式实时计算，强调实时性，常用于实时性要求较高的地方
  ②Hadoop:分布式批处理计算，强调批处理，常用于对已经在的大量数据挖掘、分析

云计算

云计算是什么：

• 本质：对资源的管理
• 管理硬盘空间，cpu算力，网络带宽
• 简单来说就是：将布置在云（远程机房）上计算机的资源给你用。
• 两个灵活性：时间上随时出现，空间上任意叠加。

人工智能

人工智能是什么：

• 有了大数据后然后在云计算中总结规律产生知识，但这些知识是基于规律的而非人性。
• 而人工智能就是将这些知识教给机器。
• 过去我们将人的推理过程总结成规律，告诉机器，再让机器根据你的提问，推理出相应的回答----这样行不通。
• 因为机器和人完全不一样，人是通过神经元组成的神经网络思考的。
• 人工智能的神经网络：用一个数学单元模拟神经元，这个神经元有输入，也有输出，输入和输出之间通过一个公式来表示，输入根据重要程度不同（权重）影响着输出 ，将n个神经元通过一张神经网络一样连接在一起形成神经网络。