大数据导论 笔记

一、大数据方向
1、技术发展
计算机网络云计算大数据时代人工智能(本科:使用,研究生:推导,博士:创新)

2023年
大数据模型
人工智能元年

2、基础课程
hadoop
大数据基础
三大件:HDFS分布式存储、MapReduce并行计算框架、yarn分布式资源调度框架

hbase
Hadoop DataBase
分布式列式数据库
NoSQL

hive
数据仓库
兼容SQL标准

3、提高课程
Storm
流式计算

Spark
一栈式解决方案平台
批量数据处理
实时数据处理
支持语言:Java、Scala、Python、R、SQL

4、其它课程
NoSQL
Redis
MongoDB

消息队列
Kafka

数据采集
flume
爬虫
Java编程爬虫
Python编程爬虫

二、VMware软件安装与使用
1、VMware软件下载与安装
官网
https://www.vmware.com/products/workstation-pro.html

下载
VMware-workstation-full-17.0.0-20800274.exe

安装

查看安装是否成功
大数据导论 笔记_第1张图片
大数据导论 笔记_第2张图片

查看服务
win + R
大数据导论 笔记_第3张图片
在这里插入图片描述

设置兼容性
大数据导论 笔记_第4张图片

2、配置VM的网络
大数据导论 笔记_第5张图片
大数据导论 笔记_第6张图片

查看网关
大数据导论 笔记_第7张图片

查看DHCP
大数据导论 笔记_第8张图片

三、CentOS7安装与配置
1、下载镜像
下载地址
http://isoredirect.centos.org/centos/7/isos/x86_64/

东软
http://mirrors.neusoft.edu.cn/centos/7.9.2009/isos/x86_64/

阿里云
http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/

确定版本(最小化)
CentOS-7-x86_64-Minimal-2009.iso

2、安装CentOS7
新建虚拟机

大数据导论 笔记_第9张图片
大数据导论 笔记_第10张图片
大数据导论 笔记_第11张图片
大数据导论 笔记_第12张图片
大数据导论 笔记_第13张图片

大数据导论 笔记_第14张图片
大数据导论 笔记_第15张图片

大数据导论 笔记_第16张图片

自动启动
大数据导论 笔记_第17张图片

按一下回车键,自动进入安装模式
大数据导论 笔记_第18张图片

硬盘分区并格式化
大数据导论 笔记_第19张图片
大数据导论 笔记_第20张图片
大数据导论 笔记_第21张图片

设置管理员密码
大数据导论 笔记_第22张图片
大数据导论 笔记_第23张图片

添加用户hadoop/hadoop
大数据导论 笔记_第24张图片
大数据导论 笔记_第25张图片

睁着眼睛,看着安装完成,重启
大数据导论 笔记_第26张图片

登录系统
大数据导论 笔记_第27张图片
大数据导论 笔记_第28张图片

3、配置网络
VMware软件的网络模式
桥接模式:虚拟机就是一台物理主机,占用太多的资源
NAT模式:虚拟机与宿主环境沟通实现互相访问,其它计算无法访问
主机模式:独立,无法访问

配置网卡
使用vi进行编辑
在这里插入图片描述

vi操作
命令模式
按一下ESC键
再按shift + ;
输入命令并回车
大数据导论 笔记_第29张图片

	:set nu显示行号
	:q!退出不保存
	:wq退出并保存
编辑模式
	按一下insert键,或,按一下A键插入模式
	再按一下insert键覆盖模式

大数据导论 笔记_第30张图片
大数据导论 笔记_第31张图片

修改如下
大数据导论 笔记_第32张图片

保存并退出
按一下ESC,再按一下shift + ;
输入:wq并回车
在这里插入图片描述

重启网络网络
在这里插入图片描述

检测网络
大数据导论 笔记_第33张图片

4、安装常用工具
手动安装

大数据导论 笔记_第34张图片
在这里插入图片描述
在这里插入图片描述

自动安装(省事)
大数据导论 笔记_第35张图片

5、配置时钟同步
时钟同步
参照某一个时间服务器同步设置
并行计算时,需要分布式服务器时间不能产生毫秒级别的误差,否则无法计算

安装NTP

在这里插入图片描述

设置时区
大数据导论 笔记_第36张图片
大数据导论 笔记_第37张图片

你可能感兴趣的:(大数据导论,大数据,笔记,centos)