E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop安装
Hadoop --- HDFS介绍
Hadoop安装
可以参考:有基础的,已经安装了虚拟机的:
Hadoop安装
没有基础,也没有安装虚拟机的:Hadoop集群安装HDFS的优缺点:优点:高容错性,适合处理大数据,可构建在廉价机器上
三水写代码
·
2023-06-21 21:13
大数据
hadoop
hdfs
大数据
Eclipse创建包含Scala的Maven工程_Spark学习demo
1.1
hadoop安装
安装hadoop2.6.0,参考博客1.2spark下载下载spark-1.6.0-bin-hadoop2.6.tgz,在官网下载,在chooseadownloadtype中建议选择
DevinShuai
·
2023-06-21 12:53
spark
eclipse
scala
maven
spark
hadoop
Hbase伪分布式搭建
Hbase伪分布式搭建教程分析:1.配置好IP2.修改好主机名3.配置好IP映射4.关闭防火墙5.SSH免密登入6.Java安装7.
Hadoop安装
(伪分布式就可)8.使用HadoopHDFS搭建Hbase
明天要开心
·
2023-06-20 18:39
hbase
hadoop
大数据
数据库
【Hadoop】大数据开发环境配置
【Hadoop】大数据开发环境配置文章目录【Hadoop】大数据开发环境配置1设置静态ip2设置主机名3关闭防火墙4ssh免密码登录5JDK配置6
hadoop安装
并配置6.1集群节点之间时间同步6.2SSH
chaoql
·
2023-06-19 15:22
#
Hadoop
大数据
hadoop
大数据
分布式
Hadoop安装
配置
1.安装hadoop首先集群的username必须一致,否则集群登不上去(1)检查java是否安装首先,查看是否装有java:Java-version如果没有,则安装java8:sudoaptinstallopenjdk-8-jdk经测试11版本的jdk垃圾,不能用,只能用8,否则会导致spark出错(java真的垃圾)查看sdk路径:update-alternatives--displayjav
爱玩的tony
·
2023-06-19 00:55
大数据环境搭建:基于cenotos8
环境的搭建配置静态ip;设置ssh免密登录linux分发脚本centos8同步上海时间centos8安装mysql5.7
hadoop安装
与配置centos8安装rediscentos8安装flume
你很棒滴
·
2023-06-16 17:24
数据挖掘
HDFS部署常见问题总结
是否遗漏了将文件夹(
hadoop安装
文件夹,/data数据文件夹)chown授权到hadoop用户这一操作是否遗忘了格式化hadoop这一步(hadoopnamenode-format)是否是以root
衡权定量
·
2023-06-16 16:53
hdfs
hadoop
大数据
Linux下配置Hadoop单节点
Linux下配置Hadoop单节点环境:linux系统JDK1.8
hadoop安装
包:hadoop-3.2.4.tar1.安装Hadoop创建hadoop的存储位置mkdir/tmp/hadoop将文件解压到
Jacob_uln
·
2023-06-16 05:07
hadoop
linux
hdfs
hadoop学习中遇到的问题:hadoop拒绝连接
hadoop学习中遇到的问题:hadoop拒绝连接
hadoop安装
好之后,在本地浏览器输入地址http://192.168.29.134:9870,提示拒绝连接。
焦虑的说说
·
2023-06-13 19:34
hadoop
[
Hadoop安装
配置 ]
目录前言:执行步骤:1创建好目录文件,上传Hadoop版本压缩包,一般都是tar.gz结尾包1.1这里压缩包可以直接拖拽到指定虚拟机目录下,例如xshell连接指定虚拟机,然后可以拖拽,如果拖拽不了,那就需要设置一下配置,或者使用xftp工具连接xshell然后上传文件2解压压缩包,tar-zxvfhadoop-3.1.3.tar.gz-C/opt/module/2.1tar-zxvfhadoop
是汤圆丫
·
2023-06-13 18:12
粉丝栏
大数据
hadoop
大数据
分布式
mac安装hive 2.3.9
1.下载我选择手动安装,由于我的
hadoop安装
的是3.2.4,最新的4.0.0这个alpha版(内部测试版),所以我选择下载3.1.3hive下载hive3.1.3,选这个如下图:2.解压$tar-zxvfapache
sugar_cookie
·
2023-06-13 03:02
大数据
hive
macos
hadoop
2022最新黑马程序员大数据Hadoop入门
大数据时代p05分布式和集群概念p06-14略p15linux命令时间内存磁盘进程p16略p17vim基本操作命令p18学习目标p19hadoop介绍p20hadoop特性优点p21hadoop发行版本p22
hadoop
莫等闲 白了少年头
·
2023-06-12 20:49
笔记
大数据
9.
hadoop安装
(伪分布式安装)
三副本机制详解(三个以上的随机存储)第一副本:如果上传节点是DN,则上传该节点;如果上传节点是NN,则随机选择DN第二副本:放置在不同机架的DN上第三副本:放置在与第二副本相同机架的不同DN上副本机制的作用极大程度上避免了宕机所造成的数据丢失(除非命不好)可以在数据读取时进行数据校验原文链接:https://blog.csdn.net/weixin_39216383/article/details
文茶君
·
2023-06-12 10:37
hadoop(一)
2018.9.7周记(一)(一)SecureCRT8.3小tips(二)
hadoop安装
,简单使用中碰到的坑SecureCRT可以通过直接拖拽的方式上传文件,想想以前还特意下一个上传的软件(0.0)文件默认上传到
呀哈我去
·
2023-06-12 03:28
Hbase的安装与配置
文章目录Hbase安装配置一,测试
Hadoop安装
1,ssh免密测试2,jps查看进程二,安装Hbase1,拷贝Hbase-2.5.0到/opt目录下三,配置环境1,配置环境变量,/etc/profile
气质&末雨
·
2023-06-09 04:53
大数据
1024程序员节
linux
hbase
【双系统Ubuntu 22.04 安装hadoop2.10全过程】
(愿天下没有C盘误删)
hadoop安装
过程(参考[阿里云文档](https://developer.aliyun.com/adc/scenario/cf48abdfe41e4187be079722b9dc15b6
汤米尼克
·
2023-06-07 13:52
那些年的bug
ubuntu
linux
hadoop
HADOOP伪分布式安装步骤
HADOOP安装
步骤一.创建Hadoop用户二.更新apt和安装vim编辑器更新apt:sudoapt-getinstallupdate安装VIM编辑器:aptinstallvim在弹出的提示中输入yes
小鹿yey
·
2023-04-21 03:45
分布式
hadoop
linux
Hadoop零基础入门
details/13153.html【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(单机模式+伪分布模式)【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(完全分布模式)
hadoop
晴天哥_王志
·
2023-04-20 05:41
Day44 Redis集群搭建和Hadoop的安装
70005、修改每一个里面的配置6、在7002,7003复制到node17、在7004,7005复制到node28、启动redis9、启动集群第一次使用都免集群重启不需要使用10、客户端访问reids集群
Hadoop
Tian-Ys
·
2023-04-19 03:39
笔记
redis
(二) 配置开发环境 -
Hadoop安装
与伪分布式集群搭建
**
Hadoop安装
与伪分布式集群搭建一.安装JDKhttps://blog.csdn.net/weixin_45873289/article/details/104945583注:这链接里面还有jdk
detonator1045
·
2023-04-18 05:43
hadoop
分布式
大数据
【Hadoop全分布式环境搭建】
创建用户组关闭防火墙节点之间免密登录保证每个节点时间是一致的时间服务器配置ntp所有非ntpd时间服务器节点关闭ntpd服务及关闭开机自启所有非ntpd时间服务器节点在master节点上进行hadoop的配置上传
hadoop
pblh123
·
2023-04-18 05:41
Hadoop
hadoop
分布式
大数据
Hadoop2.0全分布式集群架构
Hadoop安装
1.创建hadoop用户组;$sudoaddgrouphadoop记下这里为hadoop用户设置的密码,后面使用hadoop用户登录时需要用到。
狮锅艺
·
2023-04-18 05:40
Hadoop
hadoop
分布式
集群
架构
Hadoop安装
部署
2
Hadoop安装
搭建centos7免密登录配置2.7.5下载地址2.1集群规划集群规划2.2上传安装包到/opt/software2.3修改配置文件★路径/opt/software/hadoop-2.7.5
Jinx菜鸟之路
·
2023-04-17 15:00
hdfs部署笔记
基本操作流程就是下载
hadoop安装
包并解压缩在配置文件etc/hadoop/hadoop-env.sh中修改JAVA-JDK的安装路径在配件文件etc/hadoop/core-site.xml中加入主机地址信息在
异同
·
2023-04-17 02:47
离线数据计算3-
hadoop安装
配置hadoop完全分布式集群部署规划集群部署规划首先配置第一台然后配置好了分发给其他台前提是配置好了jdk解压tar-zxvfhadoop-2.7.2.tar.gz-C/opt/module/配置profile配置两个一个bin一个sbin生效文件source/etc/profile输入hadoop查看配置文件需要配置八个cd/opt/module/hadoop-2.7.2/etc/hadoop配
程式梦
·
2023-04-16 04:12
Hadoop安装
(一) --- JDK安装
目录1.安装虚拟机2.关防火墙3.修改网络配置文件4.重启网络服务5.连接shell6.安装vim工具7.免密登陆8.开启远程免密登录配置9.远程登录10.同步时间10.1.安装ntpdate10.2.定时更新时间10.3.启动定时任务10.4.查看状态11.修改计算机名12.配置hosts文件13.安装并配置jdk13.1.在opt目录下创建install和soft文件13.2.使用xftp工具
你∈我
·
2023-04-15 00:31
大数据
Hadoop
hadoop
大数据
Hadoop安装
建议使用版本hadoop2.7.1+hbase1.2.1+hive2.0.0+zookeeper3.4.8这里我使用的hadoop2.8,但是hadoop2.8并不支持base1.0之后的版本推荐使用Hadoop2.7版本注意阿里云配置的时候非本机host和hostname改为内网连接地址hadoop版本对应.pnghbase对应.png安装hadoop修改hostname#机器ip与hostna
比基尼海滩章鱼哥
·
2023-04-14 23:05
单机模式的
hadoop安装
单机模式的
hadoop安装
一、安装Hadoop1、下载
hadoop安装
包1.1官网下载hadoop2.9.2版本2、hadoop单机环境搭建2.1搭建准备2.2创建安装目录2.3修改配置文件3、启动hadoop3.1
毛伟臣
·
2023-04-13 04:11
hadoop3种安装模式
hadoop
大数据
hdfs
Hadoop单机版安装
hadoop单机版安装流程如下:创建一个用于管理hadood的用户(可新建或者使用已有的用户)安装并配置ssh免密码登陆安装Java环境下载hadoop并配置环境变量配置相关的Hadoop配置验证
hadoop
Edingbrugh.南空
·
2023-04-13 04:41
大数据
hadoop
黑猴子的家:Hadoop 本地安装模式
1、进入到
Hadoop安装
包路径下[victor@node1~]$cd/opt/software/[victor@node1software]$pwd/opt/software2、解压安装文件到/opt
黑猴子的家
·
2023-04-12 08:04
PySpark安装教程
一、JAVASDK1.8最好重新选择安装目录尽量安装在没有空格、中文的目录下如果以前安装在默认目录下需要更改环境变量环境变量配置二、
HADOOP安装
及配置参考链接https://blog.csdn.net
weixin_45694975
·
2023-04-11 03:34
spark
【 大数据分析Hadoop + Spark 】10分钟搭建Hadoop(伪分布式 )+ Spark(Local模式)环境
文章目录Hadoop(伪分布)+Spark(Local)软件安装及环境配置前言一、安装虚拟机1.下载Ubuntu16.04镜像二、
Hadoop安装
及配置(伪分布式)1.创建hadoop用户2.更新apt3
Ì_t小白
·
2023-04-11 03:31
大数据分析
hadoop
分布式
spark
数据分析
ubantu+hadoop+spark+scale分布式数据分析框架搭建
(244条消息)ubuntu下
hadoop安装
与配置【初学者】
ku_code_ku
·
2023-04-11 03:26
python数据分析
hadoop
分布式
spark
hadoop3.2.4伪分布式环境搭建
大数据文章目录前言一、下载安装包二、安装步骤2.1.解压
hadoop安装
包2.2修改环境变量2.3本地免密登录2.3.1执行一下命令2.3.2测试是否生效2.4修改配置文件2.4.1修改/root/tools
落叶的悲哀
·
2023-04-10 16:22
大数据
分布式
hadoop
hdfs
Hadoop伪分布环境搭建(超详细)
目录1实验环境2实验步骤2.1实验准备2.2配置SSH免密登录2.3
Hadoop安装
与配置2.4配置hadoop的多个配置文件2.5格式化HDFS2.6启动集群1实验环境OracleLinux7.4JDK1.8Hadoop2.7.42
ZIYE_190
·
2023-04-10 07:23
hadoop
大数据
分布式
Linux实战——
Hadoop安装
部署
大数据集群(Hadoop生态)安装部署简介1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2)主要解决,海量数据的存储和海量数据的分析计算问题。三类组件HadoopHDFS:提供分布式海量数据存储能力HadoopYARN:提供分布式集群资源管理能力HadoopMapReduce:提供分布式海量数据计算能力前置要求请确保完成了集群化环境前置准备即:JDK、SSH免密、关闭防火墙
会不了一点
·
2023-04-10 04:37
ygggy
hadoop
linux
大数据
Note04:Hadoop2.7.2 完全分布式安装配置(CentOS6.8)
台虚拟机(一个拥有root权限的用户,关闭防火墙、静态ip、主机名称)修改/etc/hosts文件创建用户和常用文件夹JDK安装配置添加脚本xsync.sh和xcall.shSSH无密登录配置集群时间同步
Hadoop
K__3f8b
·
2023-04-10 04:13
Hadoop安装
基础配置1、关闭防火墙systemctlstopfirewalld.service#停止firewallsystemctldisablefirewalld.service#禁止firewall开机启动查看防火墙状态firewall-cmd--statesystemctlstatusfirewalld.service启动防火墙systemctlstartfirewalld.service2、修改主
宇文心亘
·
2023-04-10 01:18
hadoop
Apache Altas单机版安装
hadoop安装
1、JDK安装,省略2、免密码登录如果这一步失败,请先执行上面登录本机步骤:cd~/.ssh/会有提示,都按回车就可以:ssh-keygen-trsa加入授权*:cat.
gaojingsong
·
2023-04-09 21:25
apache
hadoop
hdfs
大数据应用及应用第二章作业 Hadoop
Hadoop安装
有哪些模式?本实验是哪种模式?可不可以安装其他模式? Hadoop和谷歌的MapReduce、GFS等技术之间有密切的关
xxxx大学流水线式教学方式以及奔溃的教育体系;三、简要回答“课堂考核”内容
Hadoop安装
有哪些模式?本实验是哪种模式?可不可以安装其他模式?
JaneOnly300
·
2023-04-09 20:50
流水线作业答案
hadoop
大数据
mapreduce
Hadoop完全分布式集群搭建
配置hadoop集群所需要的准备:a.三台虚拟机,这里我们分别命名为master,slave1,slave2;b.jdk安装包,Hadoop集群需要在jdk环境下运行,3.
hadoop安装
包。
爱做梦的小鱼。
·
2023-04-08 18:01
大数据
hadoop
hadoop
Hadoop集群环境搭建(超详细)
目录1实验环境2实验准备3配置SSH免密登录4
Hadoop安装
与配置1实验环境OracleLinux7.4JDK1.8Hadoop2.7.42实验准备1.实验准备三台机器分别为master,slave1
ZIYE_190
·
2023-04-08 16:18
hadoop
大数据
hdfs
使用ES-Hadoop进行Hive和ES数据同步
一、环境说明Elasticsearch7.10.0Hive3.1.2Hadoop3.X二、操作步骤下载ES-
Hadoop安装
包,其版本需要与Elasticsearch实例保持一致,下载地址:https:
小狼躲藏
·
2023-04-08 04:40
hadoop
elasticsearch
hive
Linux学习笔记——
Hadoop安装
部署
5.10、大数据集群(Hadoop生态)安装部署5.10.1、简介1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决:海量数据的存储和海量数据的分析计算问题。HadoopHDFS提供分布式海量数据存储能力HadoopYARN提供分布式集群资源管理能力HadoopMapReduce提供分布式海量数据计算能力5.10.1.1、前置要求请确保完成了集群化环境前置准备章节的
kxttmx
·
2023-04-08 03:22
hadoop
linux
学习
hdfs
hadoop 启动ha错误 nice: /bin/hdfs: No such file or directory
错误详情在没弄ha时,可以直接启动,改成ha后启动就出了这个错,解决方法是修改~/.bashrc,在里面添加exportHADOOP_HOME=
hadoop安装
目录就可以了参考:https://blog.csdn.net
Formatfa
·
2023-04-07 16:19
云计算与大数据实验八 Hive的安装与基本操作
一、实验目的回顾
Hadoop安装
与配置掌握Hive安装与配置理解Hive工作原理掌握Hive表的基本操作(启动、退出、create、show等)二、实验内容完成Hive安装与配置掌握Hive基本操作(启动
Meteor.792
·
2023-04-05 14:55
云计算与大数据
hive
大数据
云计算
hadoop
其他
hive 客户端不能连接mysql_hive无法启动 远程连接mysql失败,求大神帮忙看看,万分感谢!!!...
hive装在linux虚拟机上,虚拟机与本机网络没有问题,防火墙已关,
hadoop安装
也没有问题。
不期风吟
·
2023-04-05 06:38
hive
客户端不能连接mysql
分布式数据库HBase安装部署与应用
hdfsdfs-ls/(2)使用浏览器查看相应界面输入网址:http://192.168.222.100:50070/输入网址:http://192.168.222.100:18088/该页面的结果跟
Hadoop
飘羽
·
2023-04-04 09:27
hbase
分布式
数据库
安装部署Spark集群以及运行WordCount详细步骤
hdfsdfs-ls/(2)使用浏览器查看相应界面输入网址:http://192.168.222.100:50070/输入网址:http://192.168.222.100:18088/该页面的结果跟
Hadoop
飘羽
·
2023-04-04 09:56
hadoop
大数据
hdfs
Linux安装Hadoop脚本怎么写,Hadoop自动安装脚本: 用 shell 脚本实现 ubuntu 下的 hadoop 自动安装脚本,省去了一系列安装和配置的麻烦。安装完成后,手动初始化 nam...
Hadoop自动安装脚本介绍用shell实现ubuntu下的hadoop自动安装脚本,省去了一系列
hadoop安装
和配置的麻烦。
weixin_39866974
·
2023-04-04 04:37
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他