E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
habase伪分布式
Ubuntu开发环境配置(九) 搭建Hadoop开发运行环境
安装配置步骤1、安装java2、安装配置SSH登录权限3、单机安装配置4、
伪分布式
安装1、安装javaHadoop本身是使用java编写
idomyway
·
2020-08-16 06:16
Ubantu
Hadoop
Ubantu开发环境配置
大数据(日志分析)练手项目
需求:统计一个网页的访问次数pv,及其用户访问量uv环境:hadoop-cdh
伪分布式
,mysql,hive,sqoop,springboot思路:编码开始:1.将爬取的元数据上传至hdfs文件系统bin
di917348
·
2020-08-16 06:56
Ubuntu环境下eclipse的hadoop开发
在安装好hadoop
伪分布式
后,开始搭建eclipse的hadoop开发环境我的版本信息如下:Ubuntu版本12.10Hadoop版本1.2.1Java版本1.6.0_31(命令java-version
weixin_30551947
·
2020-08-16 05:34
Ubuntu环境下搭建Hadoop Eclipse开发环境
Hadoop
伪分布式
运行环境的配置,不算复杂,可以参考个人整理的在Ubuntu环境下搭建Hadoop
伪分布式
模式运行环境。
Bob Liu
·
2020-08-16 05:48
Hadoop
ubuntu安装配置eclipse+hadoop开发环境(十分详细)+WordCount实例
hadoop-eclipse-plugin-2.8.3.jar1.先确保已安装了jdk和hadoop,没有的可参考以下两篇文章,已经安装的跳过此步骤ubuntujdk安装教程ubuntu搭建hadoop-2.8.3(
伪分布式
Toroidals
·
2020-08-16 04:55
安装搭建
Redis安装 &&
伪分布式
集群安装
1.mkdir/usr/local/redis2.cd/usr/local/src3.tar-xzvfredis-4.0.8.tar.gz4.ln-sredis-4.0.8redis#建立一个连接5.cdredis6.(关键)makePREFIX=/usr/local/redisinstall#安装到指定目录中添加到环境变量,redis-serverok。安装成功,下面开始集群模式安装0.上传集群
jmaes_R
·
2020-08-16 03:27
服务器安装部署
伪分布式
hadoop环境搭建
参考博客:https://blog.csdn.net/hliq5399/article/details/78193113按照这个一步一步,就顺利地完成了;以下是几个要注意的:修改hostname,这里我没有修改,但是似乎没有什么影响(后面的jps命令没有显示namenode和datanode…不知道是不是因为这个)编辑core-site.xml,hdfs-site.xml等配置文件时总会报第一行错
糊涂小姐
·
2020-08-16 00:17
hadoop
Ubuntu16.04配置HBase+Eclipse+maven环境
HBase:2.2.4Hadoop:2.8.5配置为
伪分布式
,zookeeper使用HBase自带的修改HBase的conf目录下的hbase-site.xml?xmlversion="1.0"?
dori_z
·
2020-08-15 22:35
分布式
Redis
伪分布式
集群环境搭建
Redis
伪分布式
集群环境搭建一、前言之前的Linux服务器环境都是用Docker搭建,但是Redis集群搭建使用Docker有些麻烦复杂,不熟悉Docker镜像,网络映射,配置文件映射的朋友可能有点难度
N_努力
·
2020-08-15 21:05
Redis
Spark-Python安装与配置
在centos下hadoop
伪分布式
配置及python测试中,我们已经安装好了Hadoop,下面我们来安装Spark。
欧欧不太欧
·
2020-08-15 08:56
大数据
centos下hadoop
伪分布式
配置及python测试
安装和配置java$yum-yinstalljava-1.7.0-openjdk*$ls-lrt/usr/bin/java#lrwxrwxrwx1rootroot22Apr2913:47/usr/bin/java->/etc/alternatives/java$ls-lrt/etc/alternatives/java#lrwxrwxrwx1rootroot76Apr2913:47/etc/alte
欧欧不太欧
·
2020-08-15 08:25
云服务器
大数据
大数据
hadoop
Hadoop生态圈(二) -- 完全分布搭建
完全集群搭建首先上一篇博客已经有写到
伪分布式
搭建,
伪分布式
搭建是在一个集群当中主节点和SecondaryName放在一个节点上…1.配置多个节点的网络映射192.168.79.123node01192.168.79.124node02192.168.79.125node03192.168.79.126node04
你的男孩.
·
2020-08-15 07:57
Hadoop
hadoop集群与
伪分布式
的性能对比
hadoop集群与
伪分布式
的性能对比镜像centos6.5,hadoop-2.6.0,mysql-5.4.0,hive-1.2.1集群配置:master4g1核,2个处理器,子节点(2个):1g1核,1
会飞的鱼_于
·
2020-08-15 07:20
运维
Hadoop生态圈(四)超详细Hbase完全分布式搭建!
1.实验描述本实验要求完成3个节点的HBase集群的安装2.实验步骤HBase三种安装模式:单机模式、
伪分布式
和完全分布式。
平常心19-3-21
·
2020-08-15 07:38
hbase
大数据平台
hadoop生态圈
Hadoop生态圈(一)超详细带讲解hadoop
伪分布式
搭建,包会!
今天分享一下我之前安装
伪分布式
整理的干货,过程基本没有难点,只要大家耐心去看,就一定可以成功,毕竟学习就得耐得住寂寞。
平常心19-3-21
·
2020-08-15 07:38
hadoop
大数据平台
Hadoop面试题(一)
1、集群的最主要瓶颈 磁盘IO2、Hadoop运行模式 单机版、
伪分布式
模式、完全分布式模式3、Hadoop生态圈的组件并做简要描述 1)Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper
Dr11ft
·
2020-08-15 07:34
大数据面试题总结
hadoop
伪分布式
遇到的坑
1.ssh未做认证[hadoop@hadoop000sbin]$./start-all.shThisscriptisDeprecated.Insteadusestart-dfs.shandstart-yarn.shStartingnamenodeson[hadoop000]hadoop000:/home/hadoop/app/hadoop-2.6.0-cdh5.15.1/sbin/slaves.s
muyingmiao
·
2020-08-15 07:30
Hadoop
DataX安装及基本使用
Hadoop集群的安装教程如下:Linux下jdk的安装Linux下Python的安装-视频教程Hadoop单机
伪分布式
-视频教程Hadoop完全分布式集群环境搭建-视频教程HA(高可用)-Hadoop
广彐水厂
·
2020-08-14 21:27
大数据
Spark运行模式及原理(一)
Spark的运行模式多种多样,灵活多变,部署在单机上时,既可以用本地模式运行,也可以用
伪分布式
模式运行;而当以分布式集群的方式部署时,也有众多的运行模式可供选择,这取决于集群的实际情况,底层的资源调度既可以依赖于外部的资源调度框架
十四不是八
·
2020-08-14 19:22
Spark
好玩的大数据之23:Spark安装(Spark-3.0.0,
伪分布式
)
一、简介ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架,Spark,拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数
张文斌_2020
·
2020-08-14 16:04
zookeeper
伪分布式
集群搭建
1.linux安装包导入zookeeper-3.4.11.tar.gz到opt目录下2.进入到opt目录下cd/opt3.解压tar-zxvfzookeeper-3.4.11.tar.gz4.在opt下创建一个文件夹myzookeeper5.将解压后的文件拷贝到myzookeeper文件夹中,rf为递归拷贝cp-rfzookeeper-3.4.11/opt/myzookeeper/6.进入到con
chongmen1956
·
2020-08-14 16:46
大数据
java
数据库
docker 运行redis
伪分布式
集群
#下载镜像dockerpullgrokzen/redis-cluster#创建运行容器dockerrun-d-t-p7000:7000-p7001:7001-p7002:7002-p7003:7003-p7004:7004-p7005:7005grokzen/redis-cluster#安装redis相关组件yuminstallredis#登录其中一个节点redis-cli-c-p7000#测试增
python_node
·
2020-08-14 02:53
docker
redis
docker
Hadoop面试45个题目及答案
单机(本地)模式
伪分布式
模式全分布式模式2.单机(本地)模式中的注意点?在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。
qq_32440951
·
2020-08-14 02:01
Hadoop
Hadoop
伪分布式
配置实验步骤
实验环境:centous32位,vmware虚拟机下实验步骤:1,修改虚拟机IP地址(1)通过centous图形桌面的图标更改ip地址为:192.168.80.100(2)修改生效:servicenetworkrestart使修改立即生效(3)验证修改:ifconfig2,修改主机名(1)修改当前会话主机名为hadoop:hostnamehadoop(2)配置永久主机名:vi/etc/syscon
「已注销」
·
2020-08-14 00:16
Hadoop
虚拟机Ubuntu下Hadoop2.6.1的安装和配置(
伪分布式
)
安装前提:因本人是在虚拟机中安装的Hadoop,故在此主要讲解的是虚拟机中的安装,本文默认已安装好VM和Ubuntu。我使用的是VMware-workstation-full-11.0.0-2305329和ubuntukylin-14.04.2-desktop-i386,其中配置如下图一、安装VMwareTools安装了VMwareTools后,可以在宿主机和虚拟机之间直接拷贝文件。先运行命令
yuzhuzhong
·
2020-08-13 23:29
Hadoop
hadoop安装前的准备
在安装hadoop之前需要做的准备1.
伪分布式
安装部署在一台机器上安装部署HDFS和YARN服务。相关服务器都数据java进程,就是启动jvm服务。
starrynight`
·
2020-08-13 22:12
hadoop
hadoop安装前的准备
hadoop日记1:hadoop
伪分布式
安装
Hadoop
伪分布式
安装实验环境:操作系统:ubantu18Jdk版本:1.8Hadoop版本:2.7.2Vmwareworkstation:14.1.3新建一个用户安装hadoop环境前提:已经安装好
bian0-0
·
2020-08-13 21:50
Hadoop的三种运行模式和三个版本
这里简单介绍Hadoop的三种运行模式:-单机模式-
伪分布式
模式-完全分布式模式单机模式-默认模式。-不对配置文件进行修改。-使用本地文件系统,而不是分布式文件系统。
提灯寻梦在南国
·
2020-08-13 21:40
大数据
Hadoop
大数据
Hadoop
org.apache.zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:218
在vmware中安装hadoop
伪分布式
,使用host-only模式使用hbaseshell一直正常,后来为了能上网改为了Briged模式。
排骨瘦肉丁
·
2020-08-13 14:45
大数据/数据挖掘
Hadoop
伪分布式
环境搭建
Hadoop
伪分布式
环境搭建本次主要是对HadoopPseudo-Distributed环境搭建做介绍,以下操作都是在root用户下进行。
god_wot
·
2020-08-13 14:14
Hadoop
搭建Hadoop之部署前准备(一)
文章目录1.Hadoop部署的基本知识1.单节点模式2.
伪分布式
集群模式3.多节点集群模式2.hadoop前准备软件包以及提取码软件说明虚拟机内操作系统安装CentOS7安装配置供参考┗|`O′|┛架构分布
周偏偏偏
·
2020-08-13 12:23
#
Hadoop
Ubantu14.04中安装Hadoop-2.6
伪分布式
1、首先下载更新apt—get,sudoapt-getupdate后边会用到这个命令下载软件2、ssh免密登录(1)执行ssh-keygen产生秘钥将秘钥写到文件id_rsa.pub中(2)执行cat./id_rsa.pub>>./authorized_keys(3)测试sshlocalhost如果成功那么恭喜你,如果还需要密码则很可能是文件以及文件夹权限问题首先将.ssh目录权限是755,id_
LibsKnowledge
·
2020-08-13 10:02
大数据
kafla安装:
伪分布式
的方式安装kafka
伪分布式
的方式安装kafka启动3台kafkaBrokers安装过程1.上传解压2.配置以下配置都在此目录下config/server.properties配置唯一标识符broker.id=9092配置
总角之宴
·
2020-08-12 14:26
大数据总结
史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS
HDFS环境搭建HDFS
伪分布式
环境搭建CentOS环境安装步骤MacOS安装环境安装jdkjdk安装路径/usr/libexec/java_home-V:列出所有版本的JAVA_HOME设置JAVA_HOME
weixin_33827590
·
2020-08-12 10:43
Mac系统下, hadoop 2.6.2 完全分布式 配置
背景本人最近在学习hadoop的相关内容,感觉在一个
伪分布式
环境下研究、学习总是感觉不伦不类的,于是想配一个基于OSX平台的完全分布式环境。
王家二少
·
2020-08-12 00:40
Hadoop相关
mac安装hadoop及配置
伪分布式
由于是mac系统,所以这里直接用homebrew安装hadoop,默认安装的位置是/usr/local/Cellarbrewinstallhadoop#查看hadoop的信息brewinfohadoop
伪分布式
配置修改
偉藝
·
2020-08-12 00:06
大数据
单机
伪分布式
Hadoop 启动流程(mac10.10.3 ,hadoop-2.5.2)
需要注意的是,mac版的单机版,每次启动前,记得要把"hdfs"文件夹删掉,每次会自动重建新的"hdfs"(包含"name"和"data"),如果不删就会和新文件冲突。$HADOOP_HOME/bin/hadoopnamenode-format$HADOOP_HOME/sbin/start-all.sh$HADOOP_HOME/bin/hadoopfs-mkdir-pinput$HADOOP_HO
決心
·
2020-08-11 23:04
软件安装
Hadoop 3.x 入门 - 记录躺过的坑
一、
伪分布式
节点启动报错.
大鱼炖海棠
·
2020-08-11 22:27
云计算/大数据
Hadoop
伪分布式
集群搭建
-2.6.5/hadoop-2.6.5.tar.gz2、解压Hadoop压缩包mkdir/bigdatatar-zxvfhadoop-2.6.5.tar.gz-C/bigdata3、配置Hadoop(
伪分布式
陈贤靖
·
2020-08-11 22:52
Hadoop
伪分布式
和完全分布式hadoop集群搭建
Hadoop
伪分布式
集群搭建:https://blog.csdn.net/qq_26907251/article/details/78819156除以上链接内的步骤,还需环境变量:1、[root@izwz939y62jl5b2edpvoqszbin
pbyang5689
·
2020-08-11 22:46
大数据
Mac上运行第一个Hadoop实例
之前转过一篇文章,介绍如何配置
伪分布式
的Hadoop。不过在Mac上的配置方法和Linux上有一点点区别。另外,本篇还从头介绍了一下创建和运行Hadoop工程的方法。
judyge
·
2020-08-11 21:55
云计算
Mac单机Hadoop2.7下安装Spark2.2+配置SparkSQL查询Hive表+spark-sql CLI 查询
下面简单记录mac单机spark安装测试的过程已安装好单机的
伪分布式
Hadoop,见Mac单机Hadoop安装备忘已安装好单机的hive,见Mac-单机Hive安装与测试单机Mac安装spark并做简单
hjw199089
·
2020-08-11 21:11
[3]Spark
Hadoop-HDFS的
伪分布式
和完全分布式集群搭建
转自:https://blog.csdn.net/mhw666/article/details/91610598CentOS7下使用yum安装MySQL5.7.20,并设置开启启动:https://blog.csdn.net/lz6363/article/details/91883885Spring事务管理全面分析:https://blog.csdn.net/LOYE_YOU/article/de
beststone1
·
2020-08-11 20:02
后台
Hadoop
伪分布式
配置
1、配置安全组规则,开启服务器端口:9000、8031、50070、8088,不建议修改hadoop内部指定的端口号2、设置环境变量(把Hadoop的Home目录添加到系统环境变量里面去)vim~/.bash_profile在该文件中把Hadoop的home、bin、sbin目录加到path中去,文件末尾添加如下内容:HADOOP_HOME=/usr/local/hadoopexportHADOO
幼稚猿
·
2020-08-11 11:19
Python
Hadoop伪分布式配置
centos服务器
Hadoop:安装配置hadoop
安装配置hadoop安装直接执行hadoop任务配置
伪分布式
模式:修改$HADOOP_HOME/etc/hadoop/core-site.xml修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml
xuejianbest
·
2020-08-11 05:04
大数据/Hadoop
hadoop
伪分布式
运行模式---配置历史服务器
配置历史服务器为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下:配置mapred-site.xml[liujh@hadoop101hadoop]$vimapred-site.xml在该文件里面增加如下配置。mapreduce.jobhistory.addresshadoop101:10020mapreduce.jobhistory.webapp.addresshadoop101
大数据小同学
·
2020-08-11 05:48
hadoop入门及安装
hadoop-2.6.0
伪分布式
安装详细步骤
本文详细介绍在虚拟机VMware中linux上单机部署hadoop-2.6.0的过程;假设虚拟机及linux系统已安装完成;本文从jdk的安装开始,直到完成Wordcount测试。配置简介:1.虚拟机VMwareworkstation102.操作系统Redhatlinux5.0版本32bit3.jdk版本jdk-8u40-linux-i586.rpm4.Hadoop版本hadoop-2.6.0.t
feiyun_nupter
·
2020-08-11 05:05
hadoop-2.6.0
hadoop启动没有namenode节点的错误分析
我用的是hadoop-1.0.4,
伪分布式
。
风雨诗轩
·
2020-08-11 03:25
hadoop
hadoop
namenode
Hadoop的C++扩展了解(1)
一天半的时间学习hadoop和hce的部署,并在CentOS5.4上成功部署
伪分布式
hce,提交自己编译通过的mapreduce程序wordcount,得到正确结果。
fbfsber008
·
2020-08-11 03:20
Hadoop大数据组件安装 史上最详细教程 手把手教会你安装
(1)Hadoop(单机模式独立,
伪分布式
伪分布式
,全分布式全分布式)(2)Zookeeper(单机模式,全分布式)(3)Hadoop的HA模式(4)Hive(5)HBase
专注大数据开发
·
2020-08-11 02:44
大数据开发
大数据组件安装
上一页
15
16
17
18
19
20
21
22
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他