E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
habase伪分布式
hadoop
伪分布式
模式安装
前言安装模式本地模式
伪分布式
模式完全分布式模式环境jdk1.8hadoop2.8.5前提条件已安装jdk,以配置jdk环境变量
伪分布式
模式安装/etc/profile配置环境变量exportHADOOP_HOME
wsx_iot
·
2020-08-03 21:36
big
data
Hadoop大数据平台实战 —— Hadoop单机操作和
伪分布式
操作
Hadoop下载与安装由于Hadoop底层是用Java编写,因此还需要安装JDK下载Hadoop和JDK的源码包新建普通用户,将源码包移动到普通用户下,并切换到普通用户useradddsdmvjdk-8u181-linux-x64.tar.gzhadoop-3.2.1.tar.gz/home/dsd/su-dsd解压JDK源码包并做软链接tarzxfjdk-8u181-linux-x64.tar.
dsd2333
·
2020-08-03 19:19
运维企业实战
搭建hadoop单机环境(
伪分布式
)--就是这么简单
搭建hadoop单机环境(
伪分布式
)一、准备工作1.安装包下载:2.创建一个新的虚拟机二、解压安装jdk及hadoop三、修改环境及配置文件1.设置免密登录2.配置jdk3.配置hadoop1)修改hadoop-env.sh2
我玩的很开心
·
2020-08-03 14:13
使用docker-compose搭建hadoop
伪分布式
,并用springboot进行读写访问
前言本人初学Hadoop,在不懂得什么是完全分布式,什么是
伪分布式
,以及hdfs的具体架构得情况下,就盲目的跟着网上的教程搭建hadoop集群.最后结果是,环境搭起来了,springboot客户端却无法访问
zisuu
·
2020-08-03 09:34
hadoop
搭建hadoop
伪分布式
环境
前提准备在CentOS中安装JDK,配置Java环境变量JAVA_HOME=/usr/local/src/jdk1.8.0_181exportJAVA_HOMEPATH=$JAVA_HOME/bin:$PATHexportPATH在Apache官网下载hadoop-2.8.4.tar.gz安装包一、安装hadoop解压hadoop安装包tar-zxvfhadoop-2.8.4.tar.gz-C/r
zhblanlan
·
2020-08-03 09:43
hadoop
搭建伪分布式Hadoop环境
springboot JAVA API 操作hadoop
伪分布式
集群
虚拟机(192.168.74.114)中搭建了hadoop
伪分布式
集群,查看集群运行状态springbootmaven依赖org.apache.hadoophadoop-hdfs2.7.4org.slf4jslf4j-log4j12log4jlog4jjavax.servletservlet-apiorg.apache.hadoophadoop-common2.7.4org.slf4jslf4j
pink baby
·
2020-08-03 07:29
java
基于Ubuntu Server16.04的Hadoop
伪分布式
及Spark的安装与配置
基于UbuntuServer16.04的Hadoop
伪分布式
及Spark的安装与配置一、配置JDK环境下载jdk安装包jdk-8u172-linux-x64.tar.gz解压安装包,并将其放在指定位置ubuntu
游骑小兵
·
2020-08-02 15:04
我的学习历程
BigData大数据学习与实战
运行Hadoop
伪分布式
实例
上面的单机模式,grep例子读取的是本地数据,
伪分布式
读取的则是HDFS上的数据。
wing2464
·
2020-08-02 14:44
【Hadoop】hadoop 文件上传和下载分析
楼主的环境:操作系统:Ubuntu15.10hadoop版本:2.7.3HA:否(随便搭了个
伪分布式
)文件上传下图描述了Client向HDFS上传一个200M大小的日志文件的大致过程:首先,Client
bible_reader
·
2020-08-02 12:01
Hadoop
(十三)本章小结:百万流量,这些技术够用了
架构演进:
伪分布式
,提升性能三大分离(1)动静分离(2)读写分离(引发读写延时新问题)(3)前台后台分离问题二:如何解除耦合,缩小故障影响范围?架构演进:垂直拆分,解耦垂直拆分(1
坤妹家萌萌哒萌新
·
2020-08-01 23:00
hadoop问题总汇
1.在mac
伪分布式
上运行MapReduce打出的jar包出现如下问题hadoopjar/path/to/your.jarcom.your.mapreduce.classExceptioninthread"main"java.io.IOException
recover517
·
2020-08-01 14:42
大数据
HBase安装使用详解
HBase的官方网站:http://hbase.apache.org/HBase的运行有三种模式:单机模式、
伪分布式
模式、分布式模式。(1)单机
可爱炸鸡
·
2020-08-01 14:54
安装类
Hadoop切换三种模式之间的配置文件
有一个小技巧,可以通过ln符号链接方式来实现三种模式之间的切换,在hadoop目录下,创建三个文件夹:conf.cluster、conf.pseudo、conf.standalone,分别代表完全分布式、
伪分布式
大饼卷馒头蘸米饭
·
2020-08-01 13:36
hadoop
Hadoop CDH4
伪分布式
安装
对于一名Hadoop开发人员来说,第一件事就是需要安装一个自己的Hadoop环境供日常的开发及学习使用,本文主要介绍如何安装HadoopCDH4的
伪分布式
环境。
kokojhuang
·
2020-08-01 13:26
Hadoop应用
hbase 2.1 环境搭建--独立模式 Standalone Mode
hbase有三种模式:独立模式
伪分布式
完全分布式本文讲述独立模式参考:hbase官方文档jdk环境配置:centos1511hbase-2.1.5jdk8(hbase2以上的版本要求jdk8)安装
快乐崇拜234
·
2020-08-01 12:50
hbase
hbase安装(分布式 单机)
habase
安装,以及遇到的一些问题1.必要条件java(1.6+)hadoop集群SSH2.安装下载安装包下载地址:[Indexof/dist/hbase](http://archive.apache.org
IceWaterFreeMan
·
2020-08-01 10:07
Hadoop架构基本介绍
Hadoop基本介绍Hadoop进程
伪分布式
(每一个角色都是一个进程)NN:fsimageeditlog读写请求记录HDFS:NN:NameNodeSNN:SecondaryNameNode(默认1小时
oiupoiupga1
·
2020-08-01 09:56
vmware配置hadoop 实现
伪分布式
vmware配置hadoop实现
伪分布式
一、实验环境编号项目软件及版本1操作系统CentOS62环境软件VMware123jdk环境jdk1.8.0_1814HadoopHadoop2.8.55本机操作系统
lily_cai
·
2020-07-31 23:44
Linux
hadoop
kafka的安装及使用
Kafka介绍分布式消息队列(messageQueue)系统topic:主题、类别分布定义的功能比喻:微信公众号发布者-》推送文章关注公众号订阅1订阅2官网http://kafka.apache.org/
伪分布式
的方式安装
乔尼娜沙德星
·
2020-07-31 22:13
kafka
Hadoop 2.7.2
伪分布式
安装笔记
环境UbuntuKylin14.04Hadoop2.7.2下载地址安装目录/home/hadoop/hadoop-2.7.2/hadoop用户创建之后一直使用hadoop用户操作添加hadoop用户创建hadoop用户并使用bash作为shellsudouseradd-mhadoop-s/bin/bash设置hadoop用户密码sudopasswdhadoop为hadoop用户增加管理员权限sud
Mr_Curiosity
·
2020-07-31 20:01
Hadoop2.2.0
伪分布式
安装及测试笔记
一:环境准备:基于Windows下的VM9的ubuntu12.04-64server.下载免费的VMwarePlayer并安装好;下载免费的Ubuntu12.04server版并在VMware中安装好;二:基础安装:执行如下命令升级部分软件和把ssh安装好:(1)sudoapt-getupdate;(2)sudoapt-getupgrade;(3)sudoapt-getinstallopenssh
程序员成长史
·
2020-07-31 19:46
自己记录
pagerank在hadoop上的运行
直到现在,我们已经将pagerank的计算在自己的hadoop
伪分布式
机器上运行出来了!
iteye_20418
·
2020-07-31 18:53
hadoop编程
Hadoop-2.5
伪分布式
+Hive-1.0.1+mysql
hadoop
伪分布式
0:免密码登录1:jdk环境变量2:修改5个配置文件:#修改hadoop的环境变量hadoop-env.sh1:exprotJAVA_HOME=(echo$JAVA_HOME)core-site.xml
UpUpUpUpUpUpUp
·
2020-07-30 20:15
hadoop
hive
一、
伪分布式
当我们按照hadoop
伪分布式
集群搭建博客搭建了hadoop以后,发现这是一个空的hadoop,只有YARN,MapReduce,HDFS,而这些实际上我们一般不会直接使用,而是需要另外部署
bingoabin
·
2020-07-30 19:52
大数据
hadoop
【HBase笔记】HBase安装(二)
前期准备:Hadoop的运行Zookeeper的运行我是在虚拟机上安装的
伪分布式
模式。安装步骤解压HBase的安装包我是跟视频下载的HBase1.3.1版本的。
sdut菜鸟
·
2020-07-30 16:06
HBase
hbase
hadoop
大数据
Spark Streaming与Flume集成小测试:PUSH的方式
需求:监控目录/opt/datas/spark-flume下的wctotal.log文件,并将文件内容通过SparkStreaming进行批处理,在屏幕上输出event的数量实验在
伪分布式
环境下,用local
BestbpF
·
2020-07-30 16:46
Spark
solr实践
脚本执行:单机:bin/slorstart修改solr配置文件:vimsolr.in.sh
伪分布式
zk节点数至少3个集群才能生效创建集合自动路由/bin/solrcreate_collection-cwish_item-d
小姐你的快递
·
2020-07-30 15:58
hbase RowFilter如何根据rowkey查询以及实例实现代码
habase
模糊查询【转】
RowFilter用于过滤rowkeyOperatorDescriptionLESS小于LESS_OR_EQUAL小于等于[EQUAL等于NOT_EQUAL不等于GREATER_OR_EQUAL大于等于GREATER大于NO_OP排除所有ComparatorDescriptionBinaryComparator使用Bytes.compareTo()比较BinaryPrefixComparator和
dianzhouyu2189
·
2020-07-30 14:14
大数据
java
黑猴子的家:Hadoop
伪分布式
HDFS运行MapReduce
1、配置集群和本地模式一样安装(1)配置hadoop-env.sh获取jdk的安装路径[
[email protected]
]$echo$JAVA_HOME/opt/module/jdk1.8.0_144修改JAVA_HOME路径[
[email protected]
]$vimetc/hadoop/hadoop-env.shexportJAVA_HOME=/opt/modu
黑猴子的家
·
2020-07-30 04:08
同步图计算:GraphLite的安装和使用
details/51350908linux中直接运行graphliteRequirements1.JDK1.7.x+Hadoop2.6.xlinux中hadoop直接安装参考[Hadoop:Hadoop单机
伪分布式
的安装和配置
-柚子皮-
·
2020-07-29 21:46
Hadoop
如何用鲲鹏弹性云服务器部署《Hadoop
伪分布式
》
1、安装环境和说明CentOS7.664OpenJDK-1.8Hadoop-3.02、安装SSH客户端sudo yum install openssh-clients openssh-server安装完成后,可以使用下面命令进行测试:ssh localhost输入root账户的密码,如果可以正常登录,则说明SSH安装没有问题。测试正常后使用exit命令退出3、安装JAVA环境使用yum来安装1.7
华为云
·
2020-07-29 18:17
技术交流
Hadoop2.7.3配置记录
http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.html·单机模式已验证,没问题·
伪分布式
ali就是JiaQ啊
·
2020-07-29 16:17
HADOOP
Hadoop
伪分布式
搭建
这头小象看着可还行???服务器或者虚拟机搞好以后,开始如下操作。关闭防火墙,(可选,生产环境只开放对应端口即可)systemctlstopfirewalld.servicesystemctldisablefirewalld.service设置主机名,方便管理vi/etc/hosts把IP和主机名添加进去,如果是购买的服务器,一定要填写内网IP哦11.22.33.44bigdata安装JDK,对ro
小太阳〃
·
2020-07-29 05:21
java
Yarn
伪分布式
部署以及MapReduce经典案例(二)
1.MapReduce官网案例http://hadoop.apache.org/docs/r2.8.4/hadoop-project-dist/hadoop-common/SingleCluster.htmlbin/hdfsdfs-mkdir/input在/下创建input目录bin/hdfsdfs-putetc/hadoop/input将etc/hadoop这个文件夹上传到/input这个目录b
zhikanjiani
·
2020-07-29 03:39
CentOS-7安装Hadoop
伪分布式
模式(hadoop-2.9.2)
备忘录:为查询和总结记录。记录:NO.225本例环境:操作系统:CentOS-7-x86_64-DVD-1908JDK版本:jdk-8u251-linux-x64Hadoop版本:hadoop-2.9.2远程连接工具:SecureCRT8.0官网地址:https://hadoop.apache.org/官网文档地址:https://hadoop.apache.org/docs官网下载地址:http
zhangbeizhen18
·
2020-07-29 02:35
Hadoop
Hadoop学习笔记(11)-搭建Hive
伪分布式
及简单操作
1.下载Hivehttp://hive.apache.org/downloads.html从该网址下载hive。我下载的是hive-2.1.0版本之后用tar命令解压,我是解压到/usr/local/hadoop目录下。2.配置环境变量进入.bashrc修改hive环境变量。vim~/.bashrc在最后加入:exportHIVE_HOME=/usr/local/hadoop/apache-hiv
XianMing的博客
·
2020-07-29 01:16
Hadoop
hadoop
hive
分布式数据仓库
大数据平台入门--hadoop虚拟机
伪分布式
安装
参考帖子:https://blog.csdn.net/hliq5399/article/details/78193113里面我遇到的几个问题:1、因为没有配置主机名,所以文中所有涉及到配置主机名的地方“bigdata-senior01.chybinmy.com”均应修改成“localhost”,否则启动namenode的时候会报错:Failedtostartnamenode.java.io.IOE
xiaokui9
·
2020-07-29 00:41
Hadoop单节点及
伪分布式
文件系统的搭建
实验环境:rhel7.3虚拟机主机信息实现功能server1hadoop真机测试1.hapdoop单节点的搭建hadoop单节点是在本地创建一个文件系统,与
伪分布式
文件系统的不同之处在于单节点在hadopp
大海,星空
·
2020-07-28 23:45
hadoop完全分布式文件系统的搭建
hadoop完全分布式文件系统就是正常的分布式文件系统,不同的数据节点部署在不同的主机上,而
伪分布式
文件系统是不同的数据节点部署在同一个主机上。
大海,星空
·
2020-07-28 23:45
Hadoop 两种环境下的checkpoint机制
1
伪分布式
环境hadoop
伪分布式
checkpoint机制2HA环境checkpoint机制配置了HA的HDFS中,有active和standbynamenode两个namenode节点。
就想叫筷子
·
2020-07-28 22:44
Hadoop
运行Hadoop自带的MapReduce WordCount单词统计程序
使用的环境如下:VMware虚拟机下CentOS7hadoop-3.2.0jdk1.8.0_221完成hadoop的
伪分布式
搭建后,就可以执行hadoop自带的WordCount程序来入门了。
Flowery Me
·
2020-07-28 21:32
大数据
Hadoop
Hadoop
MapReduce
WordCount
基于Hadoop的WordCount案例实现(Linux版本)
凡事思一个所以然,自有义理贯通之日立身不嫌家世贫贱,但能忠厚老成,所行无一毫苟且处,便为乡党仰望之人注意事项本分布式集群包含3台虚拟机,操作系统均为Linux本次使用的统计文本大小为4.32MB若使用单台虚拟机,即
伪分布式
集群
老师没讲
·
2020-07-28 21:12
Hadoop
Hadoop平台及组件部署管理
1-5天参考视频链接https://pan.baidu.com/s/1ycgK24KrVS-kgluFUrUgmA提取码:3zal1-5天笔记包含Hadoop全分布式部署+Hadoop
伪分布式
部署+Hive
涤生(bluez)
·
2020-07-28 20:34
大数据
hadoop:hadoop集群有哪3种模式可以运行?
伪分布式
模式:也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点(NameN
花和尚也有春天
·
2020-07-28 20:40
hadoop
MySQL多实例(一)
2、应用场景1).采用了数据
伪分布式
架构的原因,而项目启动初期又不一定有那多的用
weixin_34258838
·
2020-07-28 19:43
配置单机hadoop(*nix环境)
参考官网说明可以点击gettingstarted看最新版本也可以看历史版本,比如2.9.2步骤0,关防火墙systemctldisablefirewalld.service重启注意,单机模式(不是
伪分布式
cdarling
·
2020-07-28 18:33
cdh版本的hadoop安装及配置(
伪分布式
模式) MapReduce配置 yarn配置
安装hadoop需要jdk依赖,我这里是用jdk8jdk版本:jdk1.8.0_151hadoop版本:hadoop-2.5.0-cdh5.3.6hadoop下载地址:链接:https://pan.baidu.com/s/1qZNeVFm密码:cilnjdk下载地址:链接:https://pan.baidu.com/s/1qZLddl6密码:c9w3一切准备好以后,开始安装1、上传hadoop软件
weixin_30695195
·
2020-07-28 16:00
【hadoop-hdfs】2.1、hadoop3.2.0
伪分布式
(Pseudo-Distributed Operation):hdfs
【单机配置,直接执行hadoopjar即可跑share下的demo】1、检查是否修改/wy_root/hadoop-3.2.0/etc/hadoop/hadoop-env.shexportJAVA_HOME=...2、修改core-site.xmlvim/wy_root/hadoop-3.2.0/etc/hadoop/core-site.xmlconfiguration中增加:fs.default
寰宇紫梦
·
2020-07-28 14:56
hadoop
hadoop-hdfs
伪分布式
搭建
简介本篇文章主要介绍的是hadoop
伪分布式
安装hdfs.首先要确保jdk配置成功了(如果不会可以参考这篇文章http://www.haha174.top/article/details/259178)
CXHC
·
2020-07-28 14:32
大数据
hadoop
linux
Hadoop
伪分布式
部署 - CentOS
写在前面:博主是一只经过实战开发历练后投身培训事业的“小山猪”,昵称取自动画片《狮子王》中的“彭彭”,总是以乐观、积极的心态对待周边的事物。本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域,如今终有小成,愿将昔日所获与大家交流一二,希望对学习路上的你有所助益。同时,博主也想通过此次尝试打造一个完善的技术图书馆,任何与文章技术点有关的异常、错误、注意事项均会在末尾列出,欢迎大家通过
小山猪的沙塔
·
2020-07-28 13:03
萌新科普
#
环境搭建
Hadoop
伪分布式
安装部署
CentOS
上一页
17
18
19
20
21
22
23
24
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他