E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
habase伪分布式
Hadoop2.x部署之完全分布式集群环境搭建
一、分布式部署概述Hadoop环境的搭建有三种方式:本地环境搭建
伪分布式
环境搭建完全分布式环境搭建集群在前面的文章中,详细描述了如何搭建本地环境【https://blog.csdn.net/qq_37142346
不清不慎
·
2020-07-12 22:56
Hadoop
大数据
安装hadoop3.2.1(mac
伪分布式
)
一、安装从官网下载hadoop包,http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz#解压,路径为/Users/zheng/hadoop/hadoop-3.2.1$tar-zxvfhadoop-3.2.1.tar.gz#设置环境变量$vim/etc/profile#加入以下设置exportHA
9随遇而安
·
2020-07-12 20:52
hadoop
Hadoop2.8.1
伪分布式
环境配置
前言本文搭建了一个由两节点(master、slave0)构成的Hadoop
伪分布式
集群,Hadoop版本选取了hadoop2.8.1,本人主要初次搭建Hadoop集群,期间遇到了很多问题,花了好长时间,
天空飞翔的小燕子
·
2020-07-12 17:53
大数据
hadoop
Redis部分:Redis
伪分布式
主从环境变量的配置【全】
1.创建redis目录:mkdirredis2.在redis目录下分别创建3个端口目录:6380,6381,6382(不在配置文件中写他的目录指定关系,直接在当前目录下执行,持久化目录)3.当前目录下分别启动3个实例:redis-server--port6380redis-server--port6381--slaveof127.0.0.16380redis-server--port6382--s
道法—自然
·
2020-07-12 16:41
apache-hive-1.2.2安装教程
1、安装前提1、hadoop集群(
伪分布式
也可以)2、mysql数据库这里假设hadoop集群和mysql数据库都安装好了。
码农A
·
2020-07-12 15:09
hadoop
hadoop环境搭建遇到的问题:-bash: jps: command not found
在
伪分布式
环境搭好后需要执行命令查看运行任务情况当我们执行jps时发生:-bash:jps:commandnotfound说明运行的jps程序找不到,当然你去java的bin目录下执行时可以的。
wickedvalley
·
2020-07-12 15:54
hadoop
Ubuntu18.04 配置hadoop3.2(
伪分布式
安装)并运行wordcount步骤
Ubuntu18.04配置hadoop3.2(
伪分布式
安装)并运行wordcount步骤下载hadoop直接选3.2版本(目前最新)64位linux走起记得配置好jdk准备工作要做好然后解压hadoop
陈浩天就是我
·
2020-07-12 11:07
hadoop集群环境搭建(超详细)
ssh-keygen-trsa//生成公私钥对(四个回车)ssh-copy-idlocalhost//本机免密码ssh-copy-id虚拟机名称//互登免密码2.安装hadoop三种运行方式-单机模式-
伪分布式
会~飞的鱼
·
2020-07-12 11:59
hadoop
linux
hadoop生态圈
java大数据最全课程学习笔记(1)--Hadoop简介和安装及
伪分布式
目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的giteepages目录Hadoop简介和安装及
伪分布式
大数据概念大数据概论大数据特点(4V)大数据部门组织结构从Hadoop框架讨论大数据生态
假装文艺范儿
·
2020-07-12 10:00
java大数据最全课程学习笔记(1)--Hadoop简介和安装及
伪分布式
目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的giteepages目录Hadoop简介和安装及
伪分布式
大数据概念大数据概论大数据特点(4V)大数据部门组织结构从Hadoop框架讨论大数据生态
假装文艺范儿
·
2020-07-12 10:00
玩转大数据计算之Hadoop
Hadoop安装:Hadoop官方文档提供了3种安装模式:单机安装:Hadoop所有服务都在一个JVM进程运行单机
伪分布式
安装:Hadoop服务都在一台机器上每个独立JVM进程运行完全分布式安装:在多个物理机或虚拟机分别安装
pptb
·
2020-07-12 03:32
大数据学习初级入门教程(四) —— Kafka 2.2.0
伪分布式
集群的安装、配置、启动和测试
单节点的安装、启动和测试》中,简要说明了在一台测试服务器上如何安装单节点Kafka并做了消息发送和获取的测试,这篇主要说明一下在一台机器上如何配置多个节点,需要在前一篇文章操作后的基础上,搭建Kafka
伪分布式
集群
孟郎郎
·
2020-07-12 01:39
Kafka
Spark2.0.1
伪分布式
安装配置
前言.Spark简介和hadoop的区别Spark是一种与Hadoop相似的开源集群计算环境,但是两者之间还存在一些不同之处,Spark启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。1.架构不同。Hadoop是对大数据集进行分布式计算的标准工具。提供了包括工具和技巧在内的丰富的生态系统,允许使用相对便宜的商业硬件集群进行超级计算机级别的计算。Spark使用函数式编程范式
哥们你裤衩掉了
·
2020-07-12 01:26
spark
三台主机搭建hadoop集群过程记录
步骤在一台主机上安装好hadoop
伪分布式
环境,作为master节点。
sunsi_10
·
2020-07-12 00:58
BigData
【zookeeper】zookeeper/zookeeper-3.4.13/zookeeper_server.pid: 没有此文件目录 FAILED TO WRITE PID 报错
出现的问题今天第一次部署zookeeper的
伪分布式
,跟着网上大多数的教程走,但仍然遇到了问题。问题如下:其中显示无法创建目录/zookeeper,但是本人修改了目录的权限仍然不行。
Lee1Qiang
·
2020-07-11 21:09
大数据Hadoop--3.1.3入门——
伪分布式
搭建学习
1启动HDFS并运行MapReduce程序(1)配置集群(a)配置:hadoop-env.sh首先查找文件位置进入文件进行修改命令Linux系统中获取JDK的安装路径:echo$JAVA_HOME/opt/module/jdk1.8.0_212修改JAVA_HOME路径:exportJAVA_HOME=/opt/module/jdk1.8.0_212(b)配置:core-site.xml添加如下配
Caron_xcb
·
2020-07-11 20:23
Hadoop
【大数据学习】在云服务器安装配置
伪分布式
Hadoop
刚好又要上大数据云计算的课,要在本地使用虚拟机学习,操作不方便,而且还耗电脑资源,电脑卡又经常报莫名的错,所以我决定用阿里云服务器来学习,因为只有一条机器,所以只能用
伪分布式
的方式。
歌在路上
·
2020-07-11 19:30
大数据
HBase:独立模式、
伪分布式
和完全分布式的安装部署
目录独立模式
伪分布式
完全分布式使用独立安装的zookeeper现有三台机器,主机名分别为hmaster1,hslave1,hslave2,并且已经搭建了完全分布式hdfs集群独立模式在独立模式下,HBase
BOUNC3
·
2020-07-11 18:45
HBase
Deepin15.11下Hadoop 3.2.1+jdk1.8安装全流程
目录前言前期准备安装Deepin15.11安装JDK1.8安装ssh安装配置单机Hadoop
伪分布式
Hadoopeclipse环境配置示例程序完事前言最近需要安装Hadoop,去年也做过一次,安装起来挺麻烦的
confsky
·
2020-07-11 18:23
HBase – Hadoop Database简介及
伪分布式
搭建
【资源】hbase中文文档http://abloz.com/hbase/book.html【简介】(1):HBase是一个分布式的、面向列的开源数据库,一个结构化数据的[分布式存储系统]”。(2):HBase–HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。(3):HBase利用Hadoo
先生_吕
·
2020-07-11 11:00
hbase总结(二)-hbase安装
本篇介绍两种HBase的安装方式:本地安装方式和
伪分布式
安装方式。安装的前提条件是已经成功安装了hadoop,而且hadoop的版本要和hbase的版本相匹配。
程序员成长史
·
2020-07-11 10:47
Hbase
hadoop hbase zookeeper hive
伪分布式
一站安装
1.对于初学者我觉得没必要安装完全分布式集群,或是高可用集群一是完全分布式集群非常占用内存和磁盘空间,一个集群少说也带三台linux,非常消耗电脑资源,更别说去操作集群.所以我觉得搭一个
伪分布式
,方便快捷
风雨等归期
·
2020-07-11 10:20
程序安装部署
Hadoop〖一〗Hadoop3.2.1版本本地安装伪集群实现词频统计案例
Hadoop〖一〗Hadoop3.2.1版本本地安装伪集群实现词频统计案例一.安装Hadoop在虚拟机上1.1准备一台虚拟机1.2安装JDK1.3安装Hadoop二.接下来进行配置
伪分布式
(上面的Hadoop
ktoking
·
2020-07-11 10:34
大数据相关
Hadoop
伪分布式
系统的搭建
相关软件下载:一、安装虚拟机软件VirtualBox二、使用VirtualBox新建虚拟机并安装Ubuntu系统提示:最小安装即可三、创建一个新账户1、使用CTRL+ALT+T打开命令行终端,输入命令创建新用户sudouseradd-mhadoop-s/bin/bash说明:-m表示自动创建用户目录(/home/hadoop),hadoop是用户名,-s表示使用/bin/bash作为shell2、
diyinjiao1404
·
2020-07-11 05:41
[HBase Manual] CH2 Getting Started
CH2GettingStartedGettingStartedGettingStarted.11.Introduction.12.QuickStart-StrandaloneHBase.12.1JDK版本选择...12.2GetStartedWithHBase.12.3
伪分布式
本地安装
dida4700
·
2020-07-11 05:18
flume
伪分布式
部署和测试
本篇讲flume
伪分布式
部署和测试flume包括3种节点,一种是agent,一种是collector,一种是master。master用于管理agent和collector。
caodaoxi
·
2020-07-11 03:20
Hadoop3, datanode 与live node(伪分布=0) 不相等
jps检查之后,所有的service都正常启动了,但是local:9870里livenode的数量不对,改成
伪分布式
之后livenode=0,但是在resourceManager(local:8088)
大胖头leo
·
2020-07-11 01:49
hadoop
mongoDB基本概念、mongo shell脚本编程、配置用户账户和访问控制
包括以下几种类型:文档存储数据结构:mongodb键/值存储结构:redis列存储结构:
habase
图存储结构:virtuoso2、mongoDB数据模型mongodb使用集合将数据编组,集合是一组用途相同或者类似的文档
谢同学谢童鞋
·
2020-07-10 22:18
mongoDB
hbase启动报错: java.net.ConnectException
报错信息在
habase
/logs/hbase-user-master-node101.log文件中查看报错信息java.net.ConnectException:CallFromnode101/192.168.100.101tonode101
乌鱼阳光
·
2020-07-10 21:19
大数据
在Windows上构建和安装Hadoop 2.0或更新的版本
介绍为Windows构建hadoop内核开始一个单节点(
伪分布式
)集群总结1、介绍Hadoopversion2.2onwardsincludesnativesupportforWindows.TheofficialApacheHadoopreleasesdonotincludeWindowsbinaries
Gold_Spring
·
2020-07-10 21:28
Hadoop
利用Flume和hadoop收集并管理tomcat日志
文章目录tomcat方所需依赖js埋点控制器层配置文件Flume方Flume介绍Flume的安装Hadoop方hadoop简介Hadoop
伪分布式
安装hadoop组件HDFSYarnMapReduce启动
思无邪心飞扬
·
2020-07-10 19:41
大数据
[HBase Manual]CH5 HBase运行模式:单实例和分布式
HBaseManual]CH5HBase运行模式:单实例和分布式HBase运行模式:单实例和分布式HBase运行模式:单实例和分布式...11.单实例模式...11.1单实例在HDFS下...12.分布式...12.1
伪分布式
dida4700
·
2020-07-10 16:00
hadoop
伪分布式
运行案例(三)——其他相关配置
一、历史服务器配置1.配置mapred-site.xmlmapreduce.jobhistory.addresshadoop101:10020mapreduce.jobhistory.webapp.addresshadoop101:198882.查看启动历史服务器文件目录:[
[email protected]
]#lssbin/|grepmrmr-jobhistory-daemon
静宸丶水默含声
·
2020-07-10 14:22
伪分布式
hadoop hive搭建
一、搭建前准备工作Ps:整个过程请在Root用户下进行,避免一些授权问题。1.设置免密码登录:Centos自带了SSH,所以不用安装ssh,直接进入主题:(1)敲命令:sshlocalhost此时会有如下提示(SSH首次登陆提示),输入yes。然后按提示输入密码123456,这样就登陆到本机了。(2)退出:exit;(3)进入授权目录:cd~/.ssh(4)生成公钥和私钥:ssh-keygen-t
青禾qingh
·
2020-07-10 13:29
hadoop
mysql
zookeeper学习之三:ubuntu下单机伪集群搭建
自己就一台机器(ubuntu),懒得弄虚拟机了,因此搭了一个单机
伪分布式
的集群,即同一台机器三个zookeeper服务。
进击的小鹿
·
2020-07-10 13:50
Hadoop教程_Hive环境搭建(
伪分布式
/MySQL/Ubuntu)
1.安装MySQL在Ubuntu下安装MySQL十分简单,只需要运行几行命令即可。sudoapt-getinstallmysql-server#需要输入root用户的密码sudoapt-getisntallmysql-clientsudoapt-getinstalllibmysqlclient-devsudonetstat-tap|grepmysql#查看MySQL进程是否运行mysql-uroo
LuckyZZR
·
2020-07-10 12:19
linux
学习
hadoop学习
使用本地hadoop运行
伪分布式
程序
全都配置在了一台服务器,所以运行的是
伪分布式
的程序。
想写小说的程序员
·
2020-07-10 12:08
大数据
动手编写mapreduce---官方wordwount程序
在学习
伪分布式
hadoop集群的时候,使用了官方的wordcount程序,当时也只是直接执行官方jar包,不知道其工作原理,用过自己写一遍这个程序,加深对mapreduce工作原理的理解。
想写小说的程序员
·
2020-07-10 12:08
大数据
Linux系统zookeeper环境搭建(单机、
伪分布式
、分布式)
本人现在对zookeeper的环境搭建做一个总结,一般zookeeper的安装部署可以有三种模式,单机模式、
伪分布式
和分布式,这三种模式在什么时候应用具体看大家的使用场景,如果你只有一台机器且只是想自己开发测试时用
无始无终123
·
2020-07-10 12:08
Zookeeper
zookeeper
大数据学习心得与总结
作业一hadoop搭建
伪分布式
*1.关闭防火墙systemctldisablefirewalld2.传输JDK和HADOOP压缩包(版本自行留意)这里建议使用xshell和xftp63.解压JDK、HADOOP
weixin_42532733
·
2020-07-10 10:18
大数据开发之Hadoop篇----hdfs基础架构
其次,在我们日常的学习过程当中,我们使用的是
伪分布式
,就是我们的NameNode,DataNode和SecondaryNameNode是被部署到同一台
豆豆总
·
2020-07-10 09:20
zookeeper和hadoop集群(
伪分布式
)
1.Zookeeper官网http://zookeeper.apache.org/2.安装Zookeeper解压,配置环境变量,启动根目录下bin/zkServer.shstart这里是三台虚拟机,hadoop001,hadoop002,hadoop003命令行客户端:[root@hadoop001bin]#./zkCli.sh(之后回车)相关命令:[zk:localhost:2181(CONNE
万事于足下
·
2020-07-10 09:19
Hadoop
CentOS7.4
伪分布式
搭建 hadoop+zookeeper+hbase+opentsdb
一、前期准备1、配置ip进入文件编辑模式:vim/etc/sysconfig/network-scripts/ifcfg-ens192原内容:TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=dhcpDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEF
爱不到要偷
·
2020-07-10 06:13
hadoop2.9.0环境下,mysql和
伪分布式
hive安装
在上一篇文章中,较为详细的讲述了hadoop2.9.0的安装步骤,本篇主要讲解如何在此环境上安装hive组件(Hive是一种以SQL风格进行任何大小数据分析的工具,其特点是采取类似关系数据库的SQL命令。其特点是通过SQL处理Hadoop的大数据,数据规模可以伸缩扩展到100PB+,数据形式可以是结构或非结构数据)搭建hive前提:已正常启动的hadoop2.9.0或者其他版本hadoop(一)m
不知疲倦的程序猿
·
2020-07-10 05:02
hadoop
hive
spark集群安装与配置
Spark有三种运行模式,分别为:local模式-只运行在本地,相当于
伪分布式
standalone模式-这种模式只需要安装Spark即可,使用自带的资源管理器Sparkonyarn/mesos模式-这种模式
古月慕南
·
2020-07-10 04:09
BigData-器
基于HA的hadoop2.7.1完全分布式集群搭建
本文的前提是假设你已经成功安装一台服务器的hadoop
伪分布式
,因此有些细节没有具体给出解释(http://hadoop.apache.org/docs/current/hadoop-project-dist
tianjun2012
·
2020-07-10 03:52
haoop
spark1.2.0版本搭建
伪分布式
环境
1、下载scala2.11.5版本,下载地址为:http://www.scala-lang.org/download/2.11.5.html2、安装和配置scala:第一步:上传scala安装包并解压第二步配置SCALA_HOME环境变量到bash_profile第三步source使配置环境变量生效:第四步验证scala:3、下载spark1.2.0,具体下载地址:http://spark.apa
stark_summer
·
2020-07-10 02:50
spark
scala
spark
分布式
spark
shell
job
全分布式集群搭建总结
全局分布式集群搭建注:如果之前搭建过
伪分布式
集群,则必须删除就hadoop的jar包,重新解压,因为之前配的文件有可能会冲突。
A阿楠521
·
2020-07-10 00:06
随堂笔记
虚拟机
Hadoop
集群
hive完全分布式搭建
上篇hadoop-ha
伪分布式
平台基于yarn,后续脚本需要看这里node1做mysqlnode3做metastoreservernode4做客户端安装配置mysql(node1)yumcleanallyummakecacheyuminstallmysql-server
司杨
·
2020-07-09 23:17
大数据平台
linux/ubuntu
Spark的安装与部署
目录Spark的安装与部署Spark概述Spark特点Spark与MapReduce对比Spark体系结构Spark部署
伪分布式
部署完全分布式Spark的安装与部署Spark概述Spark是一种快速、通用
StephenYYYou
·
2020-07-09 23:44
Spark
上一页
22
23
24
25
26
27
28
29
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他