E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
slaves
HADOOP
1、配置hadoop[hadoop@server1~]$cdhadoop/etc/[hadoop@server1etc]$vimhadoop/
slaves
[hadoop@server1etc]$vimhadoop
period000
·
2018-08-28 08:20
一次搭建Spark集群(standalone、yarn、高可用)
tgz-C/opt/software/2.改名[root@node01software]#mvspark-2.2.0-bin-hadoop2.7/spark-2.2.03.进入安装包的conf目录下,修改
slaves
.template
SunnyRivers
·
2018-08-20 17:26
Spark
Redis Sentinel--运维管理
CaseRedisSentinelAPIping 正常会返回pongsentinel masters 返回被监视的所有master及状态sentinel master 返回指定的master及状态setntinel
slaves
Darren_Chen
·
2018-08-08 22:50
Redis
Sentinel
运维管理
Redis
大数据面试题hadoop部分及答案(16道)
配置环境变量/etc/profile5.在主节点操作(1)解压并安装hadoop(2)配置参数文件core-site.xml、hdfs-site.xml、mapred-site.xml、master、
slaves
QianShiK
·
2018-08-06 16:27
Redis Cluster--运维管理
RedisCluster的日常运维操作Cluster常用命令cluster info 集群信息cluster nodes 所有节点和slot分布cluster slots 所有节点和slot分布cluster
slaves
Darren_Chen
·
2018-08-06 16:49
Redis
Cluster
运维管理
Redis
MySQL详解(八):MySQL Replication
MySQL复制是指从一个MySQL主服务器(master)将数据复制到另一台或者多台MySQL从服务器(
slaves
)的过程,将主数据库的DDL和DML操作通过二进制日志传递到复制服务器上,然后在服务器上对这些日志重
一念成佛_LHY
·
2018-08-05 15:55
Mysql
大数据分析Hadoop及Python实现
大数据1.分布式:主节点(Master)、从节点(
Slaves
)2.集群(多台机器)同时存储数据,并行处理数据3.分布式计算核心思想:分而治之思想一.Hadoop1.ApacheHadoop介绍:对多个服务器中分布式并行处理数据的一种工具
messi_james
·
2018-07-23 23:10
Linux
Redis主从复制结构模式,哨兵模式
设置临时生效1.配置从库192.168.4.58:6058>inforeplication//查看主从配置信息#Replicationrole:masterconnected_
slaves
:0master_replid
落雪无蘅
·
2018-07-22 16:51
redis
主从同步
哨兵模式
Spark完全分布式安装
SCALA_HOME3.下载解压spark安装包4.修改spark配置进到spark安装目录下的conf目录下,将spark-env.sh.template,log4j.properties.template和
slaves
.template
爱哭的恶魔
·
2018-06-10 16:35
【spark篇】spark集群基于不同模式下搭建及过程分析
一、配置项操作node01:1.修改conf下的
slaves
文件修改localhost为node02和node03从节点2.修改spark-env.shexportSPARK_MASTER_IP=node01exportSPARK_MASTER_PORT
塵世星空
·
2018-06-07 18:00
大数据
采用 keepalived+sharding-jdbc实现 mysql 主备
最近搞个mysql主被具体需求如下master正常时所有请求router到master;master不正常时,DQL路由到
slaves
(
slaves
会进行负载均衡,算法自定),DMLDDL等抛异常;本想写个开源的参考了下
乘以零
·
2018-06-07 14:56
Spark环境搭建
exportJAVA_HOME=/root/training/jdk1.8.0_144exportSPARK_MASTER_HOST=bigdata11exportSPARK_MASTER_PORT=7077(2)
slaves
奶茶多冰三分糖
·
2018-05-13 11:12
大数据
Centos7搭建redis集群
部署方案及环境本示例中采用6节点,三个master和三个
slaves
两两成组的方式共同形成一个分布式集群,对外提供存储服务;获取redis下载redis,得到应该是源码,先进行解压,然后make即可;redis
穷水叮咚
·
2018-04-11 13:58
redis
7.Redis Sentinel机制与用法说明(基于哨兵模式的Redis Sharding方案)
(就目前jedis2.6.2版本中的JedisSentinelPool做不到这点)3、对多个Master-
Slaves
组成的高可
郑学炜
·
2018-04-04 10:40
8.Redis
hadoop 单机安装
slaves
.sh: line 60: ssh: command not found
最近在安装hadoop单机版,一直报了一个错误,找不到原因,错误信息。[root@hadoopsbin]#./start-dfs.sh18/04/0405:05:55DEBUGutil.Shell:setsidexitedwithexitcode018/04/0405:05:56DEBUGlib.MutableMetricsFactory:fieldorg.apache.hadoop.metric
nszkadrgg
·
2018-04-03 21:15
Hadoop
Hadoop学习笔记之HDFS架构
1Master(NameNode/NN)带N个
Slaves
(DataNode/DN)HDFS/YARN/HBase1个文件会被拆分成多个Blockblocksize:128M130M==>2个Block
Archer9511
·
2018-03-20 21:45
hadoop
Flink的安装及案例
Flink的安装介绍Flink有如下目录进入到conf进入conf配置文件目录下,主要配置文件维flink-conf.yaml和
slaves
配置flink-conf.yaml解析如下:-jobmanager.rpc.address
Going_sky
·
2018-03-08 17:29
flink
spark集群的启动流程
(2)、加载
slaves
文件,启动worker节点。(3)、worker节点启动后,开始向master注册。(4
bokzmm
·
2018-03-07 21:11
spark
HDFS 笔记配置、启动
core-site.xmlfs.defaultFShdfs://localhost:9000hadoop.tmp.dir/home/hadoop/app/tmp2、dfs.replication13、
slaves
LuckyTHP
·
2018-02-26 16:00
HDFS 构架笔记(一)
HDFS分为Master(NameNode/NN)+N个
Slaves
(DataNode/DN)集群里只有一个机器上运行NN,其他每台机器上运行一个DN(也可以一个机器上运行多个DN,但生产环境中不建议这么做
LuckyTHP
·
2018-02-26 15:00
大数据||分布式部署常遇到的问题及基准测试
启动yarn时报错异常信息错误原因在启动子节点(senior02,senior03)时读取
slaves
时报错。原因是
slaves
文件有问题。字符编码的问题。
明明德撩码
·
2018-02-23 14:45
ALLUXIO 1.7.0 集群Master HA容错部署的案例与解读
1.3.1ALLUXIO1.7.0集群MasterHA容错部署的案例与解读作为一个Master/
Slaves
架构的分布式系统,都会存在单点故障。
段智华
·
2018-02-12 14:35
AI
&
Big
Data案例实战课程
SparkContext Error File not found /tmp/spark-events does not exist
mkdir/tmp/spark-eventsrsync-a/tmp/spark-events{
slaves
}:/tmp/spark-eventsspark-defau
gamedevv
·
2018-02-10 14:21
【大数据】➣
Spark
Spark分布式环境搭建
xiaoxiangzi222/article/details/52757168一、spark集群搭建这里介绍spark的集群安装,需要依赖于hadoop的集群所以,首先搭建了一个hadoop集群,1个master,2个
slaves
1
elfasd
·
2018-02-09 14:00
spark
hadoop
java
scala
Spark分布式环境搭建
xiaoxiangzi222/article/details/52757168一、spark集群搭建这里介绍spark的集群安装,需要依赖于hadoop的集群所以,首先搭建了一个hadoop集群,1个master,2个
slaves
1
elfasd
·
2018-02-09 14:00
spark
hadoop
java
scala
CentOS7部署Hadoop2.7.5全分布式群集
修改计算机名修改映射配置SSH搭建全分布环境配置hadoop-env.sh配置core-site.xml配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置
slaves
之芫
·
2018-01-28 20:49
Experience
HADOOP基础
大数据生态
Cloudera Manager CDH 集成 Kerberos
系统:CentOS7.3操作用户:admin角色分布如下:角色部署节点KDC,AS,TGS192.168.0.200KerberosAgent192.168.0.[201-206]假设
slaves
文件如下
跟着大数据和AI去旅行
·
2018-01-25 23:13
Big
Data
Spark的StandAlone运行模式环境搭建
集群搭建版本:spark-2.1.0-bin-hadoop2.6安装:将spark解压到各节点的/opt目录下配置:(各节点配置相同)1.进入spark配置文件夹:cd/opt/spark/conf2.将
slaves
.template
小小Tiny
·
2018-01-25 14:57
大数据
数据库 之 Mysql复制概念介绍
Master/SlaveMaster:write/read,写操作都在主节点上操作
Slaves
:read,读操作都是从节点这边发出为什么要复制?
ghbSunny
·
2018-01-24 14:53
同步
mysql
数据库维护
MYSQL数据库主从复制(一)
将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(
slaves
)上,并重新执行一遍来实现的。
柴鑫旺
·
2018-01-14 20:17
mysql
主从复制
mysql
应对数据库高负载访问的几种方法
一个系统的读操作远远多于写操作,因此写操作发向master,读操作发向
slaves
进行操作(简单的轮循算法来决定使用
upheart-man
·
2018-01-06 13:59
数据库
Hadoop3.0集群安装知识
7.hadoop3.0
slaves
做了什么更改?8.如何单独启动DataNode?9.访问hadoo
about云
·
2018-01-06 00:00
MySql之主从复制
前言mysql的主从复制不但可以作为数据库备份,也能实现数据库的读写分离,为以后处理高并发打下基础废话不多说,直接上干货分布式数据库分为主数据库(master)和从数据库(
slaves
)主从复制的基本流程
大叔一枝花
·
2017-12-29 00:00
mysql
Mycat+Mysql主从复制实现双机热备
将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(
slaves
)上,并重新执行一遍来实现的。双机热备概念:指要保持两个数据库的状态自动同步。
环游记
·
2017-12-15 21:50
Mysql主从同步(1)-主从/主主环境部署梳理
将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(
slaves
)上,并重新执行一遍来实现的。
刘广顺
·
2017-12-13 16:49
mysql
【mysql 主从复制】掌握MySQL主从复制
将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(
slaves
)上,并重新执行一遍来实现的。
开心果汁
·
2017-12-13 15:24
数据开发-mysql
从头安装5 -- hadoop
base~]#mvhadoop-2.8.1hadoop3.修改配置文件进入hadoop-2.2.1/etc/hadoop目录下,需要配置以下7个文件有:hadoop-env.sh,yarn-env.sh,
slaves
丁逸
·
2017-12-09 22:24
Kubernetes学习之 Hadoop cluster in Kubernetes
hadoopcluster启动过程 hadoop集群是怎么启动的呢,通过实验我发现:hadoop集群的启动是由master根据
slaves
文件里配置的nodehostname通过ssh启动node上的
爱跑步的蜗牛
·
2017-12-08 18:51
kubernetes
新建hadoop用户以及用户组
搭建hadoop集群环境不仅master和
slaves
安装的hadoop路径要完全一样,也要求用户和组也要完全一致。因此第一步就是新建用户以及用户组。
KK凯凯
·
2017-12-07 16:10
Hadoop2.7完全分布式安装
实验工具:Ubuntu16.041台主机(master:我的名字叫zhangjunj)+2台虚拟机(
slaves
:slaveone和twoslave)hadoop:hadoop-2.7.3jdk:jdk1.8.0.121
Zhang_JunJ
·
2017-12-06 06:32
Hadoop2 无法访问8088端口web页面
Isetupahadoopclusterwithtwonodeshadoop01(master-10.0.0.151)andhadoop02(
slaves
-10.0.0.152)whenatypestart-dfs.shandthenvisitwebsitemy_ip
阳明散人
·
2017-12-05 22:45
spark on yarn集群搭建
192.168.3.189L-AP-3-1892.配置ssh,masterslaves之间无密码传输master和slave上ssh-keygen-trsa生成公钥秘钥,将公钥scp传到master上在master将
slaves
Josen_Qu
·
2017-11-28 09:01
Hadoop集群配置(最全面总结)
这些机器是
slaves
\官方地址:http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html其他总结资料:http://blog.csdn.net
broccoli2
·
2017-11-06 12:46
大数据
Java高并发解决方案
我推荐的是M-M-
Slaves
方式
nethub2
·
2017-11-02 21:00
hadoop2.8.2分布式集群实战
环境CentOS6.5+jdk1.8+Hadoop2.8.2;概述本文档搭建三台hadoop的集群,其中一台为Master,两台为
Slaves
。
褚金辉
·
2017-11-01 20:26
集群
hadoop
分布式
hadoop
搭建Spark集群(独立模式)
搭建Spark集群(独立模式)准备工作①三台虚拟机Master:192.168.101.140(spark01),
Slaves
:192.168.101.141(spark02),
Slaves
:192.168.101.142
666呀
·
2017-11-01 15:19
hadoop 8088端口网页无法打开的原因分析
首先master和
slaves
的节点正常http://server71:50070(HDFS管理界面)正常可以打开http://server71:8088yarn管理界面打不开Master(server71
如何在3年拿到50K
·
2017-10-31 12:39
Hadoop
Mysql中复制详细解析
复制过程中一个服务器充当主服务器(master),而一个或多个其它服务器充当从服务器(
slaves
)。主服务器将更新重新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环。
潇潇、寒
·
2017-10-31 10:41
Spark core篇一:Spark源码Master Worker启动消息通信
我们知道我们经常启动在Spark启动时,会去调用sbin/start-all.sh脚本,这个脚本实际上是执行了spark-config.sh,start-master.sh,start-
slaves
.sh
kason_zhang
·
2017-10-29 21:09
主从复制、双主复制及半同步复制、以及基于SSL的复制
将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(
slaves
)上,并重新执行一遍来实现的。
jie0112
·
2017-09-14 17:49
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他