E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
slaves
Spark 2.4.4在CentOS 7.6开启运行单机版,并Java客户端连接单机版-成功版(二)
需要运行spark-all.sh,在运行之前,还要运行下面几个步骤:配置Spark进入${SPARK_HOME}/conf目录查看拷贝spark-env.sh.template为spark-env.sh拷贝
slaves
.template
我还要去追逐我的梦
·
2019-10-15 15:34
Spark
Spark
Spark集群安装部署
1.下载并解压安装包下载地址:https://spark.apache.org/downloads.html解压之后的文件夹目录:2.修改配置文件
slaves
:mvslaves.templateslavesspark-env.shmvspark-env.sh.templatespark-env.shSPARK_MASTER_HOST
虫儿飞ZLEI
·
2019-09-28 09:02
mysql(master/slave)主从复制原理及配置图文详解
将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(
slaves
)上,并重新执行一遍来实现的。
·
2019-09-24 02:54
Redis教程(九):主从复制配置实例
1).同一个Master可以同步多个
Slaves
。2).Slave同样可以接受其它
Slaves
的连接和同
·
2019-09-23 21:36
Mysql主从同步(1) - 概念和原理介绍 以及 主从/主主模式 部署记录
kevingrace/p/6256603.htmlMysql复制概念Mysql内建的复制功能是构建大型高性能应用程序的基础,将Mysql数据分布到多个系统上,这种分布机制是通过将Mysql某一台主机数据复制到其它主机(
slaves
Hollake
·
2019-09-07 17:26
MySQL主从复制原理
Mysql
Hadoop+Spark+Zookeeper高可用集群搭建(二)
4.4配置文件4.4.1core-site.xml文件4.4.2配置hadoop-env.sh文件4.4.3配置hdfs-site.xml文件4.4.4配置mapred-site.xml文件4.4.5配置
slaves
RivenDong
·
2019-09-03 22:18
大数据
#
环境搭建
Redis之主从同步
Redis之主从复制1.概述定义一个redis服务可以有多个该服务的复制品,这个redis称为master,其他复制品称为
slaves
网络正常,master会一致将自己的数据更新同步给
slaves
,保持主从同步只有
♛素心♛
·
2019-09-02 20:00
问题二:如何判断master和slave复制的延迟是多少?
127.0.0.1:6379>inforeplicationReplicationrole:masterconnected_
slaves
:2slave0:ip=10.xxx.xxx.xxx,port=6379
shuff1e
·
2019-08-13 20:59
gdb调试
[liuqiang@
slaves
1~]$gcc-gtest.c-otest.out[liuqiang@
slaves
1~]$ll总用量28-rw-rw-r--1liuqian
飞火流云
·
2019-08-12 16:23
Linux
大数据笔试题:超级重要知识点
伪分布式集群可以使用一台电脑搭建,也可以使用多台电脑,只需要在
slaves
中添加自己的主机名就可以了,其他的与分布式一样。Hadoop分为三个核心部分,每个部分是什么,有什么功能?
pingsha_luoyan
·
2019-07-30 08:40
大数据
大数据测试
大数据测试基础
Hadoop集群搭建教程(二)
master配置slave信息vim/usr/local/hadoop/etc/hadoop/
slaves
写入你集群中所有slave节
我就算饿死也不做程序员
·
2019-07-27 13:33
hadoop
hadoop
yarn
mapreduce
分布式
大数据
Hadoop DataNode 下线操作
同样加上:dfs.hosts.exclude${hadoop_home}/etc/hadoop/dfs_exclude如果没有可以手动添加,不需要重启hdfs加入slave文件中有6台机器,要下线其中的3台
slaves
灰二和杉菜
·
2019-06-26 14:36
BigData
iOS巅峰之Linux下使用Jenkins对iOS项目自动打包
LaunchslaveagentsonUnixmachinesviaSSH选项,需要安装SSHSlavesplugin插件,下载地址:https://updates.jenkins.io/download/plugins/ssh-
slaves
骑着猪狂飙
·
2019-06-17 15:19
iOS
Linux
自动打包
iOS
Linux
自动打包
Centos搭建spark
Centos搭建spark一、spark介绍二、spark安装前提三、集群规划四、spark安装五、修改spark环境变量六、修改spark-env.sh七、修改
slaves
八、将安装包分发给其他节点九
爱是与世界平行
·
2019-06-13 14:33
大数据
➹➹➹环境搭建
➹➹➹⑤Spark
Hadoop中NameNode、DataNode和Client三者之间的通信方式是什么?怎样进行合作?
1.背景知识:在Hadoop系统中,master/
slaves
/client的对应关系是:master---namenode;
slaves
---datanode;client---dfsclient;通信方式简单地讲
行路者-慢慢来
·
2019-06-04 11:36
大数据
spark(一. 初识)
本章主要包括scala集合操作图标spark的standalone模式安装部署(java,scala,hdfs环境配好的情况下)解压文件修改配置文件
slaves
,spark-env.sh,spark-default.conf
烈格黑街
·
2019-05-24 12:08
hadoop搭建(五)——主从节点的集群搭建
文章目录hadoop搭建(五)修改hosts配置sshhadoop的节点配置(master与slave相同)节点环境变量
slaves
启动hadoop2019.09.06hadoop搭建(五)本文档说明在外网上的分布式集群搭建
SiriusQiu
·
2019-04-22 20:15
java学习
hadoop集群
移动群体感知
Linux下安装Spark
Linux下安装Spark环境先安装jdk下载spark-2.4.0-bin-hadoop2.7上传&安装配置配置spark-env.sh配置
slaves
启动&停止访问环境本文所用Linux版本为CentOS7
cherlshall
·
2019-04-02 16:18
Linux
Spark
HBase——安装搭建
.masterbackupregionserverzk001*002***003**004**1.配置hosts、iptables2.安装jdk3.免密钥登录主——备(standby);主——从(
slaves
温一杯酒
·
2019-04-01 22:13
HBase
Error condition on socket for SYNC: Connection refused
redis主节点显示slave数据为0主节点:172.16.43.144:6379#Replicationrole:masterconnected_
slaves
:0master_replid:f70e3abf6107767212fc6991c79cdfe491ae1d34master_replid2
Java_HuiLong
·
2019-03-20 12:01
redis
主从配置
redis
spark2.4.0安装
spark2.4.0安装安装步骤scala解压复制到所有节点spark解压配置环境变量spark-env.sh文件配置
slaves
文件配置spark目录文件同步到其他节点启动spark验证spark是否成功关于
yangjab
·
2019-02-28 11:10
大数据
Spark完全分布式集群搭建
Spark完全分布式集群搭建集群规划环境准备免密登陆spark安装包开放端口部署步骤把安装包上传到master服务器并解压修改spark-env.sh配置文件修改
slaves
配置文件把spark安装发给其它节点配置环境变量启动
取个昵称好难啊Elaine
·
2019-02-27 16:11
大数据
spark
大数据-Hadoop完全分布式安装
修改hdfs-site.xml文件,配置元数据和数据的存储位置(6)修改mapred-site.xml文件,配置Mapreduce框架(7)修改yarn-site.xml文件,配置Yarn节点(8)修改
slaves
JP-Destiny
·
2019-02-26 22:52
大数据
hadoop单节点的hdfs部署二 及 yarn部署
hdfs部署(二)vicore-site.html在core-site.html文件中进行如下配置:fs.defaultFS集群中NameNode结点的URI(包括协议、主机名称、端口号)vislaves在
slaves
5xh
·
2019-02-23 16:44
hadoop伪分布式环境搭建
hadoop伪分布式环境搭建一、修改主机名,IP映射修改主机名修改IP映射二、安装jdk三、安装hadoop四、配置hadoop修改
slaves
修改hadoop-env.sh配置core-site.xml
大叔熊猫
·
2019-02-10 15:36
hadoop
hadoop伪分布式环境搭建
伪分布式
hadoop
hadoop节点添加与删除操作
在新节点中进行操作系统的配置,包括主机名配置,防火墙,网络,免密登陆和安装JDK等2、在所有的节点的/etc/hosts文件中增加新节点3、把namenode的有关配置文件复制到该节点4、修改master节点的
slaves
流一&
·
2019-01-31 21:26
hadoop篇
慕课网日志数据分析
第一章HDFS架构1Master(NameNode/NN)带N个
Slaves
(DataNode/DN)HDFS/YARN/HBase1个文件会被拆成多个Blockblocksize:128M130M==
投在断头台
·
2019-01-30 16:18
大数据
Hadoop
Spark
大数据
慕课网日志数据分析
第一章HDFS架构1Master(NameNode/NN)带N个
Slaves
(DataNode/DN)HDFS/YARN/HBase1个文件会被拆成多个Blockblocksize:128M130M==
投在断头台
·
2019-01-30 16:18
大数据
Hadoop
Spark
大数据
redis创建sentinel参考
slaveof192.168.56.2016379确认:[root@db1~]#redis-cli127.0.0.1:6379>inforeplication#Replicationrole:masterconnected_
slaves
春秋小记
·
2019-01-22 17:54
redis
创建
sentinel
redis
redis 主从不同步连接不上
redis主从不同步连接不上127.0.0.1:6379>inforeplicationReplicationrole:masterconnected_
slaves
:0master_replid:bea12d30c2c8e7aae41724165989a2713fb11147master_replid2
东666
·
2019-01-18 10:53
redis
主从
不同步
redis
Hadoop学习第二天-------Hadoop集群搭建
大家可以从官网自行下载二、修改Hadoop配置文件Hadoop设计的配置文件有以下七个并且都在$HADOOP_HOME/etc/hadoop/目录下:-hadoop-env.sh-yarn-env.sh-
slaves
-core-site.xml-hdfs-site.xml-mapred-site.xml.template-yarn
非秃程序员
·
2019-01-11 13:57
Hadoop
教你MySQL Binlog实用攻略
mysql数据更新或潜在发生更新的SQL语句,并以”事务”的形式保存在磁盘中;作用主要有:[x]复制:MySQLReplication在Master端开启binlog,Master把它的二进制日志传递给
slaves
腾讯云加社区
·
2019-01-10 00:00
程序员
数据库
binlog
mysql
mysql主从同步概念(转载)
kevingrace/p/6256603.htmlMysql复制概念Mysql内建的复制功能是构建大型高性能应用程序的基础,将Mysql数据分布到多个系统上,这种分布机制是通过将Mysql某一台主机数据复制到其它主机(
slaves
USCWIFI
·
2019-01-07 22:59
ubuntu
CentOS
mysql
mysql 的数据库文件bin-log及slow-query-log
进入正题,大家都知道,mysql的二进制文件十分重要;其一:主从复制,MySQLReplication在Master端开启binlog,Mster把它的二进制日志传递给
slaves
来达到master-slave
多彩海洋
·
2019-01-05 21:22
Spark 集群部署(MasterHA)
一.前提条件引用SparkStandalone集群是Master-
Slaves
架构的集群模式,和大部分的Master-
Slaves
结构集群一样,存在着Master单点故障的问题。
Lynn_Yuan
·
2018-12-29 10:29
master
ha
部署
spark
redis-py对sentinel的支持
Sentinel([('localhost',26379)],socket_timeout=0.1)print'master:',sentinel.discover_master('mymaster')print'
slaves
hongyd
·
2018-12-18 10:25
python
redis
Zookeeper+Storm集群搭建
基础集群环境参考上一篇文章:集群基础环境搭建Storm集群架构Storm是Master-
Slaves
主从架构(与hadoop等一致)。主节点是Nimbus,从节点是Supervisor。
区块鱼
·
2018-12-03 14:59
HDFS动态添加节点
修改
slaves
文件,添加需要增加的节点host或者ip,并将其更新到各个节点在datanode中启动执行启动datanode命令。
雨中星辰0
·
2018-12-01 08:29
Redis 哨兵模式
Redis哨兵也是单个redis服务实例,只是在启动的时候和处理的命令跟普通redis服务器不同,配置的时候只需要配置需要监控的master服务器配置,因为
slaves
和其他Sent
鱼满仓
·
2018-11-21 09:19
Redis
Spark集群搭建
Spark集群搭建集群的架构集群搭建的准备工作修改
slaves
配置文件内容添加spark-env.sh配置信息启动文件改名并启动集群的架构集群搭建的准备工作把Spark安装包spark-1.6.3-bin-hadoop2.6
Hello_Money_WZG
·
2018-11-07 08:17
001.MySQL高可用主从复制简介
将Mysql的数据分布在多个系统之上,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(
slaves
)上,并重新执行一遍来实现的。
木二
·
2018-11-05 12:00
2.0.x以上版本启动Spark在UI界面上看不到worker节点的信息
问题描述作者是在centos上安装spark-2.3.0-bin-hadoop2.7.tgz,当配置好spark-env.sh,改好
slaves
文件之后,在sbin/目录下运行命令.
Sky786905664
·
2018-10-14 10:27
Spark
动态的添加和删除hadoop集群中的节点
一:添加节点步骤:1.新节点中添加账户,设置无密码登陆2.Name节点中设置到新节点的无密码登陆3.在Name节点
slaves
文件中添加新节点4.在所有节点/etc/hosts文件中增加新节点名5.cd
CSDN_小路
·
2018-10-08 20:22
▼
BigData
redis-sentinel 常用命令
#重置名字匹配正则表达式的所有master状态信息,清除之前存储的状态信息和
slaves
信息。
wkCaeser_
·
2018-09-28 14:25
redis
Spark02——Spark集群安装部署
Spark集群搭建集群安装1.1下载Spark安装包1.2上传并解压安装包1.3可选择重命名解压后的安装目录1.4修改配置文件修改配置文件spark-env.sh修改配置文件
slaves
1.5拷贝安装包到其他主机
Fenggms
·
2018-09-26 18:09
Spark
Hadoop分布式文件系统HDFS架构
HDFS是Hadoop根据Google的GFS而写成的开源的分布式文件存储系统1Master(NameNode/NN)带N个
Slaves
(DataNode/DN)HDFS/YARN/HBase1个文件会被拆分成多个
29DCH
·
2018-09-22 21:17
大数据平台Hadoop生态系统
hadoop大数据平台学习总结
Redis Pub/Sub 多机房部署 | 看看俺 – KanKanAn.com
由于Master上Publish的消息会自动同步到所有
Slaves
,RedisPub/Sub很容易扩展RedisPubSubscalesreallyeasilysincetheMaster/Slavereplicationautomaticallypublishestoallslaves
·
2018-09-14 13:00
Hadoop学习笔记(二)(HDFS)
hdfs基本架构:1Master(NameNode/NN)带N个
Slaves
(DataNode/DN)1个文件会被拆分成多个Blockblocksize:128M130M==>2个Block:128M和
无影风Victorz
·
2018-08-29 17:50
大数据
hadoop完全分布式搭建(CentOS 6.5)
配置文件7.1hadoop-env.sh和yarn-env.sh7.2core-site.xml7.3hdfs-site.xml7.4mapred-site.xml7.5yarn-site.xml7.6配置
slaves
8
goldlone
·
2018-08-29 15:49
大数据
浅析HiBench之SparkBench(集群)配置
Hadoop版本:Version2.7.1HiBench版本:Version6.0Spark版本:Version2.1.0Scala版本:scala-2.11.12java:jdk8集群节点:1master+3
slaves
亚历山大的陀螺
·
2018-08-29 10:35
Yarn
Spark
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他