CDH4集群配置

Hadoop集群搭建

2、认识Hadoop集群，完成Hadoop集群配置3、Hadoop集群使用实验软件1、hadoop-2.6.5.tar.gz——[下载地址]2、jdk-8u121-linux-x64.tar.gz——[
莫色gyq·2018-05-08 13:04

用IDEA开发spark应用，发生java.lang.ClassNotFoundException的解决

在完成集群配置之后，我写了下面的demo进行测试如果把“spark://master:7077”变为local[2]就能正常运行，但是修改为spark集群就报错demo案例如下：packagecom.keduoximportorg.apache.spark
程序猿不加班·2018-05-06 03:52

hadoop集群配置免密钥登陆

背景：搭建集群时，首先要配置各节点间的免密钥登陆，以保证各节点之间的数据传输。介绍一个比较快的配置方法。注意：搭建集群时要保证各机器在相同的用户下，如都在“root”用户或都在“test”用户下。那么免密钥也要都在相同的用户下，配置在不同的用户下是不起作用的。接下来以10台服务器node1~node10，都在root用户下为例1.在node1，root用户目录下输入命令：ssh-keygen-tr
hh_666·2018-05-05 17:17

nginx+tomcat集群配置--获取真实客户端IP

前言:在初步构建的nginx+tomcat服务集群时,发现webserver获取到的客户端ip都是同一个,皆为作为反向代理服务的nginx所在的机器IP.这不太符合我们的基本需求,为将来的数据挖掘和分析带来了麻烦.不过不用担心,本文将简单介绍其背后的原因和原理,以及具体的解决方案,^_^.原因分析:webserver在获取客户端ip时,默认的方式是通过request.getRemoteAddr()
山沟沟里的喜悦·2018-05-03 19:03

使用阿里云kubernetes部署ElasticSearch生产级别集群

市面上kubernetes没有提供比较好的ElasticSearch集群配置。这里基于pires尝试写了一个。1使用elastic.io官方的镜像,默认包含x-pack。
皮蛋XXXXL·2018-05-01 18:11

redis集群搭建（linux）

安装了一下redis的相关集群配置发现问题还是挺多的。
寂夜了无痕·2018-04-27 11:56

分布式系统集群配置要点(通用)

设置hostname第一步：CentOS7/Ubuntu16使用hostnamectlset-hostnameslave3CentOS6修改/etc/sysconfig/network文件:NETWORKING=yesHOSTNAME=slave3第二步：修改/etc/hosts文件修改127.0.0.1这行中的localhost.localdomain为slave3修改::1这行中的localh
逑熙·2018-04-25 16:40

hadoop分布式集群配置hbase数据库

注意：之前的章节配置好了完全分布式hadoop集群，共有三台机器，master，slave01,slave02，下面开始配置hbase首先说明一点，hbase是依赖于zookeeper的进行运行的，所以在部署hbase之前需要先进行部署zookeeper，但是，hbase中自带了默认的zookeeper，如果不需要自己手动部署zookeeper的话，可以选择hbase自带默认的，主要原因方便，简单
Frederick_w·2018-04-24 15:31

查看集群配置信息

本文简要说明查看Linux集群配置信息的命令。需要查看的信息一般情况下，在集群上跑的程序，可能是多个线程，甚至是在多台集群上执行的MPI并行程序。
BoCai-Tech·2018-04-17 00:48

基于springboot的redis集群配置

使用yml配置文件形式配置redis连接,也可直接使用RedisTemplate默认配置，就可不用创建以下代码内容，只需编写yml文件即可。至此就可以使用RedisTemplate的自带API进行与redis的交互。RedisClusterConf.javapackagecn.com.xxx.config;importorg.slf4j.Logger;importorg.slf4j.LoggerF
Qijy·2018-04-16 10:40

Hadoop集群升级HA高可用集群配置

在原有的Hadoop集群的基础上，配置HA高可用集群，简单修改配置文件，具体配置及启动方案如下：（先停止Hadoop集群）修改core-site.xml（指定ZK集群，使ZK能够监督master的运行，启动备用节点，我的主节点主机名为Kate，并非master，配置HA的时候改名为apollo，个人喜好，请注意，酌情忽略此细节）未修改之前的core-site.xml修改之后：就是增加一个prope
教皇ZK·2018-04-16 00:00

linux 配置jdk+ssh免密登录+hadoop集群配置

1.jdk配置下载：jdk-10_linux-x64_bin.rpm安装：#rpm-ivhjdk-10_linux-x64_bin.rpm注：bin包：#chmod+x.........bin#./.......bintar.gz:解压缩：#tar-xzvf.........tar.gz移到某个文件夹：#mv........//usr/local/配置环境变量：#vi/etc/profilei插入
tbabg·2018-04-13 16:27

Eureka的工作原理以及它与ZooKeeper的区别

1.基本原理上图是来自eureka的官方架构图，这是基于集群配置的eureka；-处于不同节点的eureka通过Replicate进行数据同步-ApplicationS
zhou恨夏·2018-04-13 16:00

适合小白的 Hadoop 集群配置搭建，非常详细

准备工作：1。VMwareWorkstation14中安装虚拟机，版本为CentOS7（我搭建的集群为三台，安装一台克隆两台，这里不做解释，可自行百度）2。JDK1.8，下载地址为https://pan.baidu.com/s/15YA23CYnT3L-9f6Ao-gzrw3。hadoop2.7.5下载地址为https://pan.baidu.com/s/1Fyfb77R6Tl1ct3pm_yaL
倪盼博·2018-04-13 08:22

Vertx集群配置

vertx集群配置1.pom文件中引入vertx-hazelcastjario.vertxvertx-hazelcast${vertx-version}目前是3.3.3版本2.resources内加入hazelcast
卓小洛o·2018-04-11 13:03

Vertx集群配置

vertx集群配置1.pom文件中引入vertx-hazelcastjario.vertxvertx-hazelcast${vertx-version}目前是3.3.3版本2.resources内加入hazelcast
卓小洛·2018-04-11 00:00

springcloud(十)：服务网关zuul/spring cloud 学习(6) - zuul 微服务网关

springcloud(十)：服务网关zuul前面的文章我们介绍了，Eureka用于服务的注册于发现，Feign支持服务的调用以及均衡负载，Hystrix处理服务的熔断防止故障扩散，SpringCloudConfig服务集群配置中心
菠萝科技·2018-04-08 20:43

kubenetes集群配置之kubeadm自动创建集群

kubeadm自动创建集群kubeadm自动创建集群一更新apt-get源二安装docker和kubenetes三配置kubenetes3.1注意事项3.2配置master节点3.3配置子节点最近在做一个比赛，需要部署在kubenetes集群上。手动创建集群需要配置很多环境文件，容易出现各种问题，因此。我们在利用kubenetes自动部署工具kubenetes。我们的部署环境是ubuntu16.0
Icesuns·2018-04-08 16:15

Flume数据采集之常见集群配置案例

[TOC]非集群配置这种情况非集群配置方式，比较简单，可以直接参考我整理的《Flume笔记整理》，其基本结构图如下：Flume集群之多个Agent一个source结构说明结构图如下：说明如下：即可以把我们的
xpleaf·2018-04-07 17:14

rabbitMQ学习笔记【二】-集群部署 原创

192.168.3.10L-AP-3-10#从节点192.168.3.9L-AP-3-9#从节点关闭防火墙:serviceiptablesstop按照rabbitMQ学习笔记【一】-单机部署原创部署三个单机节点二、集群配置
zhenggm·2018-04-03 19:00

rabbitMQ学习笔记【二】-集群部署 原创

192.168.3.10L-AP-3-10#从节点192.168.3.9L-AP-3-9#从节点关闭防火墙:serviceiptablesstop按照rabbitMQ学习笔记【一】-单机部署原创部署三个单机节点二、集群配置
zhenggm·2018-04-03 19:00

ZooKeeper 配置管理(五)

与文无关这次我们主要介绍：ZooKeeper的配置ZooKeeper集群配置ZooKeeper的使用建议ZooKeeper服务器配置除了zoo.cfg配置文件配置以外，也可也使用J
Real_man·2018-04-03 11:46

MongoDB入门---复制（副本集）&分片管理

今天来分享的是MongoDB中比较重要的一部分，那就是关于MongoDB数据库的复制（也叫作制作副本集）和分片管理（集群配置）。首先呢，我们来看一下复制这个东西是什么鬼呢。
luyaran·2018-03-30 09:20

ES简单集群配置

环境简介linuxversion:CentOSrelease6.5(Final)elasticsearch:5.2.2三台服务器192.168.59.10slave7192.168.59.11slave8192.168.59.12slave9部署安装es很简单，直接官网上下载压缩包，解压就行，当然，服务器上得有对应的JDK安装解压就绪后，对于ES，我们只需要修改es的配置文件$ES_ROOT/co
安静1337·2018-03-29 00:26

hadoop集群配置（一，单点配置）

走一遍hadoop集群配置在一台节点上建立新用户HadoopuseraddHadoop添加密码passwdhadoop更新包：wh@vm0-ubuntu:~$sudoaptupdate安装JDK:wh@
冷昕·2018-03-28 09:14

MFS+corosync+pacemaker+ISCSI集群配置过程的一个错误以及排错过程

错误Failedactions:fence_start_0onserver7.com'unknownerror'(1):call=34,status=TimedOut,last-rc-change='ThuMar2221:30:112018',queued=20004ms,exec=0msfence_start_0onserver6.com'unknownerror'(1):call=34,sta
bug--maker·2018-03-23 00:22

elasticsearch 单机及集群配置

elasticsearch搜索引擎简介：ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，是基于java语言编写。部署环境：JDK1.8elasticsearch6.2.2下载链接：wgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.2.tar.
Shiny_boy·2018-03-22 16:28

【kafka】集群配置

1.先配置好zookeeper集群（可以看zookeeper集群搭建）2.三个kafka机器10.1.44.186kafka(9092)zookeeper(2181)10.1.44.187kafka(9092)zookeeper(2181)10.1.44.188kafka(9092)zookeeper(2181)vim /etc/hosts--------------10.1.44.186 ser
君子远小人·2018-03-19 17:02

Nginx+Tomcat+Https负载均衡配置

1.需求分析nginx是一个较为流行的反向代理服务器，可以用来对多台服务器进行集群配置；在笔者公司项目中，就恰到好处的运用nginx对多台服务器进行集群；首先第一台主服务器配置系统服务（redis+mysql
eagle-zhang·2018-03-16 17:39

Linux系统zookeeper集群配置

总共3台机器,只要配置好其中一台机器然后copy到另外两台就好了1.创建目录[root@nn1~]#cd/usr/local/[root@nn1local]#mkdirzookeeper[root@nn1local]#cdzookeeper将zookeeper压缩包移动到这个新建目录下[root@nn1zookeeper]#mv/home/admin/software/zookeeper-3.4.
17碎那年·2018-03-15 13:18

Linux系统zookeeper集群配置

总共3台机器,只要配置好其中一台机器然后copy到另外两台就好了1.创建目录[root@nn1~]#cd/usr/local/[root@nn1local]#mkdirzookeeper[root@nn1local]#cdzookeeper将zookeeper压缩包移动到这个新建目录下[root@nn1zookeeper]#mv/home/admin/software/zookeeper-3.4.
17碎那年·2018-03-15 13:18

hadoop在windows本地运行到yarn集群配置

需要重写packageorg.apache.hadoop下的两个类：1.packageorg.apache.hadoop.io.nativeio;下的NativeIO2.packageorg.apache.hadoop.mapred;下的YARNRunner1.NativeIO/***LicensedtotheApacheSoftwareFoundation(ASF)underone*ormore
DylanWu123·2018-03-13 22:09

第五天-Hadoop全分布式集群搭建（傻瓜式配置）

杰普企业老师指点大纲：一、搭建Hadoop全分布式集群前提1.1、网络1.2、安装jdk1.3、安装hadoop二、Hadoop全分布式集群配置免密登录实现主节点控制从节点2.1、配置主从节点之间的免密登录三
蓝星花·2018-03-11 19:13

NoSQL介绍(六)

支持在线增加、删除节点客户端可以连接任何一个主节点进行读写Redis集群配置A(192.168.221.10)机
studywinwin·2018-03-11 17:54

Storm(1.2.1)集群环境搭建

1，Storm基础介绍：Storm作为大数据处理框架之一，其和Spark一样具有非常广泛的使用,如下为Storm的架构图：在了解集群配置安装之前需要掌握如下几个概念(concept):拓扑（Topologies
qingkangxu·2018-03-11 09:43

品味ZooKeeper之Watcher机制

本文思维导图如下：image前言Watcher机制是zookeeper最重要三大特性数据节点Znode+Watcher机制+ACL权限控制中的其中一个，它是zk很多应用场景的一个前提，比如集群管理、集群配置
dandan的微笑·2018-03-05 22:51

kylin跨集群配置实现读写分离

社区提供的读写分离架构图如下：通过架构图可以看到Kylin会访问两个集群的HDFS，建议两个集群的NameService务必不能相同，尤其是集群启用NameNodeHA时，相同的NameService会导致组件在跨集群访问HDFS时因无法区分NameService而出现问题。两个集群：cluster1(hive集群):hdfs.hive,yarn,zookeeper,mrcluster2(hbas
choulanlan·2018-03-05 11:54

Alluxio 1.7.0 命令行接口的案例与解读

上节已在Alluxio集群配置了MasterHA容错处理，启动了ZooKeeper对Master进行管理，将HDFS配置为Alluxio的底层文件系统。本节进行命令行接口的案例实战。
段智华·2018-02-14 15:26

Spring Cloud构建企业级总线-第六部分服务网关

前面的文章我们介绍了，Eureka用于服务的注册于发现，Feign支持服务的调用以及均衡负载，Hystrix处理服务的熔断防止故障扩散，SpringCloudConfig服务集群配置中心，似乎一个微服务框架已经完成了
u4110122855·2018-02-12 09:25

weblogic创建节点管理器启动受管服务器

192.168.4.12mache1mache0192.168.4.11普通类型端口5556mache1192.168.4.12普通类型端口55561.我的weblogic版本是12.2.1.32.前面的集群配置可参看
Miss_Black·2018-02-07 20:37

weblogic 激活更新出现的异常

weblogic集群配置，【激活更新】时，出现了几个问题1，第一个异常：原因：创建的域的目录下的server下的stage目录没有执行权限，我们无法将项目更新到这个目录下。
Miss_Black·2018-02-07 15:48

Kubernetes集群配置dashboard服务

本文将在前文的基础上介绍kube-ui（也叫dashboard）的创建和使用。这个东西本质上就是webui连接master的api接口，通过api获取k8s集群的相关信息，然后在web上展示出来，对用户来说比较友好一些，实际用处并不是很大。一、下载镜像文件并纳入本地仓库统一管理#dockerpulldocker.io/mritd/kubernetes-dashboard-amd64#dockert
ylw6006·2018-02-01 21:12

kubernetes集群配置dns服务

本文将在前文的基础上介绍在kubernetes集群环境中配置dns服务，在k8s集群中，pod的生命周期是短暂的，pod重启后ip地址会产生变化，对于应用程序来说这是不可接受的，为解决这个问题，K8S集群巧妙的引入的dns服务来实现服务的发现，在k8s集群中dns总共需要使用4个组件，各组件分工如下：etcd：DNS存储kube2sky：将KubernetesMaster中的service（服务）
ylw6006·2018-02-01 21:57

windows下本地安装redis集群遇到的一些问题

2.卡在waitingfortheclustertojoin的问题：首先检查IP地址绑定是否正确，如果没有问题，检查集群配置文件是否重名：cluster-config-file这个参数配置后面的文件名称不能重复
cy22201222·2018-02-01 11:55

kubernetes集群配置serviceaccount

KubernetesAPI的其它服务。ServiceAccount它并不是给kubernetes集群的用户使用的，而是给pod里面的进程使用的，它为pod提供必要的身份认证。Kubernetes提供了Secret来处理敏感信息，目前Secret的类型有3种：Opaque(default):任意字符串kubernetes.io/service-account-token:作用于ServiceAcco
ylw6006·2018-01-31 15:33

kubernetes集群配置serviceaccount

KubernetesAPI的其它服务。ServiceAccount它并不是给kubernetes集群的用户使用的，而是给pod里面的进程使用的，它为pod提供必要的身份认证。Kubernetes提供了Secret来处理敏感信息，目前Secret的类型有3种：Opaque(default):任意字符串kubernetes.io/service-account-token:作用于ServiceAcco
weixin_33901843·2018-01-31 15:33

使用Kubernetes创建PHP留言板系统

Docker本地仓库与kubernetes集群配置请查看前文。
ylw6006·2018-01-31 14:18

Kubernetes集群配置

本文将介绍配置Kubernetes集群，kubernetes集群由master节点和slave节点组成。Master节点上运行如下服务:etcd(etcd服务也可以单独运行，不一定要运行在Master节点上)kube-apiserverkube-controller-managerkube-schedulerKubeletkube-proxySlave节点上运行如下服务：Kubeletkube-p
ylw6006·2018-01-30 11:47

Hadoop集群配置之免密登录

在配置免密之前，需要检查自己是否更新源，如果更换新的源，则应删除openssh-client、openssh-server，否则配置免密将会失败！重新安装openssh-client、openssh-server即可！安装完成后，进入用户目录~下：【输入命令后，直接按回车键即可】进入.ssh目录：克隆5台虚拟机，将authorized_keys文件分发至其它虚拟机：【scpauthorized_k
tiandi345·2018-01-29 13:24

dubbo,zookeeper集群配置

阅读更多dubbo：1，多注册zk配置服务方：zookeeper.sasl.client=falsedubbo.registry.file=/temp/dubbo.cachedubbo.consumer.check=false#\u9ED8\u8BA4\u5E94\u7528\u914D\u7F6E\u76F8\u5173\u4FE1\u606F#\u5F53\u524D\u5E94\u7528\
y806839048·2018-01-25 10:00
上一页 45 46 47 48 49 50 51 52 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他