大数据集群第9页

大数据学习环境准备[1] - 创建虚拟机

[email protected]:40写在前面的废话在小象学院买了门网课,需要提交作业(支持链接),所以就赶紧注册了,准备把作业发布在这里,也算是给自己的学习存个档.开始大数据集群实验环境概述最基本的一个大数据集群

qdice007·2020-07-01 05:22

使用cloudera-manager CDH大数据集群运维工作记录

工作中遇到的问题记录kafka异常退出：解决思路：1、排查kafkalog，log.dirs：2、日志如下：#pwd/data/log/kafka#ls-lh总用量78M-rw-r--r--1kafkakafka78M9月1814:18kafka-broker-rc-nmg-kfk-rds-woasis1.logdrwxr-xr-x2kafkakafka105月1818:29stacks18330

zhangxu1024·2020-06-30 14:22

Linux下大数据集群安装presto+kudu(3节点)

1、准备工作关闭selinux、防火墙、安装基础软件工具、安装JDK(jdk1.8.0_211)、所有主机配置好SSH免密登录、配置hosts文件（127.0.0.1的2行删除）cat/etc/hosts192.168.0.107test3192.168.0.108test4192.168.0.109test52、安装kuducd/data&&rpm-ivhkudu-1.10.0-1.x86_64

姚敦林博客·2020-06-30 06:46

【Zookeeper】编程实战之Zookeeper分布式锁实现秒杀

它也相当于是一个数据库，具有数据同步和选举功能，能够用来存储一些信息，可用于解决大数据集群

超新星X·2020-06-30 02:40

Ambari大数据集群的搭建

Ambari——大数据平台的搭建利器虽然大数据越来越流行，但其学习的门槛却一直阻碍着很多的分布式应用初学者或者大数据的业务应用开发者。多个产品之间的不兼容问题，快速集成和维护也显得比较困难。不管是HadoopV1或者V2的安装，又或者Spark/YARN等的集成，都不是几行简单的命令可以完成的，而是需要手工修改很多的集群配置，这进一步增加了业务开发者的学习和使用难度。有了Ambari，这些都不再是

一休求索·2020-06-29 21:46

链家大数据多维分析引擎实践

在由七牛云和链家联合主办的架构师实践日北京站中，链家大数据集群架构组负责人邓钫元进行演讲，分享了链家在多维分析引擎方面的一些实践经验，主要从OLAP的背景和简介、链家多维分析架构演进和展望、OLAP平台链路优化这三部分来介绍

高可用架构·2020-06-29 16:19

Ambari以及HDP搭建大数据集群

注：1、主机均为centos72、安装使用root用户，3、避免权限问题导致的不成功四台主机安装，分配如下：hdp-01作为：ambari-serrver，hdp-02~hdp-04作为ambari-agent一、安装前的系统设定1)修改机器名、Hosts文件#vim/etc/hostnamehdp-01#vim/etc/hosts192.168.3.100hdp01.xxxx.comhdp-01

『坤伦心』·2020-06-29 10:47

关于zookeeper使用rancher搭建的集群,数据持久化的问题

关于zookeeper使用rancher搭建的集群,数据持久化的问题通常大数据集群往往离不开zookeeper.在docker兴起的时代里，使用docker部署zookeeper并不是很困难。

开源精神-阿洋·2020-06-29 08:41

大数据集群搭建之Zookeeper，Kafka，Spark（Standalone模式）搭建流程及相关配置

集群的整体资源：五台机器，32核，128G内存，24T硬盘325=160C128G5=640G32C,128G,24TSpark(2.2.1)ZooKeeper(3.4.12)Kafka(2.11)10.251.27.123主1Follower010.251.27.124备2Follower110.251.27.125Worker3Leader210.251.27.102Worker310.251

lol、蜗牛·2020-06-29 07:11

Elasticsearch:《大数据集群学习笔记与实战》之es集群（8）创建java 连接和java 客户端

8.java客户端和创建连接8.1ES官网提供的javaapi版本。要和ES的版本对应。截止2019-4-5号我的ES版本是6.3.0es-javaapi官网地址：https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.3/index.html8.1.1创建项目：在eclipse中new------other------Mav

一个从大山到原野的孩子·2020-06-29 02:31

大数据面试题——Hadoop篇

1.Hadoop基础1.1通常是集群的最主要瓶颈：磁盘IOcpu和内存在大数据集群中都是可以扩充的，磁盘不行。

提灯寻梦在南国·2020-06-28 20:57

零基础Ubuntu16.04+Hadoop2.7.3+Spark2.3.4+Zookeeper3.4.14+HBase2.1.6+Kafka2.11大数据集群配置教程

半年后重新整理了大数据集群搭建方案，优化了部分步骤与目录设计目录1、环境搭建虚拟机：系统：节点：2、相关软件版本3、主要参考文章4、搭建步骤4.1安装虚拟机4.2修改hostname与hosts文件4.3

景雨泽·2020-06-28 19:37

Spark 2.x企业级大数据项目实战（实时统计、离线分析和实时ETL）

实时统计、离线分析和实时ETL）全套课程下载：https://pan.baidu.com/s/1mje6bAoLLPrxUIrM-C2VMg提取码:9n1x本门课程来源于一线生产项目，所有代码都是在现网大数据集群上稳定运行

weixin_34391854·2020-06-28 18:19

使用ansible部署CDH 5.15.1大数据集群

weixin_34327761·2020-06-28 17:43

基于Ubuntu14.04下Suricata（一款高性能的网络IDS、IPS和网络安全监控引擎）的搭建（图文详解）（博主推荐）...

论文方向的需要，同时不局限于真实物理环境机器实验室的攻防环境、也不局限于真实物理机器环境实验室的大数据集群平台。

weixin_34163741·2020-06-28 12:47

3台阿里云ECS安装CDH大数据集群过程（CentOS7.4+独立数据盘）

为什么80%的码农都做不了架构师？>>>0x、环境说明直接购买3台阿里云的ECS（配置4C/32G/30G系统盘+1T数据盘）购买时先在阿里云生成一个密钥对，把.pem私钥保存到本地，然后购买时选择使用密钥进行无密码SSH登陆，注意统一使用该密钥对进行镜像部署。服务开通后，进行如下操作。一、配置hostname和hosts1.三台机器分别设置hostname为（需要重启ECS）：master.bd

weixin_33881041·2020-06-28 07:31

CDH 5.10.0安装单机版（在线版）

2019独角兽企业重金招聘Python工程师标准>>>因工作需要，尝试安装大数据集群换进，选择了CDH版，个人装了好几遍，现在做下记录，因为是在线版，下载的软件版本可能有所不同，后续会有离线版安装。

weixin_33843409·2020-06-28 06:15

Ambari 大数据集群管理

最近做了一个大数据项目，研究了下集群的搭建，现在将集群搭建整理的资料与大家分享一下！如有疑问可在评论区回复。1前置配置Centos7系统，每台系统都有java运行环境全程使用root用户，避免安装过程中出现权限不足等情况1.1关闭防火墙所有节点都要设置Centos7命令查看防火墙状态firewall-cmd--statesystemctldisablefirewalldsystemctlstopf

weixin_30642267·2020-06-27 22:03

魅族大数据运维平台实践

当时只有三个节点，因为我们起步比较晚，没有赶上Hadoop1.0，直接是用YARN来跑的大数据集群，而且默认就上了HA功能；2014年9月节点增加到20个，数据日增30GB；2015年6月上线Spark

麦思博·2020-06-27 14:39

CDH6集成Kerberos

一、概述本文是针对cloudera大数据集群安全部署整理的文档，主要介绍了大数据集群Kerberos服务器部署和集成的过程。

Moon_魔宽·2020-06-27 13:59

基于cloudera搭建大数据集群（docker）记录

冲动老少年·2020-06-27 05:15

spark-python版本依赖与三方模块方案

spark-python版本依赖与三方模块方案1.背景公司有统一的spark大数据集群，但spark用的python版本是python2.7，项目组这边都是用python3.5，甚至有些项目用的是python3.6

振裕·2020-06-26 16:04

部署大数据集群要先进行哪些操作？

部署大数据集群要先进行哪些操作？

九月木樨·2020-06-26 04:09

Redis集群原理和总结

Redis集群原理节点主从（镜像全量）+哈希slot（分片）无主模型遵循CAP原则C一致性A可用性P分区容错性，三者不可兼得数据放在大数据集群中的方式/集群承载数据的方式：分片镜像全量镜像全量优：做数据的高可用

人生路且修且行·2020-06-25 19:13

Day04_大数据集群,rpm,yum

1挂载新的硬盘1.1目标虚拟机增加一块硬盘1.2路径第一步:了解linux系统分区的原理第二步:查看系统分区情况第三步:虚拟机增加硬盘第四步:分区第五步:格式化第六步:挂载第七步:设置重启后挂载不失效1.3实现第一步:了解linux系统分区的原理一个硬盘可以分成多个分区用户不能直接操作硬件,需要让硬件和系统的目录建立映射关系(挂载)才可以操作,称为挂载[外链图片转存失败(img-vta995gu-

Hi洛一·2020-06-25 17:58

（大数据实时动态数据处理）flume+kafka+strom;zookeeper+hadoop+hbase

zookeeper+hadoop+hbase（整合启动）@[toc]一、启动zookeeper+hadoop+Hbase二、启动flume+kafka+strom三、代码测试四、测试Topology安装教程：大数据集群搭建

菜鸟小回·2020-06-25 15:00

Redis 集群模式连接代码，需要密码，创建JedisCluster 对象

修正：这个代码在大数据集群验证测试之后，发现redis连接数会缓慢增加最后导致redis集群不可用，请自我验证。查看连接数命令我博客里面有。。。。。

黄瓜炖啤酒鸭·2020-06-25 05:32

eclipse创建maven工程连接大数据集群环境

eclipse创建maven工程连接大数据集群环境1.什么是maven：maven可以理解为代码仓库，maven是一个软件项目管理和综合工具。

TKE_manman·2020-06-24 21:31

基于Docker搭建大数据集群（六）Hive搭建

前言之前搭建的都是1.x版本，这次搭建的是hive3.1.2版本的。。还是有一点细节不一样的Hive现在解析引擎可以选择spark，我是用spark做解析引擎的，存储还是用的HDFS我是在docker里面搭建的集群，所以都是基于docker操作的一、安装包准备Hive官网下载微云下载|在tar目录下二、版本兼容我使用的相关软件版本Hadoop~2.7.7Spark~2.4.4JDK~1.8.0_2

njpkhuan·2020-06-24 17:31

基于Docker搭建大数据集群（七）Hbase部署

基于Docker搭建大数据集群（七）Hbase搭建一、安装包准备Hbase官网下载)微云下载|在tar目录下二、版本兼容三、角色分配exportJAVA_HOME=/opt/jdk/jdk1.8.0_221hbase-site.xmlhbase.rootdirhdfs

njpkhuan·2020-06-24 17:31

基于Docker搭建大数据集群（一）Docker环境部署

本篇文章是基于Docker搭建大数据集群系列的开篇之作主要内容docker搭建docker部署CentOS容器免密钥通信容器保存成镜像docker镜像发布环境Linux7.6一、Docker安装安装工具包

njpkhuan·2020-06-24 17:31

基于ambari 2.6.2.0的docker镜像安装大数据服务组件

Ambari在大数据集群部署方面有得天独厚的优势，但是集群操作系统安装准备工作以及基础包的安装还是需要花费很多的时间。为了节省大数据集群的部署时间接下来我们用Doc

Mote Malone·2020-06-24 06:52

三星：利用Mesos云操作系统助力物联网发展

韩国三星公司通过将其物联网平台部署在基于Mesos的云操作系统之上，提高了研发团队的效率，简化了Spark大数据集群的部署和管理成本，并通过提高资源利用率降低了整体成本。

优云数智·2020-06-24 02:56

大数据平台多租户管理实现（理论篇）

随着数据量的指数型增长，以及Hadoop生态系统的不断完善，越来越多的公司选择Hadoop作为数据仓库，并在大数据集群上架设了越来越多的相对复杂的应用场景需求。

jintian910625·2020-06-23 22:15

使用cloudera-manager CDH大数据集群运维工作记录

工作中遇到的问题记录kafka异常退出：解决思路：1、排查kafkalog，log.dirs：2、日志如下：#pwd/data/log/kafka#ls-lh总用量78M-rw-r--r--1kafkakafka78M9月1814:18kafka-broker-rc-nmg-kfk-rds-woasis1.logdrwxr-xr-x2kafkakafka105月1818:29stacks18330

Mumunu-·2020-06-23 12:03

day39

大数据集群也需要。服务器越多价值越大2.批量管理工具历史SSH+脚本CFEngine、Puppet、saltstack、ansible08年以前07-08年10-13年14-1

赵庆_be43·2020-06-23 08:45

大数据的安全管理 -- Kerberos

1.前言前一段时间一直在做大数据集群下面的安全环境（Kerberos）的配置与分析，其中有许多误解，这里记录下来。

eyoulc123·2020-06-23 06:50

大数据运维：大数据平台+海量数据

但随着公司数据越来越多，业务越来越复杂，大数据集群规模越来越大，大数据团队也越来越大

大数据研习社·2020-06-23 02:00

大数据运维 | 集群_监控_CDH_Docker_K8S_两项目_云服务器

大数据研习社·2020-06-23 02:00

大数据集群JVM调优&内存管理

大数据集群的工作，很大一部分精力花在了调整集群的jvm参数上面。

bryceforphy·2020-06-22 19:57

搭建Zookeeper集群

因为工作需要，最近开始接触大数据技术，为了充分了解大数据，准备搭建一个大数据集群。

小e工作室·2020-06-22 18:13

大数据集群之配置虚拟机集群

大数据集群之配置虚拟机集群大数据集群指Hadoop集群（HA）本文章是在window平台上安装四个虚拟机作为学习大数据平台的集群前提准备1.安装虚拟机软件VMware，这里提供一个安装教程链接参考2.获取一个

bay_bai·2020-06-22 17:58

Prometheus联邦机制实现分布式

总结上文讲到了prometheus+grafana对于大数据集群的监控。但是随着集群规模越来越大，prometheus压力也随之增大，因为采取拉去方式，对于prometheus本身的压力比较大。

莹哎·2020-06-22 09:20

Spark大数据集群计算的生产实践

本文会介绍Spark核心社区开发的生态系统库，以及MLMLlib及SparkStreaming的Spark库的具体用法，对于企业的各种用例及框架也进行了说明。spark拥有一个庞大的、不断增长的社区，还有在企业环境中不可或缺的生态系统。这些生态系统提供了不同生产环境案例所需的许多功能。一般来说，Spark应用做的是机器学习算法、日志聚合分析或者商务智能相关的运算，因为它在许多领域都有广泛的应用，包

BAO7988·2020-06-21 17:19

windows10系统通过docker搭建hadoop大数据集群（包括hive,zookeeperkafka,spark）

1、百度云下载自己搭建的hadoop_spark_master.tar和hadoop_spark_slaver.tar，分别为hadoop的master镜像和slaver镜像。2、docker加载镜像：dockerload-iC:\Users\hasee\Desktop\hadoop_spark_master.tardockerload-iC:\Users\hasee\Desktop\hadoop

guolinye·2020-06-21 15:24

基于CentOS6.5下Suricata（一款高性能的网络IDS、IPS和网络安全监控引擎）的搭建（图文详解）（博主推荐）...

论文方向的需要，同时不局限于真实物理环境机器实验室的攻防环境、也不局限于真实物理机器环境实验室的大数据集群平台。

D_SJ·2020-06-21 11:46

大数据教程，大数据实战教程，基于AWS云平台大规模集群千亿数据调优方案

大数据集群，学习大数据小伙伴们的朋友都要会的！今天分享的视频是以一个实际的数仓指标为需求，在大规模集群环境下，进行千亿级别数据量的任务测试。全程实操，以真实企业中的开发流程进行任务测试。

传智播客官方博客·2020-06-21 02:54

percolator的理解与开源实现分析

原文地址：https://ikenchina.github.io/论文论文地址https://research.google/pubs/pub36726/概述设计percolator的目的为大数据集群进行增量处理更新的系统

zhubaba·2020-06-20 06:14

大数据集群搭建

大数据集群搭建本文档将搭建以下集群hadoop集群zookeeper集群hbase集群spark集群kafka集群一、准备1.1软件版本Ubuntu18.04JDK1.8(jdk-8u151-linux-x64

dhz120·2020-06-18 15:51

Sqoop快速入门系列(2) | Sqoop数据导入与导出

目录一.导入数据RDBMS到HDFSRDBMS到HiveRDBMS到Hbase二.导出数据HIVE/HDFS到RDBMS三.脚本打包一.导入数据在Sqoop中，“导入”概念指：从非大数据集群（RDBMS

丰喊喉675·2020-06-11 13:52

推荐频道

大数据集群

大数据学习环境准备[1] - 创建虚拟机

使用cloudera-manager CDH大数据集群运维工作记录

Linux下大数据集群安装presto+kudu(3节点)

【Zookeeper】编程实战之Zookeeper分布式锁实现秒杀

Ambari大数据集群的搭建

链家大数据多维分析引擎实践

Ambari以及HDP搭建大数据集群

关于zookeeper使用rancher搭建的集群,数据持久化的问题

大数据集群搭建之Zookeeper，Kafka，Spark（Standalone模式）搭建流程及相关配置

Elasticsearch:《大数据集群学习笔记与实战》之es集群（8）创建java 连接和java 客户端

大数据面试题——Hadoop篇

零基础Ubuntu16.04+Hadoop2.7.3+Spark2.3.4+Zookeeper3.4.14+HBase2.1.6+Kafka2.11大数据集群配置教程

Spark 2.x企业级大数据项目实战（实时统计、离线分析和实时ETL）

使用ansible部署CDH 5.15.1大数据集群

基于Ubuntu14.04下Suricata（一款高性能的网络IDS、IPS和网络安全监控引擎）的搭建（图文详解）（博主推荐）...

3台阿里云ECS安装CDH大数据集群过程（CentOS7.4+独立数据盘）

CDH 5.10.0安装单机版（在线版）

Ambari 大数据集群管理

魅族大数据运维平台实践

CDH6集成Kerberos

基于cloudera搭建大数据集群（docker）记录

spark-python版本依赖与三方模块方案

部署大数据集群要先进行哪些操作？

Redis集群原理和总结

Day04_大数据集群,rpm,yum

（大数据实时动态数据处理）flume+kafka+strom;zookeeper+hadoop+hbase

Redis 集群模式连接代码，需要密码，创建JedisCluster 对象

eclipse创建maven工程连接大数据集群环境

基于Docker搭建大数据集群（六）Hive搭建

基于Docker搭建大数据集群（七）Hbase部署

基于Docker搭建大数据集群（一）Docker环境部署

基于ambari 2.6.2.0的docker镜像安装大数据服务组件

三星：利用Mesos云操作系统助力物联网发展

大数据平台多租户管理实现（理论篇）

使用cloudera-manager CDH大数据集群运维工作记录

day39

大数据的安全管理 -- Kerberos

大数据运维：大数据平台+海量数据

大数据运维 | 集群_监控_CDH_Docker_K8S_两项目_云服务器

大数据集群JVM调优&内存管理

搭建Zookeeper集群

大数据集群之配置虚拟机集群

Prometheus联邦机制实现分布式

Spark大数据集群计算的生产实践

windows10系统通过docker搭建hadoop大数据集群（包括hive,zookeeperkafka,spark）

基于CentOS6.5下Suricata（一款高性能的网络IDS、IPS和网络安全监控引擎）的搭建（图文详解）（博主推荐）...

大数据教程，大数据实战教程，基于AWS云平台大规模集群千亿数据调优方案

percolator的理解与开源实现分析

大数据集群搭建

Sqoop快速入门系列(2) | Sqoop数据导入与导出