大数据集群

大数据集群基础安装篇 - CentOS 7 安装、克隆集群（7台）

CentOS敬语为常年奋斗、努力工作在一线，并为操作系统发展做出突出贡献的的大佬们致敬，此处深思几分钟...科普CentOS（CommunityEnterpriseOperatingSystem，中文意思是：社区企业操作系统）是Linux发行版之一，它是来自于RedHatEnterpriseLinux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码，因此有些要求高度稳定性的服务器以C
数据服务·2019-12-17 19:56

Cloudera-Manage —— 基本概念及使用

概念ClouderaManager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器，这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能，极大的提高集群管理的效率。
CoffeJoy·2019-12-16 20:00

SQL Server 2019 深度解读：微软数据平台的野望

11月4日，微软正式发布了其新一代数据库产品SQLServer2019，带来了大数据集群、数据虚拟化等重磅特性。
云间拾遗·2019-12-15 17:00

为大数据集群选择正确的硬件

由于Hadoop是运行在数十，数百甚至更多节点上，尽可能多的考虑方方面面都可以节省成本。所以基于性价比，怎么才能选择合适的硬件？比如，对于IO密集型的工作负载，需要为每个CPUcore匹配更多的存储或更高的吞吐(morespindlespercore)。1，计算和存储Hadoop将数据分布式存储在各台服务器上，使用文件副本来保证数据不丢以及容错。这样一个计算请求可以直接分发到存储数据的相应服务器并
duzhongli·2019-12-13 23:04

大数据平台多租户管理实现（理论篇）

随着数据量的指数型增长，以及Hadoop生态系统的不断完善，越来越多的公司选择Hadoop作为数据仓库，并在大数据集群上架设了越来越多的相对复杂的应用场景需求。
DengheLiu·2019-12-08 05:08

大厂大数据平台

image淘宝的大数据平台基本也是分成三个部分，上面是数据源与数据同步；中间是云梯1，也就是淘宝的Hadoop大数据集群；下面是大数据的应用，使用大数据集群的计算结果。
do_young·2019-12-01 22:25

Day38-ansible自动化管理（一）

大数据集群也需要。2.ansible能做什么？ansible可以帮助我们完成一些批量任务，或者完成一些需要经常重复的工作。比如：同时在100台服务器上安装nfs服务，并在安装后
Chosen_One23·2019-11-28 07:25

大数据 -- Cloudera Manager(简称CM)+CDH构建大数据平台

一、ClouderaManager介绍ClouderaManager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器，这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内
大奥特曼打小怪兽·2019-11-12 13:00

魅族大数据运维平台实践

当时只有三个节点，因为我们起步比较晚，没有赶上Hadoop1.0，直接是用YARN来跑的大数据集群，而且默认就上了HA功能；2014年9月节点增加到20个，数据日增30GB；2015年6月上线Spark
Cynthia成·2019-11-07 13:33

docker搭建大数据集群

1.网络规划dockernetworkcreate--subnet=172.18.0.0/16mynetworkmasterslave1slave2nn/sn/rmdndn#宿主机上配置vim/etc/profile---------------------------------------------------------------------------net_on="dockernet
淘淘浩·2019-11-02 18:40

Centos7使用CDH6.3.0安装大数据集群

修改网络和主机名cdh6-master[root@cdh6-master~]#hostnamectlset-hostnamecdh6-master[root@cdh6-master~]#vi/etc/sysconfig/network-scripts/ifcfg-ens33TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDE
lzhpo·2019-10-23 19:41

蔡狗_linux04汇总

自动安装、自动处理依赖性关系3.2路径第一步:yum的原理第二步:常用指令（重点）第三步:制作本地yum源第四步:制作局域网yum源3.3实现3.3.1yum的原理3.3.3制作本地yum源原因:因为大数据集群为了安全
小埋璐璐·2019-10-21 17:22

yum

yum-yinstall需要的软件包下载安装yum-yremove需要卸载的软件包卸载yumrepolist列出设定yum源信息yumcleanall清除yum缓存信息1.3制作本地yum源原因：因为大数据集群为了安全
qq_45748521·2019-10-18 14:45

linux yum软件包管理器

特点:基于RPM包管理，能够从指定的服务器自动下载、自动安装、自动处理依赖性关系yum的原理常用命令制作本地yum源原因:因为大数据集群为了安全,不让连接外网原理:第一步切换到yum.repos.d中第二步
昨夜为你摘星·2019-10-18 09:19

Linux Vmware CentOS 制作yum本地资源库和局域网资源库

配置本地资源库因为以后的大数据集群不会联网，所以要制作本地资源库首先打开WinSCP，输入要连接的虚拟机的ip地址，账号密码，登录打开SecureCRT，连接虚拟机，进入/mnt目录，在刚才新挂载的5G
大数据DENGAI·2019-10-17 20:59

Linux 硬盘分区及挂载、镜像挂载、rpm、yum本地资源库制作

这个分区使用的文件系统格式87704d1a-6e1c-43a4-b8e2-68554314e143：这个盘符的唯一ID(唯一标识)/boot：这个盘符所挂载的目录[SWAP]：交换分区（在安装操作系统时人为设置）【在大数据集群中
依旧ฅ=ฅ·2019-10-17 16:21

大数据集群环境搭建之一 hadoop-ha高可用安装

1、如果你使用root用户进行安装。vi/etc/profile即可系统变量2、如果你使用普通用户进行安装。vi~/.bashrc用户变量exportHADOOP_HOME=/export/servers/hadoop-2.8.5exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:同步配置文件[root@jiang01servers]#vi/et
changjiangLi·2019-10-10 00:00

大数据集群环境 zookeeper集群环境安装

大数据集群环境zookeeper集群环境准备zookeeper集群安装脚本，如果安装需要保持zookeeper保持相同目录，并且有可执行权限，需要准备如下编写脚本：vizkInstall.sh#!
changjiangLi·2019-10-09 00:00

基于Docker搭建大数据集群（一）Docker环境部署

本篇文章是基于Docker搭建大数据集群系列的开篇之作主要内容docker搭建docker部署CentOS容器免密钥通信容器保存成镜像docker镜像发布环境Linux7.6一、Docker安装安装工具包
njpkhuan·2019-09-30 11:00

大数据集群环境搭建之一 Centos基本环境准备

首先需要准备的软件都有：Centos系统、SecureCRT8.5、VMwareWorkstationPro、jdk-8u172-linux-x64.tar.gz基本上这个软件就是今天的战场。首先安装VMwareWorkstation并配置激活SecureCRT，关于这两个软件的安装可以查看这个教程SecureCRT安装、VMwareWorkstation14中文破解版安装，VMware14安装c
changjiangLi·2019-09-27 11:00

大数据学习根据应用目标，主要可以划分为哪三个阶段？

要完成大数据基础设施系统建设开发，需要明确数据采集、存储和分析各层核心组件的选型和使用，搭建稳定的大数据集群，或选择私有云方案的服务集群，与生产系统并线运行，使待分析的历史数据和实时数据得以采集并源源不断流入大数据系统
duozhishidai·2019-09-26 19:14

Cloudera Manager 6.3.0离线部署

基础知识ClouderaManager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器，这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内
一匹野码·2019-09-16 10:49

【转发】算力提升117%，资源使用下降50%，打开集群优化正确姿势

原文链接：https://mp.weixin.qq.com/s/LA2qSOaWaE6K4Y2fwQIabw导读：美图日益增长的庞大数据和计算任务，对大数据集群的计算能力、存储能力、稳定性、扩展性等都提出了较大的挑战
疯狂哈丘·2019-09-05 10:13

《一张图看懂华为云BigData Pro鲲鹏大数据解决方案》

该方案采用基于公有云的存储与计算分离架构，以可无限弹性扩容的鲲鹏算力作为计算资源，以支持原生多协议的OBS对象存储服务为统一的存储数据湖，提供“存算分离、极致弹性、极致高效”的全新公有云大数据解决方案，大幅提升了大数据集群的资源利用率
华为云·2019-09-03 00:00

大数据集群（HA）安装 CDH版本

1.下载组件(注意版本号要与其他的组件CDH版本一致)有的需要下载jdk1.8https://pan.baidu.com/s/1PI-m73GKU2DSVRnJA0rzwghadoop-2.6.0-cdh5.8.3.tar.gzhttp://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.8.3.tar.gzzookeeperhttp://arc
小飞猪666·2019-08-30 15:32

新一代企业私有云建设的“底座”

支持虚拟化的KubernetesOperator框架公有云和私有云的区别很多开发人员喜欢使用公有云，因为公有云资源的申请简单、快速，随时可以获得虚拟机、数据库、大数据集群，甚至Kubernetes集群，
danchx·2019-08-27 18:48

Kafka监控工具汇总

对于大数据集群来说，监控功能是非常必要的，通过日志判断故障低效，我们需要完整的指标来帮我们管理Kafka集群。本文讨论Kafka的监控以及一些常用的第三方监控工具。
实时计算·2019-08-23 00:00

CDH大数据集群搭建

简介CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分，分别为ClouderaManager和CDH软件包。其中ClouderaManager负责集群的部署与管理。CDH软件包囊括了hdaoop各类的组件的安装包，例如hive、hdfs、spark等等。由于实验室服务器集群实现了硬件虚拟化，要在虚拟资源重新搭建CDH集群。clouder
新手任务未完成丶·2019-08-15 11:03

CDH大数据集群搭建

目录简介1.软件环境2.虚拟机配置2.1设置网络IP(NAT模式)2.2关闭防火墙2.3永久修改设置主机名2.4配置映射文件2.5配置ssh免密登录2.6安装jdk2.7关闭selinux安全模块3.环境准备3.1私有网络软件仓库3.1.1上传镜像3.1.2挂载镜像3.1.3安装http(如果已经安装可以省略，但是需要启动，一b般最小化安装不会安装此服务)3.1.4安装createrepo(如果已
YanfangDu·2019-07-31 18:42

NTP服务部署（centos7）

NTP服务在大数据集群部署时时一个很关键的步骤，集群时间不对会导致很多问题1.yum安装ntp服务yum-yinstallntp离线安装需要三个包ntp.x86_640:4.2.6p5-28.el7.centosautogen-libopts.x86
Jreds·2019-07-29 23:09

你懂集群monitoring么？（一）—— IDC机房有关技术指标获取

背景：公司自建IDC机房，基于IDC机房构建大数据集群；需要对集群资源进行监控，集群采用的是CDH集群，采集主要分两块进行：HDFS和YARN相关的指标进行采集IDC机器自身的指标进行采集注意：也许有人会有疑惑
Stitch_x·2019-06-30 23:38

大数据集群资源监控（二）—— Hadoop相关指标获取

本篇文章接着上篇内容继续，地址：IDC集群相关指标获取在获取了对应的IDC机器自身的指标之后，还需要对Hadoop集群中HDFS和YARN的指标进行采集，大体思路上可以有2种：第一种当然还是可以延用CMAPI去获取，因为CM中的tssql提供了非常丰富的各种指标监控第二种即通过jmxJ去获取数据，其实就是通过访问上述这些相关的URL，然后将得到的json进行解析，从而获取到我们需要的数据，最终将这
疯狂呼呼呼·2019-06-30 14:25

大数据集群资源监控（二）—— Hadoop相关指标获取

本篇文章接着上篇内容继续，地址：IDC集群相关指标获取在获取了对应的IDC机器自身的指标之后，还需要对Hadoop集群中HDFS和YARN的指标进行采集，大体思路上可以有2种：第一种当然还是可以延用CMAPI去获取，因为CM中的tssql提供了非常丰富的各种指标监控第二种即通过jmxJ去获取数据，其实就是通过访问上述这些相关的URL，然后将得到的json进行解析，从而获取到我们需要的数据，最终将这
疯狂呼呼呼·2019-06-30 14:25

Linux 中hadoop集群 时间 同步

在我们平常搭建大数据集群的时候，很重要的一点就是进行集群时钟的同步这里小编介绍两种集群时钟同步的方式供大家借鉴：第一种方式：通过网络进行时钟同步这种方式是通过网络连接外网进行时钟同步，必须要保证虚拟机连接上外网才可以
Nice_N·2019-06-15 16:18

淘宝、美团、滴滴的大数据平台

image.png淘宝的大数据平台基本也是分成三个部分，上面是数据源与数据同步；中间是云梯1，也就是淘宝的Hadoop大数据集群；下面是大数据的应用，使用大数据集群的计算结果。
威少JAVA·2019-06-13 15:33

大数据基础增强（1）

1、课程大纲（1）三台虚拟机环境准备（2）linux基础及shell增强（3）大数据集群环境准备（4）zookeeper介绍及集群操作（5）网络编程2、三台虚拟机创建并联网第一种方式：通过iso镜像文件来进行安装
魔法革·2019-06-09 22:49

大数据集群的搭建以及开发

大数据集群的搭建以及开发目录一．搭建环境准备...............................................................................
chenangle56·2019-06-06 10:34

impala查询慢事件

https://www.jianshu.com/p/c47f9c2d95ed【事件背景】1月19日20:20应用反馈运营大数据集群impala查询超时。
Moon_魔宽·2019-06-04 00:45

用shell脚本实现集群之间的免密登陆

推荐阅读写这个脚本的理由脚本说明关注菜鸟解说大数据推荐阅读1.在腾讯云中安装mysql2.shell脚本出来Mysql的增删改查3.MYSQL中limit不适用的场景4.用shell玩转MYSQL实战写这个脚本的理由在搭建大数据集群的时候
JunMoXiaoPro·2019-06-01 22:07

超越Spark，大数据集群计算的生产实践

Spark拥有一个庞大的、不断增长的社区，还有在企业环境中不可或缺的生态系统。这些生态系统提供了不同生产环境案例所需的许多功能。一般来说，Spark用做的是机器学习算法、日志聚合分析或者商务智能相关的运算，因为它在许多领域都有广泛的应用，包括商务智能、数据仓库、推荐系统、反欺诈等。本文会介绍Spark核心社区开发的生态系统库，以及ML/MLlib及SparkStreaming的Spark库的具体用
机器学习和人工智能·2019-05-19 20:47

Apache Ranger原理与应用实践

、ApacheRanger系统架构及实践1、架构介绍2、组件介绍3、权限模型4、权限实现Hdfs实现原理Hbase实现原理Hive实现原理Yarn实现原理四、Ranger实践1、组权限实现一、业务背景大数据集群最基本的就是数据以及用
灰二和杉菜·2019-05-15 23:18

VMware占用磁盘较高时压缩

VMware相信很多程序员小伙伴们在学习和工作当中用得很多,但是在使用VMware做分布式尤其是大数据集群方面使用时间久之后就会发现磁盘占用越来越大，查看Centos中得占用清理后没一两天磁盘占用又飙升起来
马仔里德尔·2019-04-23 16:00

大数据集群资源监控（一）—— IDC集群相关指标获取

背景：公司自建IDC机房，基于IDC机房构建大数据集群；需要对集群资源进行监控，集群采用的是CDH集群，采集主要分两块进行：HDFS和YARN相关的指标进行采集IDC机器自身的指标进行采集注意：也许有人会有疑惑
疯狂呼呼呼·2019-04-11 02:50

大数据集群资源监控（一）—— IDC集群相关指标获取

背景：公司自建IDC机房，基于IDC机房构建大数据集群；需要对集群资源进行监控，集群采用的是CDH集群，采集主要分两块进行：HDFS和YARN相关的指标进行采集IDC机器自身的指标进行采集注意：也许有人会有疑惑
疯狂呼呼呼·2019-04-11 02:50

搭建大数据集群架构Hadoop+Hive+Hbase+Spark+Zookeeper+Phoenix+Sqoop+Flume+Kafka+Azkaban

大数据集群搭建目录概叙41.1引言41.2集群拓扑图51.3整体架构图51.4设备选型61.5版本选择61.6功能分布7集群基础配置72.1修改主机名72.2hosts主机名IP映射文件修改72.3关闭防火墙
HelloNBA·2019-04-01 16:25

Docker在centos上的安装步骤

最近一段时间没有更新博客了，工作，工作，闲话不多说，docker大家都很不陌生，从去年5月份在做大数据项目的时候，我看网上有的朋友就用docker来搭建的大数据集群，当时由于对大数据需要，就没有过多研究
Jameslvt·2019-03-25 22:54

Logstash读取Kafka数据写入HDFS详解

://my.oschina.net/37Y37/blog/3024908强大的功能，丰富的插件，让logstash在数据处理的行列中出类拔萃通常日志数据除了要入ES提供实时展示和简单统计外，还需要写入大数据集群来提供更为深入的逻辑处理
chongxue2401·2019-03-20 09:00

大数据集群的搭建__zookeeper集群搭建（三台虚拟机）

注意：大数据集群的工具我们是下载好了的，详情请看大数据集群的搭建__准备工作，此篇博客是直接搭建zookeeper集群，如果出现问题的话请查看https://blog.csdn.net/chengxuhouya
时间总能抚平一切·2019-03-13 09:32

ASP.NET Core 实现带认证功能的Web代理服务器

引言最近在公司开发了一个项目，项目部署架构图如下：思路如图中文本所述，公司大数据集群不允许直接访问外网，需要一个网关服务器代理请求，本处服务器A就是边缘代理服务器的作用。
nodotnet·2019-03-10 08:00

阿里云TSDB在大数据集群监控中的方案与实战

目前大部分的互联网企业基本上都有搭建自己的大数据集群，为了能更好让我们的大数据集群更加高效安全的工作，一个优秀的监控方案是必不可少的；所以今天给大家带来的这篇文章就是讲阿里云TSDB在上海某大型互联网企业中的大数据集群监控方案中的实战案例
阿里云云栖社区·2019-03-06 00:00
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他