大数据集群

CDH6.3.1部署大数据集群

近期公司打算重新部署CDH大数据集群，之前使用的是CDH5.3.6的版本，搭建方式可以参考这里~此次重新部署，打算采用6.3.1的版本，之前的部署方式已然不适用，故重新整理，遂成此文~目录一、准备工作二
象在舞·2020-07-15 13:10

基于虚拟机搭建Hadoop大数据平台集群

（一）基于wmware创建虚拟机并安装Centos7操作系统，作为大数据集群的master节点。（1）修改网卡配置文件,不同版本的linux的网卡文件名字（ifcfg-ens33）不同，根据实际情况找
传道授业解惑者·2020-07-15 10:07

hadoop ---------HDFS阶段总结（要求掌握的知识总结大纲）

答：1.数据量大2.数据类型多样化3.价值密度低，商业价值高4.速度输入输出要求快大数据集群的搭建详细步骤HDFS是什么？答：分布式文件存储系统HDFS优点是什么？
xinpiannanhai·2020-07-15 10:55

大数据集群环境搭建——服务器篇

本文为《大数据集群环境搭建》的第一篇，服务器搭建篇。服务器采用五台CentOS7虚拟机，分别为master1mast
weixin_33699914·2020-07-15 04:33

大数据集群环境ssh免密码登录设置

一、准备工作用客户端工具（xshell或者ssh等等）连接到linux服务器。在root用户下输入命令：vi/etc/hosts,用vi编辑hosts文件，如下：127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4::1localhostlocalhost.localdomainlocalhost6loca
weixin_30952103·2020-07-15 04:38

linux基础一

VMware安装CentOS操作系统3.安装Linux连接工具PM1.Linux基本概念Linux内核GUN/GPL2.基本指令本门课程的定位1.企业环境中使用的服务器操作系统基本就是Linux系统2.大数据集群也是搭建在
天才白痴001·2020-07-14 22:11

大数据集群环境搭建

1概述本手册包括大数据集群环境搭建的全部环境步骤说明，例如环境准备（操作系统、JAVA环境等）、Hadoop、Spark、NoSQL数据库等。
老菜鸟哼哼哈嘿·2020-07-14 22:42

Cloudera Manager 简介

ClouderaManager简称CM,是企业级的大数据集群安装/升级/管理平台,帮助用户通过网页上的简单操作控制整个集群.其功能如下:1.提供一个softwarerepository,方便在各个节点上安装大数据的组件
爱知菜·2020-07-14 21:35

distcp集群迁移问题总结

distcp集群迁移问题总结一：环境准备1.源集群准备一台用于提交数据拷贝任务的机器，要求可以连接目标大数据集群且安装json命令寻找：datanode的机器且验证一下上面安装了json的命令2.打通源集群到目标集群的公网网址
亮大兵·2020-07-14 21:09

使用keepalived 做Carbon Thrift Server HA

CarbonThriftServerHACarbonThriftServer先决条件启动keepalived安装编辑check_carbon.shkeepalived.conf配置主节点backup节点测试CarbonThriftServer先决条件大数据集群环境
jzy3711·2020-07-14 13:15

大数据集群搭建--2 - centos7.4安装jdk1.7

centos7.4安装jdk1.7=====================1.JDK版本jdk版本为：jdk-7u80-linux-x64.tar.gz2.解压jdk包tar-zxvfjdk-7u80-linux-x64.tar.gz-C/usr/local/ys/app3.添加环境变量#javapathexportJAVA_HOME=/usr/local/ys/app/jdk1.7.0_80e
harris135·2020-07-14 11:45

搭建Cloudera Manager环境管理大数据集群

本文主要介绍如何搭建ClouderaManager环境来管理大数据集群。
象在舞·2020-07-14 10:29

spark应用yarn模式提交多个应用，一个Running,其它处于accepted状态

我的个人博客刚折腾起来的大数据集群，需要提交spark应用到yarn，每次只能运行一个，处于Running状态，其它处于Accepted状态，经过几天折腾，仍然只能运行两个spark应用，坚持了一下，终于解决
ikeguang·2020-07-14 09:55

利用FRP实现内网穿透

情况：自己有两台电脑，一台16G内存的Dell，和一台8G内存的MacBookPro，因为自己学的是大数据开发，所以需要搭建大数据集群，因此在MacBookPro开发的话内存太小了，既要用虚拟机搭建大数据集群
Movle·2020-07-14 07:48

Spark+Hadoop集群搭建：（零）简介与说明

Spark+Hadoop集群搭建：（零）简介与说明1背景2主要内容3使用工具版本说明4文章列表5参考文献注：未完成，待修改1背景2主要内容利用虚拟机实现Linux操作系统上的Spark+Hadoop大数据集群
闻曦·2020-07-13 11:42

使用Cloudera-CDH部署Hadoop大数据集群

最近一直在研究HadoopEcology，但是愁于没有虚拟主机或者云主机来搭建自己的集群，还好，我会Docker。偶然间，我看到了优达学城的Hadoop课程，讲的不错，视频很短，能够听懂和看懂英文，惊讶的是他们还请来了Hadoop的创始人DougCutting来讲述他自己的故事，建议各位大佬有空或者有兴趣的话可以去看看：https://classroom.udacity.com/courses/u
行书以鉴·2020-07-13 05:48

阿里云TSDB在大数据集群监控中的方案与实战

目前大部分的互联网企业基本上都有搭建自己的大数据集群，为了能更好让我们的大数据集群更加高效安全的工作，一个优秀的监控方案是必不可少的；所以今天给大家带来的这篇文章就是讲阿里云TSDB在上海某大型互联网企业中的大数据集群监控方案中的实战案例
阿里云云栖号·2020-07-12 19:28

Sqoop使用总结——导入数据到大数据集群import

目录RDBMS到HDFSRDBMS到HiveRDBMS到HbaseRDBMS到HDFS1)确定Mysql服务开启正常2)在Mysql中新建一张表并插入一些数据$mysql-uroot-prootmysql>createdatabasecompany;mysql>createtablecompany.staff(idint(4)primarykeynotnullauto_increment,name
滑冰选手库里·2020-07-12 11:06

Sqoop使用总结——从大数据集群导出数据export

HIVE/HDFS到RDBMS$bin/sqoopexport\--connectjdbc:mysql://hadoop000:3306/company\--usernameroot\--passwordroot\--tablestaff\--num-mappers1\--export-dir/user/hive/warehouse/staff_hive\--input-fields-termin
滑冰选手库里·2020-07-12 11:35

MapReduce：大集群下的单一数据进程（翻译）

在此函数类型之下的程序是自动平行并且执行在商用机器的大数据集群上的。这个实时系统做好了这些细节分割输入数据，机群调度，提交机器错误，以及管理机器间必要的交流。这让没有
Sun_d5f3·2020-07-11 20:11

hbase windows 单机版安装

大数据开发工作中，有时候开发和测试集群独立安装在特定的网段中,有时候想在本机上进行基于hbase的测试而又不想连接到大数据集群上，这个时候就可以将hbase在windows上安装个单机版。
富的只剩下代码·2020-07-11 11:28

Prometheus+Grafana+Hadoop实现对大数据集群监控

部署简介通过jmx_exporter对大数据各个组件进行参数监控，通过node_exporter对服务器基础进行参数监控，使用prometheus进行数据存贮，通过grafana进行界面展示安装包下载准备jmx获取方式：https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/prometheus相关包获取：
莹哎·2020-07-11 00:57

停止一下或多个进程以继续安装 vmware-vmx.exe 问题解决

1.起因：用vmware大虚拟机做大数据集群经常出现某个虚拟机起不来，还导致vmware无法关闭(提示某某虚拟机繁忙)。经网友提示，升级到15pro可以解决。
SWEENEY_HE·2020-07-10 23:49

架构-大数据集群资源评估方法

架构-大数据集群资源评估方法转载声明本文大量内容系转载自网络，有删改，并参考其他文档资料加入了一些内容：1资源需求背景二手电商网站需要构建一个Kafka集群，目标是每天抗住10亿请求量。
迷路剑客·2020-07-10 16:15

【大数据】从0配置一个大数据集群

三台虚拟机三个节点修改hostsip地址hadoop1ip地址hadoop2ip地址hadoop3免密登录生成秘钥ssh-keygen-trsa拷贝ssh-copy-idroot@hadoop1(分别三个机器上都拷贝3次）永久关闭防火墙systemctldisablefirewalldchkconfigiptablesoff解压tar-zxvfxxx.targz-C/xxx/tar-xvfxxx.
BIG*BOSS·2020-07-10 00:54

Centos7+Hadoop2.7.7+Hive2.3.0+Hbase2.0.2+spark2.4+zookeeper3.4.10搭建分布式大数据集群

虚拟机准备3台，分别是hadoop01hadoop02hadoop03，所装系统为centos71.修改主机名vim/etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop01NETWORKING_IPV6=noPEERNTP=novim/etc/hostnamehadoop012.主机名映射vim/etc/hosts（3台机子都改）192.168.1
泪痕残·2020-07-09 09:33

一起来学大数据｜Linux常用管理命令，及大数据集群的搭建

转自：https://www.toutiao.com/a6584315458000781838/?tt_from=mobile_qq&utm_campaign=client_share×tamp=1533083452&app=news_article&utm_source=mobile_qq&iid=39055545733&utm_medium=toutiao_ios昨天，我们对Linu
xiaoxianerqq·2020-07-09 01:52

大数据集群搭建服务器配置

刚接触大数据的时候，首先是想办法搭集群，而是在服务器配置上，总会出现很多问题，今天我将我将我在科多大数据配置服务器的经验分享给大家，希望对你们有帮助1、准备四台主机ip地址主机名192.168.200.151kd012G192.168.200.152kd022G192.168.200.153kd031G192.168.200.154kd041GZK:kd02，kd03,kd04NN:kd01,kd
科多兽兽·2020-07-08 20:20

Yarn---资源调度框架

在MapReduce应用程序的启动过程中，最重要的就是把MapReduce程序分发到大数据集群的服务器
奋斗中的小神仙·2020-07-08 18:58

CDH6集群部署

大数据集群管理方式分为手工方式（Apachehadoop）和工具方式（Ambari+hdp和ClouderaManger+CDH）主机：192.168.0.32：Server+agent192.168.0.33
weixin_34245749·2020-07-08 17:28

大数据集群部署与管理

一、大数据集群技术的概述让我们从有趣的“啤酒与尿布”故事说起，在美国沃尔玛连锁超市，人们发现了一个特别有趣的现象：尿布与啤酒这两种风马牛不相及的商品居然摆在一起，但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了
weixin_33704234·2020-07-08 15:14

从零搭建大数据集群（Apache 版本/CDH）

如果你没有接触过大数据，或搭建大数据集群的过程中遇到了一些问题。看完本Chat后，你将会明白如何搭建Apache版本的Hadoop集群以及CDH版本的大数据集群。
GitChat的博客·2020-07-08 11:37

基于docker简单快速搭测试大数据集群

作为一个大数据的学习者，有时候我们希望基于自己的笔记本中虚拟机简单配置一个大数据集群用于测试，如果基于cdh在多个虚拟机中配置集群可能对笔记本的硬件要求会很高。
小小北漂·2020-07-08 11:22

大数据集群之CDH版本搭建完整版

如果感兴趣，可以移驾我的博客，原文地址：https://hywelzhang.github.io/2017/11/03/%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA-CDH%E6%90%AD%E5%BB%BA.html本方法采用离线安装，需要先下载好clouderamanager和CDH的parcel安装包。系统为CentOS，jdk版本为1.8，CDH版本5.5.4和
hywelZhang·2020-07-08 11:11

虚拟机报错：Job for network.service failed because the control process exited with error code

文章目录1.错误：2.解决方案：3.原因：1.错误：今天又打开虚拟机准备搞大数据集群，由于有段时间没开机，开机后发现连不上网，ifconfig后连ip地址都没了：2.解决方案：网上有很多说法，大多都是重新
半坡人·2020-07-08 07:49

大数据集群环境搭建

文章目录安装软件包主机名及ip映射关系Linux系统环境设置安装jdk8安装zookeeper安装hadoopHadoopHDFS高可用集群搭建（NameNodeHAWithQJM）HadoopYARN高可用集群搭建（ResourceManagerHA）安装Hive安装HBase安装软件包linuxCentOS-6.5-x86_64-minimal.isojdkjdk-8u192-linux-x6
醉殇无痕·2020-07-08 00:25

大数据集群搭建之环境准备（虚拟机）

环境准备好了，可直接看大数据集群搭建之hadoop-完全分布式以虚拟机环境测试的物理机不一定适用系统是Centos7的1、配置静态ipvim/etc/sysconfig/network-scripts/
坚持不懈的进步·2020-07-07 23:48

大数据集群搭建

linux配置ip配置vim/etc/sysconfig/network-scripts/ifcfg-eth0DEVICE="eth0"BOOTPROTO="static"IPV6INIT="yes"NM_CONTROLLED="yes"ONBOOT="yes"TYPE="Ethernet"IPADDR=192.168.199.10NETMASK=255.255.255.0GATEWAY=192.
小K哥_2·2020-07-07 22:13

新购买的服务器搭建大数据集群之前的准备工作

1、设置时区，统一设置为东8区，手动同步时间(hbase对集群服务器之间时间要求比较严格)date-R##查看时区时候是东八区时间date-s'hh:mm:ss'#设置相应的时间clock-w#保存时钟，将时间写入系统硬盘，永久有效2、检查防火墙是否关闭，并将防火墙设置为永久关闭(1)检查防火墙状态serviceiptablesstatus#检查防火墙状态serviceiptablesstop#关
fct2001140269·2020-07-07 07:09

大数据集群所遇到的问题锦集（在更新中）

@Author:Spinach|GHB@Link:http://blog.csdn.net/bocai80581.HDFS远程访问权限不足2.在开启hiveserver2服务后，访问Hive权限不足3.搭建Scala错误：Error:scalac:errorwhileloadingJUnit41.HDFS远程访问权限不足//错误的详细描述如下：org.apache.hadoop.security.
GSpinach·2020-07-07 04:32

大数据集群搭建过程（学习笔记）

1.安装linux系统虚拟机采用的是vmvare，系统采用的是CentOS6.5精简版CentOS-6.5-x86_64-minimal.iso文件，选择自定义安装1.1网络模式选择NET模式，磁盘空间及内存处理器大小个数看系统环境配置，系统选择稍后安装。1.2配置硬盘分区，分别是/boot大小：200MB/swap大小：2048MB/大小：剩余所有空间2.配置ip，文件路径为：/etc/sysc
鱼游花海·2020-07-06 17:16

树莓派4b初体验（填坑）

本人是一只小白，想搞几块树莓派搭个大数据集群玩玩。于是乎先入手了一个，某宝随便淘了个4b，也不知道真假，反正能用。
黄小鲜生·2020-07-06 02:34

在类树莓派的ARM开发板上组建大数据集群

2019独角兽企业重金招聘Python工程师标准>>>先上效果：这是由三块pine64+开发板搭建的mini集群，网上有用树莓派搭建Hadoop文章，不过由于树莓派的性能实在太差了（很老的CPU，1G内存），所以最终我选择了与之价格相近（200左右一块）的pine64+（官方链接在此：http://www.pine64.com/product），它有一颗4核64位的A53CPU及2GBDDR3的内
weixin_34032827·2020-07-06 00:43

Hadoop- DistCp(分布式拷贝)

在实际的生产环境中，我们的企业都有测试集群和生产集群，有的比较大型的企业有多个版本的Hadoop大数据集群，这时候有个这样的需求，各个集群上的资源需要进行迁移，比如说一些生产集群需要一些测试集群的数据，
weixin_33994429·2020-07-05 23:29

从零开始的Hadoop大数据集群（伪）搭建，全免费VirtualBox虚拟机Ubuntu版，学习向，超详细---（三）

一、搭建hadoop集群这节搭建hadoop，首先去hadoop官网下载hadoop-2.8.5的包。然后启动虚拟机，打开xshell，上传到hadoop01服务器上。如图：接着将其拷贝到/opt下。然后执行解压命令：mvhadoop-2.8.5.tar.gz/optcd/opttarzxvfhadoop-2.8.5.tar.gz解压好之后，可以开始配置了。cdhadoop-2.8.5/etc/h
可能是假程序猿·2020-07-05 18:15

centos7大数据集群搭建-hadoop集群搭建大全

centos7大数据集群搭建转载地址https://www.jianshu.com/p/ddb868bd97cdcentos7大数据集群搭建前置条件刚开始我hadoop是cdh版,后期由于学的太多，软件版本混杂
辅猪之王·2020-07-05 07:10

Hadoop+hive+zookeeper+hbase+spark+kylin+mahout集群搭建

大数据集群配置.png一、装虚拟机vm，集群初始配置1、下载vm和ubuntu镜像，然后复制两份ubuntu,每台ubuntu都创建一个hadoop用户sudouseradd-m
Jason____·2020-07-05 00:24

hadoop、spark、flink集群修改默认ssh端口号

大数据集群在实际搭建过程中，其默认ssh端口不一定都是22，这时需要根据各自的配置文件进行适配。
江畔独步·2020-07-04 22:07

Spark on yarn报关于netty getchannel()Lio.netty....等的错

文章假设读者都已经完全部署好了Yarn与Spark，并且了解大数据集群间的基本关系。这个问题我调试了好几，然后在网上查找相关文章才得以解决。最后还是得感谢一位韩国朋友的博客。
OceaLee·2020-07-02 07:14

大数据集群遇到的问题（Hadoop、Spark、Hive、kafka、Hbase、Phoenix）

大数据平台中遇到的实际问题，整理了一下，使用CDH5.8版本，包括Hadoop、Spark、Hive、kafka、Hbase、Phoenix、Impala、Sqoop、CDH等问题，初步整理下最近遇到的问题，不定期更新。启动nodemanager失败2016-09-0714:28:46,434FATALorg.apache.hadoop.yarn.server.nodemanager.NodeMa
sunyang098·2020-07-01 15:01
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他