大数据集群

大数据集群VM搭建步骤

大数据集群VM搭建步骤Shell脚本vimsh1cd/usrlschmod+xsh1.
__Simon_·2018-12-05 19:38

Spark 框架安全认证实现

导言随着大数据集群的使用，大数据的安全受到越来越多的关注一个安全的大数据集群的使用，运维必普通的集群更为复杂。集群的安全通常基于kerberos集群完成安全认证。
hellozhxy·2018-11-28 21:08

如何用cloudera manager接管已有hadoop的cdh版本集群

一、下载必备文件：1.clouderamanager：大部分公司内大数据集群环境都无公网访问权限，针对当前集群系统环境和想要接入的cm
学霸很烦恼·2018-11-28 16:16

大数据集群搭建（15）——Scala及Spark的安装（单节点和集群）

Spark的安装1.首先安装scala1.1.创建scala目录，上传并解压安装包。cd/usrmkdirscalacdscalarz（选中上传准备好的scala安装包）tar–zxvfxxxxxxxx1.2.配置环境变量vi/etc/profile#ScalaexportSCALA_HOME=/usr/scala/scala-2.10.5exportPATH=$PATH:$SCALA_HOME/
cop封尘·2018-11-20 10:29

大数据集群搭建（15）——Scala及Spark的安装（单节点和集群）

Spark的安装1.首先安装scala1.1.创建scala目录，上传并解压安装包。cd/usrmkdirscalacdscalarz（选中上传准备好的scala安装包）tar–zxvfxxxxxxxx1.2.配置环境变量vi/etc/profile#ScalaexportSCALA_HOME=/usr/scala/scala-2.10.5exportPATH=$PATH:$SCALA_HOME/
cop封尘·2018-11-20 10:29

大数据集群搭建（13）——Storm的集群安装

Storm的安装1.创建storm目录，上传并解压安装包。2.配置storm的配置文件在conf/storm.yaml上添加以下内容。storm.local.dir:"/usr/storm"storm.zookeeper.servers:-"master"-"slaver1"-"slaver2"storm.zookeeper.port:2181nimbus.seeds:["master"]ui.h
cop封尘·2018-11-15 17:55

大数据集群搭建（13）——Storm的集群安装

Storm的安装1.创建storm目录，上传并解压安装包。2.配置storm的配置文件在conf/storm.yaml上添加以下内容。storm.local.dir:"/usr/storm"storm.zookeeper.servers:-"master"-"slaver1"-"slaver2"storm.zookeeper.port:2181nimbus.seeds:["master"]ui.h
cop封尘·2018-11-15 17:55

大数据集群搭建（12）——Flume和Kafka的整合

Flume和Kafka的整合1.配置flume，在flume的conf目录下新建文件（flume_kafka.conf）并配置。##########################################################主要作用是监听目录中的新增数据，采集到数据之后，输出到kafka##注意：Flumeagent的运行，主要就是配置sourcechannelsink##下面
cop封尘·2018-11-15 17:37

大数据集群搭建（12）——Flume和Kafka的整合

Flume和Kafka的整合1.配置flume，在flume的conf目录下新建文件（flume_kafka.conf）并配置。##########################################################主要作用是监听目录中的新增数据，采集到数据之后，输出到kafka##注意：Flumeagent的运行，主要就是配置sourcechannelsink##下面
cop封尘·2018-11-15 17:37

大数据集群搭建（11）——Kafka的安装

Kafka的安装1.创建kafka目录，上传并解压安装包cd/usrmkdirkafkacdkafkarz（选中上传准备好的kafka安装包）tar–zxvfxxxxxxxx2.修改config下配置文件2.1.修改server.properties#broker的全局唯一编号，不能重复broker.id=01#broker需要使用zookeeper保存meta数据zookeeper.connec
cop封尘·2018-11-15 11:20

大数据集群搭建（10）——Flume的多节点集群搭建

Flume的多节点集群搭建1.将主节点的flume拷贝到其他节点上scp-r/usr/flume/root@slaver1:/usr/flume/scp-r/usr/flume/root@slaver2:/usr/flume/2.在master上面配置conf文件：从某个文件夹里面采集数据，采集到的数据sink到slaver2里面(文件名:m-s2.conf)###################
cop封尘·2018-11-14 17:01

大数据集群搭建（10）——Flume的多节点集群搭建

Flume的多节点集群搭建1.将主节点的flume拷贝到其他节点上scp-r/usr/flume/root@slaver1:/usr/flume/scp-r/usr/flume/root@slaver2:/usr/flume/2.在master上面配置conf文件：从某个文件夹里面采集数据，采集到的数据sink到slaver2里面(文件名:m-s2.conf)###################
cop封尘·2018-11-14 17:01

大数据集群搭建（9）——Flume收集文件到HDFS

flume将文件收集到HDFS上面1.将hadoop的core-site.xml,hdfs-site.xml复制到flume/conf下（文件在hadoop根目录的etc/hadoop下）2.将hadoop的三个jar包拷贝到flume/lib下share/hadoop/common/hadoop-common-2.2.0.jarshare/hadoop/common/lib/hadoop-aut
cop封尘·2018-11-14 17:19

大数据集群搭建（9）——Flume收集文件到HDFS

flume将文件收集到HDFS上面1.将hadoop的core-site.xml,hdfs-site.xml复制到flume/conf下（文件在hadoop根目录的etc/hadoop下）2.将hadoop的三个jar包拷贝到flume/lib下share/hadoop/common/hadoop-common-2.2.0.jarshare/hadoop/common/lib/hadoop-aut
cop封尘·2018-11-14 17:19

大数据集群搭建（8）——Flume的单节点安装及使用

1.Flume的安装1.1.创建flume文件夹，上传并解压安装包cd/usrmkdirflumecdflumerz（选中上传准备好的flume安装包）tar–zxvfxxxxxxxx1.2.修改配置文件1.2.1.修改flume-env.sh文件[root@masterconf]#mvflume-env.sh.templateflume-env.shexportJAVA_HOME=/usr/et
cop封尘·2018-11-14 16:58

大数据集群搭建（8）——Flume的单节点安装及使用

1.Flume的安装1.1.创建flume文件夹，上传并解压安装包cd/usrmkdirflumecdflumerz（选中上传准备好的flume安装包）tar–zxvfxxxxxxxx1.2.修改配置文件1.2.1.修改flume-env.sh文件[root@masterconf]#mvflume-env.sh.templateflume-env.shexportJAVA_HOME=/usr/et
cop封尘·2018-11-14 16:58

大数据集群搭建（7）——Zookeeper集群的搭建

Zookeeper集群的搭建1.创建zookeeper目录，上传并解压安装包cd/usrmkdirzookeepercdzookeeperrz（选中上传准备好的zookeeper安装包）tar–zxvfxxxxxxxx2.配置准备工作2.1.jdk安装完成2.2.Hosts配置完成2.3.设置SSH免密2.4.防火墙关闭3.配置3.1.把conf目录下的zoo_sample.cfg，改名为zoo.
cop封尘·2018-11-14 16:49

大数据集群搭建（6）——Hbase集群的搭建

Hbase集群的搭建1.创建hbase目录，上传并解压安装包cd/usrmkdirhbasecdhbaserz（选中上传准备好的hbase安装包）tar–zxvfxxxxxxxx2.将hadoop的hdfs-site.xml和core-site.xml拷贝到hbase的conf下cp/usr/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml/usr/hbas
cop封尘·2018-11-14 16:08

大数据集群搭建（6）——Hbase集群的搭建

Hbase集群的搭建1.创建hbase目录，上传并解压安装包cd/usrmkdirhbasecdhbaserz（选中上传准备好的hbase安装包）tar–zxvfxxxxxxxx2.将hadoop的hdfs-site.xml和core-site.xml拷贝到hbase的conf下cp/usr/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml/usr/hbas
cop封尘·2018-11-14 16:08

大数据集群搭建（5）——Hbase的单节点安装

Hbase的单节点安装1.新建hbase目录，上传并解压安装包cd/usrmkdirhbasecdhbaserz（选中上传准备好的hbase安装包）tar–zxvfxxxxxxxx2.配置环境变量vi/etc/profile#HbaseexportHBASE_HOME=/usr/hbase/hbase-2.0.0exportPATH=$PATH:$HBASE_HOME/binsource/etc/
cop封尘·2018-11-14 16:37

大数据集群搭建（5）——Hbase的单节点安装

Hbase的单节点安装1.新建hbase目录，上传并解压安装包cd/usrmkdirhbasecdhbaserz（选中上传准备好的hbase安装包）tar–zxvfxxxxxxxx2.配置环境变量vi/etc/profile#HbaseexportHBASE_HOME=/usr/hbase/hbase-2.0.0exportPATH=$PATH:$HBASE_HOME/binsource/etc/
cop封尘·2018-11-14 16:37

大数据集群搭建（4）——Hive的安装

Hive安装1.在/usr目录下新建tools目录，上传并解压文件cd/usrmkdirtoolscdtoolsrz（选中上传准备好的hive安装包）tar–zxvfapache-hive-2.0.0-bin.tar.gz2.添加环境变量：vi/etc/profile#HiveexportHIVE_HOME=/usr/tools/apache-hive-2.3.3-binexportPATH=$P
cop封尘·2018-11-14 16:54

大数据集群搭建（4）——Hive的安装

Hive安装1.在/usr目录下新建tools目录，上传并解压文件cd/usrmkdirtoolscdtoolsrz（选中上传准备好的hive安装包）tar–zxvfapache-hive-2.0.0-bin.tar.gz2.添加环境变量：vi/etc/profile#HiveexportHIVE_HOME=/usr/tools/apache-hive-2.3.3-binexportPATH=$P
cop封尘·2018-11-14 16:54

大数据集群搭建（3）——Centos的mysql安装

Centos的mysql安装1.查看本机的mysqlrpm-qa|grepmysql2.卸载本机上原有的mysql（卸载后输入查看命令，没有结果为完成）rpm-e--nodepsmysql-xxxxx3.添加依赖包安装yumsearchlibaioyuminstalllibaio4.添加mysql组及mysql用户groupaddmysqluseradd-r-gmysql-s/bin/falsem
cop封尘·2018-11-14 16:58

大数据集群搭建（2）——Hadoop集群搭建

Hadoop集群搭建1.Hadoop集群搭建准备工作1.1.关闭防火墙serviceiptablesstopchkconfigiptablesoff1.2.添加固定ip（每个节点都需要添加）vi/etc/sysconfig/network-scripts/ifcfg-eth0在文件中添加以下内容：（文中标红部分可通过ifconfig命令查找）ONBOOT=yesBOOTPROTO=noneIPAD
cop封尘·2018-11-14 14:57

大数据集群搭建（1）——Centos的JDK安装

Centos的JDK安装1.查看本机的jdkrpm-qa|grepjdk2.卸载本机上原有的jdkrpm-e--nodepsjdk-xxxxx3.安装rz文件传输工具yumlistlrzszyuminstalllrzsz.x86_644.在/usr/etc目录下使用rz命令上传jdk的tar包（jdk-8u101-linux-x64.tar.gz）[root@masteretc]#rz5.解压jd
cop封尘·2018-11-14 12:33

大数据集群搭建（1）——Centos的JDK安装

Centos的JDK安装1.查看本机的jdkrpm-qa|grepjdk2.卸载本机上原有的jdkrpm-e--nodepsjdk-xxxxx3.安装rz文件传输工具yumlistlrzszyuminstalllrzsz.x86_644.在/usr/etc目录下使用rz命令上传jdk的tar包（jdk-8u101-linux-x64.tar.gz）[root@masteretc]#rz5.解压jd
cop封尘·2018-11-14 12:33

使用docker搭建大数据平台

尽管说运维坚决不同意在docker上运行大数据组件，但是我觉得，作为测试和学习目的在本地快速构建大数据集群仍然是一件非常有意义的事情。
define_us·2018-11-08 14:28

记一次hadoop大数据集群生产事故

陆续对原有的hadoop、hbase集群做了扩容，增加了几个节点，中间没有重启过，今天早上发现一个hregionserver服务停止了，就先启动服务，没想到启动之后一直有访问数据的出错，尝试对整个hbase集群进行重启出现了下面的错误：$start-hbase.shmasterrunningasprocess112580.Stopitfirst.Theauthenticityofhost'szc-
断臂人·2018-11-07 22:34

记一次hadoop大数据集群生产事故

陆续对原有的hadoop、hbase集群做了扩容，增加了几个节点，中间没有重启过，今天早上发现一个hregionserver服务停止了，就先启动服务，没想到启动之后一直有访问数据的出错，尝试对整个hbase集群进行重启出现了下面的错误：$start-hbase.shmasterrunningasprocess112580.Stopitfirst.Theauthenticityofhost'szc-
我的八仙桌·2018-11-07 22:21

HIVE扩展GIS函数

    按项目日益增长的gis数据量要求,需要在大数据集群中部署HIVE的扩展函数。    ApacheHive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据的精炼，查询和分析。
polong·2018-10-28 11:00

windows无法连接虚拟机,虚拟机可以上网

玩大数据集群的时候大家可能都会使用到虚拟机,但是我发森了一个灵异事件,我前两天还能连接虚拟机使用ssh工具操作的,但是今天就不能了,一般使用以下排除方式:1.win+R键ping虚拟机ip获得的结果是无法连接
放眼余生·2018-10-13 21:43

大数据集群清理缓存

大数据集群在建立好之后，因为某些任务（例如处理SQL语句等）可能会出现各组件失联、CPU巨高或ssh登录不了的问题。我们可以通过清理缓存来解决内存的问题。
象在舞·2018-09-27 21:45

CDH6集群部署

大数据集群管理方式分为手工方式（Apachehadoop）和工具方式（Ambari+hdp和ClouderaManger+CDH）主机：192.168.0.32：Server+agent192.168.0.33
hellojinni·2018-09-18 11:42

Sqoop 导入导出详解(mysql-hive/hdfs)

1.导入数据在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。
似梦似意境·2018-09-17 22:52

Spark on Yarn 解惑

一：HadoopYarn解析1，Yarn是Hadoop推出整个分布式（大数据）集群的资源管理器，负责资源的管理和分配，基于Yarn我们可以在同一个大数据集群上同时运行多个计算框架，例如Spark、MapReduce
DPnice·2018-08-21 11:24

大数据集群常见问题总结

项目将近尾声，上线一切顺利，在开发过程中遇到了不少的问题，趁着空闲时间对项目中遇到的常见问题做一个总结，当作一个笔记，问题如下：java.io.IOException:Couldnotobtainblock:blk_194219614024901469_1100file=/user/hive/warehouse/src_20180124_log/src_20180124_log出现这种情况大多是结
郭首志·2018-08-18 20:50

大数据集群搭建和使用之八——kafka配置和使用

Kafka配置启动记一次服务器被黑客攻击使用KAFKA基本概念kafkashellkafkajavademo生产者样例消费者样例运行说明这个系列指南使用真实集群搭建环境，不是伪集群，用了三台腾讯云服务器或者访问我的个人博客站点，链接Kafka配置kafka依赖zookeeper，所以先确保集群已经安装zookeeper并且能够正常启动。浪费了一整天的时间debug结果bug很简单（至少现在集群没有
ColonyAlbert·2018-08-15 10:29

大数据集群搭建和使用之一——系统前期准备

大数据架构总览需要的安装包地址系统前期准备系统选用修改hostname，添加ip映射ssh免密码登录检查集群主机的时间是否一致设置后续要使用的命令的快捷命令（别名）设置环境变量配置java这个系列指南使用真实集群搭建环境，不是伪集群，用了三台腾讯云服务器或者访问我的个人博客站点，链接大数据架构总览需要的安装包地址Hadoop:http://www.apache.org/dyn/closer.cgi
ColonyAlbert·2018-08-15 10:49

关于Centos7.3安装Ambari2.4.2+HDP2.5.3搭建大数据集群的笔记（下）

主机环境：Centos7.3（一台）Ambari2.4.2HDP2.5.3登录AmbariUI界面：http:://master:8080默认账号和密码都是：admin安装HDP2.4.2配置集群。点击上面登录成功页面的LaunchInstallWizard按钮进行集群配置。1.设置集群名称；2.设置HDP安装源；选择HDP2.5.3,并且设置AdvancedRepositoryOptions的信
Hiwes·2018-08-10 18:23

关于Centos7.3安装Ambari2.4.2+HDP2.5.3搭建大数据集群的笔记（上）

主机环境：Centos7.3（一台）Ambari2.4.2HDP2.5.3正常安装Centos7.3操作系统，相关教程很多，在此不多作描述。1.安装后登录root用户，进行权限认证：vim/etc/gdm/custom.conf在[daemon]下方进行添加：AutomaticLoginEnable=trueAutomaticLogin=root#你想自动登录的用户名Ps：删除用户方法userde
Hiwes·2018-08-10 17:15

linux下僵尸进程的发现与处理（kill -9 无法杀掉的进程）

环境信息：centos6.5问题描述：大数据集群HDFS的DataNode的一个节点down掉，去服务器查看，发现datanode节点还在，打算重新启动该节点的datanode，使用hadoop-daemon.shstopdatanode
梦回从前·2018-08-08 16:35

大数据集群搭建 - 2. CDH集群安装 - NTP,MYSQL,nginx安装

五、安装ntpd时间服务器按照Cloudera的官方建议，所有的CDH节点和CloudeaManager节点都需要启动ntpd服务。要不然会报如下错误：1.此角色的主机的运行状况为不良。以下运行状况测试不良：时钟偏差.2.Thehost'sNTPserviceisnotsynchronizedtoanyremoteserver.解决方法:配置一台ntp服务器，所有的CDH节点作为此ntp服务器的客
星空·2018-07-18 00:00

大数据技术之sqoop（二）

四、Sqoop的简单使用案例4.1、导入数据在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。
Zoin·2018-07-17 13:09

2.2Virtualbox高级应用构建本地大数据集群服务器

2.2Virtualbox高级应用构建本地大数据集群服务器“卜算子·大数据”一个开源、成体系的大数据学习教程。
王小雷-多面手·2018-07-08 16:24

大数据云端实验室项目实战-微博舆情大数据分析-CSDN公开课-专题视频课程

大数据云端实验室项目实战-微博舆情大数据分析—386人已学习课程介绍云端大数据实战，大数据集群深刻体验，完整还原大数据项目实施方法课程收益讲师介绍CSDN公开课更多讲师课程CSDN线上公开课全掌握！
CSDN学院官方账号·2018-07-04 16:08

Linux搭建大数据集群必备知识

1.设置hostname:hostnamectlset-hostnamexxx2.linux7安装CDH必备库yuminstallredhat-lsbyuminstallmod_sslyuminstallopenssl-develyuminstallMySQL-pythonyuminstallpython-psycopg2yuminstallpostgresql-server3.关闭seLinux
zb313982521·2018-06-23 21:26

springboot+mybatis连接Postgresql数据库实例

oushudatabase有兴趣的可以看一下官网示例：http://www.oushu.io/docs/ch/programming.htmlspringboot+mybatis连接postgresql的需求是数据源来自大数据集群
Alice_qixin·2018-06-23 18:34

6个人如何维护上千规模的大数据集群？

其中6人的离线团队需要维护大数据集群规模如下：Hadoop集群规模1300+HDFS存量数据40+PB，Read3.5PB+/天，Write500TB+/天14WMRJob/天，10WSparkJob/
假的鱼·2018-06-23 16:22

关于从节点的HRegionServer启动不起来的解决办法

版本信息：主机环境：Centos7.33台(1master，2slave)HBase：1.2.0-cdh5.7.0近日在重新搭建大数据集群的时候，发现一个之前没有遇到的问题，特此记录下来：当配置HBase
Hiwes·2018-06-22 11:06
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他