大数据环境搭建

大数据环境搭建之安装Hive以及组件Mariadb(MySQL)

我们在搭建大数据学习环境的时候需要搭建组件Hive以及MySQL(MariaDB)的数据库,Hive的本质就是一个MR的计算框架,它是将SQL语句的代码转化为MR的方式去执行的.我们的元数据是存放在MySQL(MariaDB)中的.而实际的数据是存放在HDFS上的,实现了数据的解耦.首先,安装MariaDB,我们是用yum的方式可以直接安装MariaDB的数据库,CentOS7.x对MySQL不再
Andy-ZHA·2020-07-11 20:10

【终极版】大数据环境搭建汇编 cent os 7(权限问题详解)

大数据环境搭建汇编网络静态IP设定命令行键入命令：确定该系统的静态IP，需要设置的参数如下：Bootproto参数为staticIp地址子网掩码网关dns服务器Onboo参数为yes，如下图编辑结束，重启机器或者运行
长河落日渊·2020-07-11 20:10

云计算操作流程记录

操作流程目录需要准备的材料，注意事项各项的实际操作步骤一、大数据环境搭建与操作开发环境软件版本对应环境搭建-操作步骤在这里说的都是踩过的一些坑，和一些操作步骤，如果需要可以认真的去阅读一下。
不会写代码的垃圾·2020-07-01 18:55

大数据环境搭建--03 Centos7安装hadoop2.8集群

注意：我们将大数据相关组件全部安装在/opt/bigdata目录1.hadoop2.x概述hadoop2中NameNode可以有多个（目前只支持2个）。每一个都有相同的职能。一个是active状态的，一个是standby状态的。当集群运行时，只有active状态的NameNode是正常工作的，standby状态的NameNode是处于待命状态的，时刻同步active状态NameNode的数据。一旦
M醉逍遥·2020-06-28 19:45

大数据环境搭建3：Apache Sqoop环境搭建

1.下载sqoop安装包下载地址http://mirror.bit.edu.cn/apache/sqoop/1.4.7/2.上传sqoop安装包，并安装解压安装tar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C../app3.配置环境变量(1)vi/etc/profileexportSQOOP_HOME=/home/wangping/app/sqoop-1
我能想到的·2020-06-27 13:26

另一种 Hadoop：Cloudera CDH 安装

本场Chat将详细介绍如何安装Cloudera公司的大数据平台CDH，帮助大家来领略一种不同的大数据环境搭建。本场Chat您将学到如下内容：目前市场上较为常用的商业化大数据平台有哪些；
GitChat的博客·2020-06-27 11:57

大数据环境搭建之一键部署

作者：Neshoir  大数据环境搭建是一项比较复杂的工作，因为其依赖的大数据基础平台组件较多，导致很多基础薄弱的伙伴在搭建环境时遇到各种不顺，索性我们定制化了两个一键部署包产品，产品包里包含了虚拟机系统
supermapsupport·2020-06-26 16:53

大数据环境搭建及基本使用

目录大数据环境搭建及基本使用环境搭建：Ubuntu18.04三台虚拟机大数据1.Hadoophdfs使用2.Hadoopmapreduce使用3.Hive使用4.Hbase使用5.Kafka使用大数据环境搭建及基本使用环境搭建
嘟嘟杜·2020-06-25 07:17

大数据环境搭建(在虚拟机上)

一、安装VMare二、安装Centos7三、配置linux1、配置网络ipaddr#查看本机ipvi/etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO=static#修改ONBOOT=yes#修改IPADDR=192.168.52.100NETMASK=255.255.255.0GATEWAY=192.168.52.2#结尾必须.2.1默认被占用
guettp·2020-06-25 01:08

用户画像大数据环境搭建——从零开始搭建实时用户画像(四)

本章我们开始正式搭建大数据环境，目标是构建一个稳定的可以运维监控的大数据环境。我们将采用Ambari搭建底层的Hadoop环境，使用原生的方式搭建Flink，Druid，Superset等实时计算环境。使用大数据构建工具与原生安装相结合的方式，共同完成大数据环境的安装。Ambari搭建底层大数据环境ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。
独孤风·2020-06-01 10:00

Ambari + Docker 进行大数据环境搭建

一、环境的准备在单机的情况下，是通过docker添加server和client镜像，来创建三个容器来模拟真实的主机的。环境的准备：1.docker安装2.server和client镜像的制作3.ambari安装时，已下载的离线源制做，见附录二、环境的安装（1）首先安装docker,docker安装需要ubuntu版本的最低内核要求为3.1.ubuntu16与14的安装步骤不同1.获取HTTPS传输
张晓天a·2020-04-11 00:14

大数据环境搭建--02 Centos7安装Zookeeper3.4.10

注意：我们将大数据相关组件全部安装在/opt/bigdata目录1.下载zookeeper安装包[root@cluster201bigdata]#pwd/opt/bigdata[hadoop@cluster201bigdata]$wgethttp://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz2.解压[root
M醉逍遥·2020-03-20 11:34

大数据环境搭建--01 Centos7环境配置

1.在VMware上安装三台Centos7虚拟机请参考其他教程，如：http://www.linuxidc.com/Linux/2014-10/108013.htm2.配置网路(使用NAT模式)设置VMware的ip(网关IP)，此次将网段设置为192.168.88.0，三台虚拟机的ip分别为201，202，203Paste_Image.pngPaste_Image.png将主机上的VMnet8虚
M醉逍遥·2020-02-26 02:02

一次完整的大数据环境搭建——构建数据仓库Hive

所用软件版本号Mysql-Servermysql-community-serverMysql服务器连接依赖包mysql-connector-java-5.1.5-bin.jarhiveapache-hive-2.1.1-bin.tar.gzmaster作为client客户端slave1作为hiveserver服务器端slave2安装mysqlserver1、slave2上安装mysqlserver
lg的精神食粮·2019-12-15 11:08

大数据环境搭建Step1 zookeeper安装配置

集群搭建有三个节点master192.168.21.161slave1192.168.21.162slave2192.168.21.163软件Centos7jdk-8u171-linux-x64.tar.gzzookeeper-3.4.14获取软件获取JDKwgethttps://repo.huaweicloud.com/java/jdk/8u171-b11/jdk-8u171-linux-x64
麦穗儿·2019-11-22 11:39

大数据环境搭建

首先在VMware创建至少3台linux虚拟机，4台最好！1.设置本地网络环境和虚拟网络环境VMware中左上角点击编辑中点击虚拟网络编辑器，将虚拟网络编辑器下面的子网IP地址设为如图![虚拟网络编辑器然后点击NAT设置，将网关设置为192.168.110.1。创建虚拟机后，会生成两个虚拟网卡(取VMnet8),设置本机网络环境，网段一定要和的虚拟网络编辑器中设置的网段相同。2.编辑第一个虚拟机相
ho_ll_ow·2019-09-17 21:37

[转]大数据环境搭建步骤详解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark等安装与配置）

原文链接：https://blog.csdn.net/pig2guang/article/details/85313410大数据环境安装和配置（Hadoop2.7.7，Hive2.3.4，Zookeeper3.4.10，Kafka2.1.0，Flume1.8.0，Hbase2.1.1，Spark2.4.0等）系统说明搭建步骤详述一、节点基础配置二、Hadoop安装和配置三、Hive安装和配置四、Z
JackieZhengChina·2019-09-16 09:45

mac 10.14 大数据环境搭建

安装包版本列表(2019.4.17)名称版本号zookeeper3.4.13hadoop3.1.2flume1.9.0hbase1.2.9hive3.1.1kafka2.1.1sqoop1.4.6_1storm1.2.2mysql8.0.15jdk安装（略）(1.8)安装zookeeper(3.4.13)环境变量conf目录下：cpzoo_sample.cfgzoo.cfg修改zoo.cfgdat
geneti·2019-05-21 15:27

大数据环境搭建系列-hadoop高可用集群搭建

概述记录一下快速搭建一个高可用的hadoop集群，机器5台(cdh01~cdh05)分配cdh01、cdh02为名称节点，cdh01~cdh05为数据节点部署规划主机名系统ip进程cdh01Linux192.168.8.21NameNode、ZKFC、Resourcemanager、DataNode、NodeManager、Journalnodecdh02Linux192.168.8.22Name
bankq·2019-04-18 15:37

大数据环境搭建

大数据环境搭建配置SSH权限问题配置SSH1、修改主机名（所有主机）#hostnamectlset-hostnamexxx/etc/hosts172.16.2.106slave106172.16.2.107master172.16.2.108slave1082
YK_324504836·2019-03-28 16:59

大数据环境搭建步骤详解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark等安装与配置）

大数据环境安装和配置（Hadoop2.7.7，Hive2.3.4，Zookeeper3.4.10，Kafka2.1.0，Flume1.8.0，Hbase2.1.1，Spark2.4.0等）系统说明搭建步骤详述一、节点基础配置二、Hadoop安装和配置三、Hive安装和配置四、ZooKeeper安装和配置五、Kafka安装和配置六、Flume安装和配置七、Hbase安装和配置八、Spark安装和配置
原来浙小商啊·2019-01-02 13:12

一次完整的大数据环境搭建——Hadoop安装

所用软件版本号hadoophadoop-2.7.3.tar.gz1、Hadoop安装（1）创建对应工作目录/usr/hadoop并解压hadoop到相应目录：mkdir-p/usr/hadooptar-zxvf/opt/soft/hadoop-2.7.3.tar.gz-C/usr/hadoop/（2）配置环境变量：vim/etc/profileexportHADOOP_HOME=/usr/hado
lg的精神食粮·2018-12-19 16:43

Centos系统下卸载、安装MySQL及用户的创建、授权和使用（详细。。。。）

由于经常使用linux系统，并且大数据环境搭建中经常会使用到mysql，不像windows系统下的安装，今天有点空写一篇，下面我给大家演示一遍。
四季写爱·2018-12-19 14:00

大数据环境搭建过程中各介质的下载地址

1.JAVA-JDKhttp://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html点击"AcceptLicenseAgreement"--选择linux64位对应介质，点击下载。2.Hadoop软件http://hadoop.apache.org/releases.html官网上有各种最新的版本
Ru_ach·2018-06-20 19:37

分布式大数据环境搭建教程

写在前面的话在安装过程中会遇到很多linux命令，在此对重要命令进行总结(1)：VMware虚拟机与Windows间系统光标切换快捷键：Ctrl+Alt(2)：linux系统复制快捷键：Ctrl+Insert(3)：linux系统粘贴快捷键是：Shift+Insert(4)：linux系统vi编辑器下搜索快捷键：/+你要搜索的内容(5)：linux系统vi编辑器下显示文件内容行号执行：:setnu
她说巷尾的樱花开了·2017-12-20 15:56

unbuntu 37~16.04.1 安装IDEA

ubuntu大数据环境搭建一java安装1.在oracle官网,下载版本1.8.tar.gz2.解压文件后,修改名称tar-xzvfjdkmvjdk/usr/java3.在软件安装的用户所在profile
dymkkj·2017-09-14 11:07

大数据环境搭建

原文：https://yq.aliyun.com/articles/180359?utm_content=m_29440由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMwareWorkstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。VMware的安装，装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机
Dzq_Boyka·2017-08-29 16:12

大数据环境搭建

原文：https://yq.aliyun.com/articles/180359?utm_content=m_29440由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMwareWorkstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。VMware的安装，装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机
Dzq_Boyka·2017-08-29 16:12

大数据，hadoop,spark,hive,ZooKeeper,kafka,flume等组件环境搭建

大数据环境搭建1、VirtualBox4.12、CentOS6.53、JDK1.74、SecureCRT（自己下载）5、WinSCP（自己下载）6、Hadoop2.4.17、Hive0.138、ZooKeeper3.4.59
heavylgf·2017-03-30 18:20

大数据环境搭建-之-hadoop 2.x分布式部署-集群配置

1、下载hadoop并解压2、为hadoop文件分配角色   chown-Rhadoop:hadoophadoop            组名：角色名  文件名3、ls-l查看详细信息 角色分配是否成功4、创建hadoop需要的文件目录   mkdir-p/data/dfs/name   mkdir-p/data/dfs/data   mkdir-p/data/tmp5、分配角色权限给自己的用户目
1121827·2016-03-07 23:14

大数据环境搭建-之-ssh无密码登陆

yumsearchssh：查询可安装的ssh包 yuminstall-yopenssh：安装ssh包 yumlistinstalledopenssh:查询是否已安装了openssh 配置无密码登陆 1、由root用户切换到hadoop用户下 2、在根路径下（/home/hadoop）创建.ssh文件     mkdir.ssh 3、生成密钥  ssh-keygen-trsa-P"" 4、进入.ss
1121827·2016-03-07 23:35

Hadoop — Linux（Ubuntu15.04）下安装`配置Hadoop(2.6.0)

大数据环境搭建#环境该教程系统环境为Ubuntu15.04（其他版本的Linux操作系统可以借鉴），Hadoop版本为Hadoop2.6.0#创建一个Hadoop的用户在安装Hadoop之前，尽量创建一个专门的
PeersLee·2015-10-21 16:14
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他