大数据环境搭建

大数据环境搭建(一)-Hive

1hive介绍由Facebook开源的,用于解决海量结构化日志的数据统计的项目本质上是将HQL转化为MapReduce、Tez、Spark等程序Hive表的数据是HDFS上的目录和文件Hive元数据metastore，包含Hive表的数据库、表名、列、分区、表类型、表所在目录等。根据Hive部署模式(嵌入、本地、远程)的不同，元数据存储的位置也不同，一般是远程方式多用户访问，元数据存储MySQL中
xfchn多多学习学习·2024-02-03 20:42

大数据环境搭建(一)-Hadoop

1.服务器环境准备Linux镜像:centos7.9JDK:jdk1.8.0_212Hadoop:apache-hadoop-3.3.4创建虚拟Linux服务器配置虚拟机，每台主机名与ip如下主机名ipbd-centos01192.168.159.101bd-centos02192.168.159.102bd-centos03192.168.159.103修改网络配置文件（以bd-centos01
xfchn多多学习学习·2024-01-31 07:20

河北省技能大赛-大数据赛项环境搭建

河北省技能大赛大数据环境搭建环境准备映射（在每个节点操作）vi/etc/hosts#进入文件#在文件最后面添加以下内容192.168.88.154master192.168.88.156slave1192.168.88.155slave2
阿龙的代码在报错·2023-11-11 23:11

大数据环境搭建

大数据环境搭建linux环境安装VM虚拟机centos创建用户并赋予权限ssh免密登录配置编写集群分发脚本xsync安装jdk集群所有进程查看脚本hadoop环境配置Hadoop集群Hadoop环境hadoop
yulishi12·2023-11-01 07:36

【2024大数据专业毕业设计必过选题】100个大数据专业毕设选题免费详细讲解，大数据毕业生必看毕设选题、创新点，hadoop/spark/hive/实时数据分析选题指导

年大数据专业毕设必过选题选题注意事项：（1）数据是否能够获取（2）工作量是否满足毕设要求（3）代码是否通俗易懂，能否在短期内掌握（4）选题是否具有现实意义，创新点（5）个人电脑硬件是否支持运行大数据项目大数据毕设项目主要流程：（1）大数据环境搭建
奶糖小果冻·2023-10-28 11:43

大数据环境搭建-Hadoop伪分布式安装-spark安装-kafka安装

1、所需安装包CentOS-7-x86_64-DVD-1908.isoVMware-workstation-full-15.1.0-13591040.exeFileZilla_3.43.0_win64_sponsored-setup.exejdk1.8.0_171hadoop-2.7.3scala-2.12.1spark-2.3.0-bin-hadoop2.72、修改主机名2.1主机名修改为had
神秘人�·2023-10-14 17:47

大数据环境搭建-基础配置

前言：大数据比赛的环境是在三台虚拟机上，虚拟机的操作系统是centos7，一种linux操作系统，centos7没有图形操作界面，进入它之后是完全的命令行操作系统。很多代码、操作都是一些单词的组合，花点心思记一下很容易就能记住。修改虚拟机名字一方面是为了更方便的分辨三台虚拟机，三台虚拟机后面的工作职责是不一样的，另一方面也为了配置hosts文件打基础。配置hosts文件，是为了实现虚拟机名字和ip
钴槿·2023-09-22 02:47

大数据环境搭建------基础环境配置

准备材料：操作系统：Centos7（最好有网络）软件：JDK：jdk-8u171-linux-x64.tar.gz（最好使用JDK1.8以上）在虚拟机中搭建三个linux系统，分别代表三个节点{主节点：master从节点：slave1、slave2}此次操作均在root用户下进行1.修改主机名称（三台机器均修改）（1）临时修改命令：hostnamectlset-hostnamemaster(以主节
dieqian3911·2023-09-22 02:15

大数据环境搭建及zookeeper学习笔记

一、搭建环境常用命令：1.设置ip地址、子网掩码、网关：vim/etc/sysconfig/network-scripts/ifcfg-eth02.重启网络servicenetworkrestart3.修改主机和ip地址映射关系vim/etc/hosts4.修改机器网卡设置vim/etc/udev/rules.d/70-persistent-net.rules5.修改主机名称vim/etc/sys
爱咘叮的米粉·2023-09-12 01:54

大数据hadoop组件下载、windows环境搭建、官方文档查看详细步骤

第二步：点击Apachereleasearchive（意思是：Apache的版本存档）第三步：选择自己需要的版本进行下载第四步：进去之后下载(注意：第一个是源码(看自己需求，需要就下载)，第二个才是组件)大数据环境搭建
ryan_spark·2023-08-28 12:53

大数据环境搭建

一、准备工作1.安装好虚拟机VMware.Pro2.安装好操作系统CentOSCentOS的安装_编程届的学渣的博客-CSDN博客3.安装好远程控制虚拟机的终端Finallshell下载地址：http://www.hostbuf.com/t/988.html虚拟机输入ifconfig查找IP地址远程连接连接成功。如果再次登录时无法连接，可能是IP地址发生改变，改一下自己的IP地址即可二、Hadoo
编程届的学渣·2023-08-18 18:31

大数据环境搭建:基于cenotos8

环境的搭建配置静态ip;设置ssh免密登录linux分发脚本centos8同步上海时间centos8安装mysql5.7hadoop安装与配置centos8安装rediscentos8安装flume
你很棒滴·2023-06-16 17:24

大数据环境搭建 Hadoop+Hive+Flume+Sqoop+Azkaban

目录零：版本说明一、安装CentOS二、Hadoop单机配置三、Hive安装部署零：版本说明Hadoop：3.1.0CentOS：7.6JDK：1.8一、安装CentOS这里网上教程很多，就不贴图了【内存可以尽量大一些，不然Hive运行时内存不够】二、Hadoop单机配置创建tools目录，用于存放文件安装包将Hadoop和JDK的安装包上传上去创建server目录，存放解压后的文件解压jdk配置
JM1307hhh·2023-06-16 10:25

一次完整的大数据环境搭建——Hbase 安装

所用软件版本号hbasehbase-1.2.4-bin.tar.gz1、Hbase安装（1）同样先建立工作路径/usr/hbase，然后将/opt/soft（跟本系列原来文章一样需要安装的文件均放在该路径下）下的hbase解压到工作路径中mkdir-p/usr/hbasetar-zxvf/opt/soft/hbase-1.2.4-bin.tar.gz-C/usr/hbase（2）修改配置文件：hb
lg的精神食粮·2023-04-15 16:26

【大数据环境搭建（三）】在Centos7上搭建Hadoop集群（完全分布式）

【大数据环境搭建（三）】在Centos7上搭建Hadoop集群（完全分布式）集群配置使用三节点，master、slave1、slave2，jdk1.8.0_171zookeeper-3.4.10hadoop
Feng-licong·2023-04-08 18:38

大数据入门学习框架

文章目录大数据入门学习框架前言一、大数据基础二、大数据必学Java基础三、ZooKeeper四、大数据环境搭建五、Hadoop六、Hive七、HBase八、Kafka九、Scala十、Spark十一、Flink
Lansonli·2023-02-02 14:53

小白起步-大数据环境搭建-系统搭建

大数据环境搭建-系统搭建未经允许，不得转载本文有github链接，图片无法加载的的可以下载原文档查看：点击这里，前往GitHub链接https://github.com/SKJ-Huangtang/Hadoop
皇棠·2023-01-30 15:53

大数据环境搭建系列【六】Elasticsearch集群搭建

ES集群搭建前言集群规划JDK环境关闭防火墙、hosts配置ES安装ES配置创建ES用户修改权限启动集群启动异常解决查看集群的状态前言本文记录搭建ES集群的过程，系统使用centos7集群规划本文通过三个节点搭建ES集群，集群规划如下hostnameIPES1192.168.88.60ES2192.168.88.61ES3192.168.88.62JDK环境安装ES需要jdk环境，首先每台机器都需
AI-0·2022-12-15 15:57

【大数据环境搭建（四）】在Centos7上搭建Hive集群（Mysql远程模式）

【大数据环境搭建（四）】在Centos7上搭建Hive集群（Mysql远程模式）集群配置使用三节点，master(客户端)、slave1(服务器)、slave2(元数据)，jdk1.8.0_171zookeeper
Feng-licong·2022-12-13 13:42

“红亚杯”-大数据环境搭建与数据采集技能线上专题赛赛题

系列文章目录集群安装搭建赛题解析构建数据仓库赛题解析目录“红亚杯”-大数据环境搭建与数据采集技能线上专题赛赛题前言在此鸣谢资料链接一、集群安装搭建（70/70分）1.比赛框架2.比赛内容3.版本说明core-site.xml
慕铭yikm·2022-11-19 04:52

大数据学习之路（电脑配置）

大数据学习之路第一天：大数据环境搭建（电脑配置）一想到大数据，我们可能想到的是大数据可视化平台，展示的有多么的炫酷，可是你可能没有想到的是大数据中数据的存储，数据的计算（mapreduce）会是有多么的漫长
Li&&Tao·2022-10-19 07:56

大数据环境搭建 —— CentOS 安装

内容链接虚拟机安装大数据环境搭建——VMwareWo
繁依Fanyi·2022-06-07 12:59

大数据环境搭建之Hbase集群搭建

作者：Neshoir  HBase是基于GoogleBigTable论文设计的具有高可靠性，高性能，可伸缩的开源分布式数据库，其具有松散表结构、高效查询、高吞吐低延迟、多版本等特点，可应用于丰富的场景中，如用户画像、实时报表、股票K线、时空轨迹数据等。HBase底层存储是基于HDFS之上，所以使用HBase之前先搭建好HadoopHDFS的环境，同时也需要搭建zookeeper集群服务。本文主要介
supermapsupport·2022-02-28 10:57

Geoserver+Geomesa+HBase时空大数据环境搭建

1.技术栈介绍随着互联网技术日益发展，庞大的数据量，传统关系型数据库已无法满足业务需求，需结合Nosql型数据库来应对时空海量数据和业务发展。针对日前互联网外出交通出行，位置点实时监控与轨迹播放等场景，提供一套有效的技术方案来满足需求。本文选型Geomesa+HBase技术栈，教大家搭建一套属于自己的单机版时空大数据环境，自下而上的技术组件介绍，希望能使大家清晰的掌握该组合技术栈。1.1Hadoo
峥嵘37·2022-02-28 10:57

用户画像大数据环境搭建——从零开始搭建实时用户画像(四)

image本章我们开始正式搭建大数据环境，目标是构建一个稳定的可以运维监控的大数据环境。我们将采用Ambari搭建底层的Hadoop环境，使用原生的方式搭建Flink，Druid，Superset等实时计算环境。使用大数据构建工具与原生安装相结合的方式，共同完成大数据环境的安装。Ambari搭建底层大数据环境ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管
大数据流动·2022-02-09 13:44

【转载】GeoServer+GeoMesa+HBase 时空大数据环境搭建

文章标签：javanosqlhadoopgis版权：CC4.0BY-SA版权声明：本文为CSDN博主「yangdengxian」的原创文章，遵循CC4.0BY-SA版权协议，转载请附上原文出处链接及本声明。文章版权分类.png原文链接：https://blog.csdn.net/yangdengxian/article/details/113727936GeoServer+GeoMesa+HBas
阿群1986·2021-08-11 11:47

Hadoop大数据环境搭建保姆级教程（完整版）

文章目录1、准备工作2、静态IP地址配置3、关闭防火墙4、修改主机名称5、编辑hosts文件6、虚拟机克隆7、SSH免密登陆8、搭建虚拟机上的Hadoop环境9、配置jdk和Hadoop10、scp、xsync集群分发脚本11、修改核心配置文件12、启动集群13、Hadoop环境检测前言：找了全网关于mac配置Hadoop大数据框架，很多都不不全面，有的还没有效果，对于新手小白来说极其不友好，因此
Jancydc·2021-05-16 22:04

大数据环境搭建hadoop，hive，spark，Python，anaconda

大数据环境搭建hadoop对于一些想从事大数据工作的童鞋们，在自己的电脑搭建一个大数据环境是很有必要的，直接开始吧。
君_临_天_下·2020-11-21 19:56

2020_CDH_hadoop3_大数据环境搭建

文章目录一.标题安装Centos_6.9二.环境检查三.安装jdk_1.8四.安装zookeeper_3.4.9五.安装hadoop_3.1.1一.标题安装Centos_6.9二.环境检查三.安装jdk_1.8四.安装zookeeper_3.4.9五.安装hadoop_3.1.1文章尚未完成
花沐人·2020-09-15 23:44

小白起步-大数据环境搭建-hadoop核心搭建

未经允许，不得转载如果你需要相关软件和咨询一些问题,可以加入交流群和大家一起交流:1046893943这一节,我们开始配置hadoop核心相关的东西扫描下方二维码可以加入群聊,欢迎你来调戏群主和管理
皇棠·2020-09-15 03:36

大数据环境搭建之Flume环境搭建步骤详解

文章目录整体介绍环境准备安装配置解压安装包配置文件flume-env.shflume-conf.propertise启动服务使用示例memorychannelfilechannelSpoolingDirectorySource写到HDFS整体介绍按照Apache官网介绍，Flume是一个分布式的、可靠的、可用的系统逛街，用来高效的收集、聚集、移动大规模的日志数据（collecting,aggreg
Darren.P·2020-09-13 17:19

大数据环境搭建（Hadoop,Spark,Zookeeper,Hbase,Kafka）

本教程基于4台机器(预装有CentOS7Linux系统)完成Hadoop集群及其相关组件的搭建，1个master，3个slave。1Linux环境准备1.1基础设置修改主机名hostnamectlset-hostnamemasterreboot依次将其他3台机器设置为slave1,slave2,slave3。修改IP地址vim/etc/sysconfig/network-scripts/ifcfg
WenWu_Both·2020-09-11 19:32

Centos、Ubuntu系统下卸载、安装MySQL及用户的创建、授权和使用

由于经常使用linux系统，并且大数据环境搭建中经常会使用到mysql，不像windows系统下的安装，今天有点空写一篇，下面我给大家演示一遍。
Python全栈之巅·2020-08-25 00:47

开课吧廖雪峰大数据

12：hadoop二次开发11.阶段11：分布式协调框架ZooKeeper10.阶段10：资源调度框架Yarn09.阶段9：MapReduce编程模型及实操保存下载08.阶段8：HDFS07.阶段7：大数据环境搭建
yingshangSpider·2020-08-21 23:49

大数据环境搭建之Hadoop集群搭建

作者：Neshoir  Hadoop是目前市面上比较主流的开源分布式存储及分布式大数据计算框架，其具有高可靠，高可用，可扩展性强等特点，其设计允许简单的编程模型跨计算机集群处理大规模数据集，框架本身不依赖于硬件的可用性，而是利用设计在应用程序层检测和处理故障。Hadoop项目包含的组件模块有Common，HDFS，MapReduce，YARN等。HadoopCommon：一些列的核心通用接口，用于
supermapsupport·2020-08-16 20:57

华为云-鲲鹏集群-大数据环境搭建

本环境搭建是在，可参考华为云——数字中国创新大赛·鲲鹏赛道·天府赛区暨四川鲲鹏应用开发者大赛1环境搭建准备本文详细描述了在华为云鲲鹏生态下的BigDataPro解决方案实验手段，涵盖集群搭建及验证，本指导手册所涉及的大数据组件版本如下所示组件版本Hadoop2.8.3Spark2.3.0Hive2.3.3Hbase2.1.0各节点主机名内网IP主机名192.168.1.122node1192.16
软件手·2020-08-15 04:58

用户画像大数据环境搭建——从零开始搭建实时用户画像(四)

本章我们开始正式搭建大数据环境，目标是构建一个稳定的可以运维监控的大数据环境。我们将采用Ambari搭建底层的Hadoop环境，使用原生的方式搭建Flink，Druid，Superset等实时计算环境。使用大数据构建工具与原生安装相结合的方式，共同完成大数据环境的安装。Ambari搭建底层大数据环境ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。
xiangwang2206·2020-08-09 02:07

Windows环境搭建Spark开发环境

Linux安装请参考大数据环境搭建(六)之安装SparkWindows安装下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0
Venom码哥·2020-08-06 12:13

vmware虚拟机 克隆 centos7 nat连不上网

vmware虚拟机，这里的情况都是nat模式连网，具体实验系统版本为centos7，其他版本没用试过，不保证同样适用，但可以参考一下找找灵感①做大数据环境搭建用centos，针对前些天出现过的一些问题简单总结一下
解孔明·2020-08-04 17:51

大数据环境搭建（Hadoop,Spark,Zookeeper,Hbase,Kafka）

本教程基于4台机器(预装有CentOS7Linux系统)完成Hadoop集群及其相关组件的搭建，1个master，3个slave。1Linux环境准备1.1基础设置修改主机名hostnamectlset-hostnamemasterreboot依次将其他3台机器设置为slave1,slave2,slave3。修改IP地址vim/etc/sysconfig/network-scripts/ifcfg
安中古天乐·2020-07-30 02:21

大数据环境搭建之iportal接入iServer分布式分析服务

作者：Neshoir  SuperMapiPortal9D(2019)是集GIS资源的整合、搜索、共享和管理于一体的GIS门户平台，具备零代码可视化界面定制、多源异构服务注册、系统监控仪表盘等能力。提供丰富功能Web端应用，可以进行专题图制作、三维可视化、分布式空间分析、大屏展示和模板式应用创建等操作。作为云端一体化GIS平台的用户中心、资源中心、应用中心，可快速构建GIS云门户站点。本文主要介绍
supermapsupport·2020-07-28 12:33

大数据环境搭建-CDH6.3.0安装

https://www.cloudera.com/documentation/enterprise/6/6.3/topics/cm_ig_mysql.html安装impala非CDH版本，恶心的一逼，算了老夫花了20分钟装了一个CDH。准备工作配置hostname设置hostname,一定要独一无二sudohostnamectlset-hostnamefoo-1.example.com修改/etc
wuhulala·2020-07-15 15:07

CentOS7 + hadoop2.8大数据环境搭建

默认已经在VMware上安装了系统为CentOS7的三台机器，并且设置了三台机器静态IP地址。如果对设置静态IP地址不熟悉，可以参考博主另外一篇博客。https://blog.csdn.net/zgf605506394/article/details/87781296下载java,下载hadoop博主主机是Windows，所以直接在官网下载，通过WinSCP直接传到CentOS系统中java下载地
KerwinChou_CN·2020-07-15 12:13

大数据环境搭建之HBase完全分布式环境搭建步骤详解

文章目录整体介绍环境准备安装配置解压安装包配置文件hbase-env.shhbase-site.xml配置环境变量配置RegionServer配置BackupMaster同步到其他机器启动集群Web界面整体介绍前一篇文章搭建了伪分布式环境，本文将搭建HBase集群环境。HBase运行在Hadoop之上，此处使用三台Linux机器搭建完全分布式环境。环境准备三台Linux机器、JDK1.8以上、Ha
Darren.P·2020-07-15 07:52

kafka编程指南之一：控制台生产者和消费者

启动消费者(kafka-console-consumer.sh)发送消息查看Topic情况describe列出所有的topic--list描述一个topic情况--describe启动Kafka按前一篇文章大数据环境搭建之
Darren.P·2020-07-15 07:52

大数据学习——学习教程

一、大数据环境搭建1.安装VMware虚拟机：https://blog.csdn.net/qq_15903671/article/details/848740802.VMware下安装Ubuntu：https
祁峰sunny·2020-07-14 16:22

大数据环境搭建之HBase伪分布式环境搭建步骤详解

文章目录HBase简介环境准备JDK1.8以上HBase1.2.6安装模式安装配置解压安装包配置文件hbase-env.shhbase-site.xml配置环境变量启动伪分布式启动本机服务Web访问界面HBase简介HBase是面向列的分布式数据库，能够快速检索大规模数据集，是Hadoop大数据生态系统的一部分。列式存储相对于传统关系型数据库的行数存储来说，存储表的方式不同。行式存储每行的数据连续
Darren.P·2020-07-14 03:30

大数据环境搭建之Hadoop伪分布式Linux环境搭建步骤详解

一、素材准备(以Mac电脑为例）虚拟机软件：ParallelsDesktopLinux系统：Centos6.10Hadoop安装包：http://mirrors.cnnic.cn网站apache/hadoop/common/stable目录下hadoop-2.9.1.tar.gzjdk的Linux版本安装包二、准备环境在虚拟机上安装Centos6.10后查看配置Linux机器环境：命令行输入rpm
Darren.P·2020-07-14 03:30

ArcGIS Image Server之栅格大数据环境搭建（10.6.1）

所需产品：ArcGISEnterprise和ImageServer1、部署好ArcGISEnterprise环境，操作步骤见：https://blog.csdn.net/smss007/article/details/743011742、分别在两台机器安装server。一台作为栅格分析服务器，一台作为影像托管服务器。3、使用ArcGISImageServer许可为ArcGISServer授权。4、
豆脑就要吃咸的·2020-07-11 23:30

大数据环境搭建之安装Hive以及组件Mariadb(MySQL)

我们在搭建大数据学习环境的时候需要搭建组件Hive以及MySQL(MariaDB)的数据库,Hive的本质就是一个MR的计算框架,它是将SQL语句的代码转化为MR的方式去执行的.我们的元数据是存放在MySQL(MariaDB)中的.而实际的数据是存放在HDFS上的,实现了数据的解耦.首先,安装MariaDB,我们是用yum的方式可以直接安装MariaDB的数据库,CentOS7.x对MySQL不再
Andy-ZHA·2020-07-11 20:10
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他