hadoop+hive

Hadoop+Hive学习笔记-4

Hadoop集群搭建配置三台虚拟机之间的免密登录1切换到root用户：crontab-e在第一行写入：*/5****/usr/sbin/ntpdatentp1.aliyun.com三台机器都一同操作，这一步让三台机器的时间服务器一致2关闭selinux：vim/etc/selinux/configvim编辑器打开文件，把里面的SELINUX值修改为disabled这一步是关闭selinuxseli
fwings260·2023-12-24 08:22

hadoop+hive本地模式配置

一、环境准备：操作系统：Ubuntu14.04.1x86_64hadoop：hadoop-2.7.6下载链接：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hive：apache-hive-2.3.3下载链接：https://mirrors.tuna.tsinghua.edu.cn/apache/hiv
戏台无戏子&youngthful·2023-11-20 20:25

基于hadoop+hive的图书大数据分析平台

【24届大数据分析毕设之基于hadoop+hive的图书大数据分析平台】https://www.bilibili.com/video/BV1f8411r7wJ/?
源码空间站11·2023-11-14 10:21

23年hadoop单机版+hive

core-site.xmlmysqlhive安装配置hive-site.xml配置hive-env初始化mysql数据库启动验证hive命令hiveserver2方式总结说明工作需要研究hive功能，线上环境不能动，搭建单机版hadoop
羽落风起·2023-11-12 01:36

Hadoop+Hive三节点集群环境搭建

更改主机名更改hosts文件vi/etc/hosts在后面添加ip地址和主机名的映射配置多台服务器间的免密登录可以参考：https://blog.csdn.net/u010698107/article/details/119079821Hadoop配置1.下载安装Hadoop官网：[http://hadoop.apache.org](http://hadoop.apache.org)新建目录/op
赤雁麟·2023-10-15 17:27

centos7 hadoop 单机模式安装配置

前言由于现在要用spark,而学习spark会和hdfs和hive打交道，之前在公司服务器配的分布式集群，离开公司之后，自己就不能用了，后来用ambari搭的三台虚拟机的集群太卡了，所以就上网查了一下hadoop
董可伦·2023-09-06 06:17

关于工作进步的思考

8月份又让学hadoop+hive。真是能让我上的，一定不会花大价钱去做，因为我便宜。朋友说“当老板谁不画饼啊”对老板而言，这是常理，能4000块钱搞定的事我为什么要花8000去做。
任身·2023-08-30 12:22

AntDB 替换某省电信大数据平台的案例分享

落地某省电信的案例分享整体介绍某省电信大数据分析平台，需要对BSS的三户、订单、实例等近10TB级的数据进行快速分析统计，每次分析的数据量最高达到5亿级别，同时需要向其它厂商开放这种实时的数据分析能力，前期这种数据分析是通过大数据平台Hadoop
亚信安慧AntDB数据库·2023-06-16 19:04

基于Hadoop + Hive框架进行电子商务数据分析的设计与实现

大数据存储，处理和处理的研究已是企业未来发展的趋势，因此，将开展基于Hadoop+Hive框架进行电子商务数据分析，搭建一个大数据集群平台，用于通过电商案例的存储，处理，分析和可视化展示的实验迎向困难该挑战数仓的总体设计数据仓库概念
悟空打码·2023-06-14 10:44

【基于hadoop+hive的电商用户行为大数据分析（hdfs+hive+sqoop+echart）-哔哩哔哩】 https://b23.tv/U2aYm9v

【基于hadoop+hive的电商用户行为大数据分析（hdfs+hive+sqoop+echart）-哔哩哔哩】https://b23.tv/U2aYm9vhttps://b23.tv/U2aYm9v
源码空间站11·2023-06-14 10:43

基于hadoop+Hive分析航班线路数据

项目概要计算机毕业生设计,课程设计需要帮助的可以找我源码获取------》链接：https://pan.baidu.com/s/1CdxrlV7GeRRmsT9UWEMtJg提取码：cygy1.项目背景：飞机航班经常会因为各种原因，如天气原因，雷雨、大雾、大风等情况，或机场原因，导致航班的延误甚至取消，现在有一批航班的历史数据，基于这些数据，对航班的各种重要指标做统计分析，如最繁忙航线、某机场起降
黑白软件设计·2022-12-22 07:17

hadoop+hive单机部署

注：前置要求已安装java。一、安装Hadoop1.下载hadoopwgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz2.解压mkdir-p/data/hadooptar-xzvfhadoop-3.2.2.tar.gz-C/data/hadoop/3.创建用户和组sudogroupad
qq_37568918·2022-03-31 10:53

Hadoop+Hive环境搭建

1准备工作1.1软件准备Hive需要Hadoop的支持，在安装Hive之前需要正确安装Hadoop。目前Hive的最新版本为0.13.1，这个版本可在Hadoop0.20.x,0.23.x.y,1.x.y,2.x.y下使用。本文采用Hadoop1.x中最新版本1.2.1。Hadoop使用环境中必须由JDK，本文下载JDK7较新版本。同时,Hive将采用MySQL作为元数据库。软件清单如下：版本下载
vitaair·2020-07-28 15:21

hadoop+hive三节点环境搭建

以下使用虚拟机搭建Hadoop+Hive环境虚拟机：OracleVirtualBox操作系统：centos7.6JDK：1.8.0_201MySql：5.7.25Hadoop：hadoop-2.8.1Hive
jmz19910110·2020-07-28 01:32

hadoop2.4.1的ftp服务器搭建

公司框架用的hadoop+hive，hive通过建立外部表（EXTERNALTABLE）可以直接识别hdfs文件，也就是说如果直接把本地文件传到hdfs文件系统中，hive就可以自动识别数据。
zhulin40·2020-07-15 12:50

LINUX下单机安装HADOOP+HIVE手册

HADOOP篇HADOOP安装1.tar-zvxfhadoop-0.19.2.tar.gz2.HADOOP的安装路径添加到环境文件/etc/profile中：exportHADOOP_HOME=/home/hadoop/setup/hadoop-0.19.2exportPATH=$HADOOP_HOME/bin:$PATHHADOOP配置1.在$HADOOP/conf/hadoop-env.sh中
w98degrees·2020-07-15 02:13

手把手教你搭建hadoop+hive测试环境(新手向)

面向新手的hadoop+hive学习环境搭建，加对我走过的坑总结，避免大家踩坑。
wangyiyungw·2020-07-10 05:53

Hadoop+Hive部署安装配置

最近结合具体的项目，搭建了Hadoop+Hive，在运行Hive之前要首先搭建好Hadoop，关于Hadoop的搭建有三种模式，在以下的介绍中，我主要的采用的是Hadoop的伪分布安装模式。
王大伟啊·2020-07-08 12:39

Windows环境下安装Hadoop+Hive的使用案例

Hadoop安装：首先到官方下载官网的hadoop2.7.7,链接如下https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/找网盘的hadooponwindows-master.zip链接如下https://pan.baidu.com/s/1VdG6PBnYKM91ia0hlhIeHg把hadoop-2.7.7.tar.gz解压后使用h
weixin_30615767·2020-07-05 21:59

LINUX下单机安装HADOOP+HIVE手册

HADOOP篇HADOOP安装1.tar-zvxfhadoop-0.19.2.tar.gz2.HADOOP的安装路径添加到环境文件/etc/profile中：exportHADOOP_HOME=/home/hadoop/setup/hadoop-0.19.2exportPATH=$HADOOP_HOME/bin:$PATHHADOOP配置1.在$HADOOP/conf/hadoop-env.sh中
iteye_13339·2020-07-04 18:47

linux环境下Hadoop+hive的安装

一、前期工作：1.修改linuxip手动修改也可以命令修改vim/etc/sysconfig/network-scripts/ifcfg-eth02.修改主机名(注意ubuntu版本方式)vim/etc/sysconfig/network将之前的名字更改为itcast013.修改主机名与ip对应关系vim/etc/hosts192.168.8.88itcast014.关闭防火墙查看防护墙状态ser
myjbase·2020-07-04 00:23

idea配置hadoop开发环境以及遇到的问题-java.net.URISyntaxException: Relative path in absolute URI

前言:公司要搞一个大数据项目,做之前先让我搭建三个节点hadoop+hive做技术预研.搭建好之后,想试试mapreduce程序能不能跑得起来,一直以来开发工具用的都是eclipse,但现在的同事都习惯用
我思故我在@qi·2020-06-24 21:08

Java转型大数据全套开发教材，登顶技能都在这儿！

摘记如下：大数据领域：非实时（Hadoop+Hive），最全家桶的实时计算（Flink/Blink）+Spark。还有可以关注下Apac
微笑很纯洁·2020-06-23 20:41

手把手教你搭建hadoop+hive测试环境(新手向)

面向新手的hadoop+hive学习环境搭建，加对我走过的坑总结，避免大家踩坑。
网易云社区·2020-03-05 10:39

Java转型大数据开发教材，技能储备都在这儿！

摘记如下：大数据领域：非实时（Hadoop+Hive），最全家桶的实时计算（Flink/Blink）+Spark。还有可以关注下Apac
黄小斜·2019-05-09 08:00

数据仓库的一些建议

数据仓库的一些建议0x01请理解数据仓库和数据平台的区别当你开始建设数据仓库之前，需要明白数据仓库和数据平台是两个不同的概念，不要把搭建一套Hadoop+Hive的平台叫数据仓库，这是数据平台的范畴。
weixin_33755847·2018-10-16 15:00

大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)

版权声明:作者：虚无境博客园出处：http://www.cnblogs.com/xuwujingCSDN出处：http://blog.csdn.net/qazwsxpcm个人博客出处：http://www.panchengming.com原创不易，转载请标明出处，谢谢！引言在大数据学习系列之一-----Hadoop环境搭建(单机)成功的搭建了Hadoop的环境，在大数据学习系列之二-----HBa
虚无境·2018-08-18 10:36

centos7 hadoop 单机模式安装配置

前言由于现在要用spark,而学习spark会和hdfs和hive打交道，之前在公司服务器配的分布式集群，离开公司之后，自己就不能用了，后来用ambari搭的三台虚拟机的集群太卡了，所以就上网查了一下hadoop
董可伦·2018-05-07 22:48

大数据学习系列之五 ----- Hive整合HBase图文详解

引言在上一篇大数据学习系列之四—–Hadoop+Hive环境搭建图文详解(单机)和之前的大数据学习系列之二—–HBase环境搭建(单机)中成功搭建了Hive和HBase的环境，并进行了相应的测试。
虚无境·2017-12-18 18:41

大数据学习系列之五 ----- Hive整合HBase图文详解

引言在上一篇大数据学习系列之四-----Hadoop+Hive环境搭建图文详解(单机)和之前的大数据学习系列之二-----HBase环境搭建(单机)中成功搭建了Hive和HBase的环境，并进行了相应的测试
虚无境·2017-12-18 18:00

大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)

本文主要讲解如何搭建Hadoop+Hive的环境。
虚无境·2017-12-16 09:00

大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)

版权声明:作者：虚无境博客园出处：http://www.cnblogs.com/xuwujingCSDN出处：http://blog.csdn.net/qazwsxpcm个人博客出处：http://www.panchengming.com原创不易，转载请标明出处，谢谢！引言在大数据学习系列之一—–Hadoop环境搭建(单机)成功的搭建了Hadoop的环境，在大数据学习系列之二—–HBase环境搭建
虚无境·2017-12-16 09:36

hadoop+hive使用中遇到的问题汇总

问题排查方式一般的错误，查看错误输出，按照关键字google异常错误（如namenode、datanode莫名其妙挂了）：查看Hadoop（$HADOOP_HOME/logs）或hive日志hadoop错误1.datanode无法正常启动添加datanode后，datanode无法正常启动，进程一会莫名其妙挂掉，查看namenode日志显示如下：Text代码2013-06-2118:53:39,1
麦香鸡翅·2017-08-01 10:26

Hadoop+Hive实现航空公司客户价值分析

如题，利用Hive对航空公司客户数据进行探索分析、数据预处理并建立LRFMC模型，再利用Hadoop集群实现Kmeans对客户进行分群。如重要保持客户、重要发展客户、重要挽留客户、一般客户和低价值客户，再根据不同的客户群体来指定相应的优惠政策来实现利益最大化。在用到的数据集中包含了62988条数据，其中包括客户基本信息（会员卡号、入会时间等）、乘机信息（观测窗口的票价收入、平均折扣率等）、积分信息
Angelababy_huan·2016-11-06 13:11

Hadoop+Hive（MySQL）+Hbase+zookeeper

一、hadoop安装虚拟机（centos7）Master：192.168.0.228Slave：192.168.0.207软件apache-hive-1.2.1-bin.tar.gzhadoop-2.6.0-cdh5.4.8.tar.gzjdk-8u65-linux-x64.tar.gzmysql-connector-java-5.1.31-bin.jarhbase-0.98.15-hadoop2
斜阳笑山坡·2015-11-24 00:17

Hadoop Hive与Hbase关系 整合

基于Hadoop+Hive架构对海量数据进行查询：http://blog.csdn.net/kunshan_shenbin/article/details/7105319 2. HBase 0.9
·2015-11-13 11:44

ubantu下安装hadoop+hive全解

ubanto-hadoop环境搭建 安装 vm 下载：去官网下 VMware-player-5.0.1-894247.zip 安装和配置ubanto 下载：去官网下 ubuntu-12.10-desktop-i386.iso 打开vm，载入ubanto iso文件，进行安装更新 进入ubanto，如果是第一个进入，则需要设置root的密码 >
·2015-11-13 11:46

mkdir: `/user/hive/warehouse': No such file or directory

   安装完Hadoop+Hive后，开始配置Hive了，$HADOOP_HOME/bin/hadoopfs-mkdir/user/hive/warehouse在HDFS中创建/user/hive/warehouse
yangguangqizhi·2015-10-28 16:00

Hadoop Hive与Hbase关系 整合

用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面的hql查询.hive也即做数据仓库1.基于Hadoop+
zhulei632·2015-04-02 13:00

Hadoop Hive与Hbase关系 整合

基于Hadoop+Hive架构对海量数据进行查询：http://blog.csdn.net/kunshan_shenbin/article/details/7105319 2. HBase 0.
haydenwang8287·2015-03-05 11:00

hadoop+hive使用中遇到的有关问题汇总

1.datanode无法正常启动添加datanode后，datanode无法正常启动，进程一会莫名其妙挂掉，查看namenode日志显示如下：2013-06-2118:53:39,182FATALorg.apache.hadoop.hdfs.StateChange:BLOCK*NameSystem.getDatanode:Datanodex.x.x.x:50010isattemptingtorep
peizhenfly·2015-02-04 21:00

hadoop+hive使用中遇到的问题汇总

问题排查方式一般的错误，查看错误输出，按照关键字google异常错误（如namenode、datanode莫名其妙挂了）：查看hadoop（$HADOOP_HOME/logs）或hive日志hadoop错误1.datanode无法正常启动添加datanode后，datanode无法正常启动，进程一会莫名其妙挂掉，查看namenode日志显示如下：Text代码2013-06-2118:53:39,1
徐龙平·2015-01-21 10:06

Hadoop Hive与Hbase关系 整合

用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面的hql查询.hive也即做数据仓库1.基于Hadoop+
shliuzw·2014-06-02 06:32

Hadoop Hive与Hbase关系 整合

用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面的hql查询.hive也即做数据仓库1.基于Hadoop+
liuzhenwen·2014-06-02 06:00

Hive.LEFT SEMI JOIN子句

公司的数据仓库和离线数据分析是建立在Hadoop+Hive基础上的，现在的工作主要是数据分析，自然也就跟HQL查询经常打交道了。
mashroomxl·2014-03-09 15:43

Hadoop+hive 集群安装部署 （三）

这节我来介绍在hadoop集群里如何安装hive，hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。版本：hive-0.9.0安装很简单
死里逃生·2013-07-18 14:33

Hadoop+hive 集群安装部署 （三）

这节我来介绍在hadoop集群里如何安装hive，hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。版本：hive-0.9.0安装很简单
死里逃生·2013-07-18 14:33

hadoop+hive+hbase的整合开发（配置加测试）

用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面的hql查询.hive也即做数据仓库1.基于Hadoop+
stevie·2013-07-08 15:33

Hadoop+hive集群安装部署 （二）

上一节介绍了Hadoop集群的部署过程，这一节我们来用Python创建一个map/reduces过程来分析IIS日志日志文件为附件：map脚本advanceiislog.py内容为：#!/usr/bin/python2.4#coding=utf8importfileinputimportglobimportstringimportsys#forlineinfileinput.input(glob.
死里逃生·2013-07-05 17:25

Hadoop+hive集群安装部署 （二）

上一节介绍了Hadoop集群的部署过程，这一节我们来用Python创建一个map/reduces过程来分析IIS日志日志文件为附件：map脚本advanceiislog.py内容为：#!/usr/bin/python2.4#coding=utf8importfileinputimportglobimportstringimportsys#forlineinfileinput.input(glob.
死里逃生·2013-07-05 17:25
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他