E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HADOOP学习之路
sqoop的安装与使用
Sqoop是一个用于在
hadoop
与mysql之间传输数据的工具Sqoop环境搭建(1)上传安装包:sqoop-1.4.6-cdh5.14.2.tar.gz到/opt/software(2)解压安装包:
xinxinyydss
·
2024-01-09 15:23
sqoop
hadoop
hive
【读书笔记】《
Hadoop
构建数据仓库实践》第1章
02-《
Hadoop
构建数据仓库实践》.jpg第1章数据仓库简介1.1什么是数据仓库Inmon将数据仓库描述为一个面向主题的、集成的、随时间变化的、非易失的数据集合,用于支持管理者的决策过程。
笔名辉哥
·
2024-01-09 15:01
Hive基础知识(三):Linux系统下的MySQL安装
1)检查当前系统是否安装过MySQL[zzdq@
hadoop
100hive]$rpm-qa|grepmariadbmariadb-libs-5.5.68-1.el7.x86_64#如果存在,就用下面这条命令卸载
依晴无旧
·
2024-01-09 13:26
hive
linux
mysql
Hive基础知识(二):Hive 安装部署教程
apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下2)解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面[root@
hadoop
100
依晴无旧
·
2024-01-09 13:25
大数据
hive
hadoop
数据仓库
Hive基础知识(一):Hive入门与Hive架构原理
Hive是基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
依晴无旧
·
2024-01-09 13:25
大数据
hive
架构
hadoop
hive基础知识大全
一、Hive基本概念1.1hive是什么hive是基于
hadoop
的一个数仓分析工具,hive可以将hdfs上存储的结构化的数据,映射成一张表,然后让用户写HQL(类SQL)来分析数据telupdown138383843813451567138383843953451567138383844012411657713838384413453157571383838434353551567567
不爱吃鱼的馋猫
·
2024-01-09 13:23
hive
数据仓库
Hive基础知识笔记(含MySQL metastore伪分布式安装配置流程)
该笔记涉及代码:https://github.com/hackeryang/
Hadoop
-Exercises/tree/master/src/main/java/Hive一、介绍1.Hive是一个构建在
书忆江南
·
2024-01-09 13:52
大数据
Hive
Hive基础知识
1)Hive是基于
Hadoop
的一个数据仓库工具,将结构化的数据文件映射为一张数据库的数据表,并且提供类SQL查询功能。
巷子里的猫X
·
2024-01-09 13:52
数据分析
hive
大数据
hadoop
大数据开发:Hive基础知识点介绍
Hadoop
生态下的各个组件,Hive的出现是为了解决海量日志数据分析而诞生,最初出自Facebook,后来归到了Apache旗下进行开源,本质上来说,Hive是一个帮助提升数据处理的工具。
加米谷大数据张老师
·
2024-01-09 13:52
大数据
数据库
hive
数据仓库
基于
hadoop
的hive数据仓库基础操作知识整理
Hive是基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
大包丫
·
2024-01-09 13:51
hadoop
hive
大数据
hive在mysql中总是不创建元数据库的解决办法
按照既往掉坑的经验,怀疑框架搭得不对、怀疑服务没启动、怀疑mysql驱动版本不对、怀疑
hadoop
和hive的guavajar包版本不一致、怀疑mysql服务没启动、怀疑元数据
黄道婆
·
2024-01-09 13:21
bigdata
#
hive
hive
Hadoop
的数据仓库Hive的基础知识和安装部署
1、数据仓库和Hive 数据仓库是为了协助分析报告,支持决策,为需要业务智能的企业提供业务流程的改进和指导,从而节省时间和成本,提高质量。它与数据库系统的区别是,数据库系统可以很好地解决事务处理,实现对数据的“增、删、改、查”操作,而数据仓库则是用来做查询分析的数据库,通常不会用来做单条数据的插入、修改和删除。 Hive主要应用于传统的数据仓库任务ETL(Extract‐Transformat
姠惢荇者
·
2024-01-09 13:21
大数据
大数据
数据仓库
Hive
数据导入
Hive基础知识(四):Hive 元数据配置到 MySQL
1.拷贝驱动将MySQL的JDBC驱动拷贝到Hive的lib目录下[zzdq@
hadoop
100software]$cp/home/atguigu/mysql-connector-java-5.1.37
依晴无旧
·
2024-01-09 13:50
大数据
hive
mysql
hadoop
Golang
学习之路
一五变量和常量小结
Golang
学习之路
一五变量和常量小结packagemainimport"fmt"funcmain(){//声明初始化一个变量varxint=100varstrstring="helloworld"//
阿亮说技术
·
2024-01-09 11:53
golang
golang
golang
学习之路
2-基础认识(上)
文章目录前言一、变量与常量定义1.变量2.常量2.数据类型二、自增自减三、指针1.使用指针&及*2.空指针3.指针完整代码四、不支持语法1.自增自减--i及++i2.不支持内存地址(指针)加减3.不支持三元运算符4.条件判断只有boolfalse才是逻辑假五、字符串string1.原生输出2.len获取字符串长度3.拼接&格式化输出4.字符串切片前言学习一门语言,先认识下Golang的基础语法,例
十尾仙狸
·
2024-01-09 11:51
golang
golang
学习
java
Golang
学习之路
一六运算符
Golang
学习之路
一六运算符算数运算符符号说明+相加-相减*相乘/相除%求余++自增–自减packagemainimport"fmt"funcmain(){a:=10b:=6//+fmt.Println
阿亮说技术
·
2024-01-09 11:16
golang
golang
开发语言
绘本讲师
学习之路
的复盘
两年前,算是我人生中一个低谷。一个低的不能在低的低谷。让我改变了自己,改变了对人生和梦想的看法,也改变了我对孩子们的教育观。我开始不停的看书,不停的去输入,不停的想要改变自己的生活方式,我觉得我的生活不应该这样。也不能这样,我需要找到真的我自己,偶然之中我了解到了绘本,但今天我也不清楚我自己是怎么和绘本结缘的。记得看到的第一本书是《谁藏起来了》,现在想来那是一本真正的盗版书。因为那时就觉得很不舒服
两颗小榶果
·
2024-01-09 08:46
hadoop
分布式集群搭建
虚拟机准备虚拟机单机配置:内存4G,硬盘50G安装好linux/boot200M/swap2g/剩余*安装VMTools关闭防火墙sudoserviceiptablesstopsudochkconfigiptablesoff设置静态IP,改主机名编辑vim/etc/sysconfig/network-scripts/ifcfg-eth0改成=============================
麦田里的稻草人19994
·
2024-01-09 08:24
linux
hadoop
hadoop
集群主从时间同步
1.时间服务器配置(必须root用户)(1)检查ntp是否安装[root@
hadoop
102桌面]#rpm-qa|grepntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem
麦田里的稻草人19994
·
2024-01-09 08:24
linux
hadoop
linux
hadoop
集群分发脚本
分发脚本xsync#!/bin/bash#1获取输入参数个数,如果没有参数,直接退出pcount=$#if((pcount==0));thenechonoargs;exit;fi#2获取文件名称#basename是去除目录后剩下的名字p1=$1fname=`basename$p1`echofname=$fname#3获取上级目录到绝对路径#dirname命令可以取给定路径的目录部分(一般指最后一个
麦田里的稻草人19994
·
2024-01-09 08:23
linux
linux
配置ssh免密登录
配置ssh免密登录ssh-keygen-trsassh-copy-iduser@servereg:ssh-copy-id
hadoop
102
麦田里的稻草人19994
·
2024-01-09 08:53
linux
Hive操作命令上手手册
内容来自于《大数据Hive离线计算开发实战》Hive原理Hive是一个基于
Hadoop
的数据仓库和分析系统,用于管理和查询大型数据集。
枫叶梨花
·
2024-01-09 08:50
Hive知识圈
hive
hadoop
数据仓库
大数据平台比较-CDH、HDP、CDP
Apache
Hadoop
与CDH、HDP的比较一、
Hadoop
版本综述不收费的
Hadoop
版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)Cloudera
Sql强
·
2024-01-09 07:24
头歌:旅游网站之数据分析
关统计每个城市的宾馆平均价格packagecom.processdata;importjava.io.IOException;importjava.util.Scanner;importorg.apache.
hadoop
.conf.Configuration
爱吃肉的白熊
·
2024-01-09 07:32
Educoder
java
旅游
hive的基本操作
最近新学了hive,想通过写文章的方式对所学知识进行巩固,同时希望可以帮助到大家Hive是基于
Hadoop
的一个数据仓库工具1.创建数据库(创建方法是和Mysql一样的)createdatabase数据库名字
暴打小赵
·
2024-01-09 06:49
hive
hive
数据库
mysql
实验6 熟悉Hive的基本操作
一、实验目的(1)理解Hive作为数据仓库在
Hadoop
体系结构中的角色。(2)熟练使用常用的HiveQL。
Z.Q.Feng
·
2024-01-09 06:47
实验报告
大数据技术与原理
实验报告
hive
大数据
1.2
Hadoop
概述
小肥柴的
Hadoop
之旅1.2
Hadoop
概述目录1.2
Hadoop
概述1.2.1回归问题1.2.2Google的三篇论文1.2.3
Hadoop
的诞生过程1.2.4
Hadoop
特点简介参考文献和资料)目录
卷毛迷你猪
·
2024-01-09 06:47
Hadoop
大数据
hadoop
分布式
hive基本操作与应用
1、通过
hadoop
上的hive完成WordCount启动
hadoop
2、Hdfs上创建文件夹/3、上传文件至hdfs4、启动Hive5、创建原始文档表6、导入文件内容到表docs并查看7、用HQL进行词频统计
weixin_34416649
·
2024-01-09 06:16
大数据
物理机搭建hive
一、修改
Hadoop
配置修改core-site.xml配置yarn-site.xml分发文件,然后重启集群二、Hive解压安装上传文件添加hive环境便量,source生效启动高可用集群,启动hive三
DIY……
·
2024-01-09 06:45
hive
hadoop
数据仓库
数仓分层结构
--日志数据--格式:JSON--业务数据--历史数据--格式:--全量--Datax:TSV--增量--Maxwell:JSON--汇总数据--希望用最少的资源存储最多的数据--压缩:--gzip:
Hadoop
Young_IT
·
2024-01-09 06:40
大数据开发
大数据技术
大数据
数据仓库
大数据开发-某外包公司
varchar和char区别4.说下数据库的事务5.spark的部署模式有哪些6.数据库和数据仓库的区别7.内部表和外部表的区别8.说下数据中台、数据仓库和数据湖的区别9.说下公司的建模模型10.说下
hadoop
劝学-大数据
·
2024-01-09 06:10
个人面试真题记录
大数据
hadoop
集群搭建、spark集群搭建、pyspark搭建(linux+window)
1、前言本文记录学习过程中
Hadoop
、zookeeper、spark集群搭建,主要为pyspark库服务(具体为window上pyspark环境和pyspark库,linux上spark框架、pyspark
Lfx_come on
·
2024-01-09 06:02
hadoop
linux
spark
python
『HDFS』伪分布式
Hadoop
集群
博客引流本文是『
Hadoop
』MapReduce处理日志log(单机版)的旭文,maybe还有后续在搭建环境的时候发现很难搜到合适的教程,所以这篇应该会有一定受众伪分布式就是假分布式,假在哪里,假就假在他只有一台机器而不是多台机器来完成一个任务
gunjianpan
·
2024-01-09 04:31
Hadoop
3.3.5云服务器安装教程-单机/伪分布式配置
系列文章目录华为云服务器试用领取领取的试用云服务器在哪
Hadoop
3.3.5云服务器安装教程-单机/伪分布式配置文章目录系列文章目录创建
hadoop
用户更新apt安装SSH、配置SSH无密码登陆安装Java
柔雾
·
2024-01-08 21:48
服务器
分布式
运维
Python
学习之路
-认识Python
Python
学习之路
-认识Python本篇文章由我归纳总结而来,为想要了解学习Python的朋友提供参考。大部分内容参考维基百科简介Python是一种广泛使用的解释型、高级和通用的编程语言。
geobuins
·
2024-01-08 20:37
python
学习
开发语言
大学生如何当一个程序员——第三篇:热门专业
学习之路
4
第三篇:热门专业
学习之路
41.机器学习2.深度学习3.Python数据分析模块4.SparkMLlib机器学习库5.做一个人工智能项目6.数学各位小伙伴想要博客相关资料的话关注公众号:chuanyeTry
笛秋白
·
2024-01-08 20:29
程序员修炼
学习
大学生如何当一个程序员——第三篇:热门专业
学习之路
5
第三篇:热门专业
学习之路
51.WEB前端快速入门2.JavaScript基础与深入解析3.jQuery应用与项目开发4.PHP、数据库编程与设计5.Http服务于Ajax编程6.做一个阶段项目7.H5新特性与移动端开发
笛秋白
·
2024-01-08 20:57
程序员修炼
学习
个人开发
快速入门
开发语言
青少年编程
2021-11-22 Zookeeper Shell脚本
/bin/bashcase$1in"start"){foriin
hadoop
102
hadoop
103
hadoop
104doecho----------zookeeper$i启动------------ssh
不爱吃奶昔(zsl0)
·
2024-01-08 19:12
#
Linux
linux
shell
zookeeper
hadoop
/etc/
hadoop
下没有mapred-site.xml,只有mapred.xml.template
默认情况下,/usr/local/
hadoop
/etc/
hadoop
/文件夹下有mapred.xml.template文件,我们要复制该文件,并命名为mapred.xml,该文件用于指定MapReduce
比特小怪兽
·
2024-01-08 19:34
hadoop
命令汇总
启动和关闭
hadoop
服务一键启动/停止start-hdf.shstop-hdf.sh单进程关闭启动hdfs--daemonstop/start/statusnamenode或者
hadoop
--daemonstop
你很棒滴
·
2024-01-08 19:17
hadoop
hdfs
大数据
HDFS常用命令(方便大家记忆版)
1.文件操作(1)列出HDFS下的文件/usr/local/
hadoop
$bin/
hadoop
dfs-ls(2)列出HDFS文件下名为in的文档中的文件/usr/local/
hadoop
$bin/
hadoop
dfs-lsin
姚兴泉
·
2024-01-08 18:01
Hidataplus-3.3.2.0-005公测版本基于openEuler release 22.03 (LTS-SP2)的测试
测试角色如下:
hadoop
、yarn、zookeeper、hive、impala。
杨航的技术博客
·
2024-01-08 16:35
hidataplus
大数据
给
Hadoop
初学者的一些建议
零基础学习
hadoop
,没有想象的那么困难,也没有想象的那么容易。从一开始什么都不懂,到能够搭建集群,开发。整个过程,只要有Linux基础,虚拟机化和java基础,其实
hadoop
并没有太大的困难。
丨程序之道丨
·
2024-01-08 15:29
大数据技术期末复习第七章——MapReduce练习
A、Map函数将输入的元素转换成形式的键值对B、
Hadoop
框架是用Java实现的,MapReduce应用程序则一定要用Java来写C、不同的Map任务之间不能互相通信D、MapReduce框架采用了Master
锦鲤儿
·
2024-01-08 12:01
大数据
mapreduce
big
data
hadoop
Hadoop
学习之路
(四)HDFS 读写流程详解
1.HDFS写操作1.1图解HDFS读过程hdfs写操作流程图.pngimage.png1.2数据写入过程详解1、使用HDFS提供的客户端Client,向远程的NameNode发起RPC请求;2、NameNode会检查要创建的文件是否已经存在,创建者是否有权限进行操作,成功则会为文件创建一个记录,否则会让客户端抛出异常;3、当客户端开始写入文件的时候,客户端会将文件切分为多个packets,并在内
shine_rainbow
·
2024-01-08 12:21
Win10环境下
Hadoop
(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+)
Win10环境下
Hadoop
(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+)一、本文思路【1】、配置java环境–JDK12(
Hadoop
的底层实现语言是java,
hadoop
老妹儿的
·
2024-01-08 11:19
实战Flink Java api消费kafka实时数据落盘HDFS
flink版本1.13kafka版本0.8
hadoop
版本3.1.42实验过程2.1启动服务程序为了完成Flink从Kafka消费数据
大数据程序终结者
·
2024-01-08 11:13
flink
java
kafka
html
学习之路
:简述html文档头部 <meta> 的 http-equiv 属性
当输入网址打开网页时,设置html头部meta的http-equiv属性,可以帮助浏览器更加精确和正常却的显示网页内容,比如设置网页多久自动刷新,设置网页在浏览器缓存中的时限,设置多少事件跳转到指定的网页地址,应对低版本浏览器的渲染兼容问题,以什么样动态的样式去打开浏览器等等等…首先,我们得知道一张网页即html文档最基础的代码形式和作用是怎样的一、html文档结构Document-->其次,在今
@德玛玩前端
·
2024-01-08 10:39
html5
html
学习
前端
JanusGraph简介
JanusGraph支持
Hadoop
框架,并能够利用
Hadoop
对图进行大批量的处理和分
娃娃学软件
·
2024-01-08 10:15
大数据 Yarn - 资源调度框架
Hadoop
主要是由三部分组成,除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce,还有一个是分布式集群资源调度框架Yarn。
善守的大龙猫
·
2024-01-08 10:48
大数据
大数据
上一页
25
26
27
28
29
30
31
32
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他