Hive安装和配置

oracle创建分区表，以及非分区表转分区表（转载）

什么是分区表，分区表详解：http://langgufu.iteye.com/blog/1552042本文原出处：http://blog.csdn.net/tianlesoftware/archive/
langgufu314·2023-12-17 08:18

HiveSql语法优化三 ：join优化

前面提到过：Hive拥有多种join算法，包括CommonJoin，MapJoin，BucketMapJoin，SortMergeBucktMapJoin等；每种join算法都有对应的优化方案。
zmx_messi·2023-12-17 08:13

HQL优化之数据倾斜

groupby导致倾斜前文提到过，Hive中未经优化的分组聚合，是通过一个MapReduceJob实现的。
zmx_messi·2023-12-17 08:13

HiveSql语法优化二 ：join算法

Hive拥有多种join算法，包括CommonJoin，MapJoin，BucketMapJoin，SortMergeBucktMapJoin等，下面对每种join算法做简要说明：CommonJoinCommonJoin
zmx_messi·2023-12-17 08:43

HiveSql语法优化四 ：Bucket Map Join和Sort Merge Bucket Map Join优化

BucketMapJoin之前的mapjoin适用场景是大表join小表的情况，但是两张表都相对较大，若采用普通的MapJoin算法，则Map端需要较多的内存来缓存数据，当然可以选择为Map段分配更多的内存，来保证任务运行成功。但是，Map端的内存不可能无上限的分配，所以当参与Join的表数据量均过大时，就可以考虑采用BucketMapJoin算法。比如下面两张表进行join操作：表名大小orde
zmx_messi·2023-12-17 08:09

HiveSql语法优化一 ：分组聚合优化

Hive中未经优化的分组聚合，是通过一个MapReduceJob实现的。
zmx_messi·2023-12-17 08:38

windows MongoDB安装和配置

一、MongoDB安装和配置1、进入官网下载你所需要的安装版本，点击直通官网Step1：进入官网后，将看到如下界面，点击上方导航栏Products，找到CommunityServerStep2：选择自己需要的版本
Stone.小小的太阳·2023-12-17 08:19

Spark sql 写分区表，设置format报错

sparksqldataset写入表的时候，我写的是一个用ymd分区的表，我想设置输出格式format("hive")，然后报错了代码如下ds.write().partitionBy(partitionsStr
南修子·2023-12-17 07:25

PHP函数参考05-zip与phar压缩包

建议使用ZipArchive类库。
思考的山羊·2023-12-17 07:05

Hadoop，Hive和Spark大数据框架的联系和区别

Hadoop，Hive和Spark是大数据相关工作中最常用的三种框架。1Hadoophadoop是一个分布式计算框架，是大数据处理的基石，大多其他框架都是以hadoop为基础。
Weiyaner·2023-12-17 06:00

Win10下安装大数据开发环境 spark+hadoop+hive（实测可用）

Win10下安装大数据开发环境spark+hadoop+hive（实测可用）基础环境安装spark安装Hadoop安装hive安装总结参考博客基础环境安装首先，我们需要搭建软件的运行环境，本文中所使用的软件均需要运行在
YannAdams·2023-12-17 06:30

大数据生态中‘Hadoop’、‘Hive’、‘Spark’、‘Mapreduce’、‘HDFS’、‘Yarn’是什么关系

以上都是大数据相关的系统和技术，大数据又属于数据管理系统的范畴数据管理系统无非就两个问题：1.数据怎么存2.数据怎么算再进入信息爆炸时代后，数据的容量越来越大，导致一台服务器存不下，所以要用集群来存储、处理信息，但是管理一台服务器容易，怎么去统一管理集群的信息成了问题。所以用到了Hadoop生态来管理信息。Hadoop生态中HDFS：处理存储，管理信息的分布式存储、提供接口，让用户感觉集群中的信息
小书生啊·2023-12-17 06:29

大数据 | Hadoop、Hive、Spark的关系

文章总括图数据存储单机数据库时代所有数据在单机都能存的下，数据处理的任务都是IO密集型，更谈不上分布式系统一个典型的2U服务器可以插6块硬盘，每块硬盘4T，共24T原始容量，再加上一些数据包的可用冗余，再加上一些格式化的损失，保守估计一台服务器至少可以有10T以上的可用容量，再加上128G内存和两颗CPU，装入DBMS，稍微调优，单表处理10e条数据问题不大多机数据库时代当数据量变多时，单台机器无
xyzhang2018·2023-12-17 06:58

[AIGC ~大数据] 深入理解Hadoop、HDFS、Hive和Spark：Java大师的大数据研究之旅

在这个充满机遇和挑战的领域中，我深入研究了Hadoop、HDFS、Hive和Spark等关键技术。本篇博客将从"是什么"、"为什么"和"怎么办"三个角度，系统地介绍这些技术。文章目录是什么？
程序员三木·2023-12-17 06:55

搭建Tomcat调试环境并分析CVE-2017-12615

准备下载存在漏洞版本tomcat，这里下的是8.0.45https://archive.apache.org/dist/tomcat/tomcat-8/v8.0.45/可执行文件和源码都需要下载用idea
st3pby·2023-12-17 06:42

windows 10 安装和配置nginx

1下载nginx1.1下载地址：http://nginx.org/en/download.html1.2使用解压到安装目录1.3更改配置conf目录下nginx.conf修改为未被占用的端口，地址改成你的地址server{listen9999;server_namelocalhost;#charsetkoi8-r;#access_loglogs/host.access.logmain;locati
yqj234·2023-12-17 06:38

Spark-Streaming+HDFS+Hive实战

文章目录前言一、简介1.Spark-Streaming简介2.HDFS简介3.Hive简介二、需求说明1.目标：2.数据源：3.数据处理流程：4.HDFS文件保存：5.Hive外部表映射：三、实战示例演练
大数据魔法师·2023-12-17 06:38

hive学习笔记

1.HIVE结构Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
Tech_Hog·2023-12-17 05:05

Hive 对空值的一些处理方法简单记录

最近遇到一些业务需求，需要对Hive的空值(空数组)做简单的处理1、字符串处理空值对于Hive的空值，和NULL一般使用NVL()函数selectnvl(col_name,v1,v2)fromtable
cbigchaos·2023-12-17 05:33

【Hive】CDP集群Hive NULL值排序前后的问题

最近公司在从本地大数据环境迁移到CDP的集群。在跑相同的SQL代码时，两边对比发现数据有问题，然后就开始查找原因：在对数据进行分组排序时，两个环境的NULL值默认排序不同。排错1、首先我们执行相同的SQL，对比了两边SQL的执行计划，selectid,times,row_number()over(partitionbyidorderbytimesdesc)asrnfrom(select1asid,
cbigchaos·2023-12-17 05:33

【Sqoop】数据导入导出到Hive问题总结

文章目录Sqoopimprot数据到Hive一、文件大小问题Sqoopexport数据到MySQL一、Hive表unionall完有中间文件夹Sqoop目录写到表后无法递归Sqoopimprot数据到Hive
cbigchaos·2023-12-17 05:33

【Hive】（三）Hive数据导入，导出，分区

文章目录一、导入数据loaddatainsertimportlocation三、导出数据分区例子1、静态分区2、动态分区一、导入数据loaddata1、语法loaddata(local)inpath'文件路径'into|overwritetablestudents;local:表示从本地加载数据，不加local则是从HDFS中加载数据overwrite:覆盖表中的原有数据2、向stutest表加载
cbigchaos·2023-12-17 05:02

【HQL】（三）Hive计算除数为0的情况结果

文章目录1、简单测试下2、搞个Demo建表测试在工作做一些计算时担心类型问题、报错，还有除数为0的情况，提前做一下预防。1、简单测试下--1、select1/0;--2、select0/0;--3、select0/1直观结果截图如下：除以0，结果为null0除以，结果为浮点型2、搞个Demo建表测试#建表createtablecm_test.number_t(idstring,numstring,
cbigchaos·2023-12-17 05:02

Hive学习笔记

Hive学习笔记1、Hive安装（只在主节点上安装）（1）下载安装包到/usr/app/目录下（2）解压（3）修改配置文件/etc/profile（添加exportHIVE_HOME=/usr/local
weixin_30470857·2023-12-17 05:32

hive 增加表字段语录_HIVE常用SQL语句及语法

HIVE建内部表语句createtabledll102.sougou(idstring,pwdstring,namestring,countint,seqnoint,addressstring)rowformatdelimitedfieldsterminatedby
weixin_39811386·2023-12-17 05:32

Hive笔记五：入门教程

摘要：Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
Mojoooo·2023-12-17 05:00

一、Hive中常用到的基础知识

一、Hive中常用到的基础知识《简介》1、表的数据类型说明2、Hive数据仓库支持的文件格式3、Hive各种文件格式的特点一、Beeline连接Hive二、Hive执行HQL文件1、hql文件：hive_test.hql2
斗罗昊天锤·2023-12-17 05:58

hadoop学习笔记--1３.hive 属性配置、交互式命令行和文件系统交互

一、hive配置文件常见属性1.在cli命令行上显示当前的数据库名以及查询的行头信息在hive-site.xml中添加以下配置hive.cli.print.headertrueWhethertoprintthenamesofthecolumnsinqueryoutput.hive.cli.print.current.dbtrueWhethertoincludethecurrentdatabasei
liuzebin9·2023-12-17 05:58

【Hive】【Hadoop】工作中常操作的笔记-随时添加

文章目录1、Hive复制一个表:2、字段级操作3、hdfs文件统计1、Hive复制一个表:直接Copy文件createtablenew_tableliketable_name;hdfsdfs-get/apps
cbigchaos·2023-12-17 05:57

《PySpark大数据分析实战》-11.Spark on YARN模式安装Hadoop

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-17 05:16

《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-17 05:10

postgreSQL 使用

http://www.linuxidc.com/Linux/2013-10/92111.htmhttp://www.jb51.net/article/65335.htmUbuntuPostgreSQL安装和配置一
Soul_Feng·2023-12-17 05:00

ubuntu下hbase的搭建和依赖环境搭建以及相关操作

ubuntu从0安装HBase和HBase所依赖的环境的安装配置简单说三步走java环境的安装和配置hadoop安装和配置hbase安装和配置我的搭建环境ubuntu:18软件源阿里云java:openjdkversion
不走小道·2023-12-17 05:53

Hive多分隔符支持示例

问题描述如何将多个字符作为字段分割符的数据文件加载到Hive表中，事例数据如下：字段分隔符为“@#$”test1@#$test1name@#$test2valuetest2@#$test2name@#$
尼小摩·2023-12-17 04:00

Hive中order by，sort by，distribute by，cluster by的区别以及row_number() over函数的基本用法

一.orderby：orderby会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导致当输入规模较大时，消耗较长的计算时间。二.sortby：sortby不是全局排序，其在数据进入reducer前完成排序，因此，如果用sortby进行排序，并且设置mapred.reduce.tasks>1，则sortby只会保证每个reducer
LuckyBoy88888888·2023-12-17 04:17

PLSQL Developer安装和配置

PLSQLDeveloper安装下载安装地址:https://www.allroundautomations.com/registered-plsqldev/.1、自己选择合适版本。2、接下来默认安装即可3、本地连接直接输入4、远程连接需要安装InstantClient安装InstantClient(PLSQLDeveloper远程连接工具)下载安装地址:https://www.oracle.co
AlienCode·2023-12-17 03:14

（第8天）保姆级 PL/SQL Developer 安装与配置

PL/SQLDeveloper的安装和配置对于新手来说还是有些难度的，所以特地拿出来开一章写一些！一、介绍PL/SQLDEVELOPER是一个集成开
Lucifer三思而后行·2023-12-17 03:43

centos8不能下软件的原因

文章目录问题解决方法问题Errorsduringdownloadingmetadataforrepository‘epel’:Statuscode:404forhttp://archives.fedoraproject.org
Mystery_zero·2023-12-17 03:35

Vue之路由(Vue Router)

文章目录什么是VueRouter安装和配置VueRouter基本的路由配置路由规则路由链接路由参数嵌套路由导航守卫基本用法创建路由实例在主应用中使用路由创建视图组件在模板中使用路由链接路由传参总结什么是
魔王-T·2023-12-17 02:51

业务场景中Hive解析Json常用案例

业务场景中Hive解析Json常用案例json在线工具json格式转换在线工具https://tool.lu/json/format格式互转：//格式化可以合并整行显示{"name":"JohnDoe"
王亭_666·2023-12-17 02:17

nestjs使用redis

redis安装1、windows安装，下载目录：Releases·microsoftarchive/redis·GitHub，解压，打开redis-server.exe，开启redis服务2、linux
不求甚解bc·2023-12-17 02:59

各种OJ网站汇总

acmicpc.infoacmicpc.infohttp://acmicpc.info/archives/224此网站聚合了各种ICPC相关信息。
dejing6575·2023-12-17 02:44

Java入门：EditPlus的安装与配置讲解

本文将介绍如何安装和配置EditPlus，以便于进行Java编程。2.安装EditPlus首先，我们需要下载EditPlus的安装包。可以从EditPlus官方网站（https:/
一只会写程序的猫·2023-12-17 01:27

阿里云云效 Maven：简介与使用指南

本文将介绍阿里云云效Maven的基本概念、安装和配置方法，并提供一些示例代码来帮助您更好地理解和使用它。一、阿里云云效Maven的基本概念阿里云云效Maven是基于ApacheMaven构建的，
风华绚烂·2023-12-17 01:11

Lua学习笔记10-元表与元方法

原文链接：http://www.jellythink.com/archives/511前言元表对应的英文是metatable，元方法是metamethod。
UTD·2023-12-17 01:11

phpstudy是什么？

PHPStudy是一个集成环境工具，它将PHP开发所需的软件，如Apache（Web服务器）、MySQL（数据库服务器）、PHP（脚本语言）等打包在一起，以便用户能够轻松安装和配置这些软件，进而在本地计算机上快速搭建起
AlphaFinance·2023-12-17 00:43

libgdx实现雪花、下雪效果（二十三）

libgdx实现雪花、下雪效果（二十三）转自：https://lingkang.top/archives/libgdx-shi-xian-xue-huapackageeffect;importcom.badlogic.gdx.ApplicationAdapter
凌康ACG·2023-12-16 23:17

libgdx播放视频、libgdx播放MP4、libgdx播放动画（二十二）

libgdx播放视频、libgdx播放MP4、libgdx播放动画转自：https://lingkang.top/archives/libgdx-bo-fang-shi-pin转自：https://lingkang.top
凌康ACG·2023-12-16 23:16

spring-boot-data-jpa、JPA实现负责查询、复杂搜索

spring-boot-data-jpa、JPA实现负责查询、复杂搜索JPA越来越丰富了，下面使用springboot3.x实现JPA分页通过传入Example参数实现复杂字段查询转自https://lingkang.top/archives
凌康ACG·2023-12-16 23:46

spring-boot-data-jpa、JPA实现分页

转自https://lingkang.top/archives/jpa-shi-xian-fen-ye依赖org.springfra
凌康ACG·2023-12-16 22:08
上一页 49 50 51 52 53 54 55 56 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他