hive数据倾斜

Hive 安装部署

文章目录Hive安装部署部署模式嵌入模式安装下载安装配置环境启动Hive客户端工具本地模式安装下载安装MySQL登录MySQL安装HiveHive命令行交互Hive安装部署部署模式Hive有3种部署模式
撕得失败的标签·2023-12-03 23:36

使用 Kettle 完成数据 ETL

先将数据集加载到Hadoop集群中，然后对数据进行清洗，最后加载到Hive中。
撕得失败的标签·2023-12-03 23:33

【数据中台】开源项目（3）-Linkis

通过使用Linkis提供的REST/WebSocket/JDBC等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink等底层引擎，同时实现统一变量、脚本、用户定义函数和资源文件等用户资源的跨上层应用互通
码农丁丁·2023-12-03 23:42

hive hsql python 编程

我们在使用hivehsql程序化编程，在修改表结构和drop分区表，以及查询都可以做到，但是x想loadlocaldata反而不可以。
Helen_Cat·2023-12-03 21:02

iOS测试软件砸壳,[分享]windows上ios App一键砸壳教程(不需要ssh)

*****************************************************2019.12.12修改：作者代码调整，主分支改成node.js了，下面内容仅适合archive
人则水州·2023-12-03 21:21

Hive-UDTF-函数解析Json字符串

前言：本章主要讲解Hive的一对多"UDTF"函数解析Json字符串，根据业务需求返回对应的值；正文：开发工具：IDEA+JDK1.8+MAVEN1.创建maven项目并导入UDTF函数的依赖jar包org.apache.hivehive-exec1.1.12
Belief_f41c·2023-12-03 18:56

[一起学Hive]之一–Hive概述，Hive是什么

1.Hive是什么Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。这是来自官方的解释。
antyzhu·2023-12-03 17:23

Anaconda的下载与安装

网址：https://mirrors.bfsu.edu.cn/anaconda/archive/，这里给出的是镜像源，也可以去官网下载（下载哪个版本都行）。
捞起月亮的渔民~·2023-12-03 17:24

Centos下unixODBC连接数据库 -（七）MySQL8.0.2

可参考该系列第一篇文章：Centos下unixODBC连接数据库-（一）Oracle12c一、搭建MySQL服务1.下载MySQL的rpmbundle安装包https://downloads.mysql.com/archives
fishheader·2023-12-03 16:23

在PyCharm中运行OpenCV

点击下载链接：Indexof/anaconda/archive/|清华大学开源软件镜像站|TsinghuaOpenSourceMirror往下翻，找到最新的.exe进行下载。
忆梦怀思·2023-12-03 15:18

2021-05-25 picard和beagle软件使用过程中遇到的各种问题

主要引用为：【原创文章】辣椒BSA分析对数据进行质控、去重、索引等预处理的几个姿势（https://www.baishujun.com/archives/7191.html）！
AsuraPrince·2023-12-03 14:54

基于Python和Spark的大数据音乐推荐系统的设计与实现

该系统采用Python编程语言，采用开放源码系统结构Django完成整个系统结构，以Hive作为数据库进行存储。管理员
程序设计123·2023-12-03 13:55

Hbase与Hive的区别与联系

Hive，通过元数据来描述HDFS上的结构化文本数据。因此，严格地讲，Hive并非数据库，主要是让开发人员能够通过SQL(HQL语
阿乐_822e·2023-12-03 12:13

生成带依赖Jar 包的两种常用方式：IDEA打包工具：Artifacts 和 maven-shade-plugin

测试jar包2、maven-shade-plugin2.1、pom文件添加2.2、打包2.3、测试jar包总结前言当我们编写完Java程序后，为了提高执行效率通常会将应用程序打包成JAR（JavaArchive
Le`soleil·2023-12-03 11:22

Tomcat初次使用。

目前试验成功的版本，就是Java8+Tomcat8.5.下载tomcat8.5wgethttps://archive.apache.org/dist/tomcat/tomcat-8/v8.5.96/bin
wenjurongyu·2023-12-03 10:07

备份恢复作业

备份恢复作业：异机恢复recoverdatabase报如下错误：archivedlogfilename=/oradata/arch/1_237_1151011666.dbfthread=1sequence
加油鸭啦啦啦啦·2023-12-03 10:00

hive 分号(；)在数据处理中带来的问题

NoViableAltException(114@[])atorg.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.function(HiveParser_IdentifiersParser.java
hankl1990·2023-12-03 09:34

hive之mapjoin

一：该如何使其生效：sethive.auto.convert.join=true;--是否开自动mapjoinsethive.mapjoin.smalltable.filesize;--mapjoin的表
hankl1990·2023-12-03 09:34

hive里如何高效生成唯一ID

常见的方式：hive里最常用的方式生成唯一id，就是直接使用row_number()来进行，这个对于小数据量是ok的，但是当数据量大的时候会导致，数据倾斜，因为最后生成全局唯一id的时候，这个任务是放在一个
hankl1990·2023-12-03 09:59

Hive SQL使用过程中的奇怪现象

hive是基于Hadoop的一个数据仓库工具，用来进行数据的ETL，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
大数据技术与数仓·2023-12-03 08:07

【SparkSQL】基础入门（重点：SparkSQL和Hive的异同、SparkSQL数据抽象）

【大家好，我是爱干饭的猿，本文重点介绍SparkSQL的定义、特点、发展历史、与hive的区别、数据抽象、SparkSession对象。
爱干饭的猿·2023-12-03 06:13

深入 C 语言和程序运行原理 实战项目代码在CentOS 7上编译

安装gtest参考博客《使用gtest和lcov测试代码覆盖率》wgethttps://github.com/google/googletest/archive/refs/tags/r
seasidezhb·2023-12-03 06:56

解码 SQL：深入探索 Antlr4 语法解析器背后的奥秘

你可能已经使用过诸如MySQL、Hive、ClickHouse、Doris、Spark和Flink等工具来编写SQL查询。
Light Gao·2023-12-03 06:21

VS中创建编译QT项目工程

1.安装qt-vs-tools工具qt-vs-tools下载地址：https://download.qt.io/archive/vsaddin/也可以在VS工具中下载。
离歌漠·2023-12-03 05:59

Qt5.14.2-windows平台配置Qt Creator的ARM体系结构Linux交叉编译器

1、安装Qt并下载对应源码下载并安装Qt下载对应的源码包，windows版本选择zip格式的源码包Indexof/archive/qt/5.14/5.14.2https://download.qt.io
babyheda·2023-12-03 05:09

Qt5.14.2-Linux平台配置Qt Creator的ARM体系结构Linux交叉编译器

1、安装Qt并下载对应源码下载并安装Qt编辑下载对应的源码包，Linux版本选择tar.gz格式的源码包Indexof/archive/qt/5.14/5.14.2链接2、下载ARM交叉编译工具ArmGNUToolchainDownloads–ArmDeveloperLinaroReleasesARM
babyheda·2023-12-03 05:09

在k8s上安装Harbor

kubernetes(k8s)存储动态挂载》《在k8s（kubernetes）上安装ingressV1.1.3》参考我之前的文档进行部署https://www.oiox.cn/index.php/archives
小陈运维·2023-12-03 05:00

黑猴子的家：Hive 基本查询（SELECT…FROM）

1、全表和特定字段查询1）全表查询hive(default)>select*fromemp;2）选择特定列查询hive(default)>selectempno,enamefromemp;注意：（1）SQL
黑猴子的家·2023-12-03 02:45

Windows10下安装QT5.10+QWT6.13教程

首先安装QT5.10,可以去官网下载，也可以去这里下载http://download.qt.io/archive/qt/。本文使用的后者。1.进入网页后选择最新的QT5.10进行下载。
Snow_2018·2023-12-03 02:12

MMA安装及使用优化

1.背景公司自建的Hadoop集群，后期使用阿里的Maxcompute，就需要迁移数据到新环境中，阿里提供众多的迁移方案，在经过我们的实践后，最终选择了MMA，迁移数据Hive到Maxcompute。
选手一号位·2023-12-03 02:14

spark读取GBK文件的方法

args:Array[String]):Unit={valspark=SparkSession.builder.appName("PowerLeo").master("local[*]").enableHiveSuppo
NikolasNull·2023-12-03 02:31

Servlet线程安全？不安全？

扩展：http://hi.baidu.com/donggw2030521/item/c42989f325788f0ac6dc45e0http://www.cnblogs.com/gw811/archive
進擊的胖蛇·2023-12-03 01:06

BUUCTF [UTCTF2020]docx 1

（office的文件似乎都是zip压缩包，通过某种技术呈现为我们看到的样子）（ZIPArchive(zip)，
玥轩_521·2023-12-02 23:30

reboot与shutdown -r now 区别与联系

reboot与shutdown-rnow区别与联系（又收集了init和halt的小知识）转载自：http://www.cnblogs.com/summergarden/archive/2013/01/12
biolxy·2023-12-02 22:09

Hive----基本概念

Hive基本概念1、Hive：由Facebook开源用于解决海量结构化日志的数据统计。2、Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
Hi杯酒故人·2023-12-02 21:21

Hadoop进阶学习---MapReduce分布式计算架构

1.单词统计流程(文字简单描述)已知文件内容:hadoophivehadoopsparkhiveflinkhivelinuxhivemysql计算每个单词出现的次数2.MR底层计算原理[重点]MAP阶段第一阶段是把输入目录下文件按照一定的标准逐个进行逻辑切片
Yan_bigdata·2023-12-02 19:30

Hive环境准备[重点学习]

1.前提启动hadoop集群hadoop在统一虚拟机中已经配置了环境变量启动hdfs和yarn集群命令:start-all.sh[root@node1/]#start-all.sh启动mr历史服务命令:mapred--daemonstarthistoryserver[root@node1/]#mapred--daemonstarthistoryserver检查服务命令:jps[root@node1
Yan_bigdata·2023-12-02 19:59

大数据技术学习笔记之hive框架基础3-sqoop工具的使用及具体业务分析

CDH-》Hortonworks:HDP-》选用CDH版本的好处-》解决每个框架之间的兼容性问题-》不需要对其他框架进行对应版本的编译-》cdh5框架的下载：cdh-5.3.6-》http://archive.cloudera.com
黄剑锋1996·2023-12-02 19:50

HIVE SQL 、Hive MR参数设置

1、知识点回顾hive数据库是hdfs上的文件夹，表也是文件夹，表里的数据是文件hive建表createtable表名(字段1类型1,字段2类型2……)rowformatdelimitedfieldsterminatedby
故里良田·2023-12-02 15:39

在Linux下如何安装Jupyter Notebook

www.anaconda.com/distribution/#download-section如果嫌慢的话，可以去清华镜像源下载：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive
Micheal超·2023-12-02 15:17

linux 安装 Anaconda 及 jupyter notebook

一、安装Anaconda1、下载（直接到清华镜像下载）下载链接：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/，选择合适的版本(Anaconda3
songxiaozhuo·2023-12-02 15:17

大数据——一文详解数据仓库概念（数据仓库的分层概念和维度建模详解）

ods层最好理解，基本上就是数据从源表拉过来，进行etl，比如MySQL映射到Hive，那么到了Hive里面就是ods层。
静惘·2023-12-02 15:14

一个Hive curator-client.jar包冲突问题排查解决

开发环境比较乱昨天遇到hiveserver2启动失败，查看日志报错java.lang.NoSuchMethodError:org.apache.curator.shaded.com.google.common.util.concurrent.MoreExecutors.sameThreadExecutor
Java小田·2023-12-02 12:56

apk下载变为Zip格式的几种解决方案

1.我使用的是Tomcat服务器，在Tomcat/conf/web.xml文件中添加如下配置apkapplication/vnd.android.package-archiveapkapplication
峪幽兰·2023-12-02 12:03

【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive

【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive文章目录一、mysql全量导入hive[分区表]需求介绍：二、mysql增量导入hive1.增量导入的第一种实现方法2.另一种方法是时间字段
程序终结者·2023-12-02 10:22

【DBeaver】驱动添加-Hive和星环

驱动Hive驱动hive驱动可以直接去官网下载官网地址，填一下个人信息。如果想直接下载可以去我上次的资源下地址，需要用zip解压。
不专业得Cook·2023-12-02 10:20

Hive中parquet压缩格式分区表的跨集群迁移记录

文章目录环境与需求集群环境需求描述操作步骤STEP1STEP2STEP3STEP4STEP5STEP6环境与需求集群环境华为FushionInsightA华为FushionInsightB华为集群管理机localHive3.1.0HDFS3.3.1
程序终结者·2023-12-02 10:17

Spark---DataFrame存储、Spark UDF函数、UDAF函数

、DataFrame存储+SparkUDF函数1、储存DataFrame1）、将DataFrame存储为parquet文件2）、将DataFrame存储到JDBC数据库3）、将DataFrame存储到Hive
30岁老阿姨·2023-12-02 10:46

【详解】Spark数据倾斜问题由基础到深入详解-完美理解-费元星

数据倾斜定义：顾名思义，就是大量相似或相同数据聚集在一个块的节点里，导致计算和资源分配不均导致的计算缓慢（长尾）问题。
未来星_狒狒·2023-12-02 10:44

Hive jar包冲突问题排查解决

1、报错情况hiveserver2启动失败，查看日志报错：2022-07-04T20:14:53,315WARN[main]:server.HiveServer2(HiveServer2.java:startHiveServer2
Java小田·2023-12-02 10:14
上一页 48 49 50 51 52 53 54 55 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他