hive数据倾斜

《PySpark大数据分析实战》-08.宽窄依赖和阶段划分

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:19

《PySpark大数据分析实战》-09.Spark独立集群安装

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:49

《PySpark大数据分析实战》-05.PySpark库介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:05

flutter 写一个通用方法，通过回调返回数据

//先获取数据，设置回调///获取好友资料getUserArchivesInfo(int?userId,{Function(boolisCache,ArchivesInfoarchivesInfo)?
氤氲息·2023-12-16 14:04

2018-10-31 Ansible 2.7.1在Ubuntu 16.4安装使用

PPA是PersonalPackageArchives首字母简写。翻译为中文意思是：个人软件包文档。
AK蜗牛·2023-12-16 13:37

GIT编译安装

yum-yinstallcurl-develexpat-develgettext-developenssl-develzlib-develgccperl-ExtUtils-MakeMaker2下载git安装包wgethttps://Github.com/Git/Git/archive
youngxs·2023-12-16 11:07

Java学习笔记之三：Nexus的安装和启动

一、下载DownloadArchives-RepositoryManager3地址如上，里面版本3的历史版本都有，选择最新版本的Windowsarchive对应的zip下载如果最新版不能下载，下载最新版之前的那个版本即可
Java初学者之一·2023-12-16 11:54

Hive命令操作

1.命令行模式1.获取帮助-->hive-H或-help2.运行hive语句-->hive-e"执行语句"3.运行hive文件-->hive–f"执行文件"4.定义变量-->hive–hivevarkey
xinxinyydss·2023-12-16 08:38

HIVE优化场景二--减少job数量

场景二.减少JOB的数量1)巧妙的使用UNIONALL减少JOB数量2)利用多表相同的JOIN关联条件字段，去减少JOB的数量1)巧妙的使用UNIONALL减少JOB数量假如如下的场景，我们需要统计每多张表的数据量。首先我们可以编写多条SQL进行统计，这样的效率不高。（没意义）或者我们采用UNIONALL的形式把多个结果合并起来，但是这样效率也比较低如：SELECT'a'AStype,COUNT(
xuanxing123·2023-12-16 08:27

Hive建表语句

--数据库--创建数据库CREATEDATABASEIFNOTexistsmyhivebook;--创建数据库并添加注释CREATEDATABASEIFNOTexistsmyhivebook2COMMENT
xinxinyydss·2023-12-16 08:58

PHP操作ZIP之ZipArchive类以及如何避免生成压缩文件带有目录层级的问题

常用的方法phpZipArchive可以说是php自带的一个函数了，他可对对文件进行压缩与解压缩处理，但是使用此类之前我们必须在php.ini中把extension=php_zip.dll前面的分号有没有去掉
小关@·2023-12-16 07:16

hive 常见存储格式和应用场景

1.存储格式textfile、sequencefile、orc、parquetsequencefile很少使用（不介绍了），常见的主要就是orc和parquet建表声明语句是：storedastextfile/orc/parquet行存储：同一条数据的不同字段都在相邻位置，所以当要查找某一条记录所有数据时行存储查询速度比较快列存储：以列来聚集数据，相同字段的值聚集在一起，所以当查询某一个指定列的所
Logan_addoil·2023-12-16 07:13

hive的分区表和分桶表详解

分区表Hive中的分区就是把一张大表的数据按照业务需要分散的存储到多个目录，每个目录就称为该表的一个分区。在查询时通过where子句中的表达式选择查询所需要的分区，这样的查询效率会提高很多。
Appreciate(欣赏)·2023-12-16 07:09

华为大数据开发者教程知识点提纲

一、线下处理1.离线处理方案数据支持：HDFS调度：YARN收入：Flume，sqoop，loader处理：Mapreduce，SparkSql，spark，hive（，Flink）2.HadoopNamenode
qq_1418269732·2023-12-16 06:08

初识大数据应用，一文掌握大数据知识文集(1)

05、Hive跟Hbase的区别？06、请列出正常工作的hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？07、KafkaUtils.cr
普修罗双战士·2023-12-16 06:22

【Hive】——DDL（TABLE）

1查询指定表的元数据信息如果指定了EXTENDED关键字，则它将以Thrift序列化形式显示表的所有元数据。如果指定了FORMATTED关键字，则它将以表格格式显示元数据。describeformattedstudent；2删除表如果已配置垃圾桶且未指定PURGE，则该表对应的数据实际上将移动到HDFS垃圾桶，而元数据完全丢失。删除EXTERNAL表时，该表中的数据不会从文件系统中删除，只删除元数
那时的样子_·2023-12-16 05:05

hive中如何求取中位数？

目录中位数的概念代码实现准备数据实现中位数的概念中位数（Median）又称中值，统计学中的专有名词，是按顺序排列的一组数据中居于中间位置的数，代表一个样本、种群或概率分布中的一个数值，其可将数值集合划分为相等的上下两部分。对于有限的数集，可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个，通常取最中间的两个数值的平均数作为中位数。代码实现准备数据withtempas(se
浊酒南街·2023-12-16 05:58

【Hive】——DDL（PARTITION）

1增加分区1.1添加一个分区ALTERTABLEt_user_provinceADDPARTITION(province='BJ')location'/user/hive/warehouse/test.db
那时的样子_·2023-12-16 05:56

ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.NullPointerException 解决方案【SOLVED】

洛萨之锋公司最近需要使用sqoop利用hcatalog将数据从mysql导入到hive，我在导数据的时候碰到这样的问题：ERRORsqoop.Sqoop:GotexceptionrunningSqoop
luosayiran·2023-12-16 05:13

How to Use the Tar Command

Thetarcommandisaversatilecommand-linetoolusedforcreatingandmanipulatingarchivefiles.ItiscommonlyusedinUnix-likeoperatingsystems.Here
yuguo.im·2023-12-16 05:06

【machine learning for everyone 人人都可以学的机器学习】系列文章 1【数据预处理、KNN、朴素贝叶斯、线性回归、SVM、Neural Net】

machinelearningforeveryone人人都可以学的机器学习前言数据数据集处理模型相关kNNNaiveBayesLogRegressionsvcNeuralNet前言数据集:https://archive.ics.uci.edu
weixin_40293999·2023-12-16 05:05

【Hadoop-Cos】存储对象Cos通过Java-SDK获取目录结构

com.qcloudcos_api5.6.133packagegaei.cn.x5l.x5lhive2cos.utils;importcom.qcloud.cos.COSClient;importcom.qcloud.cos.ClientConfig
bmyyyyyy·2023-12-16 05:45

【Hadoop-Distcp】通过Distcp的方式迁移Hive中的数据至存储对象

【Hadoop-Distcp】通过Distcp的方式迁移Hive中的数据至存储对象1）了解Distcp1.1.Distcp的应用场景1.2.Distcp的底层原理2）使用Distcp4）S3可视化App
bmyyyyyy·2023-12-16 05:14

【Hadoop-OBS-Hive】利用华为云存储对象 OBS 作为两个集群的中间栈 load 文件到 Hive

【Hadoop-OBS-Hive】利用华为云存储对象OBS作为两个集群的中间栈load文件到Hive1）压缩文件2）上传文件到OBS存储对象3）crontab定时压缩上传4）从obs上拉取下来文件后解压缩
bmyyyyyy·2023-12-16 04:04

pyspark on yarn

直接下载hive组件的客户端配置就可以，它里面包含了hdfs和yarn的配置。如下所示：[email protected]
骑着蜗牛向前跑·2023-12-16 03:34

段错误详细解读

它具有许多优点，例如安全性、可定制性和可靠性https://fostmar.online/archives/173/段错
单丽尔·2023-12-16 02:48

hive获取某日期是今年第几天

一、函数：datediff(stringenddate,stringstartdate)求开始和结束时间相差的天数二、举例1：获取2021-08-01为今年的第几天hive>selectdatediff
三水青一人尤·2023-12-16 00:31

记录hive/spark取最新且不为null的方法

听标题可能听不懂我想表达的意思，我来描述一下我要做的事：比如采集同学对某一网站进行数据采集，同一个用户每天会有很多条记录，所以我们要取一条这个用户最新的状态，比如用户改了N次昵称，我们只想得到最后一次修改的结果，但是用窗口函数row_number按时间排序的话，可能最后一条某些字段没采集到，但是之前是有采集到的，所以应该在按时间倒序排的基础上，遇到null值，再往前取，直到所有字段尽可能取到最新的
wxl_winston·2023-12-16 00:26

ambari hive on Tez引擎一直卡住

hiveontez使用.
dogplays·2023-12-16 00:25

Linux(centos, ubuntu) 快速安装anaconda；5秒安装anaconda

示例：wgethttps://repo.anaconda.com/archive/Anaconda3-20
别出BUG求求了·2023-12-15 22:55

【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例（1）- window join

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:18

【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例（3）- 数据倾斜处理、分区示例

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:18

【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例（2）- interval join

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:17

【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例-完整版

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:47

大数据学习（一）-------- HDFS

已经有了很多框架方便使用，常用的有hadoop，storm，spark，flink等，辅助框架hive，kafka，es，sqoop，flume等。常见应用推荐系统，用户画像等。
大数据流动·2023-12-15 21:01

Unity3D -- Unable to read header from archive file:

问题描述：加载AssetBundle的时候报了Unabletoreadheaderfromarchivefile:xxx.问题解析：这里的问题是xxx文件不是AssetBundle文件，所以去查一下加载的文件对不对即可
honey199396·2023-12-15 20:55

Ubuntu Server 20.04.6安装Anaconda3

下载安装包去下面的网页找到自己想要安装的对应版本的链接：https://repo.anaconda.com/archive/我安装的版本链接如下：https://repo.anaconda.com/archive
D-A-X·2023-12-15 20:32

linux文件打包和压缩

7.2文件打包和压缩7.2.1tartar（英文全拼：tapearchive）命令用于备份文件。​tar是用来建立，还原备份文件的工具程序，它可以加入，解开备份文件内的文件。​
Guff_hys·2023-12-15 19:47

运维笔记：Linux（CentOS8）免编译安装mysql5.7.33最新版本

最新版本下载参考官方文档：https://downloads.mysql.com/archives/community/所有版本的官方安装文档：https://dev.mysql.com/doc/refman
the丶only·2023-12-15 19:17

spark链接hive时踩的坑

使用spark操作hive，使用metastore连接hive，获取hive的数据库时，当我们在spark中创建数据库的时候，创建成功。
YuPangZa·2023-12-15 18:00

三步教你轻松安装配置 Linux Anaconda 环境

一、下载安装脚本1.进入Anaconda官网获取下载链接：2.远程拉取安装脚本wgethttps://repo.anaconda.com/archive/Anaconda3-2023.07-1-Linux-x86
ReturnTmp·2023-12-15 17:55

大数据基础知识

为了一场紧急考试，没有正经系统学习过大数据知识的我开始恶补概念涉及Hadoop、Hbase、Spark、Flink、Flume、Kafka、Sqoop、HDFS、Hive、Mapreduce、Impala
偶余杭·2023-12-15 17:22

生活本来可以很安逸，你为什么还要努力学习？

原创：凯恩说蜂巢HIVE5天前你为什么要努力学习，是游戏不好玩？还是电影不好看？你今天吃的苦，都是日后脚下的路。不是大学毕业了就不需要学习了，不是有工作了就不需要学习了。
田_52ab·2023-12-15 16:50

《JAVA与模式》之观察者设计模式及自定义监听器

本文参考了网上的另外一篇博客：http://www.cnblogs.com/java-my-life/archive/2012/05/16/2502279.html，描述的较为详细。
Beauxie·2023-12-15 15:25

如何截取Hive数组中的前N个元素？

文章目录1、需求描述2、使用索引3、使用posexplode()4、转换为字符串操作1、需求描述需求：截取任意给定数组中的前N个元素，返回截取后的子数组假设我们有如下三种类型的Hive数组：selectarray
对许·2023-12-15 15:23

第77讲：二进制方式搭建MySQL数据库5.7版本以及错误日志管理

1.二进制安装MySQL5.7版本1.1.下载MySQL5.7版本的二进制文件[root@mysql~]#wgethttps://downloads.mysql.com/archives/get/p/23
Jiangxl~·2023-12-15 15:53

Hive自定义函数

，单行输出UDAF:多行进入，单行输出UDTF:单行输入，多行输出（explode有类似效果）自定义UDAF实战假设用户表记录工号（empid）名称（name），自然日（date），如果上班就有数据在hive
数据与后端架构提升之路·2023-12-15 15:05

Hive SQL间隔连续问题

连续问题问题一算过去30天有哪些用户是连续7天登录我们APP的，如何写SQL思路：用rank算出连续编号，然后用日期减去rank编号差值求解SELECTDISTINCTuser_idFROM(SELECTuser_id,login_date,date_sub(login_date,intervalrank()over(partitionbyuser_idorderbylogin_date)day)
数据与后端架构提升之路·2023-12-15 15:35

以csv为源 flink 创建paimon 临时表相关 join 操作

环境：各组件版本如下kyuubi1.8.0flink1.17.1paimon0.5正式版本hive3.1.3阅读此文前，需涉及前置的知识点如下kyuubi整合flinkyarnapplication
流月up·2023-12-15 15:00

Linux-文件压缩解压

我们常常使用tar将多个文件归档为一个总的文件，称为archive。然后用gzip或bzip2命令将archive压缩为更小的文件。tar创建一个tar归档。
努力的布布·2023-12-15 15:24
上一页 43 44 45 46 47 48 49 50 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他