hive导出数据

Hive性能优化

Hive性能优化数据量大不是问题，数据倾斜是个问题。jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。
La victoria·2024-01-20 13:23

Hive性能调优(二)——一文搞懂HiveSQL执行计划

测试的数据请看上一篇博客，数据行数500万。目录一.简单SQL的执行计划二.带普通函数SQL的执行计划三.带聚合函数SQL的执行计划四.带窗口函数SQL的执行计划五.表连接的SQL的执行计划一.简单SQL的执行计划explainselects_age,s_scorefromstudent_tb_seqwheres_age=20;+----------------------------------
程研板·2024-01-20 13:19

一文说全HiveConf类（Hive3.1.2版本）

一文说全HiveConf类（Hive3.1.2版本）作者：Eeeddieee工作中大部分时间都用到了Hive，虽然对Hive的架构、运行原理、调优方式有一定了解，但是很多都是在前人总结的基础上进行学习，
Eeeddieee·2024-01-20 13:17

Hive调优一文打尽

一、调优概述Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。
跟着大数据和AI去旅行·2024-01-20 13:16

Doris配置外表以及多个Hive外表的配置

1.场景分析以Clickhouse、Doris、Starrocks等为代表的mpp分析数据库正在快速的兴起，以其高效查询、跨库整合能力收到广大技术人员的喜爱。本文主要浅显介绍下作者在使用Doris时，通过建立catlog进行跨库查询。废话不多少，直接上代码2.相关配置#Tidb外表，jdbc方式连接，如果没有服务器权限可以直接在driver_url上填写jar包的maven地址#如果报connec
tuoluzhe8521·2024-01-20 12:37

Hive / Presto 行转列 列转行

Hive/Presto行转列列转行行转列1、Hive：2、Presto：列转行Hive1、split将order_ids拆分成数组，lateralviewexplode将数组炸裂开Presto1、split
吴法刚·2024-01-20 12:37

hive Error while compiling statement: FAILED: ClassCastException org.apache.hadoop.hive.serde2.objec

Errorwhilecompilingstatement:FAILED:ClassCastExceptionorg.apache.hadoop.hive.serde2.objectinspector.primitive.WritableConstantStringObjectInspectorcannotbecasttoorg.apache.hadoop.hive.serde2
圆周率的后六位·2024-01-20 12:35

hive 运行报错

Error:Errorwhilecompilingstatement:FAILED:UDFArgumentTypeExceptionExactlyoneargumentisexpected.近期用spark跑数据出现这个情况，最后查到问题是sum(if(a.idisnotnull,1,0))asshouldrepay_count,一开始写的是sum(a.idisnotnull,1,0)asshou
圆周率的后六位·2024-01-20 12:35

hive join 很慢

hive跑的很慢原因解析：背景如下将下面4个表join起来，然后在做聚合操作selectcount(1)fromcustomer_merchant_anti_fraud_demand1_1–19864656
圆周率的后六位·2024-01-20 12:35

hadoop运行任务出错，Hive Runtime Error while processing row

Error:java.lang.RuntimeException:org.apache.hadoop.hive.ql.metadata.HiveException:HiveRuntimeErrorwhileprocessingrow
圆周率的后六位·2024-01-20 12:05

【Flink】Flink1.12.0 FlinkSQL消费Kafka 使用 temporal join 关联维表Hive 最新分区数据 join 不上

文章目录1.概述2.场景12.1概述2.2解决1.概述2.场景12.1概述场景是这样的FlinkSQL消费kafka关联Hive维表最新分区刚开始我往Hive维表里筛了10条左右数据运行FlinkSQL
九师兄·2024-01-20 11:27

spark的jdbc接口，类似于hiveserver2

https://spark.apache.org/docs/2.4.0/sql-distributed-sql-engine.html#running-the-thrift-jdbcodbc-serverSparkSQL可以作为一个分布式查询引擎，通过其JDBC/ODBC或命令行接口进行操作。通过JDBC/ODBC接口，用户可以使用常见的数据库工具或BI工具来连接和查询SparkSQL，这使得Sp
zdkdchao·2024-01-20 10:53

unzip解压大文件失败提示End-of-central-directory signature not found

unzipfile.zipEnd-of-central-directorysignaturenotfound.Eitherthisfileisnotazipfile,oritconstitutesonediskofamulti-partarchive.Inthelattercasethecentraldirectoryandzipfilecommentwillbe
nudt_qxx·2024-01-20 07:33

使用jQuery播放/暂停 HTML5视频

来源：http://blog.okbase.net/jquery2000/archive/4485.html我尝试用jQuery控制HTML5视频，两个视频分别在两个tab中，我希望点中tab后，该tab
木利·2024-01-20 06:07

Boost Compression Speed with FastLZ

BoostCompressionSpeedwithFastLZAspose.ZIP23.12allowsdeveloperstocompressfileswithFastLZ,improvingperformanceandmemoryuse.Aspose.ZIPofferscomprehensiveZIParchivemanagementcapabilitiesfordevelopersandus
SEO-狼术·2024-01-20 06:25

Windows平台安装配置Hadoop2.7.X

一，准备1.安装jdk1.82.下载hadoop2.7.7.tar.gz官网下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7
sun_十一·2024-01-20 04:23

更新kali linux系统

、获得新的密钥（任选一种即可）推荐第四种1、#apt-keyadv--keyserverkeys.gnupg.net--recv-keysED444FF07D8D0BF62、#wget-q-O-archive.kali.org
TsengYUen·2024-01-20 02:26

Hive表导出成csv文件

先说结论hive-e"sethive.cli.print.header=true;select*fromdata_tablewheresome_query_conditions"|sed's/[\t]/
7ccc099f4608·2024-01-20 01:40

Hive HQL SQL经典练习题50道

基于Hive1.1语法1.四张表结构学生表student(s_id,s_name,s_birth,s_sex)–学生编号,学生姓名,出生年月,学生性别课程表course(c_id,c_name,t_id
HHHBan·2024-01-20 01:37

R语言【paleobioDB】——pbdb_temporal_resolution()：展示化石数据的时空分辨率

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-19 23:56

R语言【paleobioDB】——pbdb_temp_range()：绘制指定类群的时空范围

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-19 23:56

hive学习笔记之十：用户自定义聚合函数(UDAF)

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos本篇概览本文是《hive学习笔记》的第十篇，前文实践过UDF
程序员欣宸·2024-01-19 22:04

php wordpress 代码模板,WordPress主题模板层次和常用模板函数_php

WordPress主题–判断Tagis_home()：是否为主页is_single()：是否为内容页(Post)is_page()：是否为内容页(Page)is_category()：是否为Category/Archive
weixin_39997173·2024-01-19 21:30

主题模板层次和常用模板函数(WordPress)

WordPress主题-判断Tagis_home()：是否为主页is_single()：是否为内容页（Post）is_page()：是否为内容页（Page）is_category()：是否为Category/Archive
IT人偶·2024-01-19 21:00

DC-2靶机刷题记录

pwd=aqsi提取码：aqsi参考：https://c3ting.com/archives/vulnhnbshua-ti—dc-2http://t.csdnimg.cn/pNSCNhttps://www.vulnhub.com
Fab1an·2024-01-19 20:50

DC-1靶机刷题记录

pwd=9nyo提取码：9nyo参考答案：https://c3ting.com/archives/kai-qi-vulnhnbshua-tiDC-1.pdf【【基础向】超详解vulnhub靶场DC-1】
Fab1an·2024-01-19 20:18

Windows 10 安装 Redis

下载安装包官网上不提供Windows版本的Redis安装包，只能在GitHub上下载下载地址：https://github.com/MicrosoftArchive/redis/releases安装Redis
抚槛兮远望·2024-01-19 18:30

分布式中间件之Redis

下载Rediswindows版本：https://github.com/MicrosoftArchive/redis/tags（官网没有，只能去github下载，也只有3.2版本以下的）linux版本：
田青钊·2024-01-19 17:59

spring-framework源码构建(idea)

版本v5.0.2.RELEASE下载地址https://github.com/spring-projects/spring-framework/archive/v5.0.2.RELEASE.zip目录结构
何冠希·2024-01-19 16:53

某小外包公司线上面试-大数据开发

1.数仓和数据库的区别2.数仓建模3.hive用到的函数4.rank,dense_rank,row_number的区别5.hive数据倾斜的原因有哪些7.如何理解数据质量？
劝学-大数据·2024-01-19 16:03

德拓外包-大数据开发面试

忘了3.hive，两张表的重复数据，怎么去重？回答distinct,groupby，开窗取第一条，开窗函数是哪个？
劝学-大数据·2024-01-19 16:03

大数据学长面试之OPPO面试题

1）技术部分（1）SparkStreaming消费方式及区别，Spark读取HDFS的数据流程（2）Kafka高性能（3）Hive调优，数据倾斜（4）Zookeeper怎么避免脑裂，什么是脑裂。
大数据小理·2024-01-19 16:01

某汽车外包-大数据开发-面试

1.自我介绍2.hivesql的执行流程3.mapreduce的原理。4.spark的提交参数有那些命令5.sparkrdd,dataframe,dataSe解释一下。
劝学-大数据·2024-01-19 16:28

excel合并去重的方法

1、导出数据从系统里面导出开票的原始数据，可以看出，有一些是重复的规格型号，本来没有要求就可以直接导入开票系统里面开出来即可，现在要处理一下，需要把重复的规格数量合并到一起，避免规格相同的数据重复。
挪个窝·2024-01-19 15:19

mysql-8.0.34-winx64 ZIP Archive版安装教程

下载地址：https://dev.mysql.com/downloads/mysql/解压文件放置安装位置新建my.inimy.ini内容如下.[mysqld]#设置3306端口port=3306#设置mysql的安装目录basedir=D:\\mysql-8.0.34-winx64#设置mysql数据库的数据的存放目录datadir=D:\\mysql-8.0.34-winx64\\data#允
雨落星辰C·2024-01-19 15:32

linux之tar命令

tar（tapearchive）命令是Linux和类Unix系统中用于创建、管理归档文件的工具，主要用于数据备份、恢复以及文件打包。
何浩钧·2024-01-19 15:54

（四）Hive中sql的使用

1、创建表建表语法CREATE[EXTERNAL]TABLE[IFNOTEXISTS]table_name[(col_namedata_type[COMMENTcol_comment],...)][COMMENTtable_comment][PARTITIONEDBY(col_namedata_type[COMMENTcol_comment],...)][CLUSTEREDBY(col_name,
小猪Harry·2024-01-19 14:03

【修复登录接口】全新最火表情包小程序源码流量主无限裂变斗图小程序

源码下载地址：https://ms3.ishenglu.com/archives/432
ms3_ishenglu·2024-01-19 13:47

Jenkins安装多个jdk版本，并在项目中选择对应jdk版本

进入下载网址，JavaArchiveDownloads-JavaSE8u211andlater1、找到下载的版本，一般选择linux64位，后缀为.tar.gz的压缩包，下载需要登录oracl
气拔星·2024-01-19 13:04

重复包冲突，找到去掉其中一个即可

异常：Error:Executionfailedfortask':app:transformDexArchiveWithExternalLibsDexMergerForDebug'.java.lang.RuntimeException
才兄说·2024-01-19 12:47

linux学习 Day9-linux用户管理权限

手动添加用户添加用户hive基本组为hive（5000），附加组为mygroupnano/etc/grouphive:x:5000:#添加用户组hivemygroup:x:504:hive#添加附加组nano
面团_c96b·2024-01-19 12:04

php rabbitmq扩展安装

alanxz/rabbitmq-c/releases新平台环境搭建这次使用最新版本(外网可能会有点慢要多试几次)wgethttps://github.com/alanxz/rabbitmq-c/archive
摘取天上星·2024-01-19 09:40

AWK命令

参考文章：http://www.zsythink.net/archives/tag/awk/如果你是awk小白，这篇文章或许对你很有用，但是我更推荐朱双印的博客，因为他写的教程特别有趣，而且还很简单明了
dming1024·2024-01-19 09:12

CentOS 7上安装Anaconda 详细教程

wgethttps://repo.anaconda.com/archive/Anaconda3-2023.03-1-Linux-x86_64.sh众所周知的原因，从官网下载Ana
我要 成果·2024-01-19 09:50

任务15：使用Hive进行全国气象数据分析

任务描述知识点：使用Hive进行数据分析重点：掌握Hive基本语句熟练使用Hive对天气数据进行分析内容：使用Hive创建外部表使用Hive对数据进行统计分析任务指导1.使用Hive创建基础表将China_stn_city.csv
Dija-bl·2024-01-19 08:44

【大数据】Flink 测试利器：DataGen

3.DataGenConnector3.1Demo3.2支持的类型3.3连接器属性4.DataGen使用案例4.1场景一：生成一亿条数据到Hive表4.2场景二：持续每秒生产10万条数到消息队列5.思考
G皮T·2024-01-19 08:45

Shiro漏洞

VULHUB部署环境下载vulhubhttps://github.com/vulhub/vulhub/archive/master.zip?
bboywxy8340·2024-01-19 07:00

大年三十整理的asp.net资料！（不得不收藏）

http://blog.csdn.net/mengyao/archive/2007/02/17/1511356.aspx使用SqlBulkCopy类加载其他源数据到SQL表在数据回发时，维护ASP.NETTree
fanhgye·2024-01-19 07:54

Java - 导出Excel添加水印、密码

目录一、添加依赖二、工具类1.水印处理类2.生成水印方法类三、导出带水印、密码的Excel1.使用easyExcel的导出数据2.使用poi导出数据3.ruoyi工具类导出(poi)一、添加依赖org.apache.poiooxml-schemas1.4
御坂10027·2024-01-19 07:07

一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等

1.引言从2021年年底开始，笔者带领一个微型团队开始开发我们的大数据平台XSailboat，目前已经初步具备实用化条件，产品将持续性地开发、完善、迭代升级。在接下来的一段时间，笔者将陆续编写一些关于大数据平台实现相关的技术文档，有兴趣的从事大数据相关的同学，可以关注收藏一下，交流一下开发技术。如果对我们的大数据平台XSailboat感兴趣的同学比较多，希望将其应用于学习或商业项目中，我们可以在条
OkGogooXSailboat·2024-01-19 06:26
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他