hive分区表

Centos7.6安装Conda

安装包地址：https://repo.anaconda.com/archive/使用最新的版本，安装链接命令如下：>wgethttps://repo.anaconda.com/archive/Anaconda3
zlchen·2024-01-21 03:37

【大数据Hive】hive 行列转换使用详解

目录一、前言二、使用场景介绍2.1使用场景12.2使用场景2三、多行转多列3.1casewhen函数语法一语法二操作演示3.2多行转多列操作演示四、多行转单列4.1concat函数语法4.2concat_ws函数语法4.3collect_list函数语法4.4collect_set函数语法4.5多行转多列操作演示五、多列转多行5.1union语法5.2unionall语法5.3多列转多行操作演示六
逆风飞翔的小叔·2024-01-21 02:13

111.Parquet表的使用

Parquet格式：数据模型:Avro,Thrift,ProtocolBuffers,POJOs查询引擎:Hive,Impala,Pig,Presto,Drill,Tajo,HAWQ,IBMBigSQL
大勇任卷舒·2024-01-21 02:33

多表形成树形结构

多表形成树形结构：packagecom.js.archive.assistant.domain.vo;importcom.js.core.domain.vo.BaseVO;importio.swagger.annotations.ApiModel
北执南念·2024-01-21 00:28

解决在hive中创建表时TBLPROPERTIES中的长度问题

如果在hive中创建表时，如果TBLPROPERTIES中的长度过长，在hive的命令行中执行showcreatetable表名；发现创建的表语句中的TBLPROPERTIES的长度不完全，以下是解决办法
justdoit180·2024-01-21 00:11

使用Sqoop从Oracle数据库导入数据

Sqoop是一个用于在Hadoop生态系统（如HDFS和Hive）与关系型数据库之间传输数据的工具。它使数据工程师
晓之以理的喵~~·2024-01-20 19:27

11.Join的MapReduce实现

Join在MapReduce中的实现一、概述tips:Hive:MapReduce/Spark巧用explain查看语法树常见的面试题:描述如何使用MapReduce来实现join功能：考察点MapReduce
哈哈大圣·2024-01-20 18:40

hive 数字转换字符串_hive数据类型转换、字符串函数、条件判断

http://blog.csdn.net/yimingsilence/article/details/70057638函数数据类型转换同Java语言同样，Hive也包括隐式转换(implicitconversions
小宇boi·2024-01-20 18:08

LLM：ALiBi - 给注意力加上线性偏置

pdf代码：https://github.com/ofirpress/attention_with_linear_biases发表：2021长度外推参考：https://spaces.ac.cn/archives
微风❤水墨·2024-01-20 17:18

MySQL安装教程，windows下（超详细，根据步骤一步步来）

1.官网下载安装包下载链接：（本人下载的是mysqlCommunity8.0.19.0.msi）MySQL::DownloadMySQLInstaller(ArchivedVersions)https:
阿里嘎多f·2024-01-20 17:40

CUDA安装遇到问题及安装方法汇总

CMD输入nvidia-smi注意事项：安装低于显示的CUDA版本（兼容性）kCUDAToolkitArchive|NVIDIADeveloper————————CUDA版本网站进入选择合适版本安装如下图
jiang_changsheng·2024-01-20 15:12

Hive性能优化

Hive性能优化数据量大不是问题，数据倾斜是个问题。jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。
La victoria·2024-01-20 13:23

Hive性能调优(二)——一文搞懂HiveSQL执行计划

测试的数据请看上一篇博客，数据行数500万。目录一.简单SQL的执行计划二.带普通函数SQL的执行计划三.带聚合函数SQL的执行计划四.带窗口函数SQL的执行计划五.表连接的SQL的执行计划一.简单SQL的执行计划explainselects_age,s_scorefromstudent_tb_seqwheres_age=20;+----------------------------------
程研板·2024-01-20 13:19

一文说全HiveConf类（Hive3.1.2版本）

一文说全HiveConf类（Hive3.1.2版本）作者：Eeeddieee工作中大部分时间都用到了Hive，虽然对Hive的架构、运行原理、调优方式有一定了解，但是很多都是在前人总结的基础上进行学习，
Eeeddieee·2024-01-20 13:17

Hive调优一文打尽

一、调优概述Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。
跟着大数据和AI去旅行·2024-01-20 13:16

Doris配置外表以及多个Hive外表的配置

1.场景分析以Clickhouse、Doris、Starrocks等为代表的mpp分析数据库正在快速的兴起，以其高效查询、跨库整合能力收到广大技术人员的喜爱。本文主要浅显介绍下作者在使用Doris时，通过建立catlog进行跨库查询。废话不多少，直接上代码2.相关配置#Tidb外表，jdbc方式连接，如果没有服务器权限可以直接在driver_url上填写jar包的maven地址#如果报connec
tuoluzhe8521·2024-01-20 12:37

Hive / Presto 行转列 列转行

Hive/Presto行转列列转行行转列1、Hive：2、Presto：列转行Hive1、split将order_ids拆分成数组，lateralviewexplode将数组炸裂开Presto1、split
吴法刚·2024-01-20 12:37

hive Error while compiling statement: FAILED: ClassCastException org.apache.hadoop.hive.serde2.objec

Errorwhilecompilingstatement:FAILED:ClassCastExceptionorg.apache.hadoop.hive.serde2.objectinspector.primitive.WritableConstantStringObjectInspectorcannotbecasttoorg.apache.hadoop.hive.serde2
圆周率的后六位·2024-01-20 12:35

hive 运行报错

Error:Errorwhilecompilingstatement:FAILED:UDFArgumentTypeExceptionExactlyoneargumentisexpected.近期用spark跑数据出现这个情况，最后查到问题是sum(if(a.idisnotnull,1,0))asshouldrepay_count,一开始写的是sum(a.idisnotnull,1,0)asshou
圆周率的后六位·2024-01-20 12:35

hive join 很慢

hive跑的很慢原因解析：背景如下将下面4个表join起来，然后在做聚合操作selectcount(1)fromcustomer_merchant_anti_fraud_demand1_1–19864656
圆周率的后六位·2024-01-20 12:35

hadoop运行任务出错，Hive Runtime Error while processing row

Error:java.lang.RuntimeException:org.apache.hadoop.hive.ql.metadata.HiveException:HiveRuntimeErrorwhileprocessingrow
圆周率的后六位·2024-01-20 12:05

【Flink】Flink1.12.0 FlinkSQL消费Kafka 使用 temporal join 关联维表Hive 最新分区数据 join 不上

文章目录1.概述2.场景12.1概述2.2解决1.概述2.场景12.1概述场景是这样的FlinkSQL消费kafka关联Hive维表最新分区刚开始我往Hive维表里筛了10条左右数据运行FlinkSQL
九师兄·2024-01-20 11:27

spark的jdbc接口，类似于hiveserver2

https://spark.apache.org/docs/2.4.0/sql-distributed-sql-engine.html#running-the-thrift-jdbcodbc-serverSparkSQL可以作为一个分布式查询引擎，通过其JDBC/ODBC或命令行接口进行操作。通过JDBC/ODBC接口，用户可以使用常见的数据库工具或BI工具来连接和查询SparkSQL，这使得Sp
zdkdchao·2024-01-20 10:53

Deepin/Ubuntu_查看磁盘空间大小

Ubuntu）查看磁盘空间大小的代码示例：使用df命令：df-h使用du命令查看指定目录的磁盘使用情况：du-sh/path/to/directory使用lsblk命令：lsblk使用fdisk命令查看磁盘分区表信息
长孤秋落·2024-01-20 10:04

unzip解压大文件失败提示End-of-central-directory signature not found

unzipfile.zipEnd-of-central-directorysignaturenotfound.Eitherthisfileisnotazipfile,oritconstitutesonediskofamulti-partarchive.Inthelattercasethecentraldirectoryandzipfilecommentwillbe
nudt_qxx·2024-01-20 07:33

Linux之实验操作

修复MBR扇区步骤一：在进行实验之前我们需要新加一块磁盘，并对新加磁盘进行分区处理，用来备份sda磁盘的MBR及分区表信息。
Beloved Susu·2024-01-20 07:32

使用jQuery播放/暂停 HTML5视频

来源：http://blog.okbase.net/jquery2000/archive/4485.html我尝试用jQuery控制HTML5视频，两个视频分别在两个tab中，我希望点中tab后，该tab
木利·2024-01-20 06:07

Boost Compression Speed with FastLZ

BoostCompressionSpeedwithFastLZAspose.ZIP23.12allowsdeveloperstocompressfileswithFastLZ,improvingperformanceandmemoryuse.Aspose.ZIPofferscomprehensiveZIParchivemanagementcapabilitiesfordevelopersandus
SEO-狼术·2024-01-20 06:25

Windows平台安装配置Hadoop2.7.X

一，准备1.安装jdk1.82.下载hadoop2.7.7.tar.gz官网下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7
sun_十一·2024-01-20 04:23

更新kali linux系统

、获得新的密钥（任选一种即可）推荐第四种1、#apt-keyadv--keyserverkeys.gnupg.net--recv-keysED444FF07D8D0BF62、#wget-q-O-archive.kali.org
TsengYUen·2024-01-20 02:26

Hive表导出成csv文件

先说结论hive-e"sethive.cli.print.header=true;select*fromdata_tablewheresome_query_conditions"|sed's/[\t]/
7ccc099f4608·2024-01-20 01:40

Hive HQL SQL经典练习题50道

基于Hive1.1语法1.四张表结构学生表student(s_id,s_name,s_birth,s_sex)–学生编号,学生姓名,出生年月,学生性别课程表course(c_id,c_name,t_id
HHHBan·2024-01-20 01:37

R语言【paleobioDB】——pbdb_temporal_resolution()：展示化石数据的时空分辨率

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-19 23:56

R语言【paleobioDB】——pbdb_temp_range()：绘制指定类群的时空范围

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-19 23:56

hive学习笔记之十：用户自定义聚合函数(UDAF)

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos本篇概览本文是《hive学习笔记》的第十篇，前文实践过UDF
程序员欣宸·2024-01-19 22:04

php wordpress 代码模板,WordPress主题模板层次和常用模板函数_php

WordPress主题–判断Tagis_home()：是否为主页is_single()：是否为内容页(Post)is_page()：是否为内容页(Page)is_category()：是否为Category/Archive
weixin_39997173·2024-01-19 21:30

主题模板层次和常用模板函数(WordPress)

WordPress主题-判断Tagis_home()：是否为主页is_single()：是否为内容页（Post）is_page()：是否为内容页（Page）is_category()：是否为Category/Archive
IT人偶·2024-01-19 21:00

DC-2靶机刷题记录

pwd=aqsi提取码：aqsi参考：https://c3ting.com/archives/vulnhnbshua-ti—dc-2http://t.csdnimg.cn/pNSCNhttps://www.vulnhub.com
Fab1an·2024-01-19 20:50

DC-1靶机刷题记录

pwd=9nyo提取码：9nyo参考答案：https://c3ting.com/archives/kai-qi-vulnhnbshua-tiDC-1.pdf【【基础向】超详解vulnhub靶场DC-1】
Fab1an·2024-01-19 20:18

Windows 10 安装 Redis

下载安装包官网上不提供Windows版本的Redis安装包，只能在GitHub上下载下载地址：https://github.com/MicrosoftArchive/redis/releases安装Redis
抚槛兮远望·2024-01-19 18:30

分布式中间件之Redis

下载Rediswindows版本：https://github.com/MicrosoftArchive/redis/tags（官网没有，只能去github下载，也只有3.2版本以下的）linux版本：
田青钊·2024-01-19 17:59

spring-framework源码构建(idea)

版本v5.0.2.RELEASE下载地址https://github.com/spring-projects/spring-framework/archive/v5.0.2.RELEASE.zip目录结构
何冠希·2024-01-19 16:53

某小外包公司线上面试-大数据开发

1.数仓和数据库的区别2.数仓建模3.hive用到的函数4.rank,dense_rank,row_number的区别5.hive数据倾斜的原因有哪些7.如何理解数据质量？
劝学-大数据·2024-01-19 16:03

德拓外包-大数据开发面试

忘了3.hive，两张表的重复数据，怎么去重？回答distinct,groupby，开窗取第一条，开窗函数是哪个？
劝学-大数据·2024-01-19 16:03

大数据学长面试之OPPO面试题

1）技术部分（1）SparkStreaming消费方式及区别，Spark读取HDFS的数据流程（2）Kafka高性能（3）Hive调优，数据倾斜（4）Zookeeper怎么避免脑裂，什么是脑裂。
大数据小理·2024-01-19 16:01

某汽车外包-大数据开发-面试

1.自我介绍2.hivesql的执行流程3.mapreduce的原理。4.spark的提交参数有那些命令5.sparkrdd,dataframe,dataSe解释一下。
劝学-大数据·2024-01-19 16:28

mysql-8.0.34-winx64 ZIP Archive版安装教程

下载地址：https://dev.mysql.com/downloads/mysql/解压文件放置安装位置新建my.inimy.ini内容如下.[mysqld]#设置3306端口port=3306#设置mysql的安装目录basedir=D:\\mysql-8.0.34-winx64#设置mysql数据库的数据的存放目录datadir=D:\\mysql-8.0.34-winx64\\data#允
雨落星辰C·2024-01-19 15:32

linux之tar命令

tar（tapearchive）命令是Linux和类Unix系统中用于创建、管理归档文件的工具，主要用于数据备份、恢复以及文件打包。
何浩钧·2024-01-19 15:54

深入理解MySQL之分区表原理和注意事项

分区表原理分区表由多个相关的底层表实现，这个底层表也是由句柄对象标识，我们可以直接访问各个分区。
大伟攀高峰·2024-01-19 14:36

深入理解MySQL之分区表

本文主要是讲述MySQL中分区表，看MySQL是如何实现分区表的。什么需要分区表MySQL从5.1版本开始支持分区功能，分区是将一个表的数据按照某种方式分别存储，比如按照时间上的月份，分成多个较
大伟攀高峰·2024-01-19 14:00
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他