hive数据倾斜

PySpark-Spark SQL基本介绍

目录SparkSQL基本介绍SparkSQL特点SparkSQL与Hive的异同SparkSQL的数据结构SparkSQL的入门创建SparkSession对象DataFrame详解DataFrame基本介绍
Sisi525693·2024-01-09 07:37

Hive查询之函数(二)

炸裂函数把一个容器的多个数据炸裂出单独展示:explode(容器)炸裂函数配合侧视图使用如下格式:select原表别名.字段名,侧视图名.字段名from原表原表别名lateralviewexplode(要炸开的字段)侧视图名as字段名;--UDTF:一进多出selectexplode(array('binzi','666','888'));selectexplode(map('a',1,'b',2
Sisi525693·2024-01-09 07:36

Hive查询之常用语法

目录语法结构基本查询知识点数据准备练习多表查询数据准备练习hive排序操作示例抽样查询知识点示例正则模糊查询union联合查询CTE表达式内置虚拟列语法结构select[distinct]字段名from
Sisi525693·2024-01-09 07:35

Redis的常用命令

：1、基于内存存储，读写性能高redis官网：Redis中文网Redis下载与安装Redis安装包分为Windows版和Linux版windows版下载地址：Releases·microsoftarchive
suweijie768·2024-01-09 07:27

hive的基本操作

最近新学了hive，想通过写文章的方式对所学知识进行巩固，同时希望可以帮助到大家Hive是基于Hadoop的一个数据仓库工具1.创建数据库（创建方法是和Mysql一样的）createdatabase数据库名字
暴打小赵·2024-01-09 06:49

实验6 熟悉Hive的基本操作

一、实验目的（1）理解Hive作为数据仓库在Hadoop体系结构中的角色。（2）熟练使用常用的HiveQL。
Z.Q.Feng·2024-01-09 06:47

【Hive】Hive基本操作

Hive定义了一套自己的SQL，简称HQL，它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。
New soul~·2024-01-09 06:47

hive基本操作与应用

1、通过hadoop上的hive完成WordCount启动hadoop2、Hdfs上创建文件夹/3、上传文件至hdfs4、启动Hive5、创建原始文档表6、导入文件内容到表docs并查看7、用HQL进行词频统计
weixin_34416649·2024-01-09 06:16

物理机搭建hive

一、修改Hadoop配置修改core-site.xml配置yarn-site.xml分发文件，然后重启集群二、Hive解压安装上传文件添加hive环境便量，source生效启动高可用集群，启动hive三
DIY……·2024-01-09 06:45

Hive基本操作

hive简单认识Hive是建立在HDFS之上的数据仓库，所以Hive的数据全部存储在HDFS上。
X晓·2024-01-09 06:45

Hive 的 安装与部署

目录1安装MySql2安装Hive3Hive元数据配置到MySql4启动HiveHive官网1安装MySql为什么需要安装MySql?
夏木夕·2024-01-09 06:41

Hive学习（14）json解析get_json_object()函数

一、语法目的：在一个标准JSON字符串中，按照指定方式抽取指定的字符串。stringget_json_object(string,string)参数说明json：必填。STRING类型。标准的JSON格式对象，格式为{Key:Value,Key:Value,…}。如果遇到英文双引号（"），需要用两个反斜杠（\）进行转义。如果遇到英文单引号（'），需要用一个反斜杠（\）进行转义。path：必填。ST
一个天蝎座 白勺 程序猿·2024-01-09 06:40

熟悉 Hive 的基本操作

4、实验步骤（一）创建一个内部表stocks，字段分隔符为英文逗号，表结构下所示。col_namedata_typeexchangestringsymbolstringymdstringprice_openfloatprice_highfloatprice_lowfloatprice_closefloatvolumeintprice_adj_closefloat创建内部表stocks：create
cwn_·2024-01-09 06:39

Hive中的四种排序

1.orderby全局排序，只有一个Reducer（多个reducer无法保证全局有序），会导致当输入规模较大时，消耗较长的计算时间hive.mapred.mode=strict模式下必须指定limit
Young_IT·2024-01-09 06:38

某大厂大数据开发-外包面试

笔试题：hive-sql一个表tbl:c_idu_idscore用SQL计算每个班级top5学生的平均分表A（uid,bid)，uid代表：用户idbid代表：uid关注的用户id表数据示例：uidbid12
劝学-大数据·2024-01-09 06:42

非小米电脑安装小米电脑管家

博客地址非小米电脑安装小米电脑管家https://xue6ing.cn/archives/fei-xiao-mi-dian-nao-an-zhuang-xiao-mi-dian-nao-guan-jia
xB77·2024-01-09 03:33

JAVA的下载安装教程（保姆级）

的下载jdk下载路径https://www.oracle.com/cn/java/technologies/downloads/#jdk19-windows如果想下载以往的历史版本可点击Javaarchive
xB77·2024-01-09 03:03

部署一款开源的交互审计系统—Next Terminal

博客地址部署一款开源的交互审计系统—NextTerminal-雪饼(xue6ing.cn)https://xue6ing.cn/archives/bu-shu-yi-kuan-kai-yuan-de-jiao-hu-shen-ji-xi-tong
xB77·2024-01-09 03:24

嵌入式arm linux Java运行环境搭建和注意事项

不知到就只有一个个试试）（下载地址：[link](https://www.oracle.com/java/technologies/java-se-embedded-archive-d
Amu-Feoss·2024-01-09 02:07

E: Could not get lock /var/cache/apt/archives/lock - open (11: Resource temporarily unavailable)解决办法

在ubuntu系统中使用apt-get安装软件包时，会出现以下错误：E:Couldnotgetlock/var/cache/apt/archives/lock-open(11:Resourcetemporarilyunavailable
小陈同学123·2024-01-09 02:06

Seatunnel部署及一些出错

先确保有Java，确保版本大于1.8.01.设置JAVA_HOME2.下载Seatunnel，在指定文件夹路径下输入以下代码exportversion="2.3.0"wget"https://archive.apache.org
underworld33·2024-01-09 01:33

Ubuntu 24.04 Preview 版安装 libtinfo5

1.安装libtinfo5wgethttp://archive.ubuntu.com/ubuntu/pool/universe/n/ncurses/libtinfo5_6.4-2_amd64.deb
engchina·2024-01-08 23:56

mysql之四大引擎、账号管理以及建库

文章目录1、数据库存储引擎1.1.四大引擎InnoDBMyISAMArchive2、数据库管理3.数据库表管理1.三大范式2.基本数据类型值类型选择标识符4.账号管理1.相同2.不同5.思维导图1、数据库存储引擎
123456G~·2024-01-08 21:51

Hive计算身份证年龄

year(from_unixtime(unix_timestamp(),"yyyy-MM-dd"))-year(to_date(from_unixtime(unix_timestamp(substr(usr_id_card,7,8),'yyyyMMdd'),'yyyy-MM-dd')))
语兴数据·2024-01-08 18:57

4个聚合增强函数介绍

就是通过指定的多个维度进行查询的.即:你写了哪些维度,它就按照哪些维度进行聚合计算.1.2.细节:维度要用小括号括起来,如果是1个维度,小括号可以省略,但是建议写上.1.3.groupingsets函数在hive
MSJ3917·2024-01-08 16:03

Saprk SQL基础知识

主要是用于处理大规模的[结构化数据]SparkSQL的特点:1).融合性:既可以使用SQL语句,也可以编写代码,同时支持两者混合使用.2).统一的数据访问:SparkSQL用统一的API对接不同的数据源3).Hive
MSJ3917·2024-01-08 16:32

apache配置

原文地址：http://www.blogjava.net/zhyiwww/archive/2006/10/25/77234.htmlLinuxApacheWeb服务器终极教程作者：佚名文章来源：internet
bytxl·2024-01-08 16:05

Hidataplus-3.3.2.0-005公测版本基于openEuler release 22.03 (LTS-SP2)的测试

测试角色如下：hadoop、yarn、zookeeper、hive、impala。
杨航的技术博客·2024-01-08 16:35

2021-05-08

原生APP项目：首先ios开发人员需要在xcode中，点击archive然后直接导出adhoc格式的文件夹，里面会有几个文件，直接将ipa文件发给签名商，签名商进行重签名操作后，将ipa上传到分发平台就可以供用户下载了
5930815e4add·2024-01-08 13:55

Linux系统软件安装方式

yum安装3.rpm安装3.1rpm常用命令4.源码安装4.1安装依赖包4.2执行configure脚本4.3编译、安装4.4安装4.5操作nginx4.6创建服务器1.绿色安装CompressedArchive
程序员buddha·2024-01-08 13:44

前端性能优化之图像优化

图像基础HTTPArchive上的数据显示，网站传输的数据中，60%的资源都是由各种图像文件组成的，当然这些是将各类型网站平均的结果，单独只看电商类网站，这个比例可能会更大，如此之大的资源占比，同样意味着有很大的优化空间
hzulwy·2024-01-08 12:12

利用Podman构建基于Fission env/builder的镜像

如果仅基于code构建function（i.e.,只创建deployachive），仅构建env即可；但如果需要构建sourcearchive，则需要同时创建env和builder。
武小胖儿·2024-01-08 10:59

关于AIX7.2的ISO镜像下载

在网上看到一些ubuntu下安装的指南或者帖子，有不少人在找可用的iso文件确实官方网站下载不了（如果没有买IBM的产品的话）可以点击这个链接直接下载https://archive.org/download
安逸的施月溪·2024-01-08 10:29

【技术问题】CDH无法下载之后

很多以前的文章、书籍中提到CDH大数据平台，都是会引用Cloudera官网下载地址，例如：https://archive.cloudera.com/p/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-clo
yestolife123·2024-01-08 08:14

【数据仓库与联机分析处理】数据仓库工具Hive

目录一、Hive简介（一）什么是Hive（二）优缺点（三）Hive架构原理（四）Hive和数据库比较二、MySQL的安装配置三、Hive的安装配置1、下载安装包2、解压并改名3、配置环境变量4、修改hive-env.sh
Francek Chen·2024-01-08 08:42

Hadoop、Pig、Hive、Storm、NOSQL 学习资源收集【Updating】 (转)

目录[-]（一）hadoop相关安装部署（二）hive（三）pig（四）hadoop原理与编码（五）数据仓库与挖掘（六）Oozie工作流（七）HBase（八）flume（九）sqoop（十）ZooKeeper
我爱大海V5·2024-01-08 08:15

mysql服务多实例运行

1、官网下载mysql安装包https://downloads.mysql.com/archives/community/2、解压安装包tar-zxvfmysql-8.1.0-linux-glibc2.28
fengchengwu2012·2024-01-08 08:21

2024 .1.7 Day05_Spark_HomeWork； Spark_SQL

目录1.简述SparkSQL与HIVE的对比2.SparkSQL是什么?3.代码题需求1直接基于DataFrame来处理，完成SparkSQL版的WordCount词频统计。
白白的wj·2024-01-08 07:24

Spark Core进阶知识

结果数据的核对方式:1-在离线文件中直接ctrl+F搜索关键内容核对(不常用)2-一般原始数据会存放在MySQL/Hive中一份,可以编写和代码逻辑完全一样的SQL来进行核对,可以通过如下方式来提高核对效率
MSJ3917·2024-01-08 07:52

2024.1.7 Spark SQL , DataFrame

目录一.SparkSQL简介二.SparkSQL与HIVE的异同三.DataFrame1.创建DataFrame2.RDD转换DataFrame四.操作DataFrameSQL方式:DSL方式:一.SparkSQL
白白的wj·2024-01-08 07:17

Linux常用的压缩和解压命令详解

常用命令创建存档：tar-cvfarchive.tarfile1file2dir1：创建一个名为archive.tar的存档文件，包
AI普惠大师·2024-01-08 06:46

Hive精选10道面试题

1.Hive内部表和外部表的区别？内部表的数据由Hive管理，外部表的数据不由Hive管理。
Byyyi耀·2024-01-08 06:05

Hive的查询、数据加载和交换、聚合、排序、优化

Hive笔记02–查询、数据加载和交换、聚合、排序、优化Hive的数据查询基础查询1.基本结构SELECT字段列表|表达式|子查询FROM表|子查询|视图|临时表WHERENOT条件AAND|OR条件B
Byyyi耀·2024-01-08 06:34

Hive函数全解——思维导图 + 七种函数类型

思维导图：Hive函数全解1.窗口函数作用：扩展列，而行不会变少语法总览：func(F|func|expr)over([partitionbyF1[,F2,...]确定分区的边界(范围)[orderbyFa
Byyyi耀·2024-01-08 06:04

爬虫学习路径记录

视频理论学习看了阿里云大学的教学视频，课程名称《python爬虫实战》，链接:link(https://developer.aliyun.com/learning/course/555)之前听过这老师讲的hive
two_snails·2024-01-08 02:18

Hive内容分享(三)：Hive 架构思想和设计原理

目录前言HiveHive的架构MapReduce实现SQL的原理Hive如何实现join操作Hive命令说明Hive函数使用尾声前言今天为大家推荐的是梦想家的Hive架构思想和设计原理,希望对大家有启发
之乎者也··2024-01-07 23:25

Hive SQL / SQL

1.建表&拉取表2.插入数据insert+select3.查询3.1查询语句语法/顺序3.2关系操作符3.3聚合函数3.4where3.5分组聚合3.6having筛选分组后结果3.7显式类型转换&select产生指定值的列4.join横向拼接4.1等值连接&不等值连接4.2两表连接4.2.1内连接4.2.2左外连接&右外连接4.2.3满外连接4.3多表连接4.4笛卡尔积5.union纵向拼接6.
rejudge·2024-01-07 23:48

Hive元数据迁移及升级方案

Hive的架构和工作原理简介Hive是基于Hadoop之上的数仓，便于用户可以基于SQL（HiveQL）进行数据分析，其架构图如下:从上图可知，Hive主要用来将建立结构化数据库和后端分布式结构化文件的映射
云原生大数据·2024-01-07 22:49

Windows 安装配置 Anaconda、CUDA、cuDNN、pytorch-cuda全流程

Windows安装配置Anaconda、CUDA、cuDNN、pytorch-cuda全流程1.安装Anaconda网址：https://repo.anaconda.com/archive/选择第一个下载即可双击
RobinChan730·2024-01-07 22:04

mysql之四大引擎、账号管理以及建库

文章目录一、mysql之四大引擎1.1存储引擎查看1.2四大引擎①InnoDB②MyISAM③MEMORY④Archive二、数据库管理2.1元数据库简介2.2元数据库分类2.3相关操作(数据库的增删改查及使用
秃头·带帽·2024-01-07 21:25
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他