hive数据倾斜

Python与MySQL交互：MySQL Connector模块（七）

19案例2MySQLConnector模块MySQLConnector是MySQL官方的驱动模块，兼容性好[下载地址](MySQL::DownloadMySQLConnector/Python(ArchivedVersions
try again.·2023-12-15 14:10

20.Hive中的beeline和jdbc（hive学习3）

BeelineHiveServer2支持一个新的命令行Shell，称为Beeline，它是基于SQLLineCLI的JDBC客户端。
文茶君·2023-12-15 14:54

hive/spark用法记录

1.cast()更改数据类型cast(column_nameastype)2.get_dt_date()自定义日期操作函数（返回不带横线的日期）selectget_dt_date();–获取当前日期，返回20170209selectget_dt_date(get_date(-2));–获取当前日期偏移，转为不带横杆的格式selectget_dt_date(‘2017-02-02’,-2);–201
eight_Jessen·2023-12-15 14:17

opencv学习笔记六十九：人脸识别综合实践

1、下载人脸数据集，典型的有ORL，yale,我这里下载的是ORL人脸数据集，下载网址https://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html
东城青年·2023-12-15 14:39

基于ELK的亿级实时日志分析平台实践

在计算PV、UV的场景下，根据业务需求我们通常以离线方式（MR/HIVE）隔天进行报表相关数据生
Sql强·2023-12-15 14:55

计算机毕业设计Python+Spark知识图谱微博舆情预警系统 微博舆情分析 微博推荐系统 微博可视化 微博数据分析 微博大数据 微博爬虫 微博预测系统 大数据毕业设计 大数据毕业设计 机器学习

开发框架前端：vue.jselement-ui后端：springbootmybatis中间件：sparkhadoophiveflink数据库：mysql关系型数据库neo4j图数据库算法：协同过滤推荐算法
计算机毕业设计大神·2023-12-15 12:19

Qt下载地址

下载地址（1）windoes平台Qt的下载与安装：Qt5.15之前的版本可以离线安装，直接下载离线安装包即可：下载地址：https://download.qt.io/archive/qt/Qt从5.15
临渊慎行·2023-12-15 12:35

【基础知识】大数据概述

发展历程中国开源生态图谱2023参考内容中国开源生态图谱2023.pdf技术组件说明数据集成sqoop、dataX、flume数据存储hdfs、kafka数据处理mapreduce、hive、impala
偏振万花筒·2023-12-15 12:39

CentOS 7 安装&卸载 MySQL 8 详细图文教程

root用户密码8.开启远程访问权限二、如何卸载MySQL一、Mysql安装1.下载Linux版MysqL安装包下载官网：MySQL::DownloadMySQLCommunityServer(Archived
Stars.Sky·2023-12-15 11:58

iOS Xcode archive 后没有dsym文件

BuildSettings->BuildOptions->DebugInformationFormat中，选择DWARFwithdSYMFile才会生成符号表文件
达若漠沙·2023-12-15 11:45

大数据之hive：行列转换系列总结

目录1、行转列（一）主要使用：示例2、列转行（一）示例3、行转列（二）示例4、列转行（二）示例1、行转列（一）主要使用：CONCAT(stringA/col,stringB/col…)：返回输入字符串连接后的结果，支持任意个输入字符串;CONCAT_WS(separator,str1,str2,…)：它是一个特殊形式的CONCAT()。第一个参数是剩余其他参数间的分隔符。COLLECT_SET(c
浊酒南街·2023-12-15 09:28

RoaringBitMap在ClickHouse和Spark之间的实践-解决数据仓库预计算多维分析问题

多维分析去重计数场景优化案例中说了一下Spark计算在多维分析场景中的弊端，多维度分析会导致数据量指数级膨胀，搭配上去重计算字段越多，膨胀倍数也是线性增长，通过BitMap这个案例也更加让我们明白了，什么是数据倾斜
小满锅lock·2023-12-15 08:23

《PySpark大数据分析实战》-07.Spark本地模式安装

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-15 07:31

【Hive】

一、Hive是什么Hive是一款建立在Hadoop之上的开源数据仓库系统，将Hadoop文件中的结构化、半结构化数据文件映射成一张数据库表，同时提供了一种类SQL语言（HQL），用于访问和分析存在Hadoop
想当运维的程序猿·2023-12-15 07:23

MySQL下载、安装、配置详细教程

系统环境变量配置3.1配置3.2测试1下载官方网址：https://www.mysql.com/跳转到如下页面：按提示操作跳转到这个界面：这里下载5.7.362安装MYSQL官网提供的下载包是zipArchive
~无止境·2023-12-15 07:20

mysql 中OPTIMIZE TABLE语句用法详解

这个命令会对MyISAM、InnoDB和ARCHIVE存储引擎的表进行操作。
半桶水专家·2023-12-15 07:19

【Hive_01】hive关于数据库和表的语法

1、Hive常见使用技巧1.1交互式与非交互式1.2hive参数配置方式2、DDL数据定义2.1创建数据库（1）创建数据库（2）查询数据库（3）修改数据库（4）删除数据库（5）切换当前数据库2.2表（1
温欣2030·2023-12-15 06:12

《PySpark大数据分析实战》-03.了解Hive

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-15 06:42

hive客户机执行sql脚本无法显示表头

hive客户机执行sql脚本无法显示表头临时跑数在sql脚本前加以下语句sethive.cli.print.header=true;日常跑数不想每次跑数前都执行以下1、在home路径下创建.hiverc
人生苦短，我爱数据分析·2023-12-15 06:37

hive聚合函数之JOIN原理及案例

1.数据准备原始数据创建dept.txt文件，并赋值如下内容，上传HDFS。部门编号部门名称部门位置id10行政部170020财务部180030教学部190040销售部1700创建emp.txt文件，并赋值如下内容，上传HDFS。员工编号姓名岗位薪资部门7369张三研发800.00307499李四财务1600.00207521王五行政1250.00107566赵六销售2975.00407654侯七
Appreciate(欣赏)·2023-12-15 06:03

hive聚合函数之排序

1全局排序（OrderBy）OrderBy：全局排序，只有一个Reduce。(1）.使用OrderBy子句排序asc（ascend）：升序（默认）desc（descend）：降序(2）.OrderBy子句在select语句的结尾基础案例实操（1）查询员工信息按工资升序排列select*fromemporderbysal;（2）查询员工信息按工资降序排列select*fromemporderbysa
Appreciate(欣赏)·2023-12-15 06:03

hive自定义函数及案例

一.自定义函数1.Hive自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。
Appreciate(欣赏)·2023-12-15 06:03

【Hive_02】查询语法

1、基础语法2、基本查询（Select…From）2.1全表和特定列查询2.2列别名2.3Limit语句2.4Where语句2.5关系运算函数2.6逻辑运算函数2.7聚合函数3、分组3.1GroupBy语句3.2Having语句3.3Join语句（1）等值与不等值Join（2）表的别名（3）内连接（4）左外连接（5）右外连接（6）满外连接（7）多表连接（8）笛卡尔集（9）联合（union&unio
温欣2030·2023-12-15 06:53

hive常用SQL函数及案例

1函数简介Hive会将常用的逻辑封装成函数给用户进行使用，类似于Java中的函数。好处：避免用户反复写逻辑，可以直接拿来使用。重点：用户需要知道函数叫什么，能做什么。
Appreciate(欣赏)·2023-12-15 06:50

RMAN执行crosscheck archivelog出现ORA-19633错误

1.错误现象RMAN>crosscheckarchivelogall;RMAN-03009:failureofcrosscheckcommandonORADISK1channelat12/13ORA-19633
Floating warm sun·2023-12-15 06:20

Hive安装步骤

linux自带的MariaDB数据库（3）卸载linux自带的MariaDB数据库3、安装mysql数据库（1）上传mysql安装包（2）解压安装包（3）安装依赖文件，注意先后顺序，必须按照顺序来安装4、配置Hive
chde2Wang·2023-12-15 06:17

05 MySQL 安装

https://downloads.mysql.com/archives/community/或者从上传资源下载。
kk_io·2023-12-15 06:32

07用户行为日志数据采集

用户行为数据由Flume从Kafka直接同步到HDFS，由于离线数仓采用Hive的分区表按天统计，所以目标路径要包含一层日期。具体数据流向如下图所示。
kk_io·2023-12-15 06:22

ubuntu20.04安装无线网卡驱动

个人博客本文章链接https://www.leaf-machinary.space/index.php/archives/135/首先，纯净的ubuntu是没有gcc和make的，所以如果没有有线网，一定要先连上网络
luoye2333·2023-12-15 05:11

Centos安装IoTDB（单机版）

文章目录一、下载安装文件二、环境准备三、安装一、下载安装文件本次使用V1.0.0版本https://iotdb.apache.org/Download/wgethttps://archive.apache.org
GreaterBuilder·2023-12-15 05:56

win10 + ubuntu20.04 双系统卸载(删除) ubuntu20.04 （图文）

原文地址：https://zhangzhicheng.com/archives/81.htmlwin10+ubuntu20.04双系统(UEFI+GPT)卸载(删除)ubuntu20.04看前须知win10
ZChen1996·2023-12-15 04:45

Hive增强的聚合、多维数据集、分组和汇总

Hive多维分析1、多维分析概述2、GROUPINGSETS多维分组3、GROUPING__ID函数4、ROLLUP与CUBE语法糖5、多维分析常见问题与解决春雨惊春清谷天，夏满芒夏暑相连；秋处露秋寒霜降
对许·2023-12-15 04:17

hive的load报错Error: EXECUTION FAILED: Task MOVE error HiveException: [Error 20531] Unable to move sour

文章目录一、问题描述二、解决方法一、问题描述hive在进行数据load的时候报错。
五月天的尾巴·2023-12-15 03:12

perl使用Archive::Tar模块进行文件打包

使用perl的Archive::Tar模块打包文件夹中的指定文件，输出格式.tar.gz。下面是perl代码：#!
爱读庄子的码农·2023-12-15 03:05

Perl操作excel2007的模块

www.jianshu.com/p/84bda53827c8第一种方法：读写excel2007文档的perl模块：Spreadsheet::XLSX（读）和Spreadsheet::WriteExcel（写）一、首先安装包Archive
aofu8398·2023-12-15 03:03

【Flink名称解释一】什么是cataLog

元数据也可以是持久化的，例如HiveMetastore中的元数据。Catalog提供了一个统一的API，用于管理元数据，并使其可以从TableAPI和SQL查询语句中来访问。
周润发的弟弟·2023-12-15 03:18

kyuubi整合flink yarn application model

目录概述配置flink配置kyuubi配置kyuubi-defaults.confkyuubi-env.shhive验证启动kyuubibeeline连接使用hivecatalogsql测试结束概述flink
流月up·2023-12-15 03:14

Spark读写Hive

Spark读写Hive文章目录Spark读写Hive（一）配置本地域名映射（二）创建Hive表（三）IDEA中编写Spark代码读取Hive数据（四）IDEA中编写Spark代码写入数据到Hive（一）
叶子上的考拉·2023-12-15 02:25

2.CENTOS安装CDH和Kudu-1

企业级数据中心的安装主要分为4个步骤：集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等；外部数据库安装安装Cloudera管理器；安装CDH集群；集群完整性检查，包括HDFS文件系统、MapReduce、Hive
大勇任卷舒·2023-12-15 01:40

最简单的WebRTC示例

http://www.blogjava.net/linli/archive/2014/10/21/418910.html在学习WebRTC时，网上的示例大多代码较多，以下是参考那些代码简化的一个WebRTC
mengzhengjie·2023-12-15 01:03

caution: filename not matched问题解决

caution:filenamenotmatched问题解决操作系统环境：linuxcentos6#unziptest3.ziptest4报错：Archive:test3.zipcaution:filenamenotmatched
骑马的蜗牛·2023-12-15 00:37

Ceph入门到精通-SSL_read() failed SSL: error SSL routines:tls 1_enc:internal error

errorSSLroutines:tls1_enc:internalerrorsubject:"Re\:openssl1.1.1dSSL_read\(\)failedinerrorlog"(mail-archive.com
瓦哥架构实战·2023-12-15 00:55

【Hive】——DDL（CREATE TABLE）

1CREATETABLE建表语法2Hive数据类型2.1原生数据类型2.2复杂数据类型2.3Hive隐式转换2.4Hive显式转换2.5注意3SerDe机制3.1读写文件机制3.2SerDe相关语法3.2.1
那时的样子_·2023-12-14 23:57

【Hive】——DDL（DATABASE）

1概述2创建数据库createdatabaseifnotexiststest_databasecomment"thisismyfirstdb"withdbproperties('createdBy'='Allen');3描述数据库信息describe可以简写为descextended可以展示更多信息describedatabasetest_database;describedatabaseexte
那时的样子_·2023-12-14 23:57

【Hive】——CLI客户端(bin/beeline，bin/hive)

1HiveServer、HiveServer22bin/hive、bin/beeline区别3bin/hive客户端hive-site.xml配置远程MateStore地址XMLhive.metastore.uristhrift
那时的样子_·2023-12-14 23:26

【Hive】——概述

1什么是Hive2Hive优点3Hive和Hadoop的关系4映射信息记录5SQL语法解析、编译Hive能将一个文件映射成为一张表，文件和表之间的关系称为映射Hive的功能职责是将SQL语法解析编译成为
那时的样子_·2023-12-14 23:15

【Hive】——安装部署

内嵌模式3.2本地模式3.3远程模式4安装前准备hadoop.proxyuser.root.hosts*hadoop.proxyuser.root.groups*5远程模式安装5.1下载https://hive.apache.org
那时的样子_·2023-12-14 23:15

Hive 浅析

Hive是一个简单的LUA沙盒，除了基本的LUA解释器的功能以外，还提供了诸如热加载等功能。了解HIVE的工作原理有利于了解Lua虚拟机的底层实现机理。
garagong·2023-12-14 23:14

gtest测试

环境安装1、下载gtest1.8版本wgethttps://github.com/google/googletest/archive/refs/tags/release-1.8.1.zip2、将其解压在
DreamColors·2023-12-14 23:43

conda 使用教程(linux)

1.下载安装1.1下载所有版本镜像(清华大学开源镜像网站):https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/从中选择合适版本的镜像下载.如Anaconda3
休息一下接着来·2023-12-14 22:50
上一页 44 45 46 47 48 49 50 51 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他