Hive数仓实战项目

python 脚本中关于｜ 转义的坑

hive或spark执行sql时｜一般使用\进行转义split(name,'\\|')但是在python脚本中对｜进行转义时需要\\\进行转义split(name,'\\\\\|')
:）คิดถึง·2024-02-01 09:35

oracle数仓rac两个节点查询耗时不一致问题处理

问题描述数据库节点1查询比节点2查询慢。现场操作应用发现发现同一sql语句在节点2上只要2分钟左右，在节点1，该条sql执行要超过30分钟。处理过程根据问题，初步判断是由于错误的执行计划，导致性能问题，但实际上对两个节点做trace跟踪发现执行计划都一致，后续通过awr报告和10046事件跟踪发现由于“gccrmultiblock”耗时造成节点一慢，这是oracleRAC大事务处理特性，两边都查有
烟雨归来·2024-02-01 09:23

Qt 编译 Mysql 驱动

我的Qt版本5.12.10，编译器使用Mingw步骤如下：1、下载Qt5.12.10的源码，地址http://mirrors.ustc.edu.cn/qtproject/archive/qt/5.12/
wei375653972·2024-02-01 09:10

linux hive查询数据类型,04-hive的数据类型

转载请注明~在学习了Linux系统操作命令和shell编程之后，将进入到hive的学习中，先主要介绍hive的数据类型和文件格式。
金融四十人论坛·2024-02-01 08:57

mysql hive 数据类型_Hive数据类型

本章介绍Hive不同的数据类型，用于创建表。Hive所有数据类型分为四种类型，给出如下：列类型文字Null值复杂类型列类型列类型被用作Hive的列数据类型。
王火龙果·2024-02-01 08:26

hive 数据类型 java_Hive - 数据类型

本章将带您了解Hive中涉及表创建的不同数据类型。Hive中的所有数据类型分为四种类型，具体如下：列类型字面空值复杂类型列类型列类型用作Hive的列数据类型。
本本纲目·2024-02-01 08:26

Hive基本数据类型——头歌

相关知识Hive的内置数据类型Hive的内置数据类型可以分为两大类：(1)、基本数据类型；(2)、复杂数据类型。本实训主要讲解Hive中的基本数据类型。
喜欢dollar·2024-02-01 08:22

hive学习之------hive的数据类型

文章目录SQL练习：Hive数据类型整型：TINYINT、SMALLINT、INT、BIGINT浮点：FLOAT、DOUBLE布尔类型：BOOL（False/True）字符串：STRING时间类型：复杂数据类型
创作者mateo·2024-02-01 08:48

大数据开发之离线数仓项目（用户行为采集平台）（可面试使用）

第1章：数据仓库概念数据仓库，是为企业指定决策，提供数据支持的，可以帮助企业，改进业务流程、提高产品质量等。数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。业务数据：就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在mysql、oracle等数据库中。用户行为数据：用户
Key-Key·2024-02-01 08:46

HIVE的数据类型-整型

1、HIVE的数据类型-整型本次调试用到的hive数据类型：TINYINT—微整型，1字节的有符号位整数-128-127。SMALLINT–小整型，2个字节的有符号整数，-32768-32767。
宁儿测开·2024-02-01 08:45

实战Vue.js与MySQL：爱心商城项目开发指南

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-02-01 08:35

Redis精通系列——Pipeline，少儿编程java教程

客户端发起一个（查询/插入）请求，并监听socket返回，通常情况都是阻塞模式等待Redis服务器的响应服务端处理命令，并且返回处理结果给《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义
m0_64384302·2024-02-01 07:50

HiveSQL题——炸裂函数(explode/posexplode)

目录一、炸裂函数的知识点1.1炸裂函数explodeposexplode1.2lateralview侧写视图二、实际案例2.1每个学生及其成绩0问题描述1数据准备2数据分析3小结2.2日期交叉问题0问题描述1数据准备2数据分析3小结2.3用户消费金额0问题描述1数据准备2数据分析3小结一、炸裂函数的知识点炸裂函数（一行变多行）本质属于UDTF函数（接收一行数据，输出一行或者多行数据）。1.1炸裂函
爱吃辣条byte·2024-02-01 07:48

HiveSQL题——互相关注(共同好友)

0问题描述社交软件上如何判断自己关注的博主是否也关注了自己呢？现在有一张表为fans(粉丝表)，表中有两个字段from_user，to_user，如果两者一致代表from_user关注了to_user。1数据准备createtableifnotexiststable15(from_userstringcomment'关注用户',to_userstringcomment'被关注用户',`timest
爱吃辣条byte·2024-02-01 07:48

HiveSQL题——array_contains函数

目录一、原创文章被引用次数0问题描述1数据准备2数据分析编辑3小结二、学生退费人数0问题描述1数据准备2数据分析3小结一、原创文章被引用次数0问题描述求原创文章被引用的次数，注意本题不能用关联的形式求解。1数据准备id表示文章id,oid引用的文章，当oid为0时表示当前文章为原创文章。createtableifnotexiststable18(idintcomment'文章id',oidintc
爱吃辣条byte·2024-02-01 07:48

HiveSQL题——数据炸裂和数据合并

目录一、数据炸裂0问题描述1数据准备2数据分析3小结二、数据合并0问题描述1数据准备2数据分析3小结一、数据炸裂0问题描述如何将字符串1-5,16,11-13,9"扩展成"1,2,3,4,5,16,11,12,13,9"且顺序不变。1数据准备withdataas(select'1-5,16,11-13,9'asa)2数据分析步骤一：explode(split(a,','))炸裂+row_numbe
爱吃辣条byte·2024-02-01 07:45

Extract Metadata from Archive Files

ExtractMetadatafromArchiveFilesGroupDocs.Metadatafor.NET24.1addssupportfor.rar,.tarand.7zformats,makingiteasiertomanagearchiveddata.GroupDocs.Metadatafor.NETisapowerfulAPIthatgrantsdevelopersgranularc
SEO-狼术·2024-02-01 07:13

Oracle闪回日志管理（flashbackup log）

Oracle闪回日志管理（flashbackuplog）1.开启闪回日志shutdownimmediatestartupmount;alterdatabasearchivelog;alterdatabaseflashbackon
betazhou·2024-02-01 07:28

实战教程：使用Spring Boot和Vue.js开发社区团购管理系统

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-02-01 06:24

GO 的 Web 开发系列（三）—— 通过 Gin 实现 Html 模板和 Api 接口路由

全文链接：https://blog.nineya.com/archives/150.html一、路由组配置一般情况下，通过路由需要完成两个事情，一是通过HTML模板完成前端页面的渲染，二是实现Api接口调用
玖涯菜菜子·2024-02-01 06:44

python数据分析案例简单实战项目（二）--新冠疫情数据分析

项目背景2020年1月新型冠状病毒（以下简称新冠）肺炎在极短时间内就在全球范围内大规模流行，据美国约翰斯·霍普金斯大学11月8日发布的新冠疫情最新统计数据显示，截至美国东部时间11月8日11时24分全球累计确诊人数超过5000万，死亡人数超过125万。由于新冠病毒的传播速度快、致死率较高，世界卫生组织称新冠是百年一遇的人类公敌。自新冠肺炎爆发以来，面对社会对疫情信息的迫切需求，各级政府部门通过多种
kk star·2024-02-01 05:50

Python实战项目Excel拆分与合并——合并篇

在实际工作中，我们经常会遇到各种表格的拆分与合并的情况。如果只是少量表，手动操作还算可行，但是如果是几十上百张表，最好使用Python编程进行自动化处理。下面介绍两种拆分案例场景，如何用Pandas实现Excel文件的合并。下面介绍两个合并案例，批量将不同的的工作簿合并到同一个Excel文件。假设现在有3张表格，内部存储了各个班级的成绩数据。现在需要将其汇总到同一个工作簿中。importpanda
Bruce_Liuxiaowei·2024-02-01 05:19

ubuntu下安装perf

sudoapt-getinstalllinux-tools-commonubuntu下的相关介绍http://manpages.ubuntu.com/manpages/lucid/man1/perf.1.html具体使用见牛人贴：http://www.lenky.info/archives
cleanfield·2024-02-01 04:13

Hadoop 大数据技术原理与应用

生态分布式存储系统（HDFS）分布式计算框架（MapReduce）资源管理（YARN）数据迁移（Sqoop）数据挖掘算法库（Mahout）分布式数据库（HBase）分布式协调服务（Zookeeper）数据仓库（Hive
kk8_·2024-02-01 04:33

使用7zip解压CRC校验失败的zip文件

Archive:test.zi
TracelessLe·2024-02-01 03:33

Sqoop数据迁移工具

用户可以在Sqoop的帮助下，轻松地把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中；同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。
小希 fighting·2024-02-01 03:55

大数据高频面试题一：hive和Oracle的区别

Hive和Oracle数据库最大的区别在于存储和计算方面：Hive存储在hdfs上（Hadoop分布式文件系统容错性高），Oracle将数保存在本地文件系统中。
半亩书田·2024-02-01 02:47

如何快速地把 Hive 中的数据导入 ClickHouse

文章目录HivetoClickHouseHiveSchemaClickHouseSchemaSeatunnelwithClickHouseSeatunnelSeatunnelPipelineSparkInputFilterOutputRunningSeatunnelConclusionHivetoClickHouse
helloooi·2024-02-01 00:29

JVM-JIT

http://www.hollischuang.com/archives/2322JVM运行原理源自网络Java程序最初是通过解释器（Interpreter）进行解释执行的，当虚拟机发现某个方法或代码块的运行特别频繁时
晨留宿·2024-01-31 23:12

mysql 内存占用_mysql占用内存过多

mysql所需的内存https://www.cnblogs.com/cheyunhua/p/9045057.html理论有待学习https://www.cnblogs.com/simplelogic/archive
黄文瀚·2024-01-31 23:40

Hive简介

ApacheHive简介什么是分布式SQL?通过分布式的方式，执行SQL语句，获取分析结果。Hive的优势通过java或者python直接操作MapReduce，也可以做分析，但是开发难度稍大。
t_813·2024-01-31 22:03

Hive函数详解

函数分类Hive函数划分介绍:函数介绍:函数就是开发者定义好的规则,我们只要调用指定的函数,传入对应的参数,就能获取对应的结果,我们无需关心函数内部是如何执行的,只要会调用即可.可以把函数理解为是人们研发的机器
t_813·2024-01-31 22:32

iOS解压ZIP压缩包

下载地址：SSZipArchive步骤：一：导入SSZipArchive使用cocoapods导入pod'SSZipArchive'二：导入头文件#import"SSZipArchive.h"三：获取zip
鄂北·2024-01-31 22:15

ios ipa ota签名服务器

使用的是https://github.com/apperian/isign这个二次修改过的库，不能使用https://github.com/sauce-archives/isign，原来的库作者早就不更新
dounine·2024-01-31 21:49

多表拆解 | 数据PM的工作内容

之前一篇文章介绍了我司数据体系搭建过程，见：埋点、数仓到中台：数据体系的从0到1为了区分数据产品和数据产品经理，下文会用数据产品和数据PM来区分。
PMCAFF产品社区·2024-01-31 21:47

最新计算机软件毕业设计选题大全

我叫岩雨，一名专注以理论为基础、实战为主的技术博主，本人在Java毕业设计领域有多年的经验，陆续会更新更多优质的Java实战项目，希望你能有所收获，少走一些弯路。
我叫岩雨·2024-01-31 21:40

基于微信小程序图书馆座位预约系统设计与实现

我叫岩雨，一名专注以理论为基础、实战为主的技术博主，本人在Java毕业设计领域有多年的经验，陆续会更新更多优质的Java实战项目
我叫岩雨·2024-01-31 21:40

【java】简单的springboot项目搭建运行-基于windows系统

Maven–DownloadApacheMaven下载后配置环境变量：验证测试：二、java环境安装配置解压即用：https://www.oracle.com/java/technologies/downloads/archive
穿山甲yyds·2024-01-31 21:39

spark从入门到放弃三十九:Spark Sql(12)SparkSql工作原理以及性能优化

/www.haha174.top/article/details/2570731工作原理1.大家都知道，只要在数据库类型的技术里面，比如,最传统的mysql,Oracle包括现在大数据领域的数据仓库如Hive
意浅离殇·2024-01-31 20:42

数据建模分析与数仓维度建模规范

数据建模在数仓管理、数据库设计、算法模型训练等领域都有着重要的作用。
i7杨·2024-01-31 20:57

使用services.xml发布webservice

参考了http://www.blogjava.net/nokiaguy/archive/2009/01/archive/2009/01/21/252255.htmlEclipseJuno中Axis2插件总是崩溃
Yerasel·2024-01-31 19:55

苹果Vision Pro小白入门实战项目-适合新手入门

一、简介：这个资源库其目的是完成为期30天的visionOS功能实践挑战。该资源库每天实现一个与苹果VP相关的功能,比如显示茶壶、播放视频、拖拽操作、地图、语音识别等。后续还扩展实现了更多功能,如视频修剪和导出、马里奥跳跃、图像跟踪等。资源库主要使用Swift语言(95.2%)进行开发,也包含一些Metal代码(4.8%)。二、举例：1.基础功能-显示茶壶(Showteapot)-播放HLS视频(
花生糖@·2024-01-31 18:36

Python入门教程，30分钟玩转Python编程！

一、Python入门二、Python爬虫三、数据分析四、数据库与ETL数仓五、机器学
老-程序员·2024-01-31 18:50

《HelloGitHub》第 94 期

https://github.com/521xueweihan/HelloGitHub这里有实战项目、入门教程、黑科技、开源书籍、大厂开源项目等，涵盖多种编程语言Python、Java、Go、C/C++
削微寒·2024-01-31 17:42

react实战项目-详情页（文章页）获取上一篇文章下一篇文章

最近在做一个官网的首页，有个功能是从列表页跳到详情页，详情页底部，能点击上一篇文章，下一篇文章。1.引入相关资源importReactfrom'react';importstylesfrom'./index.css';import{connect}from'dva';import{Button}from'antd';2.页面要应用models层的数据要用connect@connect(({news
逸笛·2024-01-31 16:46

Flink 集成和使用 Hive Metastore

1.AWSEMR的Flink使用HiveMetastore想在Flink中使用HiveMetastore其实只需要将FlinkHiveConnector以及HiveMetastore有关的Jar包部署到
　Laurence·2024-01-31 16:31

spring官网上下载历史版本的springsource

我们打开spring官网下载地址，里面有个UpdateSiteArchives，在这里可以看到几个版本tools下载的选项，我们把一个版本的地址
咕咕星·2024-01-31 16:22

大厂 5 年实时数据开发经验总结，Flink SQL 看这篇就够了！

本文摘编于《FlinkSQL与DataStream入门、进阶与实战》（500页、70万字）作者羊艺超，目前就职于快手，国内最早一批FlinkSQL使用者拥有从0到1使用FlinkSQL建设、保障及治理实时数仓的丰富经验京东机械工业出版社旗舰店限时
zhisheng_blog·2024-01-31 15:29

HIve常用语法记录

hive增加表名和修改字段位置altertabledim_ug_course_dicaddcolumns(KCLB_IDstringcomment'课程类别ID');altertabledim_ug_course_dicchangeKCLB_IDKCLB_IDstringafterCJPDFS
我是星星我会发光i·2024-01-31 15:17

数据湖技术Iceberg0.12预研文档

Iceberg0.12预研本次预研场景主要为kafka=>flinksql=>iceberg=>hive=>hdfs=>trino(presto)本次预研使用组件如下：名称版本描述flink1.12.1
我去探险了·2024-01-31 15:36
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他