数据仓库&Hive

Hive 行列转换

行列转换列转行使用lateralview+explode(array|map)或lateralview+inline(array_struct)可以将列转换为行。单列转多行，降维（单列数组或键值对）示例1：explode(array(…))select...,AfromTlateralviewexplode(ARRAY_FIELD)asA;selectexplode(`array`(88.2,98
Byyyi耀·2024-01-24 10:51

linux netstat命令

转载Linuxnetstat命令详解-ggjucheng-博客园(cnblogs.com)https://www.cnblogs.com/ggjucheng/archive/2012/01/08/2316661
你好，此用户已存在·2024-01-24 09:30

在SQL Server中的关系型数据仓库分区策略

developer.51cto.com/art/200702/41068.htmhttp://www.fengfly.com/plus/view-29754-1.html在SQLServer中的关系型数据仓库分区策略
king_idea8848·2024-01-24 08:49

Hudi0.14.0集成Spark3.2.3（Spark SQL方式）

1整合HiveForuserswhohaveSpark-Hiveintegrationintheirenvironment,thisguideassumesthatyouhavetheappropriatesettingsconfiguredtoallowSparktocreatetablesandregisterinHiveMetastore
跟着大数据和AI去旅行·2024-01-24 08:05

元数据管理在数据仓库中的实践应用

一、什么是数据仓库的元数据管理？1、什么是元数据？元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（dataaboutdata）。
小枫@码·2024-01-24 08:53

数据仓库建模

简介数据仓库建模是指将数据仓库中的数据进行组织和结构化，以便支持分析、报告和查询。数据仓库建模需要考虑多个方面的因素，包括业务需求、数据源、查询性能等。
不加班程序员·2024-01-24 07:44

银行数据仓库体系实践（4）--数据抽取和加载

1、ETL和ELTETL是Extract、Transfrom、Load即抽取、转换、加载三个英文单词首字母的集合：E：抽取，从源系统(Souce)获取数据；T：转换，将源系统获取的数据进行处理加工，比如数据格式转化、数据精度转换、数据清洗、缺失数据补齐、异常数据排除等。L：加载，将数据加载到目标数据库(Target)。ELT也是同样三个单词的首字母组合，只是把T、L颠倒了下顺序。ETL强调的是先进
南极找南·2024-01-24 07:12

银行数据仓库体系实践（3）--数据架构

狭义的数据仓库数据架构用来特指数据分布，广义的数据仓库数据架构还包括数据模型、数据标准和数据治理。
南极找南·2024-01-24 07:42

数据仓库-相关概念

简介数据仓库是一个用于集成、存储和管理大量数据的系统。它用于支持企业决策制定过程中的数据分析和报告需求。数据仓库从多个来源收集和整合数据，并将其组织成易于查询和分析的结构。
不加班程序员·2024-01-24 07:10

Oracle 19c RAC集群管理 ---------关键参数以及常用命令

Oracle19cRAC集群管理---------关键参数Oracle19CRAC参数最佳实践--开启强制归档ALTERDATABASEFORCELOGGING;--设置30分钟强制归档ALTERSYSTEMSETARCHIVE_LAG_TARGET
加油鸭啦啦啦啦·2024-01-24 07:27

flink-java使用介绍，flink，java

1.18/zh/仓库：https://github.com/apache/flink下载：https://flink.apache.org/zh/downloads/下载指定版本：https://archive.apache.org
raoxiaoya·2024-01-24 07:47

记一次Flink通过Kafka写入MySQL的过程

transform-->sink,即从source获取相应的数据来源，然后进行数据转换，将数据从比较乱的格式，转换成我们需要的格式，转换处理后，然后进行sink功能，也就是将数据写入的相应的数据库DB中或者写入Hive
梦痕长情·2024-01-24 07:17

tableau mysql 驱动安装

MySQL::DownloadMySQLConnector/ODBC(ArchivedVersions)
CCCHHH333·2024-01-24 07:17

Hadoop安装配置HBase

1、文件准备http://archive.apache.org/dist/hbase/1.3.1/下载hbase-1.3.1-bin.tar.gz并上传到虚拟机/root目录下。
m0_69595107·2024-01-24 06:10

【数据库】第一章 数据库基础理论

（数据仓库）数据：描述事务的符号记录，包含但不限于数字、文字、图形、图像、声音、语言等。数据有多重形式，它们都可以经过数字化后存入计算机。数据库：数据仓库。
悲伤自画像·2024-01-24 04:55

【Ubuntu】Ubuntu安装微信

1.1安装WineWine环境包下载地址：http://archive
Do_GH·2024-01-24 02:45

Hive分析窗口函数(五) GROUPING SETS,GROUPING__ID,CUBE,ROLLUP

Hive分析窗口函数(五)GROUPINGSETS,GROUPING__ID,CUBE,ROLLUP这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天
bigdata张凯翔·2024-01-24 02:45

springboot项目打包jar和war有什么区别

SpringBoot项目可以打包成可执行的JAR（JavaArchive）文件或WAR（WebArchive）文件，两者之间有一些区别：JAR（可执行的JavaArchive）：JAR文件是一种常见的Java
CoolTiger、·2024-01-24 00:39

redis基本用法

Redis安装包分为windows版和Linux版：Windows版下载地址：https://github.com/microsoftarchive/redis/releasesLinux版下载地址：https
NL_LIU·2024-01-23 22:01

Hive基础(十二)-hive 存储，解析，处理json数据

hive存储，解析，处理json数据hive处理json数据总体来说有两个方向的路走将json以字符串的方式整个导入Hive表，然后通过使用UDF函数解析已经导入到hive中的数据，比如使用LATERALVIEWjson_tuple
bigdata张凯翔·2024-01-23 22:00

在hive插入数据时出现“Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”报错

SQL错误[2][08S01]:Errorwhileprocessingstatement:FAILED:ExecutionError,returncode2fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTaskErrorwhileprocessingstatement
絲箹·2024-01-23 21:50

数据仓库-日期维度表的设计与实现

时间维度表的制作1需求背景在大数据分析模块中，我们需要从不同的维度分析主题表，包括常用的公用维度：时间维，地区维度，教育信息维…以及各种各样的业务维度：员工维度，部门维度…，业务维度就是我们从哪些角度去分析业务过程，本文就是做一张常用时间维度表。时间维表由于是可预见的，因此可以一次性导入未来几十年的，当然对于一些节假日的设置可能只能获取未来一年的，因此可以每年全量更新一次。2维表设计给出时间维度表
yongfeicao·2024-01-23 21:17

设计模式学习总结

责任链模式使用方法：1.创建接口2.定义实现类，每个实现类实现接口，并拥有一个ArchiveHandle的成员，用作责任链的链接publicinterfaceArchiveHandle{   voidhandle
qq_56876713·2024-01-23 21:16

【大数据精讲】全量同步与CDC增量同步方案对比

ETLETL数据仓库
话数Science·2024-01-23 20:44

企业建数仓的第一步是选择一个好用的ETL工具

当企业决定建立数据仓库（DataWarehouse），第一步就是选择一款优秀的ETL（Extract,Transform,Load）工具。
苛子·2024-01-23 20:36

解读 EventBridge Transform：数据转换和处理的灵活能力

除此之外，它还可以作为流式的数据管道，在不同的数据仓库和数据处理或分析程序之间快速构建ETL系统。本文将从以下几个方面展开对阿里云EventBridg
阿里云云原生·2024-01-23 20:05

PLC不用编程也不用二次开发实现JSON文件MQTT发布与订阅

本案例是采用IGT-DSER智能网关，实现PLC变量寄存器地址通过一个免费的MQTT服务端(Broker：broker.hivemq.com:1883)，与MQTT的其它客户端双向通讯。
智能工厂·2024-01-23 18:14

PowerDesigner 导出数据库表到word文档

概述：利用PowerDesigner可以制作数据流程图、概念数据模型、物理数据模型，还可以为数据仓库制作结构模型，也能对团队设计模型进行控制，同时还可以创建一个数据库。
木白星枝·2024-01-23 17:28

Win7快速部署weblogic 12c

windows-x64weblogic12.2.1.30x02下载地址JDK下载地址https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.htmljdk1.8
counsellor·2024-01-23 16:10

Qt Linux安装qt5.9全过程

1准备好安装包qt安装包下载官网:https://download.qt.io/archive/qt2将安装包放到Linux环境下我这里使用WinSCP将windows下的文件传输到Linux3.
江凡心·2024-01-23 13:45

【HIVE】系统数据分析实战 汽车销售数据随机生成

文章目录一、生成测试数据二、创建HIVE数据库1.创建数据库2.装载数据3.查看数据一、生成测试数据#利用Python随机生成一份汽车销售数据，共100行，包括销售时间、销售地点、车辆类型、车辆型号、制造商
奥利文儿·2024-01-23 12:29

大厂大数据面试题收录（1）

8.Hivesql到MapReduce转化的流程清楚吗？
后季暖·2024-01-23 11:49

Hadoop基本介绍

1、Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem
w蕾丝·2024-01-23 08:53

DATAX的架构和运行原理

一.概念DATAX呢就是把各个不同构的数据库进行同步的过程，具体有hdfshiveOracle等等吧。二.架构1.设计原理显而易见从强连通图到星形图，大大的简化了工作量。
加林so cool·2024-01-23 08:37

数据分析的理念、流程、方法、工具（上）

企业中数据从产生到应用依次要经过数据源层、数据仓库层、数据建模层，最后到数据应用层，经过层层加工逐渐支持到上游的应用环节。数据应用层
学掌门·2024-01-23 07:38

Sqoop数据导入到Hive表的最佳实践

将数据从关系型数据库导入到Hive表是大数据领域中的常见任务之一，Sqoop是一个强大的工具，可以帮助实现这一目标。
晓之以理的喵~~·2024-01-23 07:35

HIVE中关联键类型不同导致数据重复，以及数据倾斜

比如左表关联键是string类型，右表关联键是bigint类型，关联后会出现多条的情况解决方案：关联键先统一转成string类型再进行关联原因：根据HIVE版本不同，数据位数上限不同，低版本的超过16位会出现这种情况
帅成一匹马·2024-01-23 07:34

cdh6.3.2的hive配udf

之后就可以永久使用了，重启hs2也可以调研先查的hive官网https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#La
zdkdchao·2024-01-23 07:02

究极保姆式教你如何在Ubuntu上源码安装Qt5.15.2

**Ubuntu下Qt5.15.2源码安装环境：Ubuntu18.04（qt5.15.2要求最少也得在18.04以上）一．下载源码1.打开官网：https://download.qt.io/archive
程序小白的成长旅程·2024-01-23 06:17

Hive 拉链表详解及实例

拉链表版本迭代：hive0.14slowlychangingdimension=>hive2.6.0merge事务管理原来采用分区表，用户分区存储历史增量数据，缺点是重复数据太多定义：数仓用于解决持续增长且存在一定时间时间范围内重复的数据存储
Byyyi耀·2024-01-23 06:45

Hive 数仓及数仓设计方案

数仓(DataWarehouse)数据仓库存在的意义在于对企业的所有数据进行汇总，为企业各个部门提供一个统一、规范的出口。做数仓就是做方案，是用数据治理企业的方案。
Byyyi耀·2024-01-23 06:34

zeppelin部署文档

后台支持接入多种数据处理引擎，如spark，hive等。
不加班程序员·2024-01-23 06:54

数据仓库系列10- 数据仓库规范

一.数据模型架构原则1.1数据仓库分层分层的好处：清晰数据结构；数据血缘追踪；减少重复开发；数据关系条理化；屏蔽原始数据的影响。
只是甲·2024-01-23 06:20

数仓建设 - 维度建模 - DIM维度

表结构设计3.2ETL任务脚本四、地区维度表4.1表结构设计4.2ETL任务脚本五、日期维度表六、用户维度表6.1表结构设计6.2ETL任务脚本前置：准备数据库[hadoop@hadoop102apache-hive
m0_46218511·2024-01-23 05:14

Vue 兄弟组件通信

在Vue3中，以下是五种常用的方法来实现兄弟组件之间的通信：使用共享状态（SharedState）：创建一个共享的数据仓库（store），可以使用Vuex或者Vue3的新特性CompositionAPI
珊珊而川·2024-01-23 05:34

Vue 兄弟组件通信

在Vue3中，以下是五种常用的方法来实现兄弟组件之间的通信：使用共享状态（SharedState）：创建一个共享的数据仓库（store），可以使用Vuex或者Vue3的新特性CompositionAPI
珊珊而川·2024-01-23 05:34

jenkins ios 配置

结果登录打包机看了一下发下是硬盘空间还有80G后来想想证书好像换了，所以就去检查了一下打包机的证书，果然，证书不对，导入新的证书后，发现打包还是不对，然后重新核对导出文件，结果发现导出文件也是各种对不上，所以本地又archive
张_何·2024-01-23 05:10

Presto

完全基于内存的并行计算的分布式SQL查询引擎，是一种Massivelyparallelprocessing(MPP)架构，多个节点管道式执行，适用于交互式分析查询，数据量支持GB到PB字节，presto的查询速度比hive
Cool_Pepsi·2024-01-23 02:43

Hadoop -- Hive

文章目录1.什么是hive？1.1基本思想1.2为什么使用hive？
Cool_Pepsi·2024-01-23 02:12

Hadoop -- ZooKeeper

ZooKeeper就是动物园管理员，他是用来管hadoop（大象）、Hive(蜜蜂)等的管理员。
Cool_Pepsi·2024-01-23 02:42
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他