Hive

离线数仓01-用户行为日志采集平台

1.2项目需求用户行为数据采集平台的搭建（前端埋点日志数据）业务数据采集平台的搭建（MySQL业务数据）数据仓库维度建模（hive数据分层：ods、dwd、dws、dwt、ads）即席查询工具，随时进行指标分析
最佳第六六六人·2025-05-19 03:14

StarRocks Community Monthly Newsletter (Apr)

数据处理能力，支持将JSONArray/Object转为ARRAY/MAP类型优化information_schema.task_runs视图查询，新增LIMIT支持性能与稳定性提升修复查询ORC格式Hive
·2025-05-19 00:32

Bitmap原理及Hive去重方式对比

1.什么是Bitmap？Bitmap（位图）是一种用位（bit）来表示数据集合的数据结构。每个位代表一个元素是否存在，比如：一个长度为N的bitmap，每一位对应一个元素的状态（0或1）。例如，数字集合{1,3,4}，用bitmap表示就是第1、3、4位为1，其余为0。1.1Bitmap的特点：空间利用率高：用bit表示，存储效率高。查询效率快：判断某个元素是否存在，直接定位对应bit即可。支持快
大数据知识搬运工·2025-05-18 21:08

Hive组成架构和工作原理

  ApacheHive是一个基于Hadoop的数据仓库工具，主要用于处理和分析大规模结构化数据。
Cynthiaaaaalxy·2025-05-18 19:18

PostgreSQL

Windows安装1、下载并解压打开下载页面，进入ziparchive页面，下载文件：postgresql-15.2-1-windows-x64-binaries.zip2、初始化实例启动cmd进入我们的路径
2401_89600819·2025-05-18 12:35

十二、Hive 函数

作者：IvanCodes日期：2025年5月1日专栏：Hive教程在数据处理的广阔天地中，我们常常需要对数据进行转换、计算、清洗或提取特定信息。
IvanCodes·2025-05-18 10:47

CentOS7.9安装MySQL5.7主从

MySQL主从部署，详细版，包含参数调整说明主服务器10.1.1.1从服务器10.1.1.2下载地址https://downloads.mysql.com/archives/get/p/23/file/
某人。·2025-05-18 08:05

快速部署Hadoop+MySQL+Hive+Spark的集群

目录一、在Linux系统下我们要配置时钟同步（有两种，这里我就说一种）、配置主机名、配置网络环境、关闭防火墙：（1）、配置自动时钟同步（2）、配置主机名（这里我们在克隆后的克隆机上需要重新修改成对应的主机名）（3）、使用setup命令配置网络环境（这里我们在克隆后的克隆机上需要重新修改成对应的主机ip）（4）、关闭防火墙二、配置hosts文件列表三、安装JDK四、Hadoop集群配置（1）、配置环
会飞的胖猪胖·2025-05-17 16:41

数据分析与可视化实战：从鸢尾花到乳腺癌数据集

鸢尾花数据集分析数据加载与基本统计我们首先从UCI机器学习库加载著名的鸢尾花数据集：data=pd.read_csv('http://archive.ics.uci.edu/ml/machine-lear
loopdeloop·2025-05-17 16:41

MySQL 与 Hive Spark 的数据交互：架构与实践

在现代大数据架构中，MySQL、Hive和Spark各自扮演着重要角色。
莫比乌斯之梦·2025-05-17 16:39

Spark SQL 多数据源操作（Scala）

相关知识为了完成本关任务，你需要掌握：数据加载；SQL语句加载数据；文件保存；保存模式；持久化存储到Hive；分区与排序。importorg.apache.spark.sql.
Ssaty.·2025-05-17 15:03

Hive Transactional Tables 事务表

文章目录1.背景2.Hive事务的局限性1.背景Hive设计之初不支持事务。
跑调却靠谱·2025-05-17 04:10

十一、Hive JOIN 连接查询

作者：IvanCodes日期：2025年5月16日专栏：Hive教程在数据分析的江湖中，数据往往分散在不同的“门派”（表）之中。要洞察数据间的深层联系，就需要JOIN这把利器，将相关联的数据串联起来。
IvanCodes·2025-05-16 23:16

6.PostgreSQL体系结构

1.postgres相关进程BgWriter:数据文件写入进程PgStat:统计信息进程SysLogger:系统日志进程checkpoint:检查点AutoVacumm:自动清理碎片Archiver:归档进程
戒掉贪嗔痴(薛双奇)·2025-05-16 21:01

spark基础介绍

UnifiedEngineforlarge-scaledataanalytics2）文档查看地址：Redirecting…3）下载地址：Downloads|ApacheSparkhttps://archive.apache.org
满分对我强制爱·2025-05-16 16:47

sqoop到数据到mysql报错_hadoop sqoop 同步hive数据到mysql报错 classnotfound

今天在CDH5.4.4环境下，用sqoop导出mysql数据，然后再导入hive，成功用sqoop同步hive数据到mysql失败，求大神答疑：1.hive下有一个表testamysql下有一个表testa
Sinaean Dean·2025-05-16 07:45

Hbase整合Hive

hive只做数据的分析工作，分析后需要将结果交给数据库保存，以供下游消费者消费。hbase可以完美的胜任数据库的角色。
嘎嘎想学习·2025-05-16 07:14

【HBase整合Hive】HBase-1.4.8整合Hive-2.3.3过程

HBase-1.4.8整合Hive-2.3.3过程一、摘要二、整合过程三、注意事项一、摘要HBase集成Hive，由Hive来编写SQL语句操作HBase有以下好处：简化操作：Hive提供了类SQL的查询语言
若兰幽竹·2025-05-16 07:41

清理Ubuntu系统缓存的详细步骤

方法1：删除所有缓存sudoaptclean删除/var/cache/apt/archives/下的所有已下载包方法2：仅删除过期的缓存sudoaptautoclean只删除无法从仓库重新下载的旧版本包方法
存储空间0619·2025-05-16 00:55

搭建Spark on yarn环境

1)Build##downloadspark-3.2.1.tgzfromhttp://archive.apache.org/dist/##unpackto~/work/spark-3.2.1-src$cd
sun_xo·2025-05-15 23:46

MQTT 在Spring Boot 中的使用

以下是如何在SpringBoot中集成和使用MQTT的详细步骤：前提条件：MQTTBroker：需要一个正在运行的MQTTBroker，例如Mosquitto,EMQX,HiveMQ,RabbitMQ(
冰糖心书房·2025-05-15 20:54

Execution failed for task ':app:transformDexArchiveWithExternalLibsDexMergerForDebug'的解决方案

按照官方文档的流程走了一遍，莫名其妙就报了这个错。网上查了一圈，有说是因为用户目录里含有中文字符（准确来说是非ACSII字符），然后我就去改了一下，但是并没有解决。后来我发现我的报错跟他们的不同之处在于，同样是这个错误，但指向的路径不同。我的报错显示的是/android/app/build/intermediates/transforms/dexBuilder/debug/196这个目录找不到，而
元无心·2025-05-15 19:42

建立交易系统资源收集贴

AutomatedTradingResourcesCategoriesArchiveofPapersForumsandPublicResourcesPlatformsDatafeedsBrokers(BrokerageAPI
summersmile·2025-05-15 15:51

hive综合应用案例 — 用户搜索日志分析

Hive综合应用案例中的用户搜索日志分析通常涉及以下几个步骤：数据准备、数据清洗、数据存储、数据分析以及结果展示。下面我将简要介绍这个过程，并基于你提供的信息给出一个具体的示例。
小希分享·2025-05-15 09:35

Spark小文件合并

危害：hdfs有最大文件数限制浪费磁盘资源（可能存在空文件）；hive中进行统计,计算的时候,会产生很多个map,影响计算的速度。
weixin_lss·2025-05-15 06:15

sparksql读取mysql内存_四、spark--sparkSQL原理和使用

类似于hive的作用。1.2sparkSQL的特点1、容易集成：安装Spark的时候，已经集成好了。不需要单独安装。
特大号先生·2025-05-14 16:14

SparkSQL入门学习

SparkSQLSparkSQL是构建在SparkRDD之上一款ETL（ExtractTransformationLoad）工具（类似Hive-1.x-构建在MapReduce之上）。
田晓彬·2025-05-14 16:12

spark和Hadoop之间的对比和联系

UnifiedEngineforlarge-scaledataanalytics2）文档查看地址：Redirecting…3）下载地址：Downloads|ApacheSparkhttps://archive.apache.org
lix的小鱼·2025-05-14 08:51

大数据技术之Hadoop(十)——Sqoop数据迁移

安装配置1、下载安装2、MySQL配置启动3、配置Sqoop环境4、Sqoop效果测试三、Sqoop数据导入1、MySQL表数据导入HDFS2、MySQL表数据增量导入HDFS3、MySQL表数据导入Hive4
雨诺风·2025-05-14 08:20

ORACLE 定时清理归档日志详细过程

1、RM方式清理归档日志清理归档日志，可以人为的删除已经归档好的日志文件，然后再调用rman里面RMAN>crosscheckarchivelogall;来去数据库里面删除归档记录；也可以通过ram调用
沈朝阳的沈·2025-05-14 00:24

Oracle归档日志清理

进程是哪个用户运行ps-ef|greppmon2、切换用户su-xxx3、确认是Oracle归档目录满了df-Thdu-shxxx4、rman清理归档日志rmantarget/crosscheckarchivelogall
の正在缓存99%·2025-05-13 23:54

mssql 的sp_help好难看

//mysql的desc/转载于:https://www.cnblogs.com/LCX/archive/2009/12/22/1629542.html
diedangxiang4092·2025-05-13 19:26

数据收集之DataX服务器端关于动态传参的示例

在这里简单介绍下原理：在Linux服务器环境下，实现DataX从MySQL到Hive的动态传参+每日自动更新，核心是通过Shell脚本动态生成DataX任
佩可official·2025-05-13 16:36

【小贪】程序员必备：Shell、Git、Vim常用命令

主要技术包括：✅数据库常用：MySQL,HiveSQL,SparkSQL✅大数据处理常用：Pyspark,Pandas⚪图像处理常用：OpenCV,matplotlib⚪机器学习常用：SciPy,Sklearn
贪钱算法还我头发·2025-05-13 15:26

Spark基础介绍

UnifiedEngineforlarge-scaledataanalytics2）文档查看地址：Redirecting…3）下载地址：Downloads|ApacheSparkhttps://archive.apache.org
小白的白是白痴的白·2025-05-13 12:35

ARM终端 KylinOS 容器镜像导入排障

dockerload-ijdk8.arm.tar.gz显示如下错误：bd245ec49ee5:Loadinglayer[================================>]34.54MB/53.68MBarchive
meslog·2025-05-13 10:55

Hive大表join大表如何调优

目录一、调优思路1、SQL优化1.1大小表join1.2大大表join2、insertinto替换unionall3、排序orderby换位sortby4、并行执行5、数据倾斜优化6、小文件优化二、实战2.1场景2.2限制所需的字段，间接mapjoin2.2解决异常值倾斜，如NULL加随机数打散2.3扩容解决数据倾斜2.3.1客户表扩大N倍2.3.2部分倾斜key扩容，大卖家扩容2.3.3推荐：分
大数据知识搬运工·2025-05-13 07:36

浅谈层次化的AI架构

原文地址：http://www.aisharing.com/archives/86/comment-page-1记得在以前的一篇文章中谈到了一种类似于双缓冲的AI结构，最近在整理一些东西的时候，发现这样的
weixin_34292959·2025-05-13 04:18

五、Hive表类型、分区及数据加载

在Hive中高效构建、管理和查询数据仓库，核心在于精准运用表类型（内部/外部）与分区策略（静态/动态/多重）。这不仅决定数据的生命周期归属，更是优化海量数据查询性能的关键手段。
IvanCodes·2025-05-13 04:13

Hive常用字符串函数

1、字符串函数计算函数：Length语法：length(stringA)返回值：int说明：返回字符串A的长度例子：hive>selectlength('iteblog')fromiteblog;72、
逆水行舟如何·2025-05-12 17:39

IIS URL静态化 伪静态组件ISAPI_Rewrite安装配置 伪静态不生效解决办法 避坑版

1步.下载IIS伪静态组件和ISAPI_Rewrite3安装文件第2步.安装IIS伪静态组件第3步.配置httpd.confISAPI_Rewrite3下载:http://v.s3.sh.cn/archives
资讯第一线·2025-05-12 17:33

深入探究大数据领域 Hive 的数据存储机制

深入探究大数据领域Hive的数据存储机制关键词：Hive数据存储、HDFS集成、分区表、分桶表、存储格式、数据组织、性能优化摘要：本文深入剖析ApacheHive的数据存储机制，从底层架构到上层逻辑组织全面解析
大数据洞察·2025-05-12 10:44

hive表级权限控制_数据库权限管理：表、行、列级别的权限控制

权限规则1.在配有主从集群时建议在主节点上做权限相关操作2.只有管理员和超级管理员才有将数据导入至表中的权限3.管理员用户赋予的是以整表为单位的权限，所有能赋予的权限为create/select/truncate/delete/drop4.管理员建表需要超管授权后才能创建，即使这张表不存在，直接创建也是没有权限的；管理员只具备create权限时，创建表后默认具备select权限，showtable
weixin_39649405·2025-05-12 09:41

SQL Standard Based Hive Authorization（基于SQL标准的Hive授权）

Hive0.13之前的权限管理Hive默认的权限不是为了防止恶意用户访问隐私数据。它仅能防止用户不经意的错误操作。它本身是不完整的，包括执行grant语句之内的很多操作，没有授权检查。
houzhizhen·2025-05-12 09:39

hadoop+hive+spark+zookeeper+hbase大数据环境搭建

master172.16.34.101CentOSLinuxrelease7.3.1611slave01172.16.34.102CentOSLinuxrelease7.3.1611slave03172.16.34.103CentOSLinuxrelease7.3.16112.软件版本软件名称版本hadoop2.7.7hive1.2.2spark2.3.4zook
fengwuxichen·2025-05-12 09:08

使用FastAPI和Apache Flink构建跨环境数据管道

系统概述本文介绍如何使用FastAPI微服务、ApacheFlink和AWSElastiCacheRedis构建一个可扩展的数据管道，实现本地ApacheHive数据仓库与AWS云上Redis之间的数据交互
weixin_30777913·2025-05-12 08:34

Hive 使用 set hive.conf.validation=false 跳过参数检查

Hive默认不允许设置HiveConf.ConfVars没有定义的参数，如sethive.stat.join.enable=false;Queryreturnednon-zerocode:1,cause
houzhizhen·2025-05-12 06:52

在windows笔记本电脑部署GLM4大模型

下载地址：Indexof/anaconda/archive/|清华大学开源软件镜像站|TsinghuaOpenSourceMirror在网页上找到Anaconda3-2024.02-1-Windows
weixin_39945822·2025-05-11 20:18

Linux服务器部署MySQL数据库（超详细~）

Linux服务器部署MySQL数据库网址：https://downloads.mysql.com/archives/get/p/23/file/mysql-5.7....上传到服务器定义好安装的目录和数据存储的目录
·2025-05-11 19:10

hadoop和hive的客户端安装与配置

1文件列表：hadoop_client.tar.gz（hadoop和hive的client环境）hadoop_java.tar.gz(java的环境)hadoop_python.tar.gz（python
yccn214·2025-05-11 17:57
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他