HIVE

UBuntu 软件安装

sudoapt-getupdatesudoapt-getdist-upgradesudoapt-getupgrade-y有一个简单办法可以使更新速度更快，把以前更新的时候下载的软件包备份一下，把var/cache/apt/archives
denlee·2025-03-04 17:53

初学者如何用 Python 写第一个爬虫？

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark
ADFVBM·2025-03-04 16:19

Hive之正则表达式

Hive版本：hive-3.1.2目录一、Hive的正则表达式概述1.1字符集合1.2边界集合1.3量词（重复次数）集合1.4转义操作符1.5运算符优先级二、Hive正则表达式案例2.1like2.2rlike2.3regexp2.4regexp_replace
三生暮雨渡瀟瀟·2025-03-04 03:39

Hive之正则表达式RLIKE详解及示例

目录一、RLIKE语法及核心特性1.基本语法2.核心特性二、常见业务场景及示例场景1：过滤包含特定模式的日志（如错误日志）场景2：验证字段格式（如邮箱、手机号）场景3：提取复杂文本中的关键词场景4：排除无效数据（如非数字字符）三、高级用法与技巧1.忽略大小写匹配2.匹配多行文本3.组合多个条件四、性能优化建议1.避免全表扫描2.预编译正则模式3.简化正则表达式五、常见问题与注意事项1.转义字符问题
三生暮雨渡瀟瀟·2025-03-04 03:09

kafka入门基础

1.Java安装1.1下载https://download.oracle.com/java/18/archive/jdk-18.0.2.1_linu...1.2安装tarzxvfjdk-18.0.2.1
·2025-03-04 02:42

hive-staging文件问题——DataX同步数据重复

1.产生原因1.使用Hue的界面工具执行Hive-sql。
Aldebaran α·2025-03-03 23:38

避免Hive和Spark生成HDFS小文件

Hive和spark-sql是两个在常用的大数据计算分析引擎，用户直接以SQL进行大数据操作，底层的数据存储则多由HDFS提供。
穷目楼·2025-03-03 22:36

Linux 下Hive 安装(Remote Metastore Database 单节点)

1、Linux下安装好mysql：Linux下Mysql安装2、启动hadoop集群：1、zk启动[root@node02~]#zkServer.shstartZooKeeperJMXenabledbydefaultUsingconfig:/opt/software/apache-zookeeper-3.6.2-bin/bin/../conf/zoo.cfgStartingzookeeper...
A6-母婴小店-第6分店·2025-03-03 22:33

2025年上海安卓发展机遇

文章目录一、上海重点打造的产业集群规划二、安卓开发者的机遇与行动建议三、政策与资源支持总结本文首发地址https://h89.cn/archives/320.html最新更新地址https://gitee.com
清霜辰·2025-03-03 19:37

Hive的内置函数

HIVE除了提供了类似mysql的sql的语法外，还提供了大量内置的函数，方便开发者来调用，编写功能丰富的处理程序。使用如下命令查看当前hive版本支持的所有内置函数。
不爱学习的小枫·2025-03-03 10:56

hive之leg函数

整理学习LAG函数是Hive中常用的窗口函数，用于访问同一分区内前一行（或前N行）的数据。它在分析时间序列数据、计算相邻记录差异等场景中非常有用。
三生暮雨渡瀟瀟·2025-03-03 07:34

使用DataX将ClickHouse数据导入Hive

在将ClickHouse数据导入Hive时，如果字段中包含回车符（\n）或换行符（\r），会导致Hive在读取数据时将其误认为是行分隔符，从而导致数据错列的问题。
MYH516·2025-03-03 07:01

hive开窗函数详解

1.OVER()：用于指定分析函数工作时的数据窗口大小，这个数据窗口大小可能会随着行的变而变化；2.CURRENTROW：当前行；nPRECEDING：往前n行数据；nFOLLOWING：往后n行数据；UNBOUNDED：起点，UNBOUNDEDPRECEDING表示从前面的起点，UNBOUNDEDFOLLOWING表示到后面的终点；LAG(col,n,default_val)：往前第n行数据；L
WakeUpCcc·2025-03-03 06:31

大数据技术学习框架（更新中......）

Hadoop相关HDFS分布式文件系统MR(MapReduce)离线数据处理MR-图解YARN集群资源管理ZooKeeperZooKeeper分布式协调框架Hive相关Hive-01之数仓、架构、数据类型
小技工丨·2025-03-03 04:05

前端项目中脚本文件打包，vscode中如何正确使用gtar命令

1、下载gtarhttps://gnuwin32.sourceforge.net/packages/libarchive.htm2、傻瓜式安装一路下一步即可。
今天吃了嘛o·2025-03-02 17:43

win11编译pytorchvision cuda128版本流程

访问https://kkgithub.com/pytorch/vision/archive/refs/tags/v0.21.0.tar.gz下载源码，下载后解压。
System_sleep·2025-03-02 13:04

‌Tomcat 8.0.12安装流程

Windows系统安装流程步骤1：下载Tomcat8.0.12打开浏览器，访问ApacheTomcat的存档页面：https://archive.apache.org/dist/t
小魚資源大雜燴·2025-03-02 08:53

京东Hive SQL面试题实战：APP路径分析场景解析与幽默生存指南

京东HiveSQL面试题实战：APP路径分析场景解析与幽默生存指南“数据开发工程师的终极浪漫，就是把用户路径写成诗——用HiveSQL押韵。”
数据大包哥·2025-03-02 07:13

【Apache Paimon】-- 13 -- 利用 paimon-flink-action 同步 mysql 表数据

诞生以前，若mysql/pg等数据源的表结构发生变化时，我们有几种处理方式（1）人工通知（比如常规的使用邮件），然后运维人员手动同步到数据仓库中（2）使用flink消费DDLbinlog，然后自动更新Hive
oo寻梦in记·2025-03-02 04:51

jdbc连接数据库步骤oracle,jdbc连接oracle数据库的步骤

使用E-MapReduce集群sqoop组件同步云外Oracle数据库数据到集群hiveE-MapReduce集群sqoop组件可以同步数据库的数据到集群里，不同的数据库源网络配置有一些差异网络配置。
weixin_39726044·2025-03-02 02:05

Anaconda配置tensorflow-gpu教程

里面怎么调都识别不到GPU）打开Nvidia控制面板，左上角帮助-系统信息-组件NVCUDA64.DLL后面的NVIDIACUDA12.1就是你的显卡支持的CUDA版本，去CUDA官网CUDAToolkitArchive
rubisco214·2025-02-28 22:19

linux压缩解压文件夹命令 zip unzip 和 tar

示例：zip-rmyarchive.zipmydir解压文件unzip压缩包名.zip-d目标目录-d:指定解压目录（默认当前目录）。
luoluosheng07·2025-02-28 20:35

python 一小时 教程

Java和Javascript,不用1小时你就可以用Python快速流畅地写有用的Python程序.Python3.x用户请参考:http://www.cnitblog.com/yunshichen/archive
wsf_123456·2025-02-28 12:03

HIVE 面试题总结

Hive依赖于HDFS存储数据，Hive将HQL转换成MapReduce执行，所以说Hive是基于Hadoop的一个数据仓库工具，实质就是一款基于HDFS的MapReduce计算框架，对存储在HDFS中的数据进行分析和管理
小余真旺财·2025-02-28 11:00

Hive 面试题

什么是Hive?Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
昨夜为你摘星·2025-02-28 11:59

hivePB级迁移方案

1、评估磁盘空间大小、调整副本数、设置heapsize大小2、distcp-i-skipcrccheck源端到目标端，迁移3、元数据迁移，建表，替换location地址，或者导出db4、表分区修复5、配置增量T-1迁移或者T-26、校验历史分区脚本，表结构，大小，文件数7、根据ditcp不对的，进行补数脚本，删分区，重拉8、任务校验，客户跑完任务后，校验指定分区的count数和内容的md59、任务
我要用代码向我喜欢的女孩表白·2025-02-28 10:51

Hive基本操作

Hive基本操作1.Hive常用命令1.1Hive启动1.2Hive退出1.3Hive查看历史命令1.4Hive常用交互命令2.数据库基本操作2.1创建数据库2.2创建数据库并指定hdfs存储位置2.3
小肥柴呀·2025-02-28 04:01

hive迁移补数脚本细粒度 表名-分区唯一键

假设我通过对数脚本发现，这些表对不上。假设检测出来是这样的（这些表存在于源端，但不存在目标端）我们需要从源端迁移过去。diff.txtads_xx1dt=20250219ads_xx2dt=20250217ads_xx2dt=20250218ads_xx2dt=20250219ads_xx3dt=20250217ads_xx4dt=20250217bak_xx1dt=20250109bak_xx1
我要用代码向我喜欢的女孩表白·2025-02-28 04:27

国产唯一开源湖仓框架LakeSoul 2.0 重磅升级：支持快照回滚、Flink和Hive对接

首先，附上Github链接LakeSoul：https://github.com/meta-soul/LakeSoul，可搜索公众号元灵数智，在底部菜单了解我们-用户交流获取官方技术交流群二维码，进群与业内大佬进行技术交流。DMetaSoul团队于7月初发布了LakeSoul2.0版本，对1.0版本进行了多方面升级优化，提高了自身架构设计的灵活性，也更好地适应客户未来业务高速发展的需要。2.0版本
元灵数智·2025-02-28 00:52

shell字典数组

转自:http://www.firefoxbug.com/index.php/archives/2369/#shell字典数组#!
吃不到的烤鱼·2025-02-27 20:23

HTTP 协议

spm=1001.2014.3001.5501halo:https://xingzhu.top/archives/webfu-wu-qi-xiao-xiang-mu-linux-c-epoll说明：参考学习
星竹·2025-02-27 20:15

Flink连接kerberos认证的hive 并使用table API

但是HiveCatalog还需要再次使用UserGroupInformation再次认证。直接上代码：importcom.amihaiemil.eoyaml.
lisacumt·2025-02-27 05:27

Hive SQL 使用及进阶详解

一、Hive简介Hive是建立在Hadoop之上的数据仓库基础架构，它提供了类似于SQL的查询语言HiveSQL（也称为HQL），用于对存储在Hadoop分布式文件系统（HDFS）中的大规模数据进行数据查询和分析
小四的快乐生活·2025-02-27 03:37

linux 打包解压命令

创建一个名为archive.tar的tar包：tar-cvfarchive.tar/path/to/directory/这里：c表示创建新的归档文件。v表示在打包过程中显示文件。f指定归档文件的名称。
luoluosheng07·2025-02-26 14:03

Hadoop 基础原理

NameNode持久化机制MapReduce底层原理示例Hadoop是一个由Apache基金会开发的分布式系统基础架构，主要解决海量数据的存储和计算问题，广义上Hadoop指的是Hadoop生态圈，包含HDFS、Hive
disgare·2025-02-26 11:38

nodejs npm run build 打包压缩zip文件

步骤1:安装npminstallarchiver-D步骤2:根目录下新建zip.js，内容如下constfs=require('fs')constarchiver=require('archiver')
xiaoxiao_0721·2025-02-26 10:36

本地Oracle数据库复制数据到Apache Hive的Linux服务器集群的分步流程

我们已经有安装ApacheHive的Linux服务器集群，它可以连接到一个OracleRDS数据库，需要在该Linux服务器上安装配置sqoop，然后将OracleRDS数据库中所有的表数据复制到Hive
weixin_30777913·2025-02-26 10:34

preview_220624,Day08_DM层建设实战,

抛弃DM.使用DataGrip在Hive中创建dm层注意，对于建库建表操作，需直接使用Hiv
啊六六六·2025-02-26 04:51

MySQL 8 公用表表达式（CTE）—— WITH关键字深入用法

更多介绍请查看官网：https://dev.mysql.com/blog-archive/mysql-8-0-labs-recursive-common-table-expressions-in-mysql-cte
gmHappy·2025-02-25 19:45

jar、war、pom

1.jar定义与用途用途：默认打包类型，生成JAR文件（JavaArchive），适用于普通Java应用或库。场景：开发工具类库（如commons-lang.jar）。
JIU_WW·2025-02-25 13:33

MAC电脑 初始化 开发环境（Java + Node）

1.后端1.1Java下载地址https://www.oracle.com/cn/java/technologies/javase/javase8-archive-downloads.html1.2Maven
Kevin_K2·2025-02-25 08:57

centOS 7.9 安装JDK MYSQL

jdk:JavaArchiveDownloads-JavaSE17.0.12andearlierCentOS安装JDK17教程（完整版）-秦胜飞-博客园sudoyumupdatewgethttps://
he25819·2025-02-25 07:23

显卡3050ti等安培架构的GPU安装paddlepaddle

官网原话如果您使用的是安培架构的GPU，推荐使用CUDA11.2如果您使用的是非安培架构的GPU，推荐使用CUDA10.2，性能更优其他配套确定软件版本后，到官网下载对应版本的软件CUDA：CUDAToolkitArchive
社会闲散人员中的代码爱好者·2025-02-24 14:49

Oracle 19C DataGuard GAP 修复过程（RECOVER STANDBY DATABASE FROM SERVICE）

DGGAP主要分为以下两类情况：主库归档日志存在，可以通过配置FetchArchiveLog(FAL)参数，自动解决归档GAP；主库归档日志丢失，需要人工干预来修复；不同Oracle版本的GAP修复方式也不尽相同
莳花微语·2025-02-24 13:17

利用Python imaplib和email模块 读取邮件文本内容及附件内容

python使用imap接收邮件的过程探索https://www.cnblogs.com/yhlx/archive/2013/03/22/2975817.html#!
aobian2884·2025-02-24 12:06

hive运维

hive锁相关showlocks;查看锁unlocktable表名;释放锁发现释放不了锁，执行下面sethive.support.concurrency=false;sethive.txn.manager
花泽啸·2025-02-23 23:04

【003hive基础】hive的数据类型

文章目录一.数据类型1.基础数据类型2.复杂数据类型二.显式转换与隐式转换三.hive的读时模式一.数据类型1.基础数据类型2.复杂数据类型array:有序相同数据类型的集合。
roman_日积跬步-终至千里·2025-02-23 22:29

【Hive】学习路线：架构、运维、Hsql实战、源码分析

文章目录一.Hive基础学习1.基础知识2.安装与配置3.数据存储与表结构二.hive运维三.Hive实战1.HiveSQL基础2.高级查询与数据分析3.数据存储优化4.性能调优四.Hive源码分析一.
roman_日积跬步-终至千里·2025-02-23 22:25

pg使用 archive_cleanup_command 自动清理归档日志

清理归档日志的方式1.使用archive_cleanup_command自动清理归档日志PostgreSQL提供了archive_cleanup_command参数，用于自动清理归档日志。
eaglesstone·2025-02-23 14:29

LINUX 安装mysql5.6.50 RPM

，记录一下安装过程的碰见的各种问题1.下载安装包抖店云上的系统是CentOS7.964位，因此下载Redhat7系统下面的安装包下载地址：https://downloads.mysql.com/archives
a21768541·2025-02-23 10:06
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他