HIVE;STATS

Python的异步编程：async，await

作者博客：https://shiyu.dev/archives/1156我第一次接触异步编程肯定是在JavaScript，第一次写延时函数的时候很奇怪为啥延时函数下面的代码会直接执行而不等待时间结束，然后就对异步编程有了一点点的了解
时不晴·2025-06-06 21:10

Hive SQL优化实践：提升大数据处理效率的关键策略

在大数据生态中，Hive作为基于Hadoop的数据仓库工具，广泛应用于海量数据的离线分析场景。然而，随着数据量的指数级增长和业务复杂度的提升，低效的HiveSQL可能导致资源浪费和查询性能瓶颈。
weixin_47233946·2025-06-06 04:20

记一次·Spark读Hbase

记一次·Spark读Hbase一、背景过年回来，数仓发现hive的一个表丢数据了，需要想办法补数据。这个表是flume消费kafka写hive。
·2025-06-06 00:55

Hive的Parquet格式优化方法

一、Parquet格式的特点与优势1.列式存储架构核心特点：数据按列存储，同一列的数据连续存储在文件中，而非行式存储的“整行连续存储”。优势：查询性能高：仅读取查询所需列的数据，减少I/O量（如SELECTnameFROMtable仅扫描name列）。压缩效率高：同一列数据类型一致，更易通过字典编码、行程长度编码（RLE）等压缩算法实现高压缩比（通常压缩比为5-10倍），减少存储成本。支持谓词下推
安审若无·2025-06-05 19:20

iceberg整合hive（从hive读取iceberg表数据）实践02

目录实现目标：1，创建hadoopcatalog在zeppelin创建hadoopcatalog2，创建基于hadoop_catalog的iceberg表3,从hadoop_catalog来创建hive
黄瓜炖啤酒鸭·2025-06-05 17:08

python爬虫之表格的提取

pipinstallpandaspipinstallrequestspipinstallurllib3爬虫之表格的提取源代码importpandasaspdimportrequestsimporturllib3urllib3.disable_warnings()#网址url="http://www.stats.gov.cn
蝶恋花工作室·2025-06-05 17:36

如何在IDE中通过Spark操作Hive

在IDE中通过Spark操作Hive是一项常见的任务，特别是在大数据处理和分析的场景中。
yt94832·2025-06-05 17:04

【hive sql】窗口函数

参考包括窗口函数在内的执行顺序from&join--确定数据源where--行级过滤groupby--分组having--组级过滤窗口函数--计算窗口函数结果select--选择列distinct--去重orderby--最终排序（可对窗口函数结果进行排序）limit/offset--分页将多行数据按照规则聚集为一行，称为聚集函数，如sum()、avg()、max()等；既要显示聚集前的数据，又要
soso（找工作版·2025-06-05 16:29

HiveSQL语法全解析与实战指南

HiveSQL完整语法体系与特性解析一、数据定义语言（DDL）库操作CREATEDATABASE[IFNOTEXISTS]dbname[COMMENT'描述'][LOCATION'hdfs_path']
不辉放弃·2025-06-05 16:57

大数据学习（127）-hive日期函数

大数据学习系列专栏：哲学语录:用力所能及，改变世界。如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦一、日期提取类函数1.dayofweek(date)功能：返回日期的星期几（1=星期日，2=星期一，...，7=星期六）。示例：SELECTdayofweek('2023-10-01');--返回1（星期日）2.year(date)/month(date)/day(date)功能：
viperrrrrrr·2025-06-05 16:26

【大数据测试 Hive数据库--保姆级教程】

大数据测试Hive数据库详细教程一、环境准备二、Hive数据库功能测试1.创建表2.插入数据3.查询数据4.使用条件过滤查询5.删除数据三、Hive数据库性能测试1.查询响应时间2.大数据量查询测试3.
生活De°咸鱼·2025-06-05 16:55

计算机毕业设计Hadoop+Spark+DeepSeek-R1大模型民宿推荐系统 hive民宿可视化 民宿爬虫 大数据毕业设计(源码+LW文档+PPT+讲解)

一、项目简介本项目基于Hadoop、Spark、DeepSeek-R1构建一个高效的大数据民宿推荐系统，涵盖数据爬取、存储、处理、分析、可视化、AI推荐等完整流程，并提供Hive可视化分析及大数据爬虫，
金枝玉叶9·2025-06-04 19:51

【面试宝典】70道Hive高频题库整理(附答案背诵版)

简述什么是Hive？Hive是一个基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。
想念@思恋·2025-06-04 10:11

70道Hive高频题整理(附答案背诵版)

简述什么是Hive？Hive是一个基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。
编程大全·2025-06-04 09:08

不兼容的签名实现,

接口也要写成sayHello(str:string=null);关键问题在于你要给函数参与默认值null，接口也要写上赋值转载于:https://www.cnblogs.com/jiahuafu/archive
weixin_30673611·2025-06-04 03:20

Windows 系统安装 Java JDK 1.8 全流程指南

验证安装一、下载JDK1.8安装包访问Oracle官方JavaSE8下载页面：链接：https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.h
司南锤·2025-06-03 23:56

hive 配置metastore连接参数

参照hive1.1.0完全分布式环境安装(有安装包步骤完整不走弯路)_Mr_Bright的博客-CSDN博客对hive进行配置，配置hive-site.xml时出现了与预想不一样的结果上文中修改hive-site.xml
大明__·2025-06-03 22:14

hive的数据库操作

前言基于hadoop集群搭建hive仓库，hadoop集群搭建和hive数据仓库搭建。关于hive的表和数据库详细操作。一、数据库操作1.创建数据库语法格式如下。
Supplant·2025-06-03 15:24

大数据学习（125）-hive数据分析

大数据学习系列专栏：哲学语录:用力所能及，改变世界。如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦1.连续登录问题变种题目：找出恰好连续登录3天的用户（不允许更长的连续区间）。表结构：user_logs(user_id,login_date)。参考答案：WITHranked_logsAS(SELECTuser_id,login_date,ROW_NUMBER()OVER(PAR
viperrrrrrr·2025-06-02 23:31

点击按钮触发声音(xaml实现)

下载地址转载于:https://www.cnblogs.com/dongyang/archive/2013/05/13/3076108.html
weixin_30745641·2025-06-02 23:30

解决中文版VisualStudio中使用Resharper快捷键问题

VisualStudio中使用Resharper快捷键问题参考文章：（1）解决中文版VisualStudio中使用Resharper快捷键问题（2）https://www.cnblogs.com/brightsea/archive
无所不为无所为·2025-06-02 09:49

【爆肝整理】Hive 压缩性能优化全攻略！从 MapReduce 底层逻辑到企业级实战（附 Snappy/LZO/Gzip 选型对比 + 避坑指南）

在大数据处理领域，Hive作为Hadoop生态中重要的数据仓库工具，其性能优化一直是工程实践中的核心课题。
线条1·2025-06-01 20:46

【Hive 运维实战】一键管理 Hive 服务：Metastore 与 HiveServer2 控制脚本开发与实践

一、引言在大数据开发中，Hive作为重要的数据仓库工具，其核心服务metastore（元数据服务）和hiveserver2（查询服务）的启停管理是日常运维的基础操作。
线条1·2025-06-01 20:16

wxml报错原因_hive启动报错：Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: ns1..

目录报错内容Exceptioninthread"main"java.lang.RuntimeException:org.apache.hadoop.hive.ql.metadata.HiveException
weixin_39582569·2025-06-01 13:54

hive 添加字段_Hive列操作汇总(添加/更新/删除/虚拟列)

hive>ALTERTABLEeventsRENAMETO3koobecaf;hive>ALTERTABLEpokesADDCOLUMNS(new_colINT);hive>ALTERTABLEinvitesADDCOLUMNS
白尼桑塔纳·2025-06-01 08:51

Hive优化原则及对应优化方法

Hive优化未经允许禁止转载A、执行过程查询B、优化原则1、提前过滤数据列剪裁子查询过滤分区剪裁写明连接条件2、减少Job多表选用相同key连接unionall减少groupby使用使用同一表unionall
datacode_wud·2025-06-01 04:24

浅谈Hive SQL的优化

Hive是基于Hadoop的一个数据仓库工具，它将存储在HDFS上的结构化的文件映射成一张关系型数据库表，提供简单的SQL查询功能。本文结合HiveSQL的运行原理谈一谈HiveSQL的优化问题。
CodeZhuxh·2025-06-01 04:54

Hive的数据倾斜是什么？

一、Hive数据倾斜的定义数据倾斜指在Hive分布式计算过程中，某一个或几个Task（如Map/Reduce任务）处理的数据量远大于其他Task，导致这些Task成为整个作业的性能瓶颈，甚至因内存不足而失败
安审若无·2025-06-01 04:53

Hive 文件存储格式

Hive的文件存储格式有五种：textfile、sequencefile、orc、parquet、avro，前面两种是行式存储，orc和parquet是列式存储。
摇篮里的小樱桃·2025-06-01 04:51

如何优化Hive的查询性能？请详细说明查询优化的各个层面（SQL优化、配置优化、资源优化等）和具体方法。

Hive查询性能优化涉及多个层面，需结合SQL语句、配置参数、集群资源及数据本身特性进行综合调优。以下是详细的优化方法：一、SQL语句优化1.过滤条件前置问题：未过滤的数据会增加后续处理开销。
安审若无·2025-06-01 04:50

实时数据仓库存储引擎革新：从Lambda到Kappa++架构的底层技术演进

传统基于HDFS+Hive的存储架构时延高达分钟级，已无法满足实时风控、IoT设备监控等场景需求。本文将深入探讨存储引擎技术创新如何突破实时数仓的性能瓶颈。
尘烬海·2025-06-01 04:20

Hive的存储格式如何优化？

Hive的存储格式对查询性能、存储成本和数据处理效率有显著影响。
安审若无·2025-06-01 03:48

kettle mysql hdfs_kettle 将mysql 导入到hive（借助Hadoop File Output组件）

背景在使用kettle的表输出组件的时候，因为服务器hive版本为0.13,不支持insertintovalues的语法(hive的0.14版本才支持)，所以通过表输出的方式，插入到hive会报错。
hzzonline·2025-05-31 19:50

linux zip 压缩文件夹命令

以下是详细指南：方法1：基本zip压缩（兼容Windows/Mac）#压缩文件夹（含子目录）zip-r压缩包名称.zip要压缩的文件夹/#示例：把my_folder压缩成archive.zipzip-rarchive.zipmy_folder
@comefly·2025-05-31 05:33

n1盒子救砖_斐讯N1盒子刷机救砖教程

https://codess.cc/archives/108.html自从斐讯0元购的车翻了之后，咸鱼上的斐讯产品也非常多，从路由器到空气净化器再到矿机。
weixin_39783771·2025-05-30 15:56

spark shuffle的分区支持动态调整，而hive不支持

根据Spark官方文档，SparkShuffle分区支持动态调整的核心原因在于其架构设计和执行模型的先进性：1.自适应查询执行（AQE）机制Spark3.0+引入的AQE特性允许在运行时动态优化执行计划，包括Shuffle分区调整：分区合并：通过spark.sql.adaptive.coalescePartitions参数，自动合并小分区（默认目标分区大小64MB）数据倾斜处理：自动将大分区拆分为
大数据知识搬运工·2025-05-30 05:11

Liunx 环境编译调试MySql源码

但对于底层原理一直不太清楚，对于本人来说一直是个黑盒，本文尝试编译下MySQL源码，为以后研究MySQL底层打下基础一、官网下载源码源码地址:MySQL::DownloadMySQLCommunityServer(ArchivedVersions
d1451545368·2025-05-30 01:08

npm run build后将打包文件夹生成zip压缩包

安装依赖npminstallarchiver--save-dev准备compress.js文件constfs=require('fs');constarchiver=require('archiver'
eggcode·2025-05-29 23:51

Jmeter书中不会教你的（67）——JDBC连接

在jdbcrequest之前需要做准备工作：.数据库连接需要一个驱动，MySQL::DownloadMySQLConnector/J(ArchivedVersions)mysql-connector-j
agrapea·2025-05-29 11:08

spark学习-62-Spark:Yarn-cluster和Yarn-client区别与联系

前面借用：https://www.iteblog.com/archives/1223.html我们都知道Spark支持在yarn上运行，但是Sparkonyarn有分为两种模式yarn-cluster和
九师兄·2025-05-29 09:50

麒麟v10，arm64架构，编译安装Qt5.12.8

1.下载源码从官网下载源码：https://download.qt.io/archive/qt/5.12/5.12.8/single/2.编译2.1解压tar-xvfqt-everywhere-src-
脱离语言·2025-05-29 06:29

ArgoDB表类型及常用命令

：需要连接的Quark服务中，配置参数hive.server2.thrift.port的值，默认为10000。：要连接到的数据库，部署时会默认自动创建default和system数据库。：
sunny05296·2025-05-29 06:25

ambari hive mysql出错_Ambari Hive 无法正常查询的解决

1.今天遇到一个错误，在连接到hive之后，无法执行任何命令。
无不散席·2025-05-28 18:25

hive运行报错Error during job, obtaining debugging information..FAILED: Execution Error, return code 2

Errorduringjob,obtainingdebugginginformation..FAILED:ExecutionError,returncode2fromorg.apache,hadoop.hive.ql.exec.mr.MapRedTaskMapReduceJobsLaunched
lina_999·2025-05-28 17:53

大数据毕业设计选题推荐-图书数据分析系统-图书推荐系统-Python数据可视化-Hive-Hadoop-Spark

✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、PHP、.NET、Node.js、GO、微信小程序、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语
IT毕设梦工厂·2025-05-28 11:40

【Hive基础】01.数据模型、存储格式、排序方式

Hive基础知识目录Hive基础知识1、五种数据模型各数据模型之间的区别1.1分区表与分桶表的区别2、五种常用存储格式2.1Hive存储结构的比较2.2Hive常用的存储格式3、四种主要排序方式学习笔记参考
TU不秃头·2025-05-28 09:58

通过HIVE SQL获取每个用户的最大连续登录时常

样本数据导入：droptableifexistsuser_login;createtableuser_login(`user_id`bigint,login_datestring);insertintotableuser_loginvalues(1,'2025-04-01'),(1,'2025-04-02'),(1,'2025-04-03'),(1,'2025-04-05'),(1,'2025-0
永远在减肥永远110的的小潘·2025-05-28 09:26

Windows 10 安装Mysql 8

安装准备下载MySQLWindowsZIP版（无安装程序）：进入官网：https://dev.mysql.com/downloads/mysql/选择Windows→下载ZIPArchive，例如：mysql
xzdangelliu·2025-05-28 05:20

sqoop mysql导入hive报错_使用sqoop从mysql导入数据到hive

前言这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。
weixin_39866881·2025-05-28 03:38

Unity国际版下载项目教程

Unity国际版下载项目教程download.unity.comUnityDownloadhttp://unity3d.com/unity/download/archivehttps://unity.com
白来存·2025-05-27 22:32
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他