Hive系统性学习专栏

揭秘 Redis 大 key 和热 key 问题，一文教你彻底解决

然而，随着业务的不断发展和数据量的增长，Redis中出现的大key和热key问题逐渐成为影响系统性能和稳定性的重要因素。
一叶飘零_sweeeet·2025-01-27 15:13

“随机森林”及“混合随机森林和多目标粒子群优化”（RF_MOPSO），以预测目标作为学习方法并分别找到多特征过程的最佳参数（Matlab代码实现）

本文对多目标粒子群优化算法进行系统性的研究，结合随机森林的优势
科研_研学社·2025-01-27 12:56

execute sql error: HdfsOrcScanner::do_open failed. reason = Failed to parse the postscript from file

目录一、背景概述二、定位原因三、解决方法一、背景概述通过hivecatalog同步hive表数据到starrocks数据库，结果报错执行语句：insertintosr_db.sr_table_nameselect
chimchim66·2025-01-27 11:52

大数据StarRocks(六) ：Catalog_starroccks支持oracle外部表了吗(1)

外部数据：指保存在外部数据源（如ApacheHive™、ApacheIceberg、ApacheHudi、DeltaLake、JDBC）中的数据。2.Catalog当前StarRocks提供两
2401_84181975·2025-01-27 11:51

软件系统测试方法有哪些？

软件研发过程中，基于软件系统的测试贯穿整个软件开发周期，为了使软件系统架构更加完整，产品性能更加优越，企业在研发过程中需要对产品进行各种类型的测试如单元测试等，但是对于系统规模庞大的软件项目而言，通过系统性的测试能够验证各业务同时执行时的协调性
第三方软件测评·2025-01-27 05:44

Alluxio Enterprise AI on K8s FIO 测试教程

fio是业内常用的磁盘与文件系统性能测试工具，下面内容将通过文字方式介绍Alluxioonk8s进行fio测试的教程。
Alluxio·2025-01-27 05:44

基于 WEB 开发的图书销售系统设计与实现

通过对系统的测试和优化，系统性能稳定，具有良好的用户界面和可扩展性。本
赵谨言·2025-01-27 00:33

Linux ar命令详解

以下是ar命令的详细解释，包括常用选项和示例：1、基本语法ar[options]archive-filefile...常用选项r：添加或替换文件到归档文件中。如果归档文件不存在，则创建一个新的归档文
写代码的猫_531·2025-01-26 23:29

Flink访问Kerberos环境下的Hive

目录测试环境工程搭建示例代码及运行总结本文主要介绍如何使用Flink访问Kerberos环境下的Hive。
我若成风zhb·2025-01-26 18:50

Tesla V100驱动安装

确认操作系统kernel版本，参考链接：https://docs.nvidia.com/cuda/archive/12.2.0/cuda-installation-guide-linux/index.html
郭宝才·2025-01-26 17:17

hive窗口函数和hive基础使用

7.270.连接客户端beeline-ujdbc:hive2://localhost:100001.建库并使用createdatabasexxxusexxx2.建表createtablexxxcreateexternaltableifnotexists
醉与浮·2025-01-26 13:45

Hive 窗口函数

文章目录一、常见聚合操作1.sum、avg、min、max二、排序相关的窗口函数1.row_number2.rank3.dense_rank三、其它窗口函数1.NTILE2.cume_dist3.percent_rank4.LAG5.LEAD6.FIRST_VALUE7.LAST_VALUE四、增强聚合操作1.GROUPINGSETS2.CUBE3.ROLLUP4.GROUPING__ID有ORD
b1gx·2025-01-26 12:12

Win11系统P大核优先设置，充分发挥12/13代处理器性能

通过合理调整系统性能模式，可以最大化地发挥这些新一代处理器的潜力。本文将详细介绍如何在Win11系统中将性能模式设置为P大核优先，从而提升系统性能和响应速度。
nntxthml·2025-01-26 12:11

Apache Hive 聚合函数与 OVER 窗口函数：从基础到高级应用

在大数据时代，ApacheHive是处理和分析海量数据的强大工具。Hive提供了丰富的聚合函数和强大的OVER窗口函数，能够帮助我们高效地进行数据分析。
大鳥·2025-01-26 11:04

mysql的单表数据导入到hive数据库中

1、将mysql的数据导出借助dbeaver工具，将单表数据table1格式导出为csv文件2、将csv的后缀名手动改为txt后缀，为了让每行的的字段是以，分隔3、将得到的txt文件上传到hdfs文件系统中4、目标机创建和table1一样的表结构的表，创建过程中要加上这几句ROWFORMATDELIMITEDFIELDSTERMINATEDBY','STOREDASTEXTFILE;如：CREAT
熏陶·2025-01-26 05:43

arm-linux平台、rk3288 SDL移植

交叉编译器，这里使用的是gcc-linaro-6.3.12、linux交叉编译环境，这里使用的是Ubuntu20.043、sdl2源码https://github.com/libsdl-org/SDL/archive
雨中来客·2025-01-26 05:43

Sqoop数据导出 第3关：Hive数据导出至MySQL中

为了完成本关任务，你需要掌握：Hive数据导出至MySQL中。
是草莓熊吖·2025-01-26 05:09

把hive中的数据导出到mysql

1.hive中的表的字段和类型必须和mysql表中的字段和类型一样不如hive中的stnamevarchar（50），那么mysql中的字段和类型也必须为stnamestring2.sqoopexport
樱浅沐冰·2025-01-26 05:39

Hive数据仓库中的数据导出到MySQL的数据表不成功

可能的原因：(1)没有下载flume和sqoop(2)权限问题：因为MySQL数据库拒绝了root用户从hadoop3主机的连接请求，root用户没有从hadoop3主机进行连接的权限解决：通过MySQL的授权命令来授予权限mysql>GRANTALLPRIVILEGESONsqoop_weblog.*TO'root'@'hadoop3'IDENTIFIEDBY'2020';QueryOK,0ro
sin2201·2025-01-26 04:01

MySQL 拆分字符串函数Split

MYSQL目前没有Hive或者Java。
大乔乔布斯·2025-01-26 02:15

c# list排序的三种实现方式

本文转载自：https://www.cnblogs.com/bradwarden/archive/2012/06/19/2554854.html作者：bradwarden转载请注明该声明。
CHCH998·2025-01-25 17:00

医疗机构关于DIP/DRG信息化建设

推进DIP/DRG支付方式改革是一项系统性工程，牵一发而动全身。作为河北省DIP试点医院，河北医科大学第二医院将信息化与创新性管理理念融合，用好支付工具做好精细化管理，积极应对改革。
DIPDRG分组器团队·2025-01-25 10:42

不同hive集群中基于表的数据一致性比对

前阵子博主遇到一个需求，因对hadoop集群进行数据迁移，数据迁移完毕后进行两个hive库的数据一致性的比对，不仅对源表数据进行比对，而且要同时使用两个集群加工相同数据，对加工后的数据进行数据一致性比对
AA赵师傅·2025-01-25 07:19

Hadoop、Hive、Hbase集群间的数据迁移

集群间拷贝数据：迁移之前需要把两个集群的所有节点都互通/etc/hosts文件（重要，包括各个数据节点）两个集群版本不相同hadoopdistcphftp://192.168.57.73:50070/hive3
这个操蛋的人生！！！·2025-01-25 07:18

Hive面试题汇总

Hive定义Hive是建立在Hadoop上的数据仓库基础构架。可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
大数据侠客·2025-01-25 07:18

Hive之数据迁移方案(实测)

文章目录Hive的迁移涉及两个技术点：1.仅迁移元数据2.元数据及Hive数据全量迁移2.1全表迁移2.1.1旧集群2.1.2新集群2.2仅部分分区迁移（主要步骤）2.1.1旧集群2.1.2新集群2.3beeline
南风知我意丿·2025-01-25 06:11

【原创】运维基础之OpenResty(Nginx+Lua)+Kafka

使用docker部署1下载#wgethttps://github.com/doujiang24/lua-resty-kafka/archive/v0.06.tar.gz#tarxvfv0.06.tar.gz2
weixin_30293079·2025-01-25 04:29

C++语言的数据结构

随着计算机技术的快速发展，数据结构在人们生活中的应用愈加广泛，尤其是在软件开发、算法设计及系统性能优化等领域。C++因其面向对象的特性和强大的功能，成为了实现各种数据结构和算法的理想语言。
Linux520小飞鱼·2025-01-25 01:37

如何进行SQL调优？

有效的SQL调优可以显著提升系统性能和响应时间，以下是进行SQL调优的一些步骤和策略。1.问题发现在调优之前，明确问题背景至关重要。
M-bao·2025-01-24 18:08

Hive架构及搭建方式

Hive架构及搭建方式[TOC]前言本文档基于hive3.1.2编写hive的基础知识基本架构整个hive由hiveserver2和hive客户端组成hive客户端有三种，beeline、使用jdbc链接
西北偏北up·2025-01-24 15:14

hive数据类型

数字类型TINYINT(1字节整数)SMALLINT(2字节整数)INT/INTEGER(4字节整数)BIGINT(8字节整数)FLOAT(4字节浮点数)DOUBLE(8字节双精度浮点数)示例：createtablet_test(astring,bint,cbigint,dfloat,edouble,ftinyint,gsmallint)时间类型TIMESTAMP(时间戳)(包含年月日时分秒毫秒的
qzWsong·2025-01-24 14:11

hive数据操作，导入导出

数据导入导出将数据文件导入hive的表方式1：导入数据的一种方式：手动用hdfs命令，将文件放入表目录；方式2：在hive的交互式shell中用hive命令来导入本地数据到表目录hive>loaddatalocalinpath
qzWsong·2025-01-24 14:10

【大数据入门核心技术-Hive】（十六）hive表加载csv格式数据或者json格式数据

一、环境准备hive安装部署参考：【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建二、hive加载Json格式数据
forest_long·2025-01-24 12:27

设计一个带有过期时间的缓存系统

缓存是提高系统性能的重要机制，尤其是在高并发和高流量的场景下，缓存能够有效地减少对数据库或远程服务的访问，从而降低响应时间和系统负载。
专业WP网站开发-Joyous·2025-01-24 10:10

从理论到实践：Django 业务日志配置与优化指南

通过合理的日志配置，我们可以快速定位问题、分析系统性能，并进行安全审计。本文将围绕Django框架，详细介绍如何配置和优化业务日志，确保开发环境和生产环境都能高效地记录和管理日志。
ivwdcwso·2025-01-24 01:25

迷宫-广度策略 pta

老鼠希望系统性地尝试所有的路径之后走出迷宫。如果它到达一个死胡同，将原路返回到上一个位置，尝试新的路径。在每个位置上老鼠可以向八个方向运动，顺序是从正东开始按照顺时针进行。
wzx_Eleven·2025-01-23 23:16

【数据挖掘实战】 房价预测

本人主页：机器学习司猫白机器学习专栏：机器学习实战PyTorch入门专栏：PyTorch入门深度学习实战：深度学习ok，话不多说，我们进入正题吧概述本次竞赛有79个解释变量（几乎）描述了爱荷华州艾姆斯住宅的各个方面
机器学习司猫白·2025-01-23 20:21

OpenBuild是什么？如何参与 OpenBuild 开源社区贡献 ？

我们致力于为开发者提供高质量的系统性内容和活动，同时连接Web2和Web3，帮助开发者过渡到去中心化的网络，并通过提供必要的工具和资源，帮助开发者建立结构化系统，构建信任，创造商业机会。
·2025-01-23 17:51

CDP中的Hive3之Apache Hive3特性

CDP中的Hive3之ApacheHive3特性1、ApacheHive3特性2、Hive不支持的接口和功能3、HiveonTez简介4、ApacheHive3架构概述CDP中采用的是ApacheHive3
对许·2025-01-23 16:51

Hadoop 与 Spark：大数据处理的比较

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-23 16:50

Hive关于数据表的增删改（内部表、外部表、分区表、分桶表 & 数据类型、分隔符类型）

建表基本语句格式CREATE[external]TABLEifnotexistsstudent#默认建立内部表，加上external则是建立外部表(idintCOMMENT'学号',snamestringCOMMENT'用户名',ageintCOMMENT'年龄')#字段名称，字段类型，字段描述信息COMMENT'记录学生学号'#表的描述信息PARTITIONBY(departmentstring
黄饱饱_bao·2025-01-23 15:20

Hive（11）：Transactional Tables事务表

1Hive事务背景知识Hive本身从设计之初时，就是不支持事务的，因为Hive的核心目标是将已经存在的结构化数据文件映射成为表，然后提供基于表的SQL分析处理，是一款面向分析的工具。
不死鸟.亚历山大.狼崽子·2025-01-23 15:48

Hive建表时开启事务机制导致insert失败

建表语句：createtableA(table_codestring,data_dtstring,update_dtstring)clusteredby(table_code)into1bucketsrowformatdelimitedfieldsterminatedby'\033'storedasorc--orc格式tablproperties('transactional'='true');执
大数据学习与分享·2025-01-23 15:16

【YashanDB知识库】归档日志清理

templateId=171...问题：按照官方文档提供的清理归档日志三种方式，手动删除归档日志文件返回succeed后，发现归档日志文件仍然存在原因：按照Yashan的默认配置，如果archivelog
·2025-01-23 13:07

吴恩达深度学习笔记（七）——机器学习策略

一、正交化通俗的理解就是：要能够诊断出系统性能瓶颈在哪里，以有策略刚好解决这个问题。一个“按钮”只负责解决一件事情。
子非鱼icon·2025-01-23 10:42

基于MRS-Hudi构建数据湖的典型应用场景介绍

一、传统数据湖存在的问题与挑战传统数据湖解决方案中，常用Hive来构建T+1级别的数据仓库，通过HDFS存储实现海量数据的存储与水平扩容，通过Hive实现元数据的管理以及数据操作的SQL化。
华为云技术精粹·2025-01-23 04:50

C++设计模式——Prototype Pattern原型模式

原型模式的设计，使得它可以创建一个与原型对象相同或类似的新对象，同时又可以减少对象实例化操作产生的性能开销，使得创建对象的操作更加便捷，它减少了大量不必要的重复工作，并提高了系统性能。
程序员与背包客_CoderZ·2025-01-22 21:53

高并发交易场景下业务系统性能不足？体验构建高性能秒杀系统！完成任务可领取锦鲤抱枕！

「技术解决方案-构建高性能秒杀系统」上线了！秒杀活动因其高流量和用户参与度，已成为电商平台的重要营销方式。本方案详细介绍如何利用阿里云产品构建高性能秒杀系统，通过ALB、ECS、Tair和PolarDB，实现高并发处理。ALB分发请求到多个ECS实例，确保计算资源充足；Tair加速数据访问，PolarDB提供高效存储，以实现高并发处理，确保系统稳定和快速响应，从而为用户提供流畅的抢购体验。完成在线
·2025-01-22 20:44

hvie SQL优化之where子句过滤模式

本篇文章来源于《Hive性能调优实现》。
三生暮雨渡瀟瀟·2025-01-22 20:49

git 常用命令 git archive

gitarchive是Git中用于创建一个包含指定提交或分支中所有文件的归档文件（如.tar或.zip）的命令。这个命令非常适合用于分发项目快照、备份代码库或导出特定版本的文件。
张紫娃·2025-01-22 20:48
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他