hive云原生第8页

mysql8.4+mysql router读写分离

community-router8.4下载mysql_shellmysql-shell-9.0.1-linux-glibc2.17-x86-64bit.tar.gz下载地址:https://downloads.mysql.com/archives

Alex_z0897·2025-02-21 00:42

安装配置MAVEN

安装配置MAVEN1.获取安装包下载apache-maven-3.8.1-bin.zip，下载地址：https://archive.apache.org/dist/maven/maven-3/3.8.1

ByteVoyager·2025-02-20 11:21

MapReduce 读取 Hive ORC ArrayIndexOutOfBoundsException: 1024 异常解决

个人博客地址：MapReduce读取HiveORCArrayIndexOutOfBoundsException:1024异常解决|一张假钞的真实世界在MR处理ORC的时候遇到如下异常：Exceptioninthread"main"java.lang.ArrayIndexOutOfBoundsException

一张假钞·2025-02-20 09:33

Anaconda 配置镜像源

Anaconda安装包可以到https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/下载。

猿代码_xiao·2025-02-20 06:37

linux安装python开发环境

安装Anaconda下载Anacondawgethttps://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh安装AnacondabashAnaconda3

燃冰结晶·2025-02-20 05:30

阿里云 MaxCompute MaxQA 开启公测，解锁近实时高效查询体验

为减少查询响应时间，提升数据效率，阿里云云原生大数据计算服务MaxCompute推出MaxQA（原MCQA2.0）查询加速功能，在独享的查询加速资源池的基础上，对管控链路、查询优化器、执行引擎、存储引擎以及缓存机制等多个环节进行全面优化

阿里云大数据AI技术·2025-02-20 00:23

Kubernetes & 容器自动伸缩失败：解决方案及阿里云如何帮助

随着容器技术的普及，Kubernetes（K8s）已成为构建现代云原生应用的核心平台。自动伸缩（AutoScaling）功能可以帮助应用在流量波动时动态调整资源，提高效率并节约成本。

Anna_Tong·2025-02-19 22:29

【系列专栏】银行IT的云原生架构-云基础架构-云网络 08

银行IT的云原生架构：云基础架构（云网络规划）一、引言在银行向云原生架构转型的进程中，云网络规划作为云基础架构的关键组成部分，发挥着举足轻重的作用。

呱牛do it·2025-02-19 20:46

实现MySQL数据全量迁移至Hive的简单脚本

1、主要思路：编写脚本执行建表语句、sqoop命令1.1、编写建表语句脚本思路：在虚拟机下执行hive-f/脚本路径即可执行hql脚本1.2、编写shell脚本脚本内容为分为两部分执行hql建表语句脚本

xiaoxaoyu·2025-02-19 16:11

Hive的动态分区与静态分区（区别及详解）

静态分区与动态分区的区别：1、静态分区2、动态分区静态分区与动态分区的区别：静态分区是先把分区表创好，然后手动把数据导入到对应的分区里面去。静态分区实在编译期间指定分区名。静态分区支持load、insert两种插入方式。静态分区是用于分区少，分区名可以明确的数据。动态分区是有一份数据集（2015-2022年的），按照数据集的字段给动态的生成分区。动态分区实在SQL执行的时候确定的。动态分区前需打开

东南枝上的大雄·2025-02-19 16:41

hive—常用的函数整理

1、size(split(...))函数用于计算分割后字符串数组的长度1）实例：由客户编号列表计算客户编号个数--数据准备withtmp_test01as(select'tag074445270'tag_id,'202501'busi_mon,'012399931003,012399931000'index_valunionallselect'tag074445271'tag_id,'202501

风子~·2025-02-19 15:08

携手鲲鹏昇腾 HashData展现云原生数仓创新力量

酷克数据作为华为鲲鹏生态重要合作伙伴，受邀出席本次大会，展示其与鲲鹏昇腾生态联合开发的云数仓解决方案及应用案例，与全球开发者共同探讨云原生数仓前沿技术。

·2025-02-19 15:03

Hive 分区详解

在Hive中处理数据时，当处理的一张表的数据量过大的时候，每次查询都是遍历整张表，显然对于计算机来说，是负担比较重的。

mm_ren·2025-02-19 15:36

Hive的动态分区的原理

Hive动态分区原理详解1.什么是Hive动态分区？在Hive中，分区（Partition）是对表数据的一种划分方式，类似于关系型数据库中的分区表。

肥猪猪爸·2025-02-19 15:01

hive全量迁移脚本

/bin/bash#场景：数据在同一库下，并且hive是内部表（前缀的hdfs地址是相同的）#1.读取一个文件，获取表名#echo"时间$dt_jian_2-----------------------

我要用代码向我喜欢的女孩表白·2025-02-19 15:29

云原生架构师2024

1-Linux操作系统-CSDN博客├──1-Linux操作系统|├──1-项目部署之-Linux操作系统||├──1-Linux概述与安装||├──2-Linux基本操作||└──3-Linux软件安装与配置|└──2-Shell编程||└──1-Shell编程2-计算机网络基础-CSDN博客├──2-计算机网络基础|└──1-计算机网络基础||├──1-前言||├──2-计算机网络概述||├─

theo.wu·2025-02-19 14:53

笔记：DataSphere Studio安装部署流程

一、标准版部署标准版：有一定的安装难度，体现在Hadoop、Hive和Spark版本不同时，可能需要重新编译，可能会出现包冲突问题。适合于试用和生产使用，2~3小时即可部署起来。

右边com·2025-02-19 13:15

HIVE- SPARK

日常记录备忘Hive修改字段类型之后（varchar->string）Hive可以查到数据，Presto查询报错;分区字段数据类型和表结构字段类型不一样；spark-sql分区表和非分区表兼容问题，不能关联可以建临时表把分区数据导入

流川枫_·2025-02-19 13:14

Hive的ReduceJoin/MapJoin/SMBJoin

Hive中就是把Map，Reduce的Join拿过来，通过SQL来表示。

for your wish·2025-02-19 12:40

【系列专栏】银行IT的云原生架构-云单元架构 12

银行IT的云原生架构-云单元架构一、引言在银行数字化转型进程中，云原生架构已成为提升竞争力、实现高效创新的关键支撑。其中，云单元架构作为一种先进的架构模式，正逐渐受到银行的关注与应用。

呱牛do it·2025-02-19 12:07

hive-site.xml 配置总结

在Hive安装后，hive主要的配置文件为conf中hive-site.xml那该文件中那么多的配置选项都是什么含义呢。

hxsln11·2025-02-19 12:07

小白也能安装：Ubuntu20.04 安装 RabbitMQ

写篇记一记安装基本依赖项更新源sudoapt-getupdate-y下载签名密钥和软件包所需的先决条件sudoapt-getinstallcurlgnupgdebian-keyringdebian-archive-keyring-y

Valishment·2025-02-19 06:22

RPC(3)--基于 Nacos 的服务发现与负载均衡版

Nacos是构建以“服务”为中心的现代应用架构(例如微服务范式、云原生范式)的服务基础设施。

三喂树屋·2025-02-19 05:44

基于eBPF的云原生可观测性开源项目Kindling之eBPF基础设施库技术选型

因此，很多云原生软件会在eBPF系统调用(函数)和libbpf之上封装一层更加简单易用的api，比如falco的libs、bcc的libbcc、cilium的cilium-

eBPF_Kindling·2025-02-19 04:34

Python 算法交易秘籍（五）

原文：zh.annas-archive.org/md5/010eca9c9f84c67fe4f8eb1d9bd1d316译者：飞龙协议：CCBY-NC-SA4.0第十一章：算法交易-实际交易现在我们已经建立了各种算法交易策略

绝不原创的飞龙·2025-02-18 22:33

基于eBPF的智能诊断平台：实现云原生系统的自愈型运维体系

引言：从被动运维到预测性自愈的进化当某电商平台通过eBPF实时诊断系统提前48小时预测到MySQL集群的锁竞争风暴时，其核心是千万级指标粒度的内核状态分析与AI驱动的根因定位算法的结合。运维数据显示，该平台将平均故障恢复时间（MTTR）从23分钟压缩到71秒，并自动修复了87%的异常事件。通过动态注入修复策略，集群CPU毛刺现象减少了94%，开创了智能运维的新纪元。一、传统可观测性工具的桎梏1.1

桂月二二·2025-02-18 21:58

云原生后端

一、什么是云原生后端？先来说说“云原生”这个词。想象一下，你有个小摊位，每次进货、出货都要自己搬来搬去，特别麻烦。

周盛欢·2025-02-18 21:58

追踪隐式资源，巧解内存难题！运维利器——阿里云操作系统控制台上线

背景在云计算和容器化部署环境中，云原生容器化已成为行业标准，带来高效部署和成本控制优势的同时，也伴随新的挑战：资源管理复杂：动态环境使传统排查方法难以应对。

·2025-02-18 18:22

云原生周刊：KubeEdge 1.20.0版本正式发布

·2025-02-18 17:19

KubeSphere 产品生命周期管理政策公告正式发布！

亲爱的KubeSphere用户：在云原生技术飞速发展的今天，KubeSphere始终以技术创新和用户价值为核心，持续优化产品与服务。

·2025-02-18 17:07

破解云原生架构疑难杂症：2025年全解决方案

云原生架构的应用近年来已成为技术界的热点，然而其复杂性和多样性也带来了不少挑战。从应用迁移到服务治理，企业在采用云原生架构时常会面临性能瓶颈、安全隐患以及成本不可控等问题。

zxzy03·2025-02-18 14:05

2025年如何选择合适的云原生架构工具

随着云原生技术的不断发展，市场上涌现出大量的工具和平台，供开发者选择。2025年，如何在这些工具中选择适合自己项目需求的架构工具，成为技术决策的重要议题。

zxzy_org·2025-02-18 14:05

Golang 框架介绍

以下是一篇可直接发布到CSDN的关于Golang主流框架的技术文章，包含框架对比、使用场景和代码示例：---#Golang主流框架全解析：从Web开发到微服务##引言Go语言凭借其高性能和简洁语法，已成为云原生时代的宠儿

wwwenhx·2025-02-18 12:49

基于Knative的无服务器引擎重构：实现毫秒级冷启动的云原生应用浪潮

引言：从微服务到无状态的量子跃迁当容器启动时间仍困在900ms高位时，某视频直播平台采用Knative将突发流量处理时效提升40倍，弹性扩缩响应速度突破至120ms级。基于流量预测的预启动算法与内核级资源复用池两大技术创新，正在重新定义Serverless时代的性能边界。IDC最新报告指出，采用该架构的企业资源利用率平均提升至78%，年度计算成本直降320万美元。一、传统FaaS模型的性能桎梏1.

桂月二二·2025-02-18 09:37

Hive中文乱码解决方法

Hive中文乱码解决方法一、Hive中文乱码原因二、Hive中文乱码解决方法三、修改hive配置文件四、再次查看表信息，中文注释正常一、Hive中文乱码原因hive的元数据是由mysql管理的，mysql

快乐骑行^_^·2025-02-18 08:57

【云原生进阶之数据库技术】第四章-GaussDB-关键技术-2.4.1-GaussDB存储引擎层关键技术方案

1存储引擎概览早期计算机程序通过文件系统管理数据，到了20世纪60年代这种方式就开始不能满足数据管理要求了，用户逐渐对数据并发写入的完整性、高效的检索提出更高的要求。由于机械磁盘的随机读写性能问题，从20世纪80年代开始，大多数数据库一直围绕着减少随机读写磁盘进行设计。主要思路是把对数据页面的随机写盘转化为对WAL(WriteAheadLog，预写式日志)的顺序写盘，WAL持久化完成，事务就算提交

江中散人·2025-02-17 22:43

hive建表语句增加字段、分区基础操作

目录hive建表内部分区表外部分区表表结构复制：hive表删除hive表重命名表修改操作增加分区修改分区删除分区新增表字段hive建表IFNOTEXISTS:表不存在才会创建分隔符：field.delim

节点。csn·2025-02-17 21:03

Hive JOIN过滤条件位置玄学：ON vs WHERE的量子纠缠

HiveJOIN过滤条件位置玄学：ONvsWHERE的量子纠缠作为数据工程师，HiveJOIN就像吃火锅选蘸料——放错位置味道全变！

数据大包哥·2025-02-17 18:02

mysql 原理_mysql底层原理

Archive：用于存储和检索大量很少引用的历史、存档、安全审计信息，不支持事务。mysql架构局部性原理：读取磁盘的数据，它附近的数

高傲的大白杨·2025-02-17 16:43

数据驱动业务增长，E-MapReduce 真实案例解析

阿里云E-MapReduce（EMR）作为一款云原生的大数据

Anna_Tong·2025-02-17 11:34

从零开始入门 K8s | Kubernetes 网络模型进阶

个人博客导航页（点击右侧链接即可打开个人博客）：互联网老兵带你入门技术栈本文整理自《CNCFxAlibaba云原生技术公开课》第25讲，点击直达课程页面。

jishulaozhuanjia·2025-02-17 10:55

nacos学习笔记

Nacos主要适用于微服务架构，并在云原生环境下发挥重要作用。Nacos的核心功能服务发现与健康检查Nacos提供了服务发现功能，可以帮助微服务在运行时动态发现其他服务的地址和端口。

柠檬编程工作室·2025-02-17 08:05

python编译成dll文件_Python 调用DLL文件

http://blog.csdn.net/magictong/archive/2008/10/14/3075478.aspx貌似原文的网页服务器有问题，总是load不全，所以备个份：Python调用windows

weixin_39682511·2025-02-17 02:18

AWS Fargate 部署流程图及说明

背景在云原生应用开发和部署过程中，容器化部署已成为主流选择。AWSFargate作为一种无服务器计算引擎，让开发团队能够专注于应用程序开发，而无需管理底层基础设施。

ivwdcwso·2025-02-16 22:50

大数据之-hdfs+hive+hbase+kudu+presto集群(6节点)

prestohttps://prestosql.io/docs/current/index.htmlkudurpm包地址https://github.com/MartinWeindel/kudu-rpm/releaseshivehttp

管哥的运维私房菜·2025-02-16 22:50

高可用（HA）架构

(HA)解决方案http://zhuanlan.51cto.com/art/201612/524201.htm互联网架构“高可用”http://www.blogjava.net/ivanwan/archive

weixin_34344403·2025-02-16 17:41

基于Istio Ambient Mesh的无边车架构：实现零侵入式服务网格的云原生革命

引言：轻量化时代的服务通信进化论当传统Sidecar模式面临内存开销暴增的困境，Istio社区推出的AmbientMesh架构给出终极解决方案。某证券交易系统实测显示，采用该架构后服务延迟降低至1.7ms（降幅达73%），同时资源消耗减少60%。零侵入式流量劫持与按需安全分层的创新设计，正在重塑服务网格的未来格局。一、传统Sidecar模式的性能天花板1.1典型服务网格开销分析（千级节点集群）资源

桂月二二·2025-02-16 17:09

go hive skynet_MMORPG游戏服务器技术选型参考-Go语言中文社区

游戏服务器一般追求稳定和效率，所以偏向于保守，使用的技术手段也是以已经过验证、开发人员最熟悉、能HOLD为主要前提。1、典型按场景分服设计开发语言：c++数据库：mysql架构：多个网关：维持与玩家间的SOCKET连接，可处理广播、断线重连等逻辑。一个或多个账号登陆验证服务器：处理登陆、排队等逻辑。多个场景服务器：处理在本地图上能解决的逻辑，如：打怪、玩家间战斗、接任务、完成任务等各种不需要跨地图

weixin_39908948·2025-02-16 15:01

Linux安装Anaconda、Miniconda

Anaconda下载：https://repo.anaconda.com/archive/MinicondaDocument：https://docs.conda.io/projects/miniconda

让我安静会·2025-02-16 14:19

推荐频道

hive云原生