hive运维

【python自动化运维】python第三方运维模块应用

一、pymysql模块——数据库编程1、介绍第三方模块作用:连接MySQL数据库1.1、操作流程创建数据库连接基于连接创建游标cursor数据库读写操作关闭游标关闭数据库连接2、pymysql模块的使用2.1、准备工作准备MySQL数据库安装pymysql模块pipinstallpymysql安装配置MySQL数据库[root@localhost~]#yuminstall-ymariadb-ser
leo__programmer·2025-01-21 00:30

麒麟系统下载依赖到本地

在麒麟系统中下载依赖到本地，主要有以下几种方法：使用apt命令只下载不安装：在连接互联网的电脑上，使用sudoapt-get-dinstall命令，可以只下载软件包及其依赖到/var/cache/apt/archives
乙龙·2025-01-20 20:59

工作中常用springboot启动后执行的方法

程序启动完成通知：程序启动完成后通过邮件、短信等方式通知运维人员。外部系统同步：启动后与外部系统同步数据。
begei·2025-01-20 20:54

基于 SpringBoot 实现多租户架构：支持应用多租户部署和管理！

可以降低运维成本，减少硬件、网络等基础设施的投入。节约开发成本，通过复用代码，快速上线新的租户实例。增强了系统的可扩展
π大星的日常·2025-01-20 19:09

服务稳定性保障的五大误解

在线服务的稳定性保障一直是运维和技术部门的核心工作之一。但时至今日，这个方向实际仍然有很多基本的概念都没有对齐。今天这篇文章就罗列下那些混淆不清的概念，期望有一天大家沟通时不是鸡同鸭讲，各说各话。
·2025-01-20 17:46

Anthropic运维工程师的IT基础设施总结清单（上）

Karpenter开源地址：https://github.com/kubernetes-sigs/karpenter本文由Anthropic工程师JackLindamood撰写，分享了他之前在一家初创公司中负责IT基础设施的经验，包括从中吸取的教训和一些最佳实践。过去四年里，我负责了一家初创公司的基础设施建设工作。这家公司当时正寻求快速扩大规模。从一开始，我们就做出了一些核心决策，这些决策在过去四
CloudPilotAI·2025-01-20 16:12

mysql常用运维命令

mysql常用运维命令查看当前所有连接--查看当前所有连接SHOWFULLPROCESSLIST;说明：关注State状态列，是否有锁。
handsomestWei·2025-01-20 15:35

Mysql运维篇（五） 部署MHA--主机环境配置

一路走来，所有遇到的人，帮助过我的、伤害过我的都是朋友，没有一个是敌人。如有侵权，请留言，我及时删除！大佬博文https://www.cnblogs.com/gomysql/p/3675429.htmlMySQL高可用（MHA）-知乎一、MHA简介：MHA（MasterHighAvailability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（
努力的兜·2025-01-20 13:06

玩转云计算：教你在Akamai Linode上构建IT架构–准备工作

时至今日，选择以云计算方式来运维业务，已经成为大部分情况下的最优选。那么如果要从零开始开发一个新应用，并依托云平台来设计、开发、部害和远维，具体该从何处下手？
·2025-01-20 12:58

02 微服务架构下的质量挑战

再比如单个微服务可以针对热点服务进行单独扩缩容，但也就需要投入更多的运维成本，等等。这也使得微服务架构在架构设计、团队协作、测试环节等层面引发一系列挑战。
源码头·2025-01-20 10:39

Apache Hive

一、ApacheHive简介官方网址：https://hive.apache.org/TheApacheHive™datawarehousesoftwarefacilitatesreading,writing
_从头再来_·2025-01-20 10:09

方舟生存进化mysql_基于MySQL 的 SQL 优化总结_卡盟,辅助

SonarQube搭建手记dnf辅助基于MySQL的SQL优化总结在数据库运维过程中，优化SQL是DBA团队的一样平常义务。例行SQL优化，不仅可以提高程序性能，还能减低线上故障的概率。
weixin_36307344·2025-01-20 08:21

tar命令详解：解压与压缩的技巧

一、tar命令概述tar（tapearchive）是一个用于打包和压缩文件的命令行工具。它可以将多个文件和目录打包成一个文件，也可
wx_tangjinjinwx·2025-01-20 06:29

Hadoop 和 Spark 的内存管理机制分析

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-20 03:27

正式开源，Doris Operator 支持高效 Kubernetes 容器化部署方案

Kubernetes提供的编排和管理功能，能完成大规模容器部署，但Kubernetes自身的复杂性也导致众多企业面临部署复杂、运维困难、使用难度高等挑战。
SelectDB技术团队·2025-01-20 01:13

MySQL 进阶：运维与架构 - 从链式复制到主从复制

MySQL进阶：运维与架构-从链式复制到主从复制在MySQL数据库的高可用性和扩展性架构中，链式复制提供了一种灵活的方式来扩展复制拓扑结构。
墨夶·2025-01-20 01:11

MySQL 进阶：运维与架构 - 从主从复制到链式复制

MySQL进阶：运维与架构-从主从复制到链式复制在MySQL数据库的高可用性和扩展性架构中，主从复制是一种常见的技术手段。通过主从复制，可以实现数据的备份、故障恢复、读写分离等功能。
墨夶·2025-01-20 01:10

MySQL 进阶：运维与架构 - 延迟复制

MySQL进阶：运维与架构-延迟复制在MySQL的主从复制架构中，延迟复制（DelayedReplication）是一种特殊的复制策略，它允许从服务器（Slave）在接收到主服务器（Master）的二进制日志事件后
墨夶·2025-01-20 01:08

深入理解 Windows Server 的核心功能：现代 IT 架构的基石

作为一名运维人员或IT架构师，理解其核心功能对于设计高效、安全、可扩展的IT环境
Echo_Wish·2025-01-19 22:42

隐私计算开源助力数据要素流通

bilibili1、数据要素流转与数据内外循环这是数据的生命周期也是数据流转的链路图，我们可以发现数据流转可以分为数据采集加工和数据价值释放两个部分，而数据价值释放也分成两个部分：一部分是内循环，数据持有方在自己的运维管控域内对自己的数据使用和安全拥有全责
HZGame.·2025-01-19 21:08

数据可信流通

主讲老师：韦韬学习链接：第1讲：数据可信流通，从运维信任到技术信任丨隐私计算实训营第1期_哔哩哔哩_bilibili【一图读懂｜数据二十条】-国家发展和改革委员会(ndrc.gov.cn)“数据二十条”
HZGame.·2025-01-19 21:37

在线格式化XML

http://xmlindent.com/转载于:https://www.cnblogs.com/DotNetNuke/archive/2010/07/14/1777096.html
weixin_34250709·2025-01-19 20:27

doris 安装部署

doris安装部署架构Doris的主要架构分为FE（frontend）、BE（backend）两个角色、两个进程，不依赖于外部的组件，极易部署、运维，FE和BE都有很好的拓展性。
猫猫姐·2025-01-19 18:13

JVM 监控与分析工具你用过哪些？介绍一下。思维导图 代码示例（java 架构）

JVM监控与分析工具介绍在Java应用开发和运维过程中，使用合适的监控与分析工具可以帮助我们更好地理解应用的运行状态，优化性能，诊断问题。以下是一些常用的JVM监控与分析工具及其特点和使用方法。
用心去追梦·2025-01-19 16:21

Hive小文件合并

作者：振鹭一、参数配置：在Map输入的时候,把小文件合并。--每个Map最大输入大小，决定合并后的文件数setmapred.max.split.size=256000000;--一个节点上split的至少的大小，决定了多个datanode上的文件是否需要合并setmapred.min.split.size.per.node=100000000;--一个交换机下split的至少的大小，决定了多个交换
云掣YUNCHE·2025-01-19 09:20

hive小文件合并机制_hive小文件的问题弊端以及合并

小文件的弊端1、HDFS中每个文件的元数据信息，包括位置大小分块信息等，都保存在NN内存中，在小文件数较多的情况下，会造成占用大量内存空间，导致NN性能下降；2、在读取小文件多的目录时，MR会产生更多map数，造成GC频繁，浪费集群资源；3、现在大数据平台文件总数超过30亿，单个NS文件数超过4亿的时候，读写性能会急剧下降，影响到所有读写该NS的任务性能；4、如果队列限制最大map数是20000，
做生活的创作者·2025-01-19 08:49

数仓建模（五）选择数仓技术栈：Hive & ClickHouse & 其它

市场上主流数仓技术栈丰富，如Hive、ClickHouse、Druid、Greenplum等，对于初学者而言，选择合适的技术栈是一项挑战。
昊昊该干饭了·2025-01-19 08:45

Hive--HiveServer2 命令行代码连接、Hive常用命令、自定义UDF函数、排序

目录1Hive--HiveServer2命令行代码连接1.1配置HiveServer2WEB参数1.2开启HiveServer21.3使用Beeline连接HiveServer21.4使用代码查询HiveServer21.5
XK&RM·2025-01-19 08:13

Hive 数据类型全解析：大数据开发者的实用指南

在大数据处理领域，Hive作为一款基于Hadoop的数据仓库工具，被广泛应用于数据的存储、查询和分析。
大鳥·2025-01-19 08:42

Apache Hive--排序函数解析

在大数据处理与分析中，ApacheHive是一个至关重要的数据仓库工具。其丰富的函数库为数据处理提供了诸多便利，排序函数便是其中一类非常实用的工具。
大鳥·2025-01-19 06:31

做商城系统，是选择SaaS还是源码？

无需承担服务器运维、软件升级等额外成本，适合预算有限、不想投入过多资金进行技术建设的中小企业。
hunzi_1·2025-01-19 06:21

大数据新视界 -- Hive 数据仓库设计的优化原则（2 - 16 - 4）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:49

远程连接排错全流程 - 实战指南

目录远程连接排错全流程-实战指南一、问题出现二、排错步骤（一）检查网络连接（二）确认远程服务是否运行（三）检查防火墙设置（四）验证账号和密码三、案例分析在运维工作中，远程连接出现问题是较为常见的情况。
阿贾克斯的黎明·2025-01-19 03:56

Bash 命令：系统操作的得力助手

目录Bash命令：系统操作的得力助手目录操作命令文件操作命令文件查看命令在Linux系统的日常使用与运维工作中，Bash命令起着核心作用。
阿贾克斯的黎明·2025-01-19 03:56

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

【自动化革命】——Java云原生应用故障注入测试的全自动化之旅

在当今快速变化的技术环境中，确保应用程序的高可用性和容错能力是开发者和运维团队的核心关注点。
墨夶·2025-01-18 22:06

“云计算+中职”：VR虚拟仿真实训室的发展前景

这不仅可以降低学校的运维成本，还能提高实训室的利用率和实训
武汉唯众智创·2025-01-18 21:01

麒麟操作系统服务架构保姆级教程（十一）https配置

如果你想拥有你从未拥有过的东西，那么你必须去做你从未做过的事情在运维工作中，加密和安全的作用是十分重要的，如果仅仅用http协议来对外展示我们的网站，过一段时间就会发现网站首页被人奇奇怪怪的篡改了，本来好好的博客论坛
小屁不止是运维·2025-01-18 21:59

ORACLE与SQL SERVER的区别

ORACLE与SQLSERVER的区别转载自：https://www.cnblogs.com/chuncn/archive/2009/01/28/1381262.html体系结构ORACLE的文件体系结构为
nanzhuhe·2025-01-18 20:17

hdfs和hive对于小文件的处理方案

一、hdfs如何处理小文件小文件问题的危害小文件问题对HDFS的性能和稳定性产生显著影响，主要包括：占用过多的存储空间：每个小文件都会占用一个独立的Block，导致存储资源的浪费。降低数据处理效率：HDFS是为处理大文件而设计的，小文件会导致大量的Map任务启动，增加处理时间和资源消耗。NameNode内存压力增大：NameNode需要维护所有文件和目录的元数据信息，小文件过多会导致NameNod
二进制_博客·2025-01-18 19:35

hive 创建访问用户_Hive权限控制和超级管理员的实现

Hive权限控制Hive权限机制：Hive从0.10可以通过元数据控制权限。但是Hive的权限控制并不是完全安全的。基本的授权方案的目的是防止用户不小心做了不合适的事情。
weixin_39826089·2025-01-18 18:31

hive表级权限控制_Hive权限管理

最近遇到一个hive权限的问题，先简单记录一下，目前自己的理解不一定对，后续根据自己的理解程度更新一、hive用户的概念hive本身没有创建用户的命令，hive的用户就是Linux用户，若当前是用mr用户输入
weixin_39769091·2025-01-18 18:01

HIVE的权限控制和超级管理员的实现

Hive用户权限管理从remote部署hive和mysql元数据表字典看，已经明确hive是通过存储在元数据中的信息来管理用户权限。现在重点是Hive怎么管理用户权限。
weixin_34364071·2025-01-18 18:59

hive批量修复分区

/bin/bashset-x#定义Hive数据库的名称database_name="edu"#定义要排除的表名exclude_table="tab_name"#使用Hive的shell命令获取所有的表名
青云游子·2025-01-18 18:25

HiveMetaException: Unknown version specified for initialization: 3.1.0（或者其他版本号）

遇到这个问题，也是很难发现的，查阅很多文章，乱七八糟，也可能是遇到的问题不相同吧，我们从以下两个方面去排查吧1.检查你的hive-site.xml和hive-env.sh，配置对就行，这个网上一大片，注意要正确
一品_人生·2025-01-18 18:25

hive表修改字段类型没有级连导致历史分区报错

一：问题背景修改hive的分区表时有级连概念，指字段的最新状态，默认只对往后的分区数据生效，而之前的分区保留历史元数据状态。
尘世壹俗人·2025-01-18 17:18

Hive 查看partition 以及msck 修复分区

#checktable的partitionhive>showpartitionstable_name;如果是外部表，不小心把表给删除了，可以适用下命令重新关联表和数据[MSCKREPAIRTABLE
dgsdaga3026010·2025-01-18 17:48

集群间hive数仓迁移

方式一：(此方法需要建库建表)第一步：建库建表在原集群hive上查看迁移表的建表语句及所在库，然后在新集群hive上建库建表；showcreatetabletb_name;createdatabasedb_name
one code·2025-01-18 17:15

HIVE合并小文件

会产生多个MapTask,然而每个MapTask处理的数据量很少，那么导致MapTask启动时间大于执行时间，整体任务时间消耗较大如何合并小文件：1）在map执行前合并小文件，减少map数：CombineHiveInputFormat
难以触及的高度·2025-01-18 16:12

Hive中没有超级管理员，如何进行权限控制

Hive中没有超级管理员，任何用户都可以进行Grant/Revoke操作开发实现自己的权限控制类，确保某个用户为超级用户比如任何用户都可以grant权限给别的用户。
二进制_博客·2025-01-18 16:42
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他