hive运维

HIVE合并小文件

会产生多个MapTask,然而每个MapTask处理的数据量很少，那么导致MapTask启动时间大于执行时间，整体任务时间消耗较大如何合并小文件：1）在map执行前合并小文件，减少map数：CombineHiveInputFormat
难以触及的高度·2025-01-18 16:12

Hive中没有超级管理员，如何进行权限控制

Hive中没有超级管理员，任何用户都可以进行Grant/Revoke操作开发实现自己的权限控制类，确保某个用户为超级用户比如任何用户都可以grant权限给别的用户。
二进制_博客·2025-01-18 16:42

docker-ubuntu-24.04安装openresty1.21.4.3全过程

dockerpullubuntu:latest创建启动容器dockerrun-it--name容器名称-p8082:8082镜像id/bin/bash更换apt-get为阿里云镜像sed-i's@archive.ubuntu.com
司江龙·2025-01-18 12:43

Python学习路线

Python是一门易学易用的编程语言，广泛应用于数据处理、Web开发、人工智能、自动化运维、游戏开发等领域。本篇文章将介绍Python的学习路线以及一些值得参考的书籍。
Python_JC·2025-01-18 11:32

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
武子康·2025-01-18 10:29

架构师反向代理Haproxy+压力测试 - 学习笔记

.Apache的编译安装:yuminstallapr-develapr-util-develpcre-developenssl-develcd/usr/local/src/wgethttp://archive.apache.org
无影V随风·2025-01-18 10:25

产品解读 | 构建数智融合时代下的一站式大数据平台

如何简化日益复杂的系统架构，提高数据处理效率，降低开发运维成本，促进数据开放共享和创新应用，成为企业关注的核心问题。
·2025-01-18 09:50

TDengine 查询如何做到高效过滤

目的：带大家了解查询条件过滤是如何实现及编写高效过滤条件阅读对象:开发人员、构架师、运维人员等一、应用背景大家知道，TDengine的查询语句where条件中可以对普通列及标签列进行各种组合过滤查询，那这些过滤是如何高效实现的呢
TDengine （老段）·2025-01-18 09:21

IoT安全软件：Forescout二次开发_Forescout部署与运维

Forescout部署与运维1.Forescout架构概述Forescout是一个高度灵活且可扩展的IoT安全平台，旨在帮助组织保护其网络免受各种威胁。
chenlz2007·2025-01-18 08:13

运维笔记43 使用saltstack配置完整线上服务(haproxy+keepalived,nginx+php+memcache,mysql主从)

数据库类的等等，这些服务有的配置容易，有的配置困难，那我们现在设想一下在生成环境中，有上百台，甚至上千台服务器的情况下，难道要我们去挨个去配置每一台服务器吗，这是无法想象的，所以有了saltstack这类自动化运维工具的出现
No_red·2025-01-18 08:41

centos、docker、python等开发运维常用处理命令

centos、docker、python等开发运维常用处理命令dockerdockerimages：显示所有docker镜像,dockerbuild之后查询用。
LensonYuan·2025-01-18 08:09

在Linux系统中无网络安装Nginx并配置负载均衡

在Linux系统中无网络安装Nginx并配置负载均衡在现代的Web开发和运维中，Nginx作为一个高性能的HTTP和反向代理服务器，被广泛应用于负载均衡、静态资源服务、SSL终端等场景。
LensonYuan·2025-01-18 07:36

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

QT ListView 记录

http://www.cnblogs.com/chenxuelian/archive/2009/12/22/1629601.html转载于:https://www.cnblogs.com/whisht/
weixin_30872157·2025-01-18 07:03

linux安装卸载软件

（三）归档压缩程序仅归档ar：archiver。后缀名为.a,.arTar：TapeArchive。通过Tar归档
int8·2025-01-18 06:29

一步到位：购买适合 SEO 的域名全攻略

WebArchive：查看域名以前的用途，判断是否有不良记录或与您的行业冲突。GoogleTransparencyReport：检
·2025-01-18 05:14

运维自动化系统各模块介绍

接触运维自动化系统开发好多年，也陆陆续续开发上线了不少的系统及功能模块，但至今还没有写过一个比较全面的文章，来系统的介绍下整个运维自动化平台都包含了哪些系统及功能模块，最近正好在梳理文档，那这篇文章就来介绍下一个较为完善的运维自动化系统都包含了哪些功能模块
快乐非自愿·2025-01-17 23:33

2024年最新Python：Page Object设计模式_python page object，BTAJ大厂最新面试题汇集

知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
m0_60707708·2025-01-17 20:36

Kubernetes 监控实践：基于 Prometheus-Operator 的完整解决方案

幸运的是，Prometheus-Operator提供了一种高效的方式，通过抽象Kubernetes的原生资源（CRD）来配置和管理整个监控栈，极大地简化了监控的部署和运维。
·2025-01-17 20:14

案例分享｜快速了解实时湖仓集一体技术如何助力企业降本增效

多平台混合架构开发运维高，存在冗余存储、数据搬迁一致性、跨平台流转数据实时性低等问题。
·2025-01-17 20:42

拒绝 Helm？ 如何在 K8s 上部署 KRaft 模式 Kafka 集群？

首发：运维有术今天分享的主题是：不使用Helm、Operator，如何在K8s集群上手工部署一个开启SASL认证的KRaft模式的Kafka集群？
·2025-01-17 19:07

深入 Kubernetes 的健康奥秘：探针（Probe）究竟有多强？

如果你第一次接触K8s，可能很难想象这个看似普通的小工具竟然是K8s自动化运维的核心之一。探针（Probe）的作用就像集群的“健康监护员”，负责检测和管理容器的健康状态。
·2025-01-17 19:06

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

目录一、采用海豚调度器+Doris开发平替CDHHdfs+Yarn+Hive+Oozie的理由。
大模型大数据攻城狮·2025-01-17 19:56

【YashanDB知识库】原生mysql驱动配置连接崖山数据库

【问题分类】功能兼容【关键字】YAS-07202、YAS\_MYERROR，不兼容【问题描述】本项目的架构是hadoop+hive+yashandb使用崖山数据库，将mysql相关的创建表语句进行初始化同步使用崖山
·2025-01-17 10:58

Spring Boot 和微服务：快速入门指南

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-17 09:56

数据仓库的复用性：模型层面通用指标体系、参数化模型、版本化管理

在数据仓库设计中，复用性是一个关键原则，它不仅能提升数据资产的使用效率，还能降低开发成本、优化系统运维。
PersistDZ·2025-01-17 06:30

oracle同步数据adg_oracle11g ADG主备切换

protection_mode,protection_level,switchover_statusfromv$database;altersystemswitchlogfile;altersystemarchivelogcurrent
weixin_39536630·2025-01-17 05:27

初探 OpenTelemetry

使用它来检测、生成、收集和导出遥测数据（Metrics、Logs和Traces），以帮助运维开发人员分析软件的性能和行为。
程序员Live·2025-01-17 05:57

读书笔记（SRE：Google运维解密）：第17章 测试可靠性

对服务质量的自信可以用过去的系统可靠度和未来的系统可靠度来衡量。前者可以通过抓取和分析历史性监控信息来获得，后者可以用基于历史数据的预测来量化。为了让这些预测信息足够准确，必须满足下列条件中之一：（a）在这段时间内，该系统完全没有改变。包括没有任何软件更新以及服务器数量变化，这意味着未来的行为方式应该与过去的行为方式类似。（b）可以充分描述整个系统的所有改变，这样可以针对每个系统变化引入的不确定性
github_37320188·2025-01-17 04:45

CDP中的Hive3之Hive Metastore（HMS）

CDP中的Hive3之HiveMetastore（HMS）1、CDP中的HMS2、HMS表的存储（转换）3、HWC授权1、CDP中的HMSCDP中的HiveMetastore（HMS）是一种服务，用于在后端
对许·2025-01-17 02:31

【AIcoding技术必知必会】11问--CI/CD流水线是什么？

基础介绍软件开发生命周期（SDLC）由下面这几个关键阶段组成：开发、测试、部署和运维。CI/CD将这些阶段自动化并整合起来，实现更快更可靠的发布。当代码提交到git仓库，便会触发自动的构建和测试流程。
srzxy42·2025-01-17 02:26

Hive 窗口函数与分析函数深度解析：开启大数据分析的新维度

Hive窗口函数与分析函数深度解析：开启大数据分析的新维度在当今大数据蓬勃发展的时代，Hive作为一款强大的数据仓库工具，其窗口函数和分析函数犹如一把把精巧的手术刀，助力数据分析师们精准地剖析海量数据，
自节码·2025-01-17 02:25

大数据新视界 -- 大数据大厂之 Hive 数据压缩算法对比与选择（下）（20 / 30）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-17 01:14

大数据新视界 -- 大数据大厂之 Hive 数据安全：权限管理体系的深度解读（上）（15/ 30）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-17 01:14

【YashanDB知识库】Hive 命令工具insert崖山数据库报错

【问题分类】功能兼容【关键字】spark30041、不兼容【问题描述】本项目的架构是hadoop+hive+yashandb使用崖山数据库，初始化所有的原数据表和数据新建表之后，插入数据时候报错，hadoopcode30041
·2025-01-17 00:46

Linux配置网卡、创建用户赋予sudo权限、互信息等基本操作

Linux基本操作指南：配置网卡、创建用户赋予sudo权限与互信息计算在Linux系统中，网络配置、用户管理和信息分析是日常运维和开发中不可或缺的部分。
·2025-01-17 00:10

【赵渝强老师】Redis的慢查询日志

Redis慢查询日志帮助开发和运维人员定位系统存在的慢操作。
·2025-01-17 00:35

大数据新视界 -- Hive 数据仓库设计模式：星型与雪花型架构（2 - 16 - 3）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-16 23:03

Docker基础教程

由于格式和图片解析问题，可能会影响阅读体验，可前往博客阅读原文Docker是一个开源的容器化平台，可以帮助开发者和运维人员更快地构建、发布和运行应用程序。
·2025-01-16 23:59

caddy介绍及安装

参考文档：https://caddyserver.com一：caddy介绍Caddy是一款现代化的Web服务器，专为简化开发者和运维人员的工作流程而设计。
·2025-01-16 23:28

Docker 中的多阶段构建：提高镜像构建效率与减小镜像大小

Docker是现代应用程序开发和运维中不可或缺的工具，它通过容器化技术使得应用可以在任何地方以相同的方式运行。
·2025-01-16 23:24

初学者如何用 Python 写第一个爬虫？

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-16 23:27

数据库运维实操优质文章文档分享（含Oracle、MySQL等） | 2024年9月刊

本文为大家整理了墨天轮数据社区2024年9月发布的优质技术文章/文档，主题涵盖Oracle、MySQL、PostgreSQL等主流数据库系统以及国产数据库的技术实操，从基础的安装配置到复杂的故障排查，再到性能优化的实用技巧及常用脚本等，分享给大家：Oracle优质技术文章概念梳理&安装配置Oracle授权如何购买？多少钱？如何计算？Oracle官方文档整理以及阅读指南Oracle篇：为什么SQL要
·2025-01-16 22:08

大数据新视界 -- 大数据大厂之 Hive 数据质量监控：实时监测异常数据（下）（18/ 30）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-16 21:10

大数据新视界 -- 大数据大厂之 Hive 数据质量保障：数据清洗与验证的策略（上）（17/ 30）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-16 21:40

大数据新视界 -- Hive 查询性能优化：索引技术的巧妙运用（下）（6/ 30）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-16 21:10

构建云原生后端服务——以Spring Boot + Kubernetes为例

在当今云计算的浪潮中，云原生技术栈以其高度的灵活性、可扩展性和自动化运维能力，正逐步成为构建现代化应用的首选。
ZhShy23·2025-01-16 19:52

java race condition_Java多线程Race Condition vs. Data Race

http://blog.regehr.org/archives/490Araceconditionisaflawthatoccurswhenthetimingororderingofeventsaffectsaprogram
邢仁·2025-01-16 18:50

YashanDB完成中国信通院关系型数据库安全能力专项测试

产品简介崖山数据库系统是深圳计算科学研究院(简称“深算院”)和深圳崖山科技有限公司(简称“崖山科技”)自主研发设计的新型数据库管理系统，提供包括单机主备、共享集群、空间数据库、分布式实时数仓等系列数据库产品及配套开发、迁移、运维等工具体系
·2025-01-16 18:20

卓越效能，极简运维，体验云上的Serverless架构，领取转轮日历！

技术解决方案【CloudUp挑战赛】」上线了！业务的持续稳定可服务，决定着企业对客户的服务质量，是企业发展的基础。应用部署的高可用架构和弹性能力对于业务的稳定与发展起着至关重要的作用，但企业同时需要考虑资源维护成本和费用成本。本方案采用云上的Serverless架构，整合了专有网络VPC、应用型负载均衡ALB、Serverless应用引擎以及PolarDBMySQL版Serverless数据库服务
·2025-01-16 18:43
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他