Hadoop运维

doris 安装部署

doris安装部署架构Doris的主要架构分为FE（frontend）、BE（backend）两个角色、两个进程，不依赖于外部的组件，极易部署、运维，FE和BE都有很好的拓展性。
猫猫姐·2025-01-19 18:13

JVM 监控与分析工具你用过哪些？介绍一下。思维导图 代码示例（java 架构）

JVM监控与分析工具介绍在Java应用开发和运维过程中，使用合适的监控与分析工具可以帮助我们更好地理解应用的运行状态，优化性能，诊断问题。以下是一些常用的JVM监控与分析工具及其特点和使用方法。
用心去追梦·2025-01-19 16:21

解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...警告

这个警告意味着Hadoop在加载本地本机库时遇到了问题。
克里斯蒂亚诺罗纳尔多阿维罗·2025-01-19 10:05

Hive 数据类型全解析：大数据开发者的实用指南

在大数据处理领域，Hive作为一款基于Hadoop的数据仓库工具，被广泛应用于数据的存储、查询和分析。
大鳥·2025-01-19 08:42

做商城系统，是选择SaaS还是源码？

无需承担服务器运维、软件升级等额外成本，适合预算有限、不想投入过多资金进行技术建设的中小企业。
hunzi_1·2025-01-19 06:21

Java 大视界 -- 解锁 Java 与 Hadoop HDFS 交互的高效编程之道（二）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:19

远程连接排错全流程 - 实战指南

目录远程连接排错全流程-实战指南一、问题出现二、排错步骤（一）检查网络连接（二）确认远程服务是否运行（三）检查防火墙设置（四）验证账号和密码三、案例分析在运维工作中，远程连接出现问题是较为常见的情况。
阿贾克斯的黎明·2025-01-19 03:56

Bash 命令：系统操作的得力助手

目录Bash命令：系统操作的得力助手目录操作命令文件操作命令文件查看命令在Linux系统的日常使用与运维工作中，Bash命令起着核心作用。
阿贾克斯的黎明·2025-01-19 03:56

Yarn工作机制？思维导图 代码示例（java 架构)

YARN工作机制YARN（YetAnotherResourceNegotiator）是Hadoop生态系统中的资源管理和调度框架，它负责管理集群中的所有资源，并为应用程序提供调度服务。
用心去追梦·2025-01-19 02:17

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

【自动化革命】——Java云原生应用故障注入测试的全自动化之旅

在当今快速变化的技术环境中，确保应用程序的高可用性和容错能力是开发者和运维团队的核心关注点。
墨夶·2025-01-18 22:06

“云计算+中职”：VR虚拟仿真实训室的发展前景

这不仅可以降低学校的运维成本，还能提高实训室的利用率和实训
武汉唯众智创·2025-01-18 21:01

麒麟操作系统服务架构保姆级教程（十一）https配置

如果你想拥有你从未拥有过的东西，那么你必须去做你从未做过的事情在运维工作中，加密和安全的作用是十分重要的，如果仅仅用http协议来对外展示我们的网站，过一段时间就会发现网站首页被人奇奇怪怪的篡改了，本来好好的博客论坛
小屁不止是运维·2025-01-18 21:59

集群间hive数仓迁移

上建库建表；showcreatetabletb_name;createdatabasedb_name;createtabletb_name.....第二步：转移数据文件到新集群；在旧集群中下载数据到本地hadoopfs-get
one code·2025-01-18 17:15

Hive中没有超级管理员，如何进行权限控制

grantselectontabletest2touserhadoop;如何开发一个超级管理员：创建一个项目，导入mavanjar包，然后开始编写hook类importcom.google.common.base.Joiner
二进制_博客·2025-01-18 16:42

调试Hadoop源代码

个人博客地址：调试Hadoop源代码|一张假钞的真实世界Hadoop版本Hadoop2.7.3调试模式下启动HadoopNameNode在${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
一张假钞·2025-01-18 13:16

Python学习路线

Python是一门易学易用的编程语言，广泛应用于数据处理、Web开发、人工智能、自动化运维、游戏开发等领域。本篇文章将介绍Python的学习路线以及一些值得参考的书籍。
Python_JC·2025-01-18 11:32

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
武子康·2025-01-18 10:29

产品解读 | 构建数智融合时代下的一站式大数据平台

如何简化日益复杂的系统架构，提高数据处理效率，降低开发运维成本，促进数据开放共享和创新应用，成为企业关注的核心问题。
·2025-01-18 09:50

TDengine 查询如何做到高效过滤

目的：带大家了解查询条件过滤是如何实现及编写高效过滤条件阅读对象:开发人员、构架师、运维人员等一、应用背景大家知道，TDengine的查询语句where条件中可以对普通列及标签列进行各种组合过滤查询，那这些过滤是如何高效实现的呢
TDengine （老段）·2025-01-18 09:21

pyspark 中删除hdfs的文件夹

寻找到一个删除的方法，是通过调用shell命令hadoopfs-rm-f来删除，这个方法感觉不怎么好，所以继续找。
TDengine （老段）·2025-01-18 09:21

IoT安全软件：Forescout二次开发_Forescout部署与运维

Forescout部署与运维1.Forescout架构概述Forescout是一个高度灵活且可扩展的IoT安全平台，旨在帮助组织保护其网络免受各种威胁。
chenlz2007·2025-01-18 08:13

运维笔记43 使用saltstack配置完整线上服务(haproxy+keepalived,nginx+php+memcache,mysql主从)

数据库类的等等，这些服务有的配置容易，有的配置困难，那我们现在设想一下在生成环境中，有上百台，甚至上千台服务器的情况下，难道要我们去挨个去配置每一台服务器吗，这是无法想象的，所以有了saltstack这类自动化运维工具的出现
No_red·2025-01-18 08:41

centos、docker、python等开发运维常用处理命令

centos、docker、python等开发运维常用处理命令dockerdockerimages：显示所有docker镜像,dockerbuild之后查询用。
LensonYuan·2025-01-18 08:09

在Linux系统中无网络安装Nginx并配置负载均衡

在Linux系统中无网络安装Nginx并配置负载均衡在现代的Web开发和运维中，Nginx作为一个高性能的HTTP和反向代理服务器，被广泛应用于负载均衡、静态资源服务、SSL终端等场景。
LensonYuan·2025-01-18 07:36

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

运维自动化系统各模块介绍

接触运维自动化系统开发好多年，也陆陆续续开发上线了不少的系统及功能模块，但至今还没有写过一个比较全面的文章，来系统的介绍下整个运维自动化平台都包含了哪些系统及功能模块，最近正好在梳理文档，那这篇文章就来介绍下一个较为完善的运维自动化系统都包含了哪些功能模块
快乐非自愿·2025-01-17 23:33

Kubernetes 监控实践：基于 Prometheus-Operator 的完整解决方案

幸运的是，Prometheus-Operator提供了一种高效的方式，通过抽象Kubernetes的原生资源（CRD）来配置和管理整个监控栈，极大地简化了监控的部署和运维。
·2025-01-17 20:14

案例分享｜快速了解实时湖仓集一体技术如何助力企业降本增效

1.替代TD仓、Hadoop湖，助力农商行构建一体化数据平台某农商行最初构建了Teradata数据仓库、Oracle小数据平台以及Hadoop数据湖。
·2025-01-17 20:42

拒绝 Helm？ 如何在 K8s 上部署 KRaft 模式 Kafka 集群？

首发：运维有术今天分享的主题是：不使用Helm、Operator，如何在K8s集群上手工部署一个开启SASL认证的KRaft模式的Kafka集群？
·2025-01-17 19:07

深入 Kubernetes 的健康奥秘：探针（Probe）究竟有多强？

如果你第一次接触K8s，可能很难想象这个看似普通的小工具竟然是K8s自动化运维的核心之一。探针（Probe）的作用就像集群的“健康监护员”，负责检测和管理容器的健康状态。
·2025-01-17 19:06

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

把复杂问题简单化5、屏蔽原始数据的(影响)，屏蔽业务的影响ETL操作1、数据抽取2、数据清洗3、数据转换4、数据加载数据中台包含的内容很多，对应到具体工作中的话，它可以包含下面的这些内容：系统架构：以Hadoop
_Jordan·2025-01-17 16:56

深入HDFS——DataNode启动源码

首先，自然还是从元数据管理篇提到的DataNode类（org.apache.hadoop.hdfs.server.datanode.DataNode）开始。
黄雪超·2025-01-17 12:26

深入HDFS——NameNode启动源码

首先还是得从我们的前一篇提到过的NameNode类（org.apache.hadoop.hdfs.server.namenode.NameNode）开始，既然是看启动流程，那自然是先找类里面的main方法啦
黄雪超·2025-01-17 12:25

【YashanDB知识库】原生mysql驱动配置连接崖山数据库

【问题分类】功能兼容【关键字】YAS-07202、YAS\_MYERROR，不兼容【问题描述】本项目的架构是hadoop+hive+yashandb使用崖山数据库，将mysql相关的创建表语句进行初始化同步使用崖山
·2025-01-17 10:58

Spring Boot 和微服务：快速入门指南

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-17 09:56

数据仓库的复用性：模型层面通用指标体系、参数化模型、版本化管理

在数据仓库设计中，复用性是一个关键原则，它不仅能提升数据资产的使用效率，还能降低开发成本、优化系统运维。
PersistDZ·2025-01-17 06:30

初探 OpenTelemetry

使用它来检测、生成、收集和导出遥测数据（Metrics、Logs和Traces），以帮助运维开发人员分析软件的性能和行为。
程序员Live·2025-01-17 05:57

读书笔记（SRE：Google运维解密）：第17章 测试可靠性

对服务质量的自信可以用过去的系统可靠度和未来的系统可靠度来衡量。前者可以通过抓取和分析历史性监控信息来获得，后者可以用基于历史数据的预测来量化。为了让这些预测信息足够准确，必须满足下列条件中之一：（a）在这段时间内，该系统完全没有改变。包括没有任何软件更新以及服务器数量变化，这意味着未来的行为方式应该与过去的行为方式类似。（b）可以充分描述整个系统的所有改变，这样可以针对每个系统变化引入的不确定性
github_37320188·2025-01-17 04:45

【AIcoding技术必知必会】11问--CI/CD流水线是什么？

基础介绍软件开发生命周期（SDLC）由下面这几个关键阶段组成：开发、测试、部署和运维。CI/CD将这些阶段自动化并整合起来，实现更快更可靠的发布。当代码提交到git仓库，便会触发自动的构建和测试流程。
srzxy42·2025-01-17 02:26

【YashanDB知识库】Hive 命令工具insert崖山数据库报错

【问题分类】功能兼容【关键字】spark30041、不兼容【问题描述】本项目的架构是hadoop+hive+yashandb使用崖山数据库，初始化所有的原数据表和数据新建表之后，插入数据时候报错，hadoopcode30041
·2025-01-17 00:46

Linux配置网卡、创建用户赋予sudo权限、互信息等基本操作

Linux基本操作指南：配置网卡、创建用户赋予sudo权限与互信息计算在Linux系统中，网络配置、用户管理和信息分析是日常运维和开发中不可或缺的部分。
·2025-01-17 00:10

【赵渝强老师】Redis的慢查询日志

Redis慢查询日志帮助开发和运维人员定位系统存在的慢操作。
·2025-01-17 00:35

Docker基础教程

由于格式和图片解析问题，可能会影响阅读体验，可前往博客阅读原文Docker是一个开源的容器化平台，可以帮助开发者和运维人员更快地构建、发布和运行应用程序。
·2025-01-16 23:59

caddy介绍及安装

参考文档：https://caddyserver.com一：caddy介绍Caddy是一款现代化的Web服务器，专为简化开发者和运维人员的工作流程而设计。
·2025-01-16 23:28

Docker 中的多阶段构建：提高镜像构建效率与减小镜像大小

Docker是现代应用程序开发和运维中不可或缺的工具，它通过容器化技术使得应用可以在任何地方以相同的方式运行。
·2025-01-16 23:24

初学者如何用 Python 写第一个爬虫？

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-16 23:27

数据库运维实操优质文章文档分享（含Oracle、MySQL等） | 2024年9月刊

本文为大家整理了墨天轮数据社区2024年9月发布的优质技术文章/文档，主题涵盖Oracle、MySQL、PostgreSQL等主流数据库系统以及国产数据库的技术实操，从基础的安装配置到复杂的故障排查，再到性能优化的实用技巧及常用脚本等，分享给大家：Oracle优质技术文章概念梳理&安装配置Oracle授权如何购买？多少钱？如何计算？Oracle官方文档整理以及阅读指南Oracle篇：为什么SQL要
·2025-01-16 22:08

构建云原生后端服务——以Spring Boot + Kubernetes为例

在当今云计算的浪潮中，云原生技术栈以其高度的灵活性、可扩展性和自动化运维能力，正逐步成为构建现代化应用的首选。
ZhShy23·2025-01-16 19:52

YashanDB完成中国信通院关系型数据库安全能力专项测试

产品简介崖山数据库系统是深圳计算科学研究院(简称“深算院”)和深圳崖山科技有限公司(简称“崖山科技”)自主研发设计的新型数据库管理系统，提供包括单机主备、共享集群、空间数据库、分布式实时数仓等系列数据库产品及配套开发、迁移、运维等工具体系
·2025-01-16 18:20
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他