Hadoop运维第10页

【Hadoop】在spark读取clickhouse中数据

读取clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties(batchSize:String="

方大刚233·2024-03-03 06:54

【Hadoop】使用Metorikku框架读取hive数据统计分析写入mysql

一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置，具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.

方大刚233·2024-03-03 06:23

java 企业工程管理系统软件源码自主研发工程行业适用

工程项目管理软件（工程项目管理系统）对建设工程项目管理组织建设、项目策划决策、规划设计、施工建设到竣工交付、总结评估、运维运营，全过程、全方位的对项目进行综合管理工程项目各模块及其功能点清单一、系统管理

微服务 spring cloud·2024-03-03 02:48

Linux系统运维9个实用的shell脚本

看到9个shell脚本范例，运维可以根据实际情况进行修改，9个shell脚本如下：1、Dos攻击防范（自动屏蔽攻击IP）#!

知白守黑V·2024-03-02 23:46

Linux运维_Bash脚本_部署安装DocBook-XSL-1.79.1(XSL-Stylesheets)

Linux运维_Bash脚本_部署安装DocBook-XSL-1.79.1(XSL-Stylesheets)Bash(BourneAgainShell)是一个解释器，负责处理Unix系统命令行上的命令。

Mostcow·2024-03-02 23:15

Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数

看看这个参数如何运用：我们的spark-sql版本：[hadoop@666~]$spark-sql--versionWelcometo______/__

不想起的昵称·2024-03-02 15:03

hadoop里需要的libhadoop.so版本不一致导致问题及解决办法

$HADOOP_HOME/lib/native/Linux-amd64-64(64位操作系统)$HADOOP_HOME/lib/native/Linux-i386-32（32位操作系统）文件夹中的libhadoop.so

weixin_34304013·2024-03-02 09:23

hadoop启动报错处理

1.hadoop启动报错1.1.问题1util.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable

akuibpt23191·2024-03-02 08:51

Linux系统运维命令：查看cache里的URL，即查看系统访问了哪些包含http的url（使用grep结合awk，组合命令实现功能）

目录一、需求二、解决方法1、解决思路2、命令三、实例演示和命令解释1、实例演示2、命令解释四、扩展一、需求想知道某台linux机器最近访问了哪些http的web地址，如何处理？二、解决方法1、解决思路Linux系统访问外部web，也就是外部的http地址，这些数据应该保存在缓存中，所以应该想办法看linux系统的cache，cache中会又从外部web下载下来的一些图片和文本等信息，可以从jpg或

威迪斯特·2024-03-01 17:30

MySQL运维实战之备份和恢复（8.2）xtrabackup备份到云端(OSS)

作者：俊达xtrabackup工具中有一个xbcloud程序，可以将数据库直接备份到S3对象存储中，本地不落盘。这里介绍将数据库直接备份到OSS的一种方法。具体方法如下：1、准备OSS我们使用ossutil工具上传备份文件。下载ossutil工具：wget-Oossutil-v1.7.16-linux-amd64.zip"https://gosspublic.alicdn.com/ossutil/

·2024-03-01 16:40

服务器日常运维工作：探秘技术的前沿

第一章：晨曦中的服务器1.1早晨的第一杯咖啡每天早上，我走进办公室，第一件事就是泡一杯浓郁的咖啡。这杯咖啡不仅是为了提神，更是为了迎接那些等待着我的服务器。它们就像是沉睡的巨人，等待着被唤醒。1.2看门狗的守护服务器的安全是我们的首要任务。我们设置了看门狗程序，定期检查服务器的健康状态。如果有异常，它会立即发出警报，让我们能够迅速采取行动。第二章：故障排除的魔法2.1魔法师的角色故障排除就像是一场

信息安全兴趣爱好者·2024-03-01 10:19

k8s运维问题整理

1.宕机或异常重启导致etcd启动失败服务器非正常关机（意外掉电、强制拔电）后etcd数据损坏。查看apiserver日志发现出现报错Errorwhiledialingdialtcp127.0.0.1:2379:connect:connectionrefused，2379是etcd的端口，那么apiserver是由于etcd无法连接而启动不了参考资料：https://blog.csdn.net/k

筱光·2024-02-29 18:59

Spark整合hive（保姆级教程）

准备工作：1、需要安装配置好hive，如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark，如果不会安装可以跳转到Spark安装与配置（单机版）3、需要安装配置好Hadoop

万家林·2024-02-29 09:47

nginx负载均衡监测后台服务状态-健康检测

一、选型根据参考Nginx负载均衡中后端节点服务器健康检查-运维笔记和Nginx健康检查，使用开源模块nginx_upstream_check_module。

谷谷谷雨·2024-02-29 09:17

Hadoop-Yarn-NodeManager是如何监控容器的

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中的ContainerLaunchprepareForLaunch

隔着天花板看星星·2024-02-28 06:15

云计算拼的是运维吗

云计算拼的是运维吗？云计算并不仅仅是拼运维，还有其他方面也很重要。在云计算中，运维确实是一个重要的方面。运维涉及管理和维护云基础设施、服务器、网络和存储等组件，以确保它们的正常运行、高可用性和安全性。

ddddwd--1·2024-02-27 12:22

网络安全（黑客）—2024自学

1.网络安全是什么网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。

羊村最强沸羊羊·2024-02-27 00:07

工程管理系统简介工程管理系统源码 java工程管理系统工程管理系统功能设计

工程项目管理软件（工程项目管理系统）对建设工程项目管理组织建设、项目策划决策、规划设计、施工建设到竣工交付、总结评估、运维运营，全过程、全方位的对项目进行综合管理工程项目各模块及其功能点清单一、系统管理

m0_66404702·2024-02-26 05:16

Zookeeper实现分布式锁

首先需要确保有hadoop102，hadoop103，hadoop104三台虚拟机并且都安装成功且配置成功了zookeeper。

正在绘制中·2024-02-25 23:35

Python自动化部署与配置管理：Ansible与Docker

Ansible是一个基于Python的自动化运维工具，可以配置管理、应用部署、任务自动化等。

api77·2024-02-25 01:09

【云学院干货】数据仓库服务：在冗余海量数据中找到正确决策

传统数据仓库在大数据时代处于劣势，用户需要自己搭建软硬件，运维维护的成本非常大，投入高周期长，而且如果数据量大，扩容的工作非常难以实现。业务数据上云，在公有云上托管成为必然趋势。

舒意从生·2024-02-24 07:21

element-ui版本问题导致el-table-column输入框无法输入

本地element-ui版本是2.4.10,测试element-ui版本是2.8.2,而生产运维用是最新的版本。更新版本因为另一个模块用的树结构需要把ele

Enno.Z·2024-02-23 14:02

用html编写的招聘简历

请选择月份--123456789101112--请选择日期--123456789101112131415161718192021222324252627282930就读学校应聘岗位后端开发前端开发测试开发运维开发我掌握

fly in the sky !·2024-02-20 23:27

【怎么提高性能和解决高并发】

整个过程产品、测试、开发、运维需要全程盯着。每个开发都盯着自己的接口，具体分析吞吐量和响应时间。

董小姐orz（娜）·2024-02-20 23:50

Springboot打war包部署读取外部配置.yml文件的方法

背景说明当我们使用springboot开发时，有的时候需要打war包在外部tomcat部署，方便运维人员维护，但是修改配置文件后重新打包给运维的时候，又需要修改一些配置这样还是不方便维护。

沧海一声笑嘎嘎·2024-02-20 22:15

Linux学习和阿里云服务器的配置(感谢秦老师)

Linux学习我这里给大家准备的是继续Java全栈开发的Linux，而不是运维级别！我们为什么要在这个时间学习Linux？Java全栈开发的我们要掌握哪些知识？需要准备什么工作？

南桑爱吃牛筋·2024-02-20 22:45

docker搭建hadoop hdfs完全分布式集群

1制作hadoop镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。

shangcunshanfu·2024-02-20 22:08

基于docker安装HDFS

1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/hadoop:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau

core512·2024-02-20 22:02

阿里云轻量应用服务器怎么样？有哪些好处？

轻量服务器具有价格优惠、使用门槛低快速上手、灵活变配、可视化运维等优势，阿里云百科aliyunbaike.com整理轻量应用服务器详细优势：1、价格优惠阿里云轻量应用服务器性价比高，价格优惠，2核2G3M

aliyunbaike·2024-02-20 22:56

信息安全 python_一种基于Python的信息安全情报收集工具

weixin_39637646·2024-02-20 21:22

阿里云轻量型服务器的用处

阿里云的轻量服务器是可快速搭建且易于管理的轻量级云服务器；提供基于单台服务器的应用部署，安全管理，运维监控等服务，一站式提升您的服务器使用体验和效率。

万域网-丽丽·2024-02-20 21:30

阿里云轻量型服务器有什么用处？

轻量应用服务器（SimpleApplicationServer）是可以快速搭建且易于管理的轻量级云服务器，面向单台服务器提供了一键部署应用、一站式域名解析、安全管理以及运维监控等服务。

【优派编程】·2024-02-20 20:26

hive 的map数和reduce如何确定

的文件大小，集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)；2.举例：a)假设input目录下有1个文件a,大小为780M,那么hadoop

Super乐·2024-02-20 20:38

第3.2章：Doris-2.0数据导入——Compaction机制

概述1.3Rowset数据版本1.4Compaction优点1.5Compaction问题1.5.1Compaction速度低1.5.2写放大问题1.6Compaction调优1.6.1业务侧1.6.2运维侧二

爱吃辣条byte·2024-02-20 20:30

(17)Hive ——MR任务的map与reduce个数由什么决定？

MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言，对于每一个输入的文件会有一个mapsplit，每一个分片会开启一个map任务，很容易导致小文件问题（如果不进行小文件合并，极可能导致Hadoop

爱吃辣条byte·2024-02-20 20:27

linux 系统运维日常巡检脚本参考

巡检是运维工程师日常必进行的一项重要工作,配合部署的监控系统可以大大的提高工作效率,轻松管理几十到几千台硬件服务器产品的运行情况.也是公司业务稳定的重要保障.巡检结果出现异常也能及时发现,及时处理故障,

滨海新世界·2024-02-20 20:12

主客体标记技术在主机安全防护中的应用

（三）联合运维优势充分显现。前言强制访问控制机制以主客体标记技术为基础，能够实现严格的计算机资源访问控制。

岛屿旅人·2024-02-20 19:39

Java使用Documents4j实现Word转PDF(知识点+案例)

涵盖技术内容：Java后端、算法、分布式微服务、中间件、前端、运维、

长路 ㅤ ·2024-02-20 19:00

Hadoop生态圈

是数据分析数据引擎，也是MapReduce模型，支持SQL4.Pig也是一个数据分析引擎，不支持SQL，有自己的PigLatin数据5.Sqoop是数据采集工具，针对关系数据库6.Flume是针对文件等数据的采集7.Hadoop

陈超Terry的技术屋·2024-02-20 19:47

16.用Hadoop命令向CDH集群提交MR作业

Redhat7.2非Kerberos集群CDH5.13，OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的，因为使用hadoop

大勇任卷舒·2024-02-20 19:27

巡检机器人与机器视觉的融合：巡检运维的未来趋势

巡检机器人作为一种高度复杂的自动化装置，被广泛应用于工业领域，能实现各种工业场景下智能巡检运维，推动传统产业智能化改造和数字化转型；因其在智能巡检运维领域占据重要地位，被誉为“皇冠上的明珠”。

超维机器人·2024-02-20 19:02

Linux定期监视某文件变化,监控Linux文件变化，防止服务器被黑

运维服务器比较头疼的一个问题是系统被黑，沦为肉鸡或者矿机。

和风娘·2024-02-20 19:57

【YARN】【Apache Hadoop YARN】【架构】

ThefundamentalideaofYARNistosplitupthefunctionalitiesofresourcemanagementandjobscheduling/monitoringintoseparatedaemons.TheideaistohaveaglobalResourceManager(RM)andper-applicationApplicationMaster(AM)

资源存储库·2024-02-20 18:48

记一次 Flink 作业启动缓慢

记一次Flink作业启动缓慢背景应用发现，Hadoop集群的hdfs较之前更加缓慢，且离线ELT任务也以前晚半个多小时才能跑完。

卢说·2024-02-20 18:38

项目中使用SVN简介

项目中使用SVN简介1、公司会给每个人分配1个SVN账号（这个一般由公司运维等相关人员创建）如：zhaojilong/1234562、公司会将SVN项目地址发给大家如：[https://SZSVR101

嫩牛_软件测试_笔记·2024-02-20 18:10

阿里云Elasticsearch -- 从0到1的云产品演进之路

Elasticsearch作为开源界最流行的搜索与分析引擎，在日志、安全、监控等领域也都有着非常广泛的应用，而开放搜索团队在支持云上用户的过程中，也了解到有大量自建Elasticsearch服务的用户对于运维效率

lyuharvey·2024-02-20 18:37

全面解析湖仓一体与大数据演进历程｜内含技术工具选型策略

云智慧AIOps社区是由云智慧发起，针对运维业务场景，提供算法、算力、数据集整体的服务体系及智能运维业务场景的解决方案交流社区。

云智慧AIOps社区·2024-02-20 17:32

运维入门——MySQL LIKE 子句

MySQL中使用SQLselect命令来读取数据，同时可以在select语句中使用where子句来获取指定的记录。where子句中可以使用等号来设定获取数据的条件，如“runoob_author=‘runoob.com’”。但是有时候需要获取runoob_author字段含有“com”字符的所有记录，这时就需要在where子句中使用SQLlike子句。SQLlike子句中使用百分号字符来表示任意字

嘀嗒运维·2024-02-20 17:02

基于腾讯云基础，如何最大限度的提升出海效率？

在出海过程中，大部分企业都会为接收国内外的庞大数据以及资源如何安全管理而苦恼，这其中的成本控制、数据管理与运维、如何达成高效率、安全稳定等一直都是出海企业的痛点之一。

九河云·2024-02-20 17:05

网络安全（黑客）自学day1