spark运维

使用CMap导致服务高CPU

步骤1半夜从睡梦中被叫醒，先自己缕一缕思路（整个人都是懵的，基本缕不出思路），先解决线上问题，让运维保存了一份fulldump，然后重启服务，线上正常，回去睡觉。
睡在床板下·2024-01-30 23:56

故障脚本的重要作用：预防、诊断与恢复

一、预防性作用监控和预警故障脚本可以用于监控系统性能指标，如CPU使用率、内存消耗、网络流量等，一旦系统参数超出设定的阈值，便可触发警报，提醒管理员或运维人员可能存在的问题。
掌动智能·2024-01-30 21:16

003-90-16【SparkSQL&DF&DS】慈航寺庙山脚下八卦田旁油菜花海深处人家王二爷家女儿大红用GPT学习Rdd和Dataaset 以及DataFrame 的转换

003-90-16【SparkSQL&DF&DS】慈航寺庙山脚下八卦田旁油菜花海深处人家王二爷家女儿大红用GPT学习Rdd和Dataaset以及DataFrame的转换【SparkSQL&DF&DS】Dataset
一杯派蒙·2024-01-30 21:31

SparkSQL之函数解析

!!expr-Logicalnot.不的意思Examples:>SELECT!true;false>SELECT!false;true>SELECT!NULL;NULLSince:1.0.0!=expr1!=expr2-Returnstrueifexpr1isnotequaltoexpr2,orfalseotherwise.如果expr1不等于expr2则返回true，否则返回false。Argu
OnePandas·2024-01-30 21:00

服务器运维小技巧（二）——如何进行监控告警

服务器运维难度高的原因，很大程度是因为服务器一旦出现问题，生产环境的业务就会受到严重影响，极有可能带来难以承担的后果。因此这份工作要求工程师保持高要求的服务质量，能够快速响应问题，及时解决问题。
kkong1317·2024-01-30 21:52

关于监控的那些事，你有必要了解一下

监控在整个运维和产品生命周期中扮演着至关重要的角色。其目标是在应用的各个阶段，从程序设计、开发、部署到下线，实现事前预警、事中问题定位和事后问题分析的全方位服务。
kkong1317·2024-01-30 21:52

幻兽帕鲁越玩越卡，内存溢出问题如何解决？

没有服务器运维经验的玩家，很容易束手无策，只能任凭服务器默默重启。在这里教大家一招，使用saas形态的轻量级运维工具，只需要三步，即可对服务器资源情况进行实时监控，出现异
kkong1317·2024-01-30 21:20

网站监测工具的极与极，Site24x7 与百川云

但是它与百川云网站监测完全不一样，百川云网站监测是适合用中小微企业的交互极简的saas应用，Site24x7完全是另一个极端，适合于大型企业，且适合中高级运维人员使用。
A_YSLFWYS·2024-01-30 21:18

服务器运维工具推荐——站长、运维必看！

服务器运维是确保服务器系统稳定运行并保持高效性的重要工作。为了提高运维工作的效率，使用一些优秀的服务器运维工具是非常必要的。
A_YSLFWYS·2024-01-30 21:48

关于监控的那些事，你有必要了解一下

监控在整个运维和产品生命周期中扮演着至关重要的角色。其目标是在应用的各个阶段，从程序设计、开发、部署到下线，实现事前预警、事中问题定位和事后问题分析的全方位服务。
A_YSLFWYS·2024-01-30 21:48

幻兽帕鲁越玩越卡，内存溢出问题如何解决？

没有服务器运维经验的玩家，很容易束手无策，只能任凭服务器默默重启。在这里教大家一招，使用saas形态的轻量级运维工具，只需要三步，即可对服务器资源情况进行实时监控，出现异
A_YSLFWYS·2024-01-30 21:47

使用nslookup命令查询域名系统的信息

文章目录前言常规使用再从linux环境下学点不一样的type选项retry选项timeout选项使用更强大的dig命令总结前言这个命令出现在与运维同学沟通过程中，在此之前要是问我一个域名对应的服务器是IP
AlbertS·2024-01-30 21:47

从术语到Spark，10篇必读大数据学习资源

本文给想进入大数据领域的朋友提供了一系列的资源，由浅入深，比如“需要了解的51条大数据术语”、“学习python的四个理由”、“十一个必须要参加的大数据会议”等有趣的话题。相信各种背景的朋友都会在这篇文章中有所收获。之前，我们已就数据可视化进行了深入探讨。这次，我们将从更基本的概念讲起，以便在涉足更复杂的数据科学和商业智能之前能够真正理解大数据。文中会引领大家阅读介绍大数据的相关文章，研究网络上流
大数据的时代·2024-01-30 20:34

jrt运维命令改造

以前发布网站都是定死网站放置路径的，现在JRT想面向更广范围推广，所以就不能明确确定网站放置目录，为此需要改造一下jrt命令和sh来满足目录不确定情况和多个程序用不同管理命令的要求。以前是写死的，现在改为调程序运行目录的sh文件，这样程序放置位置就可以随意了改造后的c++#include#include#include#include#include#include#includeusingnam
小乌鱼·2024-01-30 20:32

Spark Submit提交时，Json字符串作为参数

今天遇到一个把json作为参数传入spark程序中的问题原因如下，Spark源码中会对把}}和{{替换掉@VisibleForTestingpublicstaticStringexpandEnvironment
南修子·2024-01-30 19:21

Spark 读取、写入时序数据库TDengine以及TDengine概述

TDengine能被广泛运用于物联网、工业互联网、车联网、IT运维、金融等领域。
Alex_81D·2024-01-30 18:10

saltstack——大型环境自动化运维工具

SaltStack、Ansible、Puppet比较1、SaltStack（一般用于大于1000台服务器的公司环境）saltStack由Python编写，为server-client模式的系统，自己本身支持多master。运行模式为master端下发指令，客户端接收指令执行。saltstack依赖于zeromq消息队列，采用yaml格式编写配置文件，比较简单。支持api及自定义python模块，能
KFC质检员·2024-01-30 18:22

关于监控的那些事，你有必要了解一下

监控在整个运维和产品生命周期中扮演着至关重要的角色。其目标是在应用的各个阶段，从程序设计、开发、部署到下线，实现事前预警、事中问题定位和事后问题分析的全方位服务。
云宝的黑客对抗日记·2024-01-30 18:19

幻兽帕鲁越玩越卡，内存溢出问题如何解决？

没有服务器运维经验的玩家，很容易束手无策，只能任凭服务器默默重启。在这里教大家一招，使用saas形态的轻量级运维工具，只需要三步，即可对服务器资源情况进行实时监控，出现异
云宝的黑客对抗日记·2024-01-30 18:48

PDF如何提取页面

操作软件：旋风PDF编辑器下载地址：http://www.679sparkle.com/pdfeditor1.下载旋风PDF编辑器安装完之后，点击右下角的打开文件按钮
六号_db7a·2024-01-30 18:24

云计算运维 · 第三阶段 · shell编程2

学习b记·第三阶段一、shell编程1、数值运算1)expr2)$(())3)$[]#前面这三个直接echo测试就可4)let#这个可以直接运算变量5)bc#支持小数#输入两个随机数进行运算#!/bin/bashecho$1+$2'='`echo$1+$2|bc`echo$1-$2'='`echo$1-$2|bc`echo$1*$2'='`echo$1*$2|bc`echo$1/$2'='`ech
Dragon_qu·x·2024-01-30 18:38

云计算运维 · 第三阶段 · gitlib

学习b记·第三阶段三、持续集成1、gitlibGitLab是一个用于仓库管理系统的开源项目。使用Git作为代码管理工具，并在此基础上搭建起来的web服务。可通过Web界面进行访问公开的或者私人项目。它拥有与Github类似的功能，能够浏览源代码，管理缺陷和注释。可以管理团队对仓库的访问，它非常易于浏览提交过的版本并提供一个文件历史库。团队成员可以利用内置的简单聊天程序(Wall)进行交流。它还提供
Dragon_qu·x·2024-01-30 18:38

云计算运维 · 第二阶段 · Ansible_playbook · 变量

学习b记·第二阶段十五、Ansible_playbook1、什么是PlayBookplay:定义的是主机的角色。task:定义的是具体执行的任务。playbook:由一个或多个play（角色）组成，一个play（角色）可以包含多个task。简单理解为:使用不同的模块完成一件事情2、PlayBook与ad-hoc1）PlayBook功能比ad-hoc更全，是对ad-hoc的一种编排.2）PlayBo
Dragon_qu·x·2024-01-30 18:08

云计算运维 · 第二阶段 · Ansible流程控制

学习b记·第二阶段十六、Ansible流程控制1、playbook条件语句不管是shell还是各大编程语言中，流程控制，条件判断这些都是必不可少的，在我们使用Ansible的过程中，条件判断的使用频率极其高。例如：1）我们使用不同的系统的时候，可以通过判断系统来对软件包进行安装。2）在nfs和rsync安装过程中，客户端服务器不需要推送配置文件，之前我们都是写多个play，会影响效率。3）我们在源
Dragon_qu·x·2024-01-30 18:08

云计算运维 · 第三阶段 · shell编程

学习b记·第二阶段一、shell编程1、什么是shellshell是一种命令语言，是为使用者提供操作界面的一种软件，软件可以接收用户的命令，并且执行用户输入的命令，然后对相应的程序进行调用。2、shell可以分为两种方式1）shell命令行式例如一些系统linux，从传统的意义上来说，如果不去注明的话，shell一般是命令行式。shell是传统操作和外部的接口，shell是操作系统的最外层，并且管
Dragon_qu·x·2024-01-30 18:08

云计算运维 · 第二阶段 · Ansible

学习b记·第二阶段十三、Ansible1、什么是Ansible？Ansible是一个自动化统一配置管理工具，自动化主要体现在Ansible集成了丰富模块以及功能组件，可以通过一个命令完成一系列的操作，进而能减少重复性的工作和维护成本，可以提高工作效率。2、Ansible的架构1）连接插件connectionplugins用于连接主机用来连接被管理端2）核心模块coremodules连接主机实现操作
Dragon_qu·x·2024-01-30 18:07

云计算运维 · 第三阶段 · git

学习b记·第三阶段三、持续集成1、git#安装yum-yinstallgit[root@git-git~]#gitconfig–-globaluser.name"qxl"#配置git使用用户[root@git-git~]#gitconfig–-globaluser.email"[email protected]"#配置git使用邮箱[root@git-git~]#gitconfig–-globalcolor
Dragon_qu·x·2024-01-30 18:36

企业专业运维管理的“金牌辅助”——源启一体化监控平台上线啦

本期继续为大家介绍“帮帮团”的第二位骨干也是企业专业运维管理的“金牌辅助”源启一体化监控平台随着云原生的快速发展虚拟化、云平台、分布式、微服务容器等技术被广泛应用给企业数字化转型带来全新选择的同时也让整个
中电金信·2024-01-30 17:37

华为机试真题实战应用【赛题代码篇】-工单调度策略（附Java和C++代码）

假设华为与运营商A签订了运维合同，部署了一套调度系统，只有1个外线工程师（FME），每个工单根据问题严重程度会给一个评分，在SLA时间内完成修复的
林聪木·2024-01-30 16:37

客户心声 | 纸笺传赞誉，璞华科技智慧政务事业部多次收获客户表扬信！

璞华科技秉承“帮助客户实现数智化转型升级”的企业使命，时刻谨记以专业能力和创新精神为客户创造价值，始终把客户利益放在首位，最终以过硬的技术能力、优秀的产品品质、贴心的运维服务获得了客户的高度认同！
璞华Purvar·2024-01-30 16:06

程序人生系列1-2021年通过私活累积收益1.5w

博主在B站更新了接私活的视频，感兴趣的可以移步到我的B站:博主私活记录一.个人介绍  2011年毕业，计算机专业科班出身，10年及以上金融信贷、通信行业数据库运维管理、数据仓库及大数据相关工作经验，持有
只是甲·2024-01-30 15:51

如何接手一个大数据项目

以下是个人的一些思考总结：了解一个大数据系统，我认为需要从以下几个方面入手：宏观方面：1.了解系统的整体架构和技术栈：需要了解系统中使用的技术栈，包括各种大数据组件和工具，例如Hadoop、Spark、
Mmj666·2024-01-30 15:19

Spark的核心RDD（Resilient Distributed Datasets弹性分布式数据集）

Spark的核心RDD（ResilientDistributedDatasets弹性分布式数据集）铺垫在hadoop中一个独立的计算，例如在一个迭代过程中，除可复制的文件系统（HDFS）外没有提供其他存储的概念
fcyh·2024-01-30 15:46

Spark RDD（弹性分布式数据集）

1.RDD1.1RDD是什么RDD（ResilientDistributedDataset）：弹性分布式数据集，是Spark对数据集的抽象，代表一个只读、不可变、可分区、其中元素可进行并行计算的集合，并且是可跨越集群节点进行并行操作的有容错机制的集合
JOEL-T99·2024-01-30 15:15

理解Spark中RDD(Resilient Distributed Dataset)

文章目录1RDD基础1.1分区1.2不可变1.3并行执行2RDD结构2.1SparkContext、SparkConf2.2Partitioner2.3Dependencies2.4Checkpoint
小何才露尖尖角·2024-01-30 15:45

Spark RDD基础实战(弹性分布式数据集)

http://spark.apache.org/docs/latest/sql-data-sources-json.htmlhttp://jsonlines.org/examples/官网的准备的数据集合启动
蜗牛杨哥·2024-01-30 15:14

Spark弹性分布式数据集（Resilient Distributed Dataset）

1.弹性分布式数据集RDD1.1.RDD概述1.1.1.什么是RDDRDD（ResilientDistributedDataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区
你狗·2024-01-30 15:14

Spark——（RDD(弹性分布式数据集)，RDD的创建和操作，Transformation 算子）

文章目录RDD(弹性分布式数据集)RDD的创建和操作常见的Transformation算子RDD(弹性分布式数据集)RDD（ResilientDistributedDataset）是Spark中的核心概念
想做CTO的任同学...·2024-01-30 15:12

spark学习笔记：弹性分布式数据集RDD(Resilient Distributed Dataset)

弹性分布式数据集RDD1.RDD概述1.1什么是RDDRDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合
黄道婆·2024-01-30 15:39

【Spark】之 RDD（Resilient Distributed Dataset）

文章目录RDD编程模型一、RDD之间的依赖关系（Dependency）如何生成RDD？二、RDD计算（1）RDD获得数据（2）RDD计算任务（3）RDD操作算子三、RDD容错（1）`Lineage`（2）`checkpoint`机制RDD编程模型需求：需要在多个并行操作之间重用工作数据集。典型场景：机器学习和图应用中常用的迭代算法（每一步对数据执行相似的函数）数据重用隐藏在系统实现背后，没有将重用
fanfan4569·2024-01-30 15:39

SparkCore之RDD---弹性分布式数据集

不可变3.依赖关系4.缓存（cache）5.检测点（CheckPoint）四、RDD的创建1.通过并行化的方式创建RDD2.读取文件生成RDD3.通过其他RDD转换五、RDD运行过程RDD的设计与运行原理Spark
孤独の√ 3·2024-01-30 15:09

【Spark】RDD(Resilient Distributed Dataset)究竟是什么？

目录基本概念官方文档概述含义RDD出现的原因五大属性以单词统计为例，一张图熟悉RDD当中的五大属性解构图RDD弹性RDD特点分区只读依赖缓存checkpoint基本概念官方文档介绍RDD的官方说明：http://spark.apache.org
关于我转生变成程序猿这档事·2024-01-30 15:08

横扫Spark之 - RDD（Resilient Distributed Dataset）弹性分布式数据集

概念二、理解1.弹性2.分布式3.数据集三、5个主要特性1.一个分区列表2.作用在每个分区上的计算函数3.一个和其他RDD的依赖列表4.一个分区器（可选）5.计算的最佳位置（可选）一、概念  RDD就是Spark
阿年、嗯啊·2024-01-30 15:07

数据治理实践 | 小文件治理

背景小文件是如何产生的：日常任务及动态分区插入数据（使用的Spark2MapReduce引擎），产生大量的小文件，从而导致
语兴数据·2024-01-30 15:29

部署在docker容器中的pg数据库同步操作

前言：今天接到一个运维需求，将部署在docker容器中的pg数据组做一个服务器的定时同步任务，但网上大部分都是直接安装在服务器上的，所以本次记录如何在宿主机进行pgsql的docker容器进行dump备份第一步
失落的IT流浪汉·2024-01-30 15:26

23国赛网络建设与运维正式赛题10.mariadb 服务11.podman 服务

14.mariadb服务任务描述：请安装mariadb服务，建立数据表。（1）配置linux2为mariadb服务器，创建数据库用户xiao，在任意机器上对所有数据库有完全权限。（2）创建数据库userdb；在库中创建表userinfo，表结构如下：字段名数据类型主键自增idint是是namevarchar(10)否否birthdaydatetime否否sexvarchar(5)否否passwor
南港清风i·2024-01-30 14:06

Day28-shell编程基础

Shell编程是Linux运维人员必须要学会的编程语言。最简单的编程语言。编程也是运维人员必须具备的本领：shell、Python。二、什么是shell？
王亚楠ooo·2024-01-30 14:09

23国赛网络建设与运维正式赛题4.apache2服务和5.nginx 和 tomcat 服务

4.apache2服务任务描述：请采用Apache搭建企业网站。（1）配置linux1为Apache2服务器，使用skills.lan或any.skills.lan（any代表任意网址前缀，用linux1.skills.lan和web.skills.lan测试）访问时，自动跳转到www.skills.lan。禁止使用IP地址访问，默认首页文档/var/www/html/index.html的内容为
南港清风i·2024-01-30 14:02

最新AI系统ChatGPT网站系统源码，支持Midjourney绘画V6 ALPHA绘画模型，GPT语音对话+ChatFile文档对话总结+DALL-E3文生图

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-01-30 14:49

ColorPicker的操作会影响Button按钮的样式,需注意~~~

ColorPicker的操作会将Button的样式修改,具体看下面的例子..例如:@namespaces"library://ns.adobe.com/flex/spark";@namespacemx"library
郎岳樟·2024-01-30 14:42
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他