spark运维第24页

openGauss学习笔记-212 openGauss 数据库运维-日志参考

文章目录openGauss学习笔记-212openGauss数据库运维-日志参考212.1日志类型简介212.2系统日志212.3操作日志212.4审计日志212.5WAL日志212.6性能日志openGauss

superman超哥·2024-02-03 23:20

AWS-06-ECS

使用AmazonECS，您将不再需要安装、运维、扩展自己的集群管理基础设施。只需进行简单的API调用，您便可以启动和停止支持容器的应用程序

ByChen0919·2024-02-03 22:09

三轴 MEMS 加速度传感器

一、功能概述1.1设备简介本模块为了对电机、风机、水泵等旋转设备进行预测性运维而开发，只需一个模块，就可以采集电机的3路振动加速度信号（XYZ轴）和一路温度信号，防护等级IP67，能够适应恶劣的工业环境

zr526855447·2024-02-03 21:50

hadoop、spark、flink集群修改默认ssh端口号

大数据集群在实际搭建过程中，其默认ssh端口不一定都是22，这时需要根据各自的配置文件进行适配。ssh端口号默认为22，以centos7.x为例，可以在/etc/ssh/sshd_config中进行修改，如下示例将22改为22222：#IfyouwanttochangetheportonaSELinuxsystem,youhavetotell#SELinuxaboutthischange.#sem

0X码上链·2024-02-03 21:12

【测试运维】web自动化全知识点笔记第1篇：什么是Web自动化测试（已分享，附代码）

本系列文章md笔记（已分享）主要讨论Web自动化测试相关知识。了解什么是自动化，理解什么是自动化测试以及为什么要使用自动化测试。具体包含：WebDriver的基本操作，WebDriver的鼠标、键盘操作，下拉选择框、警告框、滚动条操作，frame表单切换、多窗口切换，掌握WebDriver屏幕截图方法。以及自动化测试-高级篇，掌握UnitTest框架的基础使用方法，掌握断言assertEqual、

程序员一诺·2024-02-03 21:38

ChatGPT+XMind，炸裂了！

用ChatGPT做的linux系统运维入门学习路线思维导图，先看效果1、输入问题【linux系统运维入门学习路线】，并且后面要加【用Markdown代码块输出，必须是Markdown代码块输出】https

释然IT杂谈·2024-02-03 21:21

Spark程序执行逻辑迷你版

再把Task发出去DAGScheduler的功能，将rdd转换逻辑切分stage，生成taskset然后模拟taskScheduler的功能，将这些task发到Executor上去执行（真正的发送逻辑sparksubmit

{BOOLEAN}·2024-02-03 21:21

2019-10-08 大数据开发进阶之路

市场需要的水平熟练掌握Linux、SQL与HiveSQL掌握Hadoop生态主流技术，如HDFS/MapRedunce/Yarn/HBase/Flume等掌握Spark生态核心技术，如Spark架构/RDD

红瓦李·2024-02-03 20:39

Spark常用Transformations算子(二)

joincogroupcartesianpiperepartitionAndSortWithinPartitionsglomrandomSplitzipzipWithIndexzipWithUniqueId(2)joinobjectJoinTest{defmain(args:Array[String]):Unit={valconf=newSparkCon

数据萌新·2024-02-03 20:03

大数据环境搭建(一)-Hive

1hive介绍由Facebook开源的,用于解决海量结构化日志的数据统计的项目本质上是将HQL转化为MapReduce、Tez、Spark等程序Hive表的数据是HDFS上的目录和文件Hive元数据metastore

xfchn多多学习学习·2024-02-03 20:42

【Spark】Spark作业执行原理--提交任务

本篇结构：创建Task创建TaskSetManager并向DriverEndpoint发送消息分配资源发送消息告诉Executor去执行Task一、创建Task当调度阶段运行后，在DAGScheduler的submitMissingTasks方法中会根据调度阶段Partition数量拆分对应个数任务。对于ResultStage，生成ResultTask，对于ShuffleMapStage生成Shu

w1992wishes·2024-02-03 19:17

如何快速便捷地查看MySQL数据库版本

前言在日常的开发和运维工作中，了解所使用的MySQL数据库的具体版本至关重要，因为不同的版本可能支持不同的特性和语法，并且在进行兼容性检查、升级规划或者排查问题时，版本信息都是不可或缺的关键数据。

李少兄·2024-02-03 17:22

spark WordCount

SparkWC.scalapackageday06importorg.apache.spark.rdd.RDDimportorg.apache.spark.

lehuai·2024-02-03 16:27

0基础自学linux运维-2.28-小结：小公司运维基础技术结束

而且win也限制了运维的能力，所以win运维如果非高手级，在中国一般收入偏低。小公司电商一般都是官网（最终目的是为了盈利，而非宣传）刚刚开始的时候的构架为：初期架构（几台）1）web:一般是1台，一般

hualinux·2024-02-03 16:23

阿里云服务器2核16G、4核32G、8核64G配置最新收费标准及活动价格

2核16G、8核64G、4核32G配置的云服务器处理器与内存比为1:8，这种配比的云服务器一般适用于数据分析与挖掘，Hadoop、Spark集群和数据库，缓存等内存密集型场景，因此，多为企业级用户选择，

阿里云最新优惠和活动汇总·2024-02-03 15:07

大数据组件笔记 -- Spark 入门

文章目录一、简介二、Spark运行模式2.1本地模式2.2集群角色2.3Standalone模式2.4Yarn模式2.5总结三、WordCount开发案例实操一、简介Spark是一种基于内存的快速、通用

L小Ray想有腮·2024-02-03 15:53

Spark大数据分与实践笔记（Scala语言基础-1）

目录1.1Scala概述1.1.1Scala的下载安装1.1.2在IDEA开发工具中下载安装Scala插件1.1.3开发第一个Scala程序Spark是专为大规模数据处理而设计的快速通用的计算引擎，它是由

妉妉师姐·2024-02-03 15:49

SqlSever查询某个表的列名称、说明、备注、注释，类型等信息

在我后期维护别人的项目就遇到不采用分页一次加载数据的问题，还好运维人员只是想在数据展示

A_nanda·2024-02-03 14:35

SpringBoot或Jeecg 配置SSL实现https，http和https端口都要，http转发到https

如果没有阿里云腾讯云只是本地测试，可以参考https://www.cnblogs.com/SparkMore/p/14067340.html有阿里云购买域名域名备案购买服务器宽带收费和流量收费都可以域名绑定服务器

天海华兮·2024-02-03 12:05

初识Apache Paimon

第0章前言0.1主流数据湖工具Delta：由Spark背后商业公司Databricks出品，因此很多功能强兼容Spark，对其他计算引擎不是很友好。

Racin_01·2024-02-03 12:30

Docker容器中的Docker-compose的学习安装

本来今天想写下实战的教程的，但是下载spark的内容太慢了。

胖琪的升级之路·2024-02-03 10:42

PySpark笔记(三)：DataFrame

DataFrame是在Spark1.3中正式引入的一种以RDD为基础的不可变的分布式数据集，类似于传统数据库的二维表格，数据在其中以列的形式被组织存储。

Daisy丶·2024-02-03 10:31

Hbase - 自定义Rowkey规则

中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark

kikiki2·2024-02-03 10:05

AI+数据库——梳理Snowflake 和 Databricks 在峰会上的重要发布，快来看市值数百亿美金的数据巨头的贴身肉搏！

他们原本定位略有不同，Databricks是一个用于数据工程、数据科学和分析的集成环境，它构建在ApacheSpark之上，提供实

小猿姐·2024-02-03 10:51

详解平台工程的概念及其正确的实施策略

团队中的问题1.1传统组织中略显僵化的流程1.2DevOps带来的认知负担和重复劳动DevOps带来的认知负担DevOps带来了较高的人力和一致性的成本2平台工程如何“拯救世界”2.1标准化工具使用2.2接管运维工作

小猿姐·2024-02-03 10:51

【机器学习】3万字长文，PySpark入门级学习教程，框架思维

为什么要学习Spark？

风度78·2024-02-03 08:00

【数据开发】pyspark入门与RDD编程

【数据开发】pyspark入门与RDD编程文章目录1、pyspark介绍2、RDD与基础概念3、RDD编程3.1Transformation/Action3.2数据开发流程与环节1、pyspark介绍pyspark

小哈里·2024-02-03 08:58

Spark如何用repartition来提升执行效率

Spark如何用repartition来提升执行效率repartition是Spark中的一个转换操作，它可以用来增加或减少分区的数量。

HanhahnaH·2024-02-03 08:28

MongoDB从入门到实战之MongoDB简介

这个非关系型数据库都应该挺熟悉的，在一些高性能、动态扩缩容、高可用、海量数据存储、数据价值较低、高扩展的业务场景下MongoDB可能是我们的首选，因为MongoDB通常能让我们以更低的成本解决问题（包括学习、开发、运维等成本

追逐时光者·2024-02-03 08:44

NetApp FAS2750 和 FAS2820 简化分布式企业的存储

NetAppFAS2750的规格非常适合需要轻松部署和简化运维的中小型企业。

小信瑞·2024-02-03 08:08

微服务介绍

微"、什么是"服务"，微狭义来讲就是体积小、著名的"2pizza团队"很好的诠释了这一解释（2pizza团队最早是亚马逊CEOBezos提出来的，意思是说单个服务的设计，所有参与人从设计、开发、测试、运维所有人加起来只需要

xmh-sxh-1314·2024-02-03 07:25

京东物流基于 StarRocks 的数据分析平台建设

京东物流在运营数字化及决策智能化过程中，实时化运营分析的业务需求越来越多，原有平台架构中的数据孤岛、查询性能低、运维难度大、开发效率低等问题日益凸显。

StarRocks_labs·2024-02-03 07:48

误删节点或集群怎么办？这里有一颗后悔药

拥有6年的云计算领域经验，经历了OpenStack到Kubernetes的技术变革，无论底层操作系统Linux，还是虚拟化KVM或是Docker容器技术都有丰富的运维和实践经验。

RancherLabs·2024-02-03 07:39

MySQL运维实战(5.5) 数据导入导出时的字符集问题

作者：俊达引言当涉及到在MySQL中进行数据导入和导出时，字符集相关的问题成为关键因素。为了确保数据的准确导入和导出，我们可以借助诸如LOADDATA、SELECTINTOOUTFILE或mysqldump等工具。在以下内容中，我们将详细分析与数据导入和导出相关的字符集问题，提供解决方案以确保数据的完整性和一致性。准备测试数据创建测试表，2个字段分别使用gbk和utf8字符集mysql>creat

云掣YUNCHE·2024-02-03 07:34

ansible的常用模块配置说明及批量部署服务

ansible知识点：一、Ansible特点：1、部署简单，只需在主控端部署Ansible环境，被控端无需做任何操作；2、有大量常规运维操作模块，可实现日常绝大部分操作；3、配置简单、功能强大、扩展性强

lqcbj_IT老混混·2024-02-03 06:16

linux系统运维基础14

1、创建私有CA并进行证书申请。建立私有CA及办法证书步骤：1、创建所需要的文件touch/etc/pki/CA/index.txt#生成证书索引数据库文件echo01>/etc/pki/CA/serial#指定第一个颁发证书的序列号2、CA生成签名私钥cd/etc/pki/CA/(umask066;opensslgenrsa-outprivate/cakey.pem2048)3、CA生成自签名证

也许是你的幽默我不懂·2024-02-03 05:26

Docker安装可视化工具Portainer

Docker安装可视化工具Portainer随着Docker的普及，容器化技术已经成为许多开发者和运维人员的首选。然而，通过命令行管理Docker容器可能对一些新手来说有些繁琐。

ℳ₯㎕ddzོꦿ࿐·2024-02-03 05:22

由《幻兽帕鲁》私服漏洞引发的攻击面思考

运维工具看了下系统负载发现CPU已经跑满。故障排查登录服务器进行排查发现存在可疑的docker进程。

小名空鵼·2024-02-03 04:39

【转】腾讯工作3年反思：为什么优秀员工不是你？

程序员共读今天以下文章来源于机智的程序员小熊，作者小熊爱编程机智的程序员小熊一个爱思考的程序员，专注于开发、运维、云技术、计算、网络、云存储、数据库、linux等编程知识，期待你的关注。

madrabbit1987·2024-02-03 03:02

2019-03-16 Spark基本架构及运行原理

SparkCore:包含Spark的基本功能，包含任务调度，内存管理，容错机制等，内部定义了RDDs(弹性分布式数据集)，提供了很多APIs来创建和操作这些RDDs。为其他组件提供底层的服务。

做一只乐观的小猴子·2024-02-03 02:04

JAVA应用CPU跳点自动DUMP工具 | 京东物流技术团队

然而，对于运维人员来说，这

京东云技术团队·2024-02-03 02:28

聊聊postgresql的double buffering 问题

最近有朋友和我们交流PostgreSQL运维的问题，其中交流提纲里提到了关于DoubleBuffering的问题。

DBAIOps社区·2024-02-03 01:29

分布式数据库健康评估有什么不同

前阵子和一个做数据库服务的朋友交流，他们承接了某个企业的国产分布式数据库的运维工作，安排了一个该数据库的认证工程师驻场做服务，不过从半年的工作情况来看，效果并不好。

DBAIOps社区·2024-02-03 01:59

从一个Oracle DBA的角度来谈谈PG数据库的优化

作为一个曾经的OracleDBA，如果在现阶段要转型的话，学习一下PG数据库的运维，也算是未雨绸缪了。