spark运维

Spark与Kafka进行连接

在Java中使用Spark与Kafka进行连接，你可以使用SparkStreaming来处理实时流数据。以下是一个简单的示例，展示了如何使用SparkStreaming从Kafka读取数据并进行处理。
傲雪凌霜，松柏长青·2024-09-06 07:27

构建专业技能：MySQL数据备份策略的培训与实践

1.数据备份策略培训的重要性在数据库的日常运维中，数据备份策略的培训有助于：提升团队技能：确保团队成员
2401_85763803·2024-09-06 06:26

Spark入门：KMeans聚类算法

聚类（Clustering）是机器学习中一类重要的方法。其主要思想使用样本的不同特征属性，根据某一给定的相似度度量方式（如欧式距离）找到相似的样本，并根据距离将样本划分成不同的组。聚类属于典型的无监督学习（UnsupervisedLearning）方法。与监督学习（如分类器）相比1，无监督学习的训练集没有人为标注的结果。在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。
17111_Chaochao1984a·2024-09-06 05:46

Spark MLlib模型训练—聚类算法 K-means

SparkMLlib模型训练—聚类算法K-meansK-means是一种经典的聚类算法，广泛应用于数据挖掘、图像处理、推荐系统等领域。
不二人生·2024-09-06 04:14

Spark MLlib模型训练—聚类算法 Bisecting K-means

SparkMLlib模型训练—聚类算法BisectingK-means由于传统的KMeans算法的聚类结果易受到初始聚类中心点选择的影响，因此在传统的KMeans算法的基础上进行算法改进，对初始中心点选取比较严格
不二人生·2024-09-06 04:14

DAG (directed acyclic graph) 作为大数据执行引擎的优点

TL;DR-ConceptuallyDAGmodelisastrictgeneralizationofMapReducemodel.DAG-basedsystemslikeSparkandTezthatareawareofthewholeDAGofoperationscandobetterglobaloptimizationsthansystemslikeHadoopMapReducewhicha
joeywen·2024-09-06 04:43

Spark的Web界面

http://localhost:4040/jobs/在顶部导航栏上，可以点击以下选项来查看不同类型的Spark应用信息：Jobs-此视图将列出所有已提交的作业，并提供每个作业的详细信息，如作业ID、名称
静听山水·2024-09-06 04:40

最全金融数据_PySpark-3(2)，大数据开发学习的三个终极问题及学习路线规划

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取frompyspark.ml.evaluationimportBinaryClassificationEv
2401_84185145·2024-09-05 23:38

文章汇总 | 2018

12月RIA便签学习法10月财富最好的定义Spark分布式原理及碰到的三个坑在不断解决问题(矛盾)的过程进步9月《韭菜的自我修养》-股票交易是零和游戏吗?
学习之术·2024-09-05 22:27

Ingest Pipeline & Painless Script

包含3个字段，tags用逗号间隔PUTtech_blogs/_doc/1{"title":"Introducingbigdata......","tags":"hadoop,elasticsearch,spark
折纸虚桐·2024-09-05 22:03

Spark作业提交

一.作业提交1.1作业提交模式spark作业提交使用spark-submit命令，作业提交模式有cluster和client两种。
Tom无敌宇宙猫·2024-09-05 22:26

Spark基础

一.基础1.RDD机制  1.rdd分布式弹性数据集，简单的理解成⼀种数据结构，是spark框架上的通⽤货币。所有算⼦都是基于rdd来执⾏的，不同的场景会有不同的rdd实现类，但是都可以进⾏互相转换。
Tom无敌宇宙猫·2024-09-05 22:26

字节跳动10万节点HDFS集群多机房架构演进之路(1)

如何高效运维如此超大规模的集群要回答这些问题需要HDFS从多个方向迭代优化，例如DanceNN的上线、运维平台的建设等，本文不会介绍字节跳动HDFS所有的演进方案，而是聚焦在HDFS多机房架构的演进策略上
2401_84122782·2024-09-05 21:23

网络安全（黑客）自学

一、什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
白帽子凯哥·2024-09-05 17:57

Apache Spark简介

ApacheSpark是一个快速而通用的数据处理引擎，用于大规模数据处理和分析。它是由加州大学伯克利分校研究实验室开发的开源项目。
不知名的小Q·2024-09-05 17:52

spark streaming优点和缺点

优点：sparkstreaming会被转化为spark作业执行，由于spark作业依赖DAGScheduler和RDD，所以是粗粒度方式而不是细粒度方式，可以快速处理小批量数据，获得准实时的特性；以spark
scott_alpha·2024-09-05 15:42

1+X云计算运维与开发(中级)实战案例——Kafka集群部署

前言Kafka是一种开源的流处理平台和消息系统，被设计用于构建实时数据管道和流式应用程序，可以处理大规模的实时数据流，并提供高吞吐量、持久性存储和分布式处理能力。在实时数据处理、日志聚合、指标监控、事件驱动架构等场景下，Kafka有着广泛的应用。它的高性能、可扩展性以及丰富的功能使其成为了大数据领域中的重要工具之一。Kafka中发布订阅的对象是topic。用户可以为每类数据创建一个topic，把向
kuuuugua·2024-09-05 15:41

jenkins+docker实现可持续自动化部署springboot项目

目录一、前言二、微服务带来的挑战2.1微服务有哪些问题2.2微服务给运维带来的挑战三、可持续集成与交付概述3.1可持续集成与交付概念3.1.1持续集成3.1.2持续交付3.1.3可持续集成与交付核心理念
小码农叔叔·2024-09-05 14:37

Oracle日常运维命令

一、日常巡检命令1、检查Oracle实例状态SQL>setpages600lines600SQL>selectinstance_name,host_name,startup_time,status,database_statusfromv$instance;说明：“STATUS”表示Oracle当前的实例状态，必须为“OPEN”；“DATABASE_STATUS”表示Oracle当前数据库的状态，
一心只为学·2024-09-05 13:29

Spark

Spark是一个快速的、通用的集群计算系统，主要用于大规模数据处理。它最早由加州大学伯克利分校的AMPLab开发，并于2010年开源，后来由Apache软件基金会管理。
傲雪凌霜，松柏长青·2024-09-05 11:20

Windows系统下的Spark环境配置

一：Spark的介绍ApacheSpark是一个开源的分布式大数据处理引擎，它提供了一整套开发API，包括流计算和机器学习。
eeee~~·2024-09-05 11:19

kafka消费者重复消费同一个topic

场景是sparkstreaming消费kafka数据在这里sparkstream和kafka都是单节点的集群模式。同时起两个不同的groupid的应用，发现会发生后起来的应用消费不到数据。
小琳ai·2024-09-05 10:06

零基础转行学网络安全怎么样？能找到什么样的工作？

零基础转行学习网络安全是完全可行的，但需要明确的是，网络安全是一个既广泛又深入的领域，包含了网络协议、系统安全、应用安全、密码学、渗透测试、漏洞挖掘、安全编程、安全运维等多个方面。。
爱吃小石榴16·2024-09-05 08:58

华为云服务-运维篇-负载均衡介绍与平台算法使用_华为负载均衡设备(1)

本地负载均衡不需要花费高额成本购置高性能服务器，只需利用现有设备资源,就可有效避免服务器单点故障造成数据流量的损失，通常用来解决数据流量过大、网络负荷过重的问题。同时它拥有形式多样的均衡策略把数据流量合理均衡的分配到各台服务器。如果需要在现在服务器上升级扩充，不需改变现有网络结构、停止现有服务，仅需要在服务群中简单地添加一台新服务器。2.4、全局负载均衡2.4.1、简介全局负载均衡针对不同地理位置
一个射手座的程序媛·2024-09-05 07:19

Hbase BulkLoad用法

要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。
kikiki2·2024-09-05 07:29

【30天玩转python】Python简介与安装

它以简单易懂的语法和强大的功能性迅速流行，广泛应用于Web开发、数据分析、人工智能、自动化运维等多个领域。
爱技术的小伙子·2024-09-05 04:29

【Linux服务器故障排查实用指南】

原文地址：【Linux服务器故障排查实用指南】作者：蚁巡运维平台#运维#http://www.antvision.cn/由于造成网络问题的因素多种多样，因此网络故障排查技能就成了每位服务器或网络服务负责人必不可少的重要素质
weixin_34214500·2024-09-05 01:11

【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二十四）

本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中
向往风的男子·2024-09-05 00:07

【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（十九）

本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中
向往风的男子·2024-09-05 00:07

【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二）

本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中
向往风的男子·2024-09-05 00:37

EMR组件部署指南

本文将详细介绍如何部署EMR的主要组件,包括:JDK1.8ElasticsearchKafkaFlinkZookeeperHBaseHadoopPhoenixScalaSparkHive准备工作所有操作都在
ivwdcwso·2024-09-05 00:05

【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二十三）

本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中
向往风的男子·2024-09-04 23:02

9.2 spark内存管理之 UnifiedMemoryManager

图片来源https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-apache-spark-memory-management/index.html1
GongMeng·2024-09-04 20:46

Sublime text3+python3配置及插件安装

rayson_666(Rayson开发分享)个人专研技术方向：微服务方向：springboot,springCloud,Dubbo分布式/高并发：分布式锁，消息队列RabbitMQ大数据处理：Hadoop,spark
raysonfang·2024-09-04 19:23

探索Ansible自动化运维：提高效率的关键工具

探索Ansible自动化运维：提高效率的关键工具在现代IT环境中，自动化已经成为提高效率、减少错误和优化资源利用的重要手段。
一个代码猎人·2024-09-04 19:05

基线配置讲解

再就是由于不同供应商的支持原因，导致现存的操作系统和应用版本跨度很广，安全人员或运维人员资源不够的情况下很难支持做基线配置工作。
梦龙zmc·2024-09-04 15:47

多图详解kafka生产者消息发送过程

:fire:《Kafka运维管控平台LogiKM》:fire::pencil2:更强大的管控能力:pencil2::tennis:更高效的问题定位能力:tennis::sunrise:更便捷的集群运维能力
JAVAQXQ·2024-09-04 15:13

华为OD机试真题-日志采集-2024年OD统一考试（E卷）

题目描述日志采集是运维系统的的核心组件。日志是按行生成，每行记做一条，由采集系统分批上报。如果上报太频繁，会对服务端造成压力;如果上报太晚，会降低用户的体验;·如果一次上报的条数太多，会导致超时失败。
ai因思坦·2024-09-04 15:42

java.io.InvalidClassException(spark任务运行失败）

背景：客户集群内偶尔会出现java.io.InvalidClassException:org.apache.kudu.spark.kudu.KuduRDD;localclassincompatible:
LATASA·2024-09-04 09:30

2022-2023学年广州市中等职业学校学生技能竞赛网络建设与运维赛项样题

2022-2023学年广州市中等职业学校学生技能竞赛网络建设与运维赛项样题2023年09月一、竞赛内容分布“网络建设与运维”竞赛共分四个部分，其中：第一部分：网络运维及安全部署项目（450分）第二部分：
爱网猫·2024-09-04 09:29

使用pgrs在wsl中为postgres写拓展

duckdb,zombodb,datafusion等等产品都是数据组合流思路体现,把这套功法练到大成,处于2024年,综合数据规模/相应速度/和数据应用层解耦,就有了一个最佳答案.比以前hadoop,spark
wangmarkqi·2024-09-04 03:19

网络安全售前入门10安全服务——安全培训服务

应对信息安全风险能力、信息系统安全运维水平，降低信息系统安全风险的重要工作，是《网络安全法》的合规性要求。利用小视频或者其他新媒体手段提供协助XX科普网络安全相关知识。
努力工作的网安人·2024-09-04 00:34

切片上传记录

核心就是1前端分片2后端组装3md5校验Spark-md5介绍用md5就是为了防止文件被篡改，小的文件直接可以用整个文件传入，返回文件md5，但是越大的文件（超过2G),如果用整文件的方式，时间会很久，
Miya_Ye·2024-09-04 00:32

谈谈PhxSQL的设计和实现哲学（上）

PhxSQL完全兼容MySQL，建立在简单可逻辑证明的一致性模型之上，架构、部署、运维
OpenIMup·2024-09-03 23:53

阿里云服务器内存型r7、r8a、r8y实例区别参考

这几个实例规格，相比于活动内的经济型e、通用算力型u1实例来说，这些实例规格等性能更强，与计算型和通用型相比，它的内存更大，因此这些内存型实例规格主要适用于数据库、中间件和数据分析与挖掘，Hadoop、Spark
阿里云最新优惠和活动汇总·2024-09-03 22:41

企业IT服务管理（ITSM）的实践与探索

在这个背景下，某大型集团（以下简称“该机构”）逐步构建了完善的IT服务管理体系，其发展历程和实践经验对于广大运维团队而言，具有极高的参考价值。
MXsoft618·2024-09-03 21:42

ansible自动化运维项目

在自动化运维中，Ansible是一种强大的工具，它通过无代理的方式来管理配置、部署应用程序和编排复杂任务。
iangyu·2024-09-03 19:34

Docker学习系列（七）：使用Kubernetes Operators进行应用的自动化运维管理

使用KubernetesOperators进行应用的自动化运维管理KubernetesOperators是扩展Kubernetes功能的强大工具，可以自动化复杂的应用运维任务。
黄宝良·2024-09-03 16:47

学习运维第五天:文本处理工具和正则表达式

文本编辑工具之神VIM使用vim初步vim命令格式vim[OPTION]...FILE...#常用选项+n##打开文件后让光标处于第N行的行首，+默认尾行+/PATTERN#让光标处于第一个被PATTERN匹配到的行行首-bfile#二进制方式打开文件-dfile1file2…#比较多个文件，相当于vimdiff-mfile#只读打开文件-efile#直接进入ex模式，相当于执行exfile-yf
运维小白。。·2024-09-03 16:13

学习运维第七天:bash shell 脚本编程

编程基础程序组成程序一组计算机能识别和执行的指令，运行于电子计算机上，满足人们某种需求的信息化工具。它以某些程序设计语言编写，运行于某种目标结构体系上。算法算法是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，代表着用系统的方法描述解决问题的策略机制。数据结构数据结构是计算机存储、组织数据的方式。数据结构是指相互之间存在一种或多种特定关系的数据元素的集合。通常情况下，精心选择的数据结构可
运维小白。。·2024-09-03 16:13
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他