spark运维

自学黑客（网络安全）技术——2024最新

01什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
九九归二·2024-03-28 21:26

Azkaban各种类型的Job编写

command：Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java任务hive：支持执行hiveSQLpig：pig脚本任务spark
__元昊__·2024-03-28 21:00

网络安全（黑客技术）—自学

1.网络安全是什么网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
德西德西·2024-03-26 22:43

SQL运维_Unix下MySQL-8.0.18配置文件示例

SQL运维_Unix下MySQL-8.0.18配置文件示例MySQL是一个关系型数据库管理系统,由瑞典MySQLAB公司开发,属于Oracle旗下产品。
Mostcow·2024-03-26 17:06

关于HDP的20道高级运维面试题

HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive
编织幻境的妖·2024-03-26 15:34

网络安全（黑客技术）—2024自学

1.网络安全是什么网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
德西德西·2024-03-26 10:57

【Hadoop】使用Scala与Spark连接ClickHouse进行数据处理

风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域，ApacheSpark
音乐学家方大刚·2024-03-26 09:56

网络安全（黑客）—2024自学笔记

前言一、什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
羊村最强沸羊羊·2024-03-26 07:23

谈谈对前端性能监控的理解和实践

通过前端性能监控，开发者和运维团队能够及时发现并解决性能瓶颈，从而提升用户体验和系统稳定性。理解前端性能监控，首先要明确其重要性。在移动互联网时代，用户对网页和应用的响应速度有着极高的要求。
Layla_c·2024-03-26 05:20

Devops-02-Jpom 简而轻的低侵入式在线构建、自动部署、日常运维、项目监控软件

Devops-02-Jpom简而轻的低侵入式在线构建、自动部署、日常运维、项目监控软件代码质量管理SonarQube-01-入门介绍项目管理平台-01-jira入门介绍缺陷跟踪管理系统，为针对缺陷管理、
老马啸西风·2024-03-25 19:08

Docker(一)：Docker入门教程

在云服务概念兴起之后，Docker的使用场景和范围进一步发展，如今在微服务架构越来越流行的情况下，微服务+Docker的完美组合，更加方便微服务架构运维部署落地。
蓝胖子的白日梦丶·2024-03-25 09:27

企业数字化转型必读：数据处理是“终极任务”

对于企业来说，在开发体验、开发效率、用户使用体验以及运维成本之间寻找平衡，可谓一项“终极任务”——以下是来自不同行业的4个客户案例，一起来看看他们是如何在MDB的帮忙下降本增
MongoDB 数据平台·2024-03-24 21:11

Spark面试整理-Spark是什么？

ApacheSpark是一个开源的分布式计算系统，它提供了一个用于大规模数据处理的快速、通用、易于使用的平台。它最初是在加州大学伯克利分校的AMPLab开发的，并于2010年开源。
不务正业的猿·2024-03-24 13:02

Unix运维_Unix下配置PHP-7.x.x和Apache-2.x.x

Unix运维_Unix下配置PHP-7.x.x和Apache-2.x.xApacheHTTPServer(简称Apache,音译为:阿帕奇)是Apache软件基金会的一个开放源码的网页服务器。
Mostcow·2024-03-22 04:20

网络安全（黑客）—2024自学

1.网络安全是什么网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
德西德西·2024-03-20 08:18

网络安全（黑客）0基础到精通，看这一篇就够了！

前言一、什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
羊村最强沸羊羊·2024-03-20 01:39

2024网络安全-自学笔记

前言一、什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
羊村最强沸羊羊·2024-03-20 01:39

服务维护之crontab定时监测告警

项目维护中服务会不定时的出现异常，比如502、404、101等等，当工作任务繁重时又不能实时监测，而linux的运维者，逃脱不了定时任务的命题，最常用和快捷简单的是crontab，在少量机器的情况下，crontab
羽恒·2024-03-19 04:38

【Nginx】使用普通用户安装和运行Nginx经验分享

各位做运维的小伙伴在日常工作中，可能都会习惯性的使用root超级用户来安装和运行Nginx。
cnskylee·2024-03-19 03:11

运维面试题（网络基础、系统管理）

目录网络基础类1、简述ISO/OSI七层模型的==分层与作用==相关-==TCP/IP四（五）层==模型与作用?2、简述TCP三次握手的过程相关-简述四次挥手的过程3、172.22.141.231/26，该IP位于哪个网段？该网段拥有多少可用IP地址？广播地址是什么?系统管理1、权限优化相关-用户user1，对/testdir目录有写和执行权限时，该目录下的只读文件file1是否可修改和删除?2、
王尼码·2024-03-19 03:11

考试总结

1.1运维人员的重要职责有哪些（3分）1.企业数据不丢失不泄露2.7*24小时不宕机3.提升用户体验1.2绝对路径与相对路径概念和区别是什么？
chloepang·2024-03-19 02:57

Spark Q&A

A:从Spark2.1开始，你可以通过启用spark.sql.files.ignoreCorruptFiles选项来忽略损毁的文件。
耐心的农夫2020·2024-03-19 00:12

linux安装单机版spark3.5.0

一、spark介绍是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0
爱上雪茄·2024-03-17 18:57

网络安全（黑客技术）—0基础自学

前言一、什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
羊村最强沸羊羊·2024-03-17 13:49

MySQL数据库管理

MySQL库和表的创建和删除方法掌握MySQL增删改查常见操作掌握MySQL用户权限1.1使用MySQL数据库在熟悉安装及访问MySQL数据库以后，接下来将学习MySQL数据库的基本操作，这也是在服务器运维工作工不可或缺的知识
L罗盛·2024-03-16 13:50

【项目经验】Redis Sentinel从工程中下线并对业务迁移-进行中

一、背景：某天，接到DBA通知，Redissentinel只支持到3.2.X(这个命题有问题，往下翻，见彩蛋)，为节省运维成本，提升运维效率，决定将工程中使用的Redissentinel下线，都使用Rediscluster
小王师傅66·2024-03-16 05:06

基于Java的天然气工程运维系统(Vue.js+SpringBoot)

目录一、摘要1.1项目介绍1.2项目录屏二、功能模块2.1系统角色分类2.2核心功能2.2.1流程12.2.2流程22.3各角色功能2.3.1系统管理员功能2.3.2用户服务部功能2.3.3分公司（施工单位）功能2.3.3.1技术员角色功能2.3.3.2材料员角色功能2.3.4安全质量部功能2.3.5技术设备部功能2.3.6经营计划部功能2.3.7财务部功能三、研究背景和意义3.1研究背景3.2研
杨荧·2024-03-15 10:39

Spark的数据结构——RDD

RDD的5个特征下面来说一下RDD这东西，它是ResilientDistributedDatasets的简写。咱们来看看RDD在源码的解释。Alistofpartitions:在大数据领域，大数据都是分割成若干个部分，放到多个服务器上，这样就能做到多线程的处理数据，这对处理大数据量是非常重要的。分区意味着，可以使用多个线程了处理。Afunctionforcomputingeachsplit：作用在
bluedraam_pp·2024-03-14 08:32

构建轻量级CentOS Docker镜像的实战指南

随着容器技术的迅速发展，Docker已成为现代应用部署和运维的标准工具之一。其中，构建自定义的Docker镜像是将应用程序无缝集成到容器化环境的关键步骤。
Evaporator Core·2024-03-14 00:51

大数据开发（Spark面试真题-卷一）

大数据开发（Spark面试真题）1、什么是SparkStreaming？简要描述其工作原理。2、什么是Spark内存管理机制？请解释其中的主要概念，并说明其作用。
Key-Key·2024-03-13 07:58

Mysql运维篇（六） 部署MHA--一主二从部署

一路走来，所有遇到的人，帮助过我的、伤害过我的都是朋友，没有一个是敌人。如有侵权，请留言，我及时删除！MAH架构图一、上传MySQL软件1、同步MySQL软件[root@mysql01~]#ls-lrttotal626112-rw-r--r--.1rootroot641127384Jan3015:13mysql-5.7.20-linux-glibc2.12-x86_64.tar.gz-rw----
董乐，快乐的乐！·2024-03-13 05:25

基于HBase和Spark构建企业级数据处理平台

摘要：在中国HBase技术社区第十届Meetup杭州站上，阿里云数据库技术专家李伟为大家分享了如何基于当下流行的HBase和Spark体系构建企业级数据处理平台，并且针对于一些具体落地场景进行了介绍。
weixin_34071713·2024-03-12 22:44

lightGBM专题4:pyspark平台下lightgbm模型保存

之前的文章（pysparklightGBM1和pysparklightGBM2）介绍了pyspark下lightGBM算法的实现，本文将重点介绍下如何保存训练好的模型，直接上代码：frompyspark.sqlimportSparkSessionfrompyspark.ml.featureimportStringIndexer
I_belong_to_jesus·2024-03-12 12:30

详解乐观锁、悲观锁以及它们各自的应用

转发“详解乐观锁、悲观锁以及它们各自的应用”波波说运维为什么需要锁（并发控制）？在多用户环境中，在同一时间可能会有多个用户更新相同的记录，这会产生冲突。这就是著名的并发性问题。
路亚历克斯·2024-03-12 10:42

大数据开发（Spark面试真题-卷六）

大数据开发（Spark面试真题）1、SparkHashPartitioner和RangePartitioner的实现？
Key-Key·2024-03-12 02:16

大客户项目管理策略思考

都是根据工作实际内容缺乏信息化总体规划，项目开发建设存在突击性，部分项目时间要求短，属于突击需求大客户面临的问题-自己：1、项目建设时间短，质量不高，项目间各自独立开发，重复开发，复用率低，开发规范差，后期运维压力大
guwei666666·2024-03-12 02:45

大数据开发（Hadoop面试真题-卷二）

6、Spark为什么比MapReduce更快？7、详细描述一
Key-Key·2024-03-12 02:15

运维随录实战（14）之docker搭建mysql主从集群(Replication))

1,从官方景镜像中拉取mysql镜像:dockerpullmysql:8.0.24--platformlinux/x86_642,创建master和slave容器:在创建之前先设置网段dockernetworkcreate--subnet=172.20.0.0/24soil_networkmaster:dockerrun-d-p3306:3306--namemysql-master--netsoi
Loren_云淡风轻·2024-03-11 19:35

运维系列：Docker 配置国内源加速(2023/05/14)

Docker配置国内源加速(2023/05/14）Docker配置国内源加速(2023/05/14)1.修改配置文件2.重启`Docker`服务3.查看是否成功Docker配置国内源加速(2023/05/14)Docker在拉取镜像时使用默认源速度会比较慢，因此需要配置国内镜像源进行加速。下面以Ubunut16.04和Docker20.10.2为例演示Docker配置国内源加速的过程。1.修改配置
坦笑&&life·2024-03-11 08:35

Spark从入门到精通29:Spark SQL：工作原理剖析以及性能优化

SparkSQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面，例如MySQL、Oracle等，包括现在大数据领域的数据仓库，例如Hive。
勇于自信·2024-03-11 00:20

1分钟玩转Kafka

Kafka是一种分布式的、基于发布/订阅的消息系统，其极致体验让人欲罢不能，但操心的运维、复杂的安全策略、可靠性易用性的缺失、算不上极致的性能发挥、并不丰富的消息服务功能，仍需要使用者付出诸多的背后工作
中间件小哥·2024-03-10 21:58

docker-swarm集群管理命令

当前个人负责的项目基本上后端只有一个人，运维也比较费时费力。就想着搭建一个集群，对比了k8s、k3s和d
chenzfp·2024-03-09 12:39

大数据开发（Hadoop面试真题-卷九）

3、Sparkmapjoin的实现原理？4、Spark的stage如何划分？在源码中是怎么判断属于ShuffleMapStage或ResultStage的？5、SparkreduceByKe
Key-Key·2024-03-09 10:06

网络安全（黑客）—2024自学

1.网络安全是什么网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
羊村最强沸羊羊·2024-03-09 10:06

Spark Streaming（二）：DStream数据源

1、输入DStream和Receiver输入（Receiver）DStream代表了来自数据源的输入数据流，在之前的wordcount例子中，lines就是一个输入DStream（JavaReceiverInputDStream），代表了从netcat（nc）服务接收到的数据流。除了文件数据流之外，所有的输入DStream都会绑定一个Receiver对象，该对象是一个关键的组件，用来从数据源接收数
雪飘千里·2024-03-09 01:28

MySQL运维实战之备份和恢复（8.6）将数据库恢复到指定时间点

作者：俊达恢复到指定时间点使用全量备份和增量备份文件，都只能将数据库恢复到备份结束的时间。通过binlog，可以将数据库恢复到任意时间点（前提是备份和该时间点之间的binlog都存在）。找到时间点对应的binlog恢复到时间点，首先需要定位该时间点对应的binlog位点（binlog文件和文件内的偏移量）。每个binlog头部都记录了该binlog产生的时间，我们可以使用mysqlbinlog工具
云掣YUNCHE·2024-03-08 21:48

自动化运维工具----Ansible入门详解

1.ansible是新出现的自动化运维工具，基于python开发，集合了从多的运维工具（puppet、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。
效好飞·2024-03-08 11:05

Spark常见问题汇总

注意：如果Driver写好了代码，eclipse或者程序上传后，没有开始处理数据，或者快速结束任务，也没有在控制台中打印错误，那么请进入spark的web页面，查看一下你的任务，找到每个分区日志的stderr
midNightParis·2024-03-08 03:25

RAID磁盘阵列部署和管理

（2）掌握RAID的基础运维。基础准备安装CentOS7操作系统主机，并添加4块20GB硬盘。案例实施创建raid0利用磁盘分区新建2个磁盘分区，每个大小为20GB。
XYong-@·2024-03-07 02:23

Raid磁盘阵列并管理

目录优点：缺点命令创建raid0raid5运维操作RAID（RedundantArrayofIndependentDisks）即独立磁盘冗余阵列，通常简称为磁盘阵列。
mhcwz·2024-03-07 01:22
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他