spark运维

大数据开发（Spark面试真题-卷六）

大数据开发（Spark面试真题）1、SparkHashPartitioner和RangePartitioner的实现？
Key-Key·2024-03-12 02:16

大客户项目管理策略思考

都是根据工作实际内容缺乏信息化总体规划，项目开发建设存在突击性，部分项目时间要求短，属于突击需求大客户面临的问题-自己：1、项目建设时间短，质量不高，项目间各自独立开发，重复开发，复用率低，开发规范差，后期运维压力大
guwei666666·2024-03-12 02:45

大数据开发（Hadoop面试真题-卷二）

6、Spark为什么比MapReduce更快？7、详细描述一
Key-Key·2024-03-12 02:15

运维随录实战（14）之docker搭建mysql主从集群(Replication))

1,从官方景镜像中拉取mysql镜像:dockerpullmysql:8.0.24--platformlinux/x86_642,创建master和slave容器:在创建之前先设置网段dockernetworkcreate--subnet=172.20.0.0/24soil_networkmaster:dockerrun-d-p3306:3306--namemysql-master--netsoi
Loren_云淡风轻·2024-03-11 19:35

运维系列：Docker 配置国内源加速(2023/05/14)

Docker配置国内源加速(2023/05/14）Docker配置国内源加速(2023/05/14)1.修改配置文件2.重启`Docker`服务3.查看是否成功Docker配置国内源加速(2023/05/14)Docker在拉取镜像时使用默认源速度会比较慢，因此需要配置国内镜像源进行加速。下面以Ubunut16.04和Docker20.10.2为例演示Docker配置国内源加速的过程。1.修改配置
坦笑&&life·2024-03-11 08:35

Spark从入门到精通29:Spark SQL：工作原理剖析以及性能优化

SparkSQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面，例如MySQL、Oracle等，包括现在大数据领域的数据仓库，例如Hive。
勇于自信·2024-03-11 00:20

1分钟玩转Kafka

Kafka是一种分布式的、基于发布/订阅的消息系统，其极致体验让人欲罢不能，但操心的运维、复杂的安全策略、可靠性易用性的缺失、算不上极致的性能发挥、并不丰富的消息服务功能，仍需要使用者付出诸多的背后工作
中间件小哥·2024-03-10 21:58

docker-swarm集群管理命令

当前个人负责的项目基本上后端只有一个人，运维也比较费时费力。就想着搭建一个集群，对比了k8s、k3s和d
chenzfp·2024-03-09 12:39

大数据开发（Hadoop面试真题-卷九）

3、Sparkmapjoin的实现原理？4、Spark的stage如何划分？在源码中是怎么判断属于ShuffleMapStage或ResultStage的？5、SparkreduceByKe
Key-Key·2024-03-09 10:06

网络安全（黑客）—2024自学

1.网络安全是什么网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
羊村最强沸羊羊·2024-03-09 10:06

Spark Streaming（二）：DStream数据源

1、输入DStream和Receiver输入（Receiver）DStream代表了来自数据源的输入数据流，在之前的wordcount例子中，lines就是一个输入DStream（JavaReceiverInputDStream），代表了从netcat（nc）服务接收到的数据流。除了文件数据流之外，所有的输入DStream都会绑定一个Receiver对象，该对象是一个关键的组件，用来从数据源接收数
雪飘千里·2024-03-09 01:28

MySQL运维实战之备份和恢复（8.6）将数据库恢复到指定时间点

作者：俊达恢复到指定时间点使用全量备份和增量备份文件，都只能将数据库恢复到备份结束的时间。通过binlog，可以将数据库恢复到任意时间点（前提是备份和该时间点之间的binlog都存在）。找到时间点对应的binlog恢复到时间点，首先需要定位该时间点对应的binlog位点（binlog文件和文件内的偏移量）。每个binlog头部都记录了该binlog产生的时间，我们可以使用mysqlbinlog工具
云掣YUNCHE·2024-03-08 21:48

自动化运维工具----Ansible入门详解

1.ansible是新出现的自动化运维工具，基于python开发，集合了从多的运维工具（puppet、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。
效好飞·2024-03-08 11:05

Spark常见问题汇总

注意：如果Driver写好了代码，eclipse或者程序上传后，没有开始处理数据，或者快速结束任务，也没有在控制台中打印错误，那么请进入spark的web页面，查看一下你的任务，找到每个分区日志的stderr
midNightParis·2024-03-08 03:25

RAID磁盘阵列部署和管理

（2）掌握RAID的基础运维。基础准备安装CentOS7操作系统主机，并添加4块20GB硬盘。案例实施创建raid0利用磁盘分区新建2个磁盘分区，每个大小为20GB。
XYong-@·2024-03-07 02:23

Raid磁盘阵列并管理

目录优点：缺点命令创建raid0raid5运维操作RAID（RedundantArrayofIndependentDisks）即独立磁盘冗余阵列，通常简称为磁盘阵列。
mhcwz·2024-03-07 01:22

网络安全（黑客）—2024自学

1.网络安全是什么网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
德西德西·2024-03-06 21:17

运维系列：docker部署java项目

docker部署java项目docker部署java项目1、首先你需要提前准备好`jar包`或者`war包`，并想办法放入`Linux环境`(或虚拟机)中；2、`java项目`的部署需要用到`Tomcat`或者`Jetty`，`docker`可以直接拉取他俩的镜像，这里以`Tomcat`为例：3、接下来需要创建一个tomcat的容器:4、创建后需要将`war包`或者`jar包`移动到`tomcat
坦笑&&life·2024-03-06 16:09

在Linux中使用docker【下】（常见命令下）

在Linux中使用docker【下】（常见命令下）一、Docker介绍二、在Linux中使用Docker的意义2.1轻量级与资源高效2.2快速部署与版本控制2.3隔离与安全2.4简化运维2.5跨平台兼容
长孤秋落·2024-03-06 10:35

网络安全（黑客）—2024自学

1.网络安全是什么网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
羊村最强沸羊羊·2024-03-06 00:21

网络安全（黑客）—2024自学

1.网络安全是什么网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
羊村最强沸羊羊·2024-03-06 00:21

SparkShop开源可商用，匹配小程序H5和PC端带分销功能！

SparkShop(星火商城)B2C商城是基于thinkphp6+elementui的开源免费可商用的高性能商城系统；包含小程序商城、H5商城、公众号商城、PC商城、App，支持页面diy、秒杀、优惠券
行动之上·2024-03-05 15:09

运维随录实战（5）之centos搭建jenkins

一，搭建jenkins准备下载安装jdk环境-》版本jdk11下载安装maven环境-》版本maven3.8.8git-》版本1.8.3.1yuminstallgitjenkins安装版本：2.414.3下载地址：https://get.jenkins.io/war-stable/2.414.3/jenkins.war注：jenkins版本与jdk版本有一定的对应关系，版本不对应可能导致后面虽然安
Loren_云淡风轻·2024-03-05 10:32

centos服务配置springboot服务开机启动

在做后端服务运维时，经常遇到服务器重启时，需要移动一堆后端服务。服务器故障自动重启时，通常无人通知。把springboot服务的jar包配置开机启动太有必要了，虽然不是很复杂，这里记录一下太有必要了。
GIS开发者·2024-03-04 11:32

如何快速迁移其他云服务器中的网站数据到腾讯云轻量应用服务器中？教你使用宝塔Linux面板迁移网站

使用宝塔Linux面板进行迁移：宝塔Linux面板是一款服务器运维面板，它支持一键部署LAMP、LNMP、集群、监控、网站、FTP、数据库、JAVA等100多项服务器管理功能。因此，使用宝塔L
正宗六脉神剑·2024-03-04 06:25

网络安全（黑客）—2024自学

1.网络安全是什么网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
德西德西·2024-03-04 04:53

MySQL运维实战之备份和恢复（8.4）xtrabackup恢复全量备份

作者：俊达恢复全量备份大致可以分成以下几步：解压备份文件、prepare备份文件、将数据copy到目标实例相关目录、启动数据库实例。解压文件如果备份时使用了xbstream，需要先解压备份文件。我们备份时使用了–stream=xbstream和gzip压缩，先使用gunzip接解压缩，再使用xbstream将文件提取出来。#gunzipbackup_full.gz#xbstream-x-vprep
云掣YUNCHE·2024-03-03 08:57

【Hadoop】在spark读取clickhouse中数据

clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties
方大刚233·2024-03-03 06:54

java 企业工程管理系统软件源码 自主研发 工程行业适用

工程项目管理软件（工程项目管理系统）对建设工程项目管理组织建设、项目策划决策、规划设计、施工建设到竣工交付、总结评估、运维运营，全过程、全方位的对项目进行综合管理工程项目各模块及其功能点清单一、系统管理
微服务 spring cloud·2024-03-03 02:48

Linux系统运维9个实用的shell脚本

看到9个shell脚本范例，运维可以根据实际情况进行修改，9个shell脚本如下：1、Dos攻击防范（自动屏蔽攻击IP）#!
知白守黑V·2024-03-02 23:46

Linux运维_Bash脚本_部署安装DocBook-XSL-1.79.1(XSL-Stylesheets)

Linux运维_Bash脚本_部署安装DocBook-XSL-1.79.1(XSL-Stylesheets)Bash(BourneAgainShell)是一个解释器，负责处理Unix系统命令行上的命令。
Mostcow·2024-03-02 23:15

Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数

有时间为了解决小文件问题，我们把spark.sql.shuffle.partitions这个参数调整的很小，但是随着时间的推移，数据量越来越大，当初设置的参数就不合适了，那有没有一个可以自我伸缩的参数呢
不想起的昵称·2024-03-02 15:03

hive join中出现的数据暴增（数据重复）

我们来看一下案例：spark-sql>withtest1as>(select'10001'asuid,'xiaomi'asqid>unionall>select'10002'asuid,'huawei'asqid
不想起的昵称·2024-03-02 15:03

hive四种常见的join

1.左连接leftjoinspark-sql>withtest1as(>select1asuser_id,'xiaoming'asname>unionall>select2asuser_id,'xiaolan'asname
不想起的昵称·2024-03-02 15:33

Linux系统运维命令：查看cache里的URL，即查看系统访问了哪些包含http的url（使用grep结合awk，组合命令实现功能）

目录一、需求二、解决方法1、解决思路2、命令三、实例演示和命令解释1、实例演示2、命令解释四、扩展一、需求想知道某台linux机器最近访问了哪些http的web地址，如何处理？二、解决方法1、解决思路Linux系统访问外部web，也就是外部的http地址，这些数据应该保存在缓存中，所以应该想办法看linux系统的cache，cache中会又从外部web下载下来的一些图片和文本等信息，可以从jpg或
威迪斯特·2024-03-01 17:30

MySQL运维实战之备份和恢复（8.2）xtrabackup备份到云端(OSS)

作者：俊达xtrabackup工具中有一个xbcloud程序，可以将数据库直接备份到S3对象存储中，本地不落盘。这里介绍将数据库直接备份到OSS的一种方法。具体方法如下：1、准备OSS我们使用ossutil工具上传备份文件。下载ossutil工具：wget-Oossutil-v1.7.16-linux-amd64.zip"https://gosspublic.alicdn.com/ossutil/
·2024-03-01 16:40

服务器日常运维工作：探秘技术的前沿

第一章：晨曦中的服务器1.1早晨的第一杯咖啡每天早上，我走进办公室，第一件事就是泡一杯浓郁的咖啡。这杯咖啡不仅是为了提神，更是为了迎接那些等待着我的服务器。它们就像是沉睡的巨人，等待着被唤醒。1.2看门狗的守护服务器的安全是我们的首要任务。我们设置了看门狗程序，定期检查服务器的健康状态。如果有异常，它会立即发出警报，让我们能够迅速采取行动。第二章：故障排除的魔法2.1魔法师的角色故障排除就像是一场
信息安全兴趣爱好者·2024-03-01 10:19

k8s运维问题整理

1.宕机或异常重启导致etcd启动失败服务器非正常关机（意外掉电、强制拔电）后etcd数据损坏。查看apiserver日志发现出现报错Errorwhiledialingdialtcp127.0.0.1:2379:connect:connectionrefused，2379是etcd的端口，那么apiserver是由于etcd无法连接而启动不了参考资料：https://blog.csdn.net/k
筱光·2024-02-29 18:59

Spark整合hive（保姆级教程）

准备工作：1、需要安装配置好hive，如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark，如果不会安装可以跳转到Spark安装与配置（单机版）3、需要安装配置好Hadoop
万家林·2024-02-29 09:47

nginx负载均衡监测后台服务状态-健康检测

一、选型根据参考Nginx负载均衡中后端节点服务器健康检查-运维笔记和Nginx健康检查，使用开源模块nginx_upstream_check_module。
谷谷谷雨·2024-02-29 09:17

云计算拼的是运维吗

云计算拼的是运维吗？云计算并不仅仅是拼运维，还有其他方面也很重要。在云计算中，运维确实是一个重要的方面。运维涉及管理和维护云基础设施、服务器、网络和存储等组件，以确保它们的正常运行、高可用性和安全性。
ddddwd--1·2024-02-27 12:22

在 Spark 数据导入中的一些实践细节

best-practices-import-data-spark-nebula-graph本文由合合信息大数据团队柳佳浩撰写1.前言图谱业务随着时间的推移愈发的复杂化，逐渐体现出了性能上的瓶颈：单机不足以支持更大的图谱
NebulaGraph·2024-02-27 07:53

网络安全（黑客）—2024自学

1.网络安全是什么网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。
羊村最强沸羊羊·2024-02-27 00:07

Spark开发_简单DataFrame判空赋值逻辑

valtable1="实时转存数据"valtable2="历史存hdf数据"valdfin1=inputRDD(table1).asInstanceOf[org.apache.spark.sql.DataFrame
Matrix70·2024-02-26 22:06

Spark SQL编程指南

SparkSQL编程指南SparkSQL是用于结构化数据处理的一个模块。同SparkRDD不同地方在于SparkSQL的API可以给Spark计算引擎提供更多地信息，例如:数据结构、计算算子等。
<>=·2024-02-26 05:46

工程管理系统简介 工程管理系统源码 java工程管理系统 工程管理系统功能设计

工程项目管理软件（工程项目管理系统）对建设工程项目管理组织建设、项目策划决策、规划设计、施工建设到竣工交付、总结评估、运维运营，全过程、全方位的对项目进行综合管理工程项目各模块及其功能点清单一、系统管理
m0_66404702·2024-02-26 05:16

Python自动化部署与配置管理：Ansible与Docker

Ansible是一个基于Python的自动化运维工具，可以配置管理、应用部署、任务自动化等。
api77·2024-02-25 01:09

【云学院干货】数据仓库服务：在冗余海量数据中找到正确决策

传统数据仓库在大数据时代处于劣势，用户需要自己搭建软硬件，运维维护的成本非常大，投入高周期长，而且如果数据量大，扩容的工作非常难以实现。业务数据上云，在公有云上托管成为必然趋势。
舒意从生·2024-02-24 07:21

element-ui版本问题导致el-table-column输入框无法输入

本地element-ui版本是2.4.10,测试element-ui版本是2.8.2,而生产运维用是最新的版本。更新版本因为另一个模块用的树结构需要把ele
Enno.Z·2024-02-23 14:02

用html编写的招聘简历

请选择月份--123456789101112--请选择日期--123456789101112131415161718192021222324252627282930就读学校应聘岗位后端开发前端开发测试开发运维开发我掌握
fly in the sky !·2024-02-20 23:27
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他