spark运维

spark spark.shuffle.service.enabled

操作场景Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据，给其他Executor提供shuffle数据。
不搬砖的程序员不是好程序员·2024-02-08 13:59

spark好的文章链接

https://blog.51cto.com/u_16099325/6763760`javaspark官方文档sparkjavaapi手册http://www.17bigdata.com/book/spark
Trank-Lw·2024-02-08 13:18

Shell 编程入门

很多人会说Shell编程属于运维方面的知识了，应该是运维人员来做，我们做后端开发的没必要学。
学致前端攻略·2024-02-08 13:42

【JAVA WEB】标签的应用

请填写简历信息姓名性别男女出生日期--请选择年份--2002200320042005--请选择月份--123456789101112--请选择日期-123456789101112就读学校应聘岗位前端开发后端开发测试开发运维开发掌握技能项目经历我已仔细阅读公司的招聘要求查看我的状态请应
lzb_kkk·2024-02-08 13:38

『运维备忘录』之 Kubernetes（K8S） 常用命令速查

一、简介kubernetes，简称K8s，是用8代替名字中间的8个字符“ubernete”而成的缩写，是一个开源的，用于管理云平台中多个主机上的容器化的应用。kubernetes是基于容器技术的分布式架构解决方案，具有完备的集群管理能力，包括多层次的安全防护和准入机制，多租户应用支持能力，透明的服务注册和服务发现机制，内建智能负载均衡器，强大的故障发现和自我修复能力，服务滚动升级和在线扩容能力，可
流浪字节π·2024-02-08 12:27

云计算中的边缘云治理方案是什么？-薪享宏福

5G边缘云的科学运维需要一个完整的治理方案，需要CSP在网络边缘提供边缘数据中心所需要的所有组件，并引入新的服务。
北京薪享宏福·2024-02-08 12:50

史上最全OLAP对比

目录1.什么是OLAP2.OLAP引擎的常见操作3.OLAP分类MOLAP的优点和缺点ROLAP的优点和缺点4.并发能力与查询延迟对比5.执行模型对比5.OLAP引擎的主要特点5.2SparkSQL、FlinkSQL5.3Clickhouse5.4Elasticsearch5.5Presto5.6Impala5.7Doris5.8Druid5.9Kylin
只会写demo的程序猿·2024-02-08 11:04

【春节特辑】金融IT运维新视角：回望2023年变革浪潮，前瞻2024年创新风潮

运维管理软件，特别是其IT基础监控功能，对于确保金融系统稳定、安全、高效运行至关重要。本文将回顾2023年金融行业信息化建设中IT基础监控的变化与需求，并预测2024年的发展趋势。
MXsoft618·2024-02-08 11:27

Spark：基于莱文斯坦（Levenshtein）距离计算字符串相似度

以下程序代码基于spark，使用scala语言，测试时间：2018-08-03str1和str2相似度=1-Levenshtein距离/max(length(str1),length(str2))valdf
xuejianbest·2024-02-08 11:25

MMLSpark+Spark：pyspark+lightGBM应用实践

MMLSpark，即MicrosoftMachineLearningforApacheSpark，是微软开源的一个针对ApacheSpark的深度学习和数据可视化的库。
bensonrachel·2024-02-08 10:38

Redis学习笔记-3.慢查询和其他高级数据结构

文章目录总览1.慢查询1.生命周期2.两个配置队列长度慢查询阀值3.配置方法4.慢查询相关命令5.运维经验2.pipeline2.1pipeline流水线作用2.2客户端使用2.3与原生M操作的对比原生
天生我才~~·2024-02-08 10:21

《Redis开发与运维》学习笔记3:主从复制，哨兵和集群

这篇主要整理第六章，第九章和第十章的内容，聚焦于Redis的分布式和集群部分，转载注明出处：https://blog.csdn.net/Koikoi12复制复制可以在分布式系统中实现相同数据的多个Redis副本，满足故障恢复和负载均衡等需求，是高可用的。主节点有多个从节点，但每个从节点只能有一个主节点关键命令：slaveof{masterHost}{masterPort}从节点发起，目标是主节点s
Koikoi123·2024-02-08 10:50

Redis核心技术与实战【学习笔记】 - 30.番外篇：Redis学习资料、运维说明及使用规范建议

1.Redis学习资料虽然前面已经学习了Redis理论和技术点，但是如果想要持续提升自己的技术能力，还是需要不断丰富自己的知识体系。本章，给你推荐几本优秀的书籍，以及拓展知识面的其他资料。1.1经典书籍在学习Redis时，场景的需求有三个方面：日常使用操作：比如常见的命令和配置，集群搭建等关键技术原理：比如IO模型、AOF和RDB机制等在实际使用时的经验教训，比如Redis响应变慢了怎么办？Red
陈建111·2024-02-08 10:20

spark sql 数据类型转换_spark sql时间类型转换以及其他

1.sparksql的日期转换一般使用两种形式第一种使用to_timestamp(REACHTIME1,"yyyy-MM-ddHH24:mi:ss")//它将字符串时间转换为日期类型例如2018-10-
weixin_39535527·2024-02-08 10:02

Spark streaming写入delta数据湖问题

但项目上线到生产环境，检查sparkstreaming的job，发现数据在merge写入到数据湖时，往往超过1小时。
kk_io·2024-02-08 10:01

Spark streaming batch运行时间过长问题02

排查Sparkstreaming数据写入时间过长问题，一方面是因为程序写数据湖小文件问题。在解决了小文件问题后，还是不能达到预期的1分钟一个batch。
kk_io·2024-02-08 10:01

企业Spark案例--酒店数据分析实战提交

第1关：数据清洗--过滤字段长度不足的且将出生日期转：packagecom.yyimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.
cz学java·2024-02-08 10:30

Spark的timestamp 数据时间问题

使用Spark来处理国际业务数据，涉及到数据时区转换，在实际项目中出现时区转换问题。
kk_io·2024-02-08 10:29

大数据毕业设计PySpark+PyFlink航班预测系统 飞机票航班数据分析可视化大屏 机票预测 机票爬虫 飞机票推荐系统 大数据毕业设计 计算机毕业设计

博主介绍：✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久，选择我们就是选择放心、选择安心毕业✌由于篇幅限制，想要获取完整文章或者源码，或者代做，可以给我留言或者找我聊天。感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多的人。1.DrissionPage自动化Python爬虫工具采
B站计算机毕业设计超人·2024-02-08 09:17

编码技巧——在项目中使用Alibaba Cloud Toolkit远程部署

背景在新公司项目开发，当前项目为自建项目，意思是从开发到运维都需要自己负责，远程的服务器也是自己搭建的win操作系统；之前在大厂工作时，一般提交代码之后，CICD流水线会自动的执行最新代码的拉取、构建打包
七海健人·2024-02-08 09:45

【项目实战】Flink+InfluxDB+Grafana实现对YARN集群队列资源进行画像

一、Flink实时计算第一章：Flink快速入门1.Flink架构2.Flink应用场景3.FlinkVSSpark4.实时计算技术选型第二章：Flink项目构建与测试1.快速构建Flink项目2.第一个
大数据研习社·2024-02-08 08:56

spark运行失败The directory item limit of /spark_dir/spark_eventLogs is exceeded: limit=1048576 items=104

org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException):Thedirectoryitemlimitof/spark_dir
不会吐丝的蜘蛛侠。·2024-02-08 08:58

Flink on Yarn的两种模式

首先，在集群运行时，可能会有很多的集群实例包括MapReduce、Spark、Flink等等，那么如果它们全基于onYarn就可以完成资源分配，减少单个实例集群的维护，提高集群的利用率。
GOD_WAR·2024-02-08 07:22

Flink流式数据倾斜

1.流式数据倾斜流式处理的数据倾斜和Spark的离线或者微批处理都是某一个SubTask数据过多这种数据不均匀导致的，但是因为流式处理的特性其中又有些许不同2.如何解决2.1窗口有界流倾斜窗口操作类似Spark
orange大数据技术探索者·2024-02-08 07:58

django的基本使用(一)

一、简介现在在实际的项目开中分为两种开发模式：1.前后端不分离在运维开发的岗位中，前后端是否分离完全取决于技术人的决策。
smile_pbb·2024-02-08 06:15

大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习（stage3）

个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python
道-闇影·2024-02-08 06:07

『运维备忘录』之 Netstat 命令详解

运维人员不仅要熟悉操作系统、服务器、网络等只是，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-08 04:39

『运维备忘录』之 HTTP 响应状态码速查

运维人员不仅要熟悉操作系统、服务器、网络等只是，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-08 04:39

『运维备忘录』之 TAR 命令详解

运维人员不仅要熟悉操作系统、服务器、网络等只是，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-08 04:39

云服管家-轻松管理公有云上资源与费用

（一）与传统IT系统运维相比，在云时代，IT系统运维有如下特征：在云时代，您无需关注的事情：1、无需关注机房环境、服务器、存储设备、网络设备等硬件环境及设备的运行情况。
云服管家·2024-02-08 04:25

Spark安装（Yarn模式）

一、解压链接：https://pan.baidu.com/s/1O8u1SEuLOQv2Yietea_Uxg提取码：mb4htar-zxvf/opt/software/spark-3.0.3-bin-hadoop3.2
莫噶·2024-02-08 04:44

图解大数据 | 大数据分析挖掘-Spark初步

图解大数据|大数据分析挖掘-Spark初步作者：韩信子@ShowMeAI教程地址：www.showmeai.tech/tutorials/8…本文地址：www.showmeai.tech/article-det
Dashesand·2024-02-08 03:22

校园自助洗浴设施运维服务认证的介绍

校园自助洗浴设施运维服务认证是一种针对校园自助洗浴设施运维服务质量的评估和认证体系。通过该认证，学校可以确保自助洗浴设施的安全、可靠、卫生和持续运行，为师生提供更好的洗浴体验。
AEMC马广川·2024-02-08 02:36

运维系列（仅供参考）：万事俱备，SSH依然连接不上VMware虚拟机，救命之法

万事俱备，SSH依然连接不上VMware虚拟机，救命之法一.万事俱备，SSH依然连接不上VMware虚拟机，救命之法一、前期配置过程二、解决方法二.前言一.万事俱备，SSH依然连接不上VMware虚拟机，救命之法一、前期配置过程1.VMware中虚拟网络编辑器配置NAT模式2.虚拟机的网络适配器设置为NAT模式3.本地连接中VMwareVirtualEthernetAdapterforVMnet8
坦笑&&life·2024-02-08 02:23

微服务和SOA的区别

微服务架构强调的第一个重点就是业务系统需要彻底的组件化和服务化，原有的单个业务系统会拆分为多个可以独立开发，设计，运行和运维的小应用如果一句话来谈SOA和微服务的区别，即微服务不再强调传统SOA架构里面比较重的
五月天_7df7·2024-02-08 02:03

运维&Ubuntu系列（亲测有效）：Ubuntu 20.04 升级到 Ubuntu 22.04 、、、、、、、、 ssh时怎么同时指定其端口号，以及scp文件到远程的指定端口

Ubuntu20.04升级到Ubuntu22.04、、、、、、、、ssh时怎么同时指定其端口号，以及scp文件到远程的指定端口一.Ubuntu20.04升级到Ubuntu22.04更新相关库更新系统至Ubuntu22.04验证Ubuntu22.04二.ssh时怎么同时指定其端口号，以及scp文件到远程的指定端口一.Ubuntu20.04升级到Ubuntu22.04更新相关库将所有系统软件包更新并升
坦笑&&life·2024-02-08 02:52

1Panel面板如何安装并结合内网穿透实现远程访问本地管理界面

Linux安装1Panel2.安装cpolar内网穿透3.配置1Panel公网访问地址4.公网远程访问1Panel管理界面5.固定1Panel公网地址前言1Panel是一个现代化、开源的Linux服务器运维管理面板
小沈YO.·2024-02-08 01:51

关于TDSQL(MySQL)的简单知识分享

1.1TDSQL优点：数据强一致性高性能低成本线性水平扩展金融级高可用企业级安全性便捷的运维1.2TDSQL系统总览资源池：TDSQL部署的服务器资源。
小满别摸鱼·2024-02-08 01:20

docker数据科学与spark镜像源与使用常见问题疑难解答

以下是一些与数据挖掘和数据科学相关的Docker镜像源：jupyter/all-spark-notebook:此镜像包含JupyterNotebook和Spark的完整环境，用于Spark开发和学习。
DreamNotOver·2024-02-08 01:16

用docker 配置scala spark环境

要使用Docker配置Scala和Spark环境，您可以按照以下步骤进行操作。以下是一个基本的示例，您可能需要根据您的具体需求进行调整。安装Docker:在您的系统上安装Docker。
DreamNotOver·2024-02-08 01:14

VoIP之主备注册服务器机制

  在IP话机的实际使用中，不可避免的会出现服务器离线运维、服务宕机、IP话机和服务器连接中断等情况。为了保证电话服务的连续性，在VoIP部署服环境中必须有冗余机制。
浪游东戴河·2024-02-08 00:50

提升CKA认证成功率，CKA真题中的节点维护全攻略！

K8S集群运维过程中可能会有维护Node节点的需求，例如Node操作系统软件存在漏洞，需要对系统进行更新和维护。这里我们以K8S集群节点的操作系统进行更新操作为例。
didiplus·2024-02-08 00:02

Spark Standalone 集群配置

集群管理类型Spark支持三种集群管理类型：Standalone-Spark附带的一个简单的集群管理器，可以轻松地设置集群。
董可伦·2024-02-07 23:01

微服务笔记27：容器调度与服务编排

机器少量的时候，认为选择还是可以支持，如果数量多大上百台，上千台，那么就不能人肉运维了。
胖琪的升级之路·2024-02-07 23:36

「服务器运维」如何解决服务器I/O过高的问题

在没有解决bug之前，你永远不知道bug到底是怎么产生的。问题缘起:当我习惯性地用top查看任务运行状态时，发现我运行的100个任务，只有3个在运行，其他都在摸鱼状态。同时发现我的任务进程都是"D"状态(未截图)，而不是R(运行)状态。top状态这个时候，我直觉上感觉这是硬盘读写除了问题，于是我开始检索查找相关工具去验证我的猜想先用的是iostat-x210，如果%util接近100%说明产生的I
xuzhougeng·2024-02-07 23:21

RDD vs DataFrame vs Dataset

RDD是Spark最基础的数据结构。RDD允许开发者使用容错的形式在集群中使用内存计算，这样可以提高计算速度。1.2DataFrameDataFrame是使用数据组成命名
一生逍遥一生·2024-02-07 22:20

【seata自动化治愈数据库问题解决方案】

wu-database-lazy-seata-cure-plus-starter描述针对saas数据库隔离情况下，每次版本迭代都需要重新修改对应的数据库，对于升级与运维存在一定的难度，那么这个数据库治愈框架来了
小吴小吴bug全无·2024-02-07 22:25

springboot防止反编译proguard+xjar

，为了防止有技术能力的用户反编译我们的程序，采用了proguard和xjar两种方式来混淆和加密jar包，注：加密技术只是提高别人获取你的代码的门槛，没有绝对安全的加密方式，而安全等级越高，程序开发、运维
mawei7510·2024-02-07 21:39

9.18 Python笔记

1.软件开发2.科学运算3.自动化运维4.云计算5.WEB开发
谦友111·2024-02-07 21:00

Softing mobiLink Power：集成FDI技术，简化多协议总线设备的配置方式

mobiLinkPower简化了过程工业运维人员对现场设备的配置方式，并支持三种常用的总线通信协议：HART、FO
SoftingChina·2024-02-07 18:24
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他