spark运维

spark sql上线前的调试工作实现

背景每个公司应该都有大数据的平台的吧，平台的作用就是可以在上面执行各种sparksql以及定时任务，不过一般来说，由于这些sparksql的上线不经过测试，所以可能会影响到生产的数据，这种情况下大数据平台提供一个上线前的调试功能也就非常好了
lixia0417mul2·2024-02-07 05:22

MySQL 磁盘95%，删完数据磁盘炸了！聊聊清理数据遇到的问题

在降本增笑的大环境下，运维被砍，开发也要承担一部分DBA的任务。例如，今天这个场景，某台MySQL5.7，磁盘95%，继续解决。开发想当然的做法是：删掉一些表的数据，肯定能降。
FesonX·2024-02-07 05:09

你一定要知道这个运维产品的能力闭环体系

实现一个运维产品的闭环，比碎片式的产品建设更有意义。抛开我最近创业对这一问题的必要性思考，回归到一个企业内运维团队本身，个人觉得也需要思考这个命题。一个完善的运维平台才能做到对业务的运营有效支撑。
AIOPstack·2024-02-07 04:57

linux运维:ywtools工具安装/卸载介绍

一.工具功能功能介绍ywtools工具是全部shell脚本编写,用于日常工作的linux运维二.已测试系统:centos7centos8centossteam8centossteam9rocky8rocky9AlmaLinux8.2
Z顺其自然·2024-02-07 03:04

Kuberntes权威指南

一、目录二、Kubernetes入门三、Kubernetes核心原理四、Kubernetes开发指南五、Kubernetes运维指南六、Kubernetes高级案例进阶七、Kubernetes源码导读
程序员的人生K·2024-02-07 03:04

Kuberntes DNS

kubectlgetendpointsNAMEENDPOINTSAGEdocker-registry172.17.0.10:500019dkubernetes10.0.2.41:844319drouter10.0.2.41:1936,10.0.2.41:80,10.0.2.41:44319dsparkthrift-headless172.17.0.12
zhixingheyi_tian·2024-02-07 03:02

D7 Elasticsearch-Mongodb（搜索记录）

一名从事运维开发的worker，记录分享学习。专注于AI，运维开发，windowsLinux系统领域的分享！
南城余coding·2024-02-07 02:16

黑马头条 xxl-job

一名从事运维开发的worker，记录分享学习。专注于AI，运维开发，windowsLinux系统领域的分享！
南城余coding·2024-02-07 02:16

对话开发者：Serverless 落地的困境与破局

在新的阶段中，云服务的角色也从单纯的提供资源，变成了企业构建应用的新平台，帮助企业尽可能减小机器运维等低价值重复工作，聚焦于业务的
阿里云云原生·2024-02-07 02:14

黑马头条 - minio

一名从事运维开发的worker，记录分享学习。专注于AI，运维开发，windowsLinux系统领域的分享！
南城余coding·2024-02-07 02:42

Spark RDD的学习(JAVA)

注：本文是跟着《Spark快速大数据分析》一书学习的笔记式总结，不喜勿喷。RDD(ResilientDistributedDataset)弹性分布式数据集是Spark对数据的核心抽象。
啊其11·2024-02-07 02:47

Spark Chapter 8 Spark SQL

【参考以慕课网日志分析为例进入大数据Sparksql】0导读SQL：MySQL，Oracle，DB2，SQLServer在大数据平台上实现大数据计算：Hive/SparkSQL/SparkCore直接使用
深海suke·2024-02-07 01:34

统计图表在线配置服务-百度 SugarBI的学习笔记

最近，有个产品要支持统计图表在线可配置，这样，当用户有新增统计指标的需求时，运维人员通过界面化配置，就可以增加统计指标了，不用开发写代码，画页面了。
快看那个人·2024-02-07 01:31

Spark大数据分析与实战笔记（第三章 Spark RDD弹性分布式数据集-01）

文章目录每日一句正能量第3章SparkRDD弹性分布式数据集章节概要3.1RDD简介3.2RDD的创建方式3.2.1从文件系统加载数据创建RDD3.2.2通过并行集合创建RDD每日一句正能量学如积薪，后来者居上
想你依然心痛·2024-02-07 01:53

StarRocks入门

目录一、连接StarRocks二、建表1.创建非分区表2.创建动态分区表3.修改表字段类型三、数据导入1.Sparkload2.Brokerload3.Streamload4.Routineload5.
jingyu鲸鱼·2024-02-06 22:42

超融合系统疑难故障定位与解决实践 3 例（含信创技术栈）

当IT系统出现故障，问题定位往往是运维人员最头疼的环节。
志凌海纳SmartX·2024-02-06 21:46

轻薄本中的异类：工程师专用掌上电脑，长成这样能接受吗？

今天跟大伙聊的这款掌上电脑，就是专门针对网络运维相关领域工程师推出的一款便携好用的掌上电脑GPDMicroPC。作为轻薄笔记本电脑细分到专精职业小众之佳作，它的三围只有153x113x23.5m
笔点酷玩·2024-02-06 20:51

Ansible 常用

一.前言在企业中运维工作人员通常需要同时管理几十台甚至几百台主机（虚拟机），如果需要批量修改设置或者做更新操作的话，即便是事先编写好脚本，一台一台的去运行脚本也是非常耗时的，效率也十分低下。
SkTj·2024-02-06 20:16

Python&运维系列（亲测有效）：ubuntu设置uwsgi和nginx开机自启（在虚拟环境下启动）

ubuntu设置uwsgi和nginx开机自启（在虚拟环境下启动）一.nginx服务和uwsgi服务如何设置开机自启动二.ubuntu设置uwsgi和nginx开机自启（在虚拟环境下启动）一、配置nginx开机自启动1，在/usr/lib/systemd/system目录下新建nginx.service文件，内容如下2，设置开机自启动并启动nginx二、设置uwsgi开机自启1，在/usr/lib
坦笑&&life·2024-02-06 19:56

spark的数据倾斜和解决方案

#数据倾斜##4.1.什么是数据倾斜，现象是什么？所谓数据倾斜(dataskew)，其实说白了，由于数据分布不均匀造成计算时间差异很大，产生了一些列异常现象。常见的现象有两种：1.个别task作业运行缓慢大多数的task运行都很快速，但是极个别的task运行非常缓慢，甚至是正常task运行时间好多倍。莫名其妙的OOM异常这是一种相对比较少见的现象，正常运行的task作业，突发发生了一个OOM异常。
XLMN·2024-02-06 18:32

对将https://www.cchuodong.com/xxx/xxx网址输入到浏览器中,浏览器自动修改成https://www.huodong.com/xxx/xxx问题修改

回答:经过询问公司运维后,运维给出了答案:公司的网址在浏览器打开需要经过运维的nginx,运维在nginx中加入了判断,https://www.cchuodong.com/xxx/xxx这个地址默认最后面的
fury_123·2024-02-06 18:38

Spark简介

Spark作为第二代大数据处理工具，跟hadoop对比，它是基于内存的，所以在迭代计算方便速度有了很大提升。我用到的主要是SparkCore,SparkSQL,SparkStreaming。
麦克阿瑟99·2024-02-06 18:07

SpringCloud-微服务概述

传统的JavaWeb都是采用单体架构的方式来进行开发、部署、运维的，所谓单体架构就是将Application的所有业务模块全部打包在一个
JaneRoad·2024-02-06 17:21

Spark编程实现简例

对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。下面是输入文件和输出文件的一个样例，供参考。
哲子带你学编程·2024-02-06 16:34

如何使用宝塔面板搭建MySQL 5.5数据库并实现公网远程连接

Mysql服务安装2.创建数据库3.安装cpolar3.2创建HTTP隧道4.远程连接5.固定TCP地址5.1保留一个固定的公网TCP端口地址5.2配置固定公网TCP端口地址前言宝塔面板的简易操作性,使得运维难度降低
在肯德基吃麻辣烫·2024-02-06 15:41

如何使用宝塔面板搭建MySQL 5.5数据库并实现公网远程连接

Mysql服务安装2.创建数据库3.安装cpolar3.2创建HTTP隧道4.远程连接5.固定TCP地址5.1保留一个固定的公网TCP端口地址5.2配置固定公网TCP端口地址前言宝塔面板的简易操作性,使得运维难度降低
在肯德基吃麻辣烫·2024-02-06 15:39

DevOps 是什么

简而言之，DevOps意味着组织中开发(Dev)和运维(Ops)团队之间的协作，通过持续集成和持续交付，为用户提供更好的产品。因此，它可以降低
前浪浪奔浪流·2024-02-06 14:26

如何在Linux上部署1Panel运维管理面板并实现无公网ip远程访问

Linux安装1Panel2.安装cpolar内网穿透3.配置1Panel公网访问地址4.公网远程访问1Panel管理界面5.固定1Panel公网地址前言1Panel是一个现代化、开源的Linux服务器运维管理面板
Aomnitrix·2024-02-06 14:57

LeetCode、1137. 第 N 个泰波那契数【简单，动态规划】

涵盖技术内容：Java后端、算法、分布式微服务、中间件、前端、运维、ROS等。博主所有博客文件目录索引：博客目录索引(持续更新)视频平台：b站-Coder长
长路 ㅤ   ·2024-02-06 14:16

LeetCode、216. 组合总和 III【中等，组合型枚举】

涵盖技术内容：Java后端、算法、分布式微服务、中间件、前端、运维、ROS等。博主所有博客文件目录索引：博客目录索引(持续更新)视频平台：b站-Coder长路Leet
长路 ㅤ   ·2024-02-06 14:46

Prometheus 告警规则

Prometheus告警规则Prometheus官方内置的第三方报警通知包括：邮件、即时通讯软件（如Slack、Hipchat）、移动应用消息推送(如Pushover)和自动化运维工具（例如：Pagerduty
运维那些事儿·2024-02-06 14:14

项目运维问题总结

系统：centos7架构：springcloud，springboot部署：docker，docker-compose1、docker执行命令出现超时情况ERROR:AnHTTPrequesttooktoolongtocomplete.Retrywith--verbosetoobtaindebuginformation.Ifyouencounterthisissueregularlybecause
zhengshibin·2024-02-06 13:52

Linux 帮助命令

楼+之Linux运维与DevOps实战第3期Linux帮助命令1.实验介绍1.1实验内容Linux的命令工具繁多，更不用说其在使用时的各项参数，命令我们可以输入一个大概通过tab键来提示或自动补全，参数无法自动补全该如何是好
夸克星·2024-02-06 13:18

黑马头条 Kafka

一名从事运维开发的worker，记录分享学习。专注于AI，运维开发，windowsLinux系统领域的分享！
南城余coding·2024-02-06 12:14

ps与grep组合命令使用

管道命令我们在做运维的时候，经常会使用这个命令ps-ef|grepnginx。ps-ef表示显示所有进程的消息。|是管道命令。
She_lock·2024-02-06 12:51

LeetCode、17. 电话号码的字母组合【中等，dfs回溯】

涵盖技术内容：Java后端、算法、分布式微服务、中间件、前端、运维、ROS等。博主所
长路 ㅤ   ·2024-02-06 12:43

软件漏洞概念与原理

基本理解漏洞是硬件、软件、协议在生命周期的各个阶段（设计、实现、运维等过程）中产生的某类问题，这些问题会对系统的安全（机密性、完整性、可用性）产生影响。
星环之光·2024-02-06 12:31

云计算虚拟化基础

基础设施即服务（虚拟机、云服务器ECS、openstack）PAAS：平台即服务（在IAAS之上及环境应用，PHP、Java、docker容器）SAAS：软件即服务（企业邮箱服务、CDN服务、RDS数据库开发+运维
Aza_Lxxx·2024-02-06 11:17

LeetCode、198. 打家劫舍【中等，一维线性DP】

涵盖技术内容：Java后端、算法、分布式微服务、中间件、前端、运维、ROS等。博主所有博客文件目录索引：博客目录索引(持续更新)视频平台：b站-Coder长路
长路 ㅤ   ·2024-02-06 11:26

jmeter性能测试学习笔记

1：什么是性能用户角度：软件反应速度快慢开发角度：系统架构和数据的设计运维角度：系统最大的承受能力测试角度：基于前三个综合考虑，全都要生活中测试例子：彩排2：测试的时机——什么情况下做第一个版本——>第一个双
IF300·2024-02-06 10:32

华为配置交换机KPI信息上报分析器示例组网图形

KPI信息上报分析器示例组网图形图1KPI信息上报拓扑图组网需求操作步骤配置文件组网需求如图1所示，某企业网络用一台华为公司iMasterNCE-CampusInsight作为分析器对交换机设备进行智能运维管理
知孤云出岫·2024-02-06 10:23

python windows开发环境_python 之 windows开发环境准备

因为虽然IT老鸟可以东凑西凑能够很快弄出一套小规模的桌面云，但是很多时候小企业是没有专门的IT运维人员或者IT运维人员的技术水平达不到那个要求，还是需要包装
weixin_39611043·2024-02-06 10:59

决胜大数据时代：Hadoop&Yarn&Spark企业级最佳实践（8天完整版脱产式培训版本）...

Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。
weixin_30273931·2024-02-06 09:08

Spark视频第5期：Spark SQL架构和案例深入实战

SparkSQL架构和案例深入实战视频下载：http://pan.baidu.com/share/link?
Rocky_wangjialin·2024-02-06 09:35

Redis 运维实战 第07期：Hotkey

上一节，我们聊到了Redis的Bigkey，这节内容我们聊聊同样需要引起重视的Hotkey。1背景Hotkey指某个时间段访问频率比较高的键值，对应的业务比如热点话题或者热点商品。Hotkey可能会导致集群流量不均衡，或者某一个节点QPS、网卡流量被打满。因此需要考虑一些措施来降低Hotkey出现的概率，比如在编码阶段避免产生Hotkey，或者提前准备出现Hotkey时的应对方案。2Hotkey产
悦专栏·2024-02-06 09:19

运维入门——MySQL分组

MySQLGROUPBY语句GROUPBY语句根据一个或多个列对结果集进行分组。在分组的列上我们可以使用COUNT,SUM,AVG,等函数。GROUPBY语法SELECTcolumn_name,function(column_name)FROMtable_nameWHEREcolumn_nameoperatorvalueGROUPBYcolumn_name;实例演示实例使用到了以下表结构及数据，使
嘀嗒运维·2024-02-06 09:02

1Panel应用推荐：青龙定时任务管理平台

1Panel（github.com/1Panel-dev/1Panel）是一款现代化、开源的Linux服务器运维管理面板，它致力于通过开源的方式，帮助用户简化建站与运维管理流程。
FIT2CLOUD飞致云·2024-02-06 09:18

RDD 依赖关系

packagecom.atguigu.bigdata.spark.core.rdd.depimportorg.apache.spark.
zmx_messi·2024-02-06 09:08

转换算子小案例

2)需求描述统计出每一个省份每个广告被点击数量排行的Top33)需求分析4)功能实现整体思路代码实现packagecom.atguigu.bigdata.spark.core.rdd.operator.transformimportorg.apache.spark
zmx_messi·2024-02-06 09:37

Spark SQL调优实战

1、新添参数说明//Driver和Executor内存和CPU资源相关配置--是否开启executor动态分配，开启时spark.executor.instances不生效spark.dynamicAllocation.enabled
sighting_info·2024-02-06 09:06
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他