spark运维

Linux运维_CentOS6设置开机命令行界面或图形界面启动

Linux运维_CentOS6设置开机命令行界面或图形界面启动CentOS下的/etc/inittab中的英文解释：ThisfiledescribeshowtheINITprocessshouldsetupthesysteminacertainrun-level.Theinittabfiledescribeswhichprocessesarestartedatbootupandduringnorm
Mostcow·2024-02-10 00:05

Linux运维_CentOS7中使用yum和rpm命令卸载软件或程序

Linux运维_CentOS7中使用yum和rpm命令卸载软件或程序rpm:全称是RedHatPackageManager(RedHat包管理器)。
Mostcow·2024-02-10 00:05

Linux运维_CentOS7中查看_添加_删除firewall端口

Linux运维_CentOS7中查看_添加_删除firewall端口firewalld(DynamicFirewallManagerofLinuxsystems，Linux系统的动态防火墙管理器)服务是默认的防火墙配置管理工具
Mostcow·2024-02-10 00:05

Linux运维_CentOS7设置开机命令行界面或图形界面启动

Linux运维_CentOS7设置开机命令行界面或图形界面启动CentOS下的/etc/inittab中的英文解释：ThisfiledescribeshowtheINITprocessshouldsetupthesysteminacertainrun-level.Theinittabfiledescribeswhichprocessesarestartedatbootupandduringnorm
Mostcow·2024-02-10 00:05

LeetCode、790. 多米诺和托米诺平铺【中等，二维DP，可转一维】

涵盖技术内容：Java后端、算法、分布式微服务、中间件、前端、运维、ROS等。博主所有博客文件目录索引：博客目录索引(持续更新)视频平台：b
长路 ㅤ   ·2024-02-10 00:31

电动车江湖混战，智能化狭路相逢，谁能成为两轮市场新顶流

“来源于《互联网那些事》（ID：hlw0823)"用地铁负担了通勤压力的打工人习惯依赖共享单车来解决最后一公里，8月初，美团单车以“硬件和运维成本”为理由宣布涨价，不少人才惊觉共享经济并不划算。
每天学点经济学·2024-02-09 23:35

新人数据技术如何快速提升

对于数据平台和工具而言，一般情况下都是在Hadoop生态下做开发，但对于一些有特殊要求的团队，Spark和Flink已经得
晓阳的数据小站·2024-02-09 23:46

毕业设计：基于python的反爬虫系统

目录前言设计思路一、课题背景与意义二、算法理论技术2.1spark技术2.2反爬虫设计2.3黑名单设计三、检测的实现3.1数据集3.2实验环境最后前言大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备
Krin_IT·2024-02-09 22:54

一键部署自动化运维工具spug

简介Spug是面向中小型企业设计的轻量级无Agent的自动化运维平台，整合了主机管理、主机批量执行、主机在线终端、应用发布部署、在线任务计划、配置中心、监控、报警等一系列功能。
老王聊技术·2024-02-09 20:55

记录解决duboo注册问题和投诉问题

最近项目组遇到运维一个投诉：我们的dubbo服务是以接口维度注册到nacos上的，再高峰期无法下线服务维度导致运维风险增加。
小强聊it·2024-02-09 20:51

Fisco Bcos

经过我们运维团队的搭建，这套平台我们可以自主控制，而且他们的沟通群和技术支持还不错。要想从0开始搞的，不妨借鉴一下。
去远方追逐·2024-02-09 19:27

ClickHouse-简谈OLAP与ClickHouse

在第一届易观OLAP大赛中，在用户行为分析转化漏斗场景里，ClickHouse比Spark快了近10倍。在随后几年的
adson1987·2024-02-09 18:00

for循环求一定范围之内的偶数总数

第一份工作是校招，在2个月的企业文化培训后，发现这份工作（跨专业）不适合自己，于是果断辞职，用了近半个月时间找了一份适合本专业的工作-MES系统运维。
谁与知同·2024-02-09 14:43

springboot知识点1

六大特性：独立的spring应用嵌入web容器固化的starter自动装配提供运维特性无代码生成且无需xml配置扩展阅读servlet3.0规范，JSR-xxx(java规范)启动springboot应用启动命令
rice88·2024-02-09 14:45

mysql运维内参读后感_MySQL运维内参_ MySQL、Galera、Inception核心原理与最佳实践 读书笔记...

MySQL运维内参_MySQL、Galera、Inception核心原理与最佳实践点评：看这本书就是想知道MySQL用于互联网行业大并发场景下现在是怎么处理的。
weixin_39694016·2024-02-09 14:59

初识kafka

目前越来越多的开源分布式处理系统如Cloudera、Storm、Spark、Flink等都支持与Kafka集成。
tracy_668·2024-02-09 14:07

69.Kudu、Spark2、Kafka安装—CDH

69.1演示环境介绍CDH集群运行正常操作系统版本为：CentOS6.5CM和CDH版本为：5.12.1CM管理员为：admin用户操作系统用户为：root用户69.2操作演示Kudu安装Kudu的Parcel部署下载Kudu的Parcel包：http://archive.cloudera.com/kudu/parcels/5.12.1/KUDU-1.4.0-1.cdh5.12.1.p0.10-e
大勇任卷舒·2024-02-09 14:55

【运维】Linux之间内网局域网复制文件

【运维】Linux之间内网复制文件172.0.1.5=目标服务器[email protected]:/www/wwwroot/aaa.com/aaa.zip/opt/
我是Superman丶·2024-02-09 13:42

可视化大屏和IT运维行业的结合，如虎添翼、珠联璧合。

可视化大屏在IT运维中有着重要的价值，它可以帮助IT运维人员更好地监控和管理企业的IT系统和网络，及时发现和解决问题，提高IT系统的可靠性和稳定性。
千汇数据的老司机·2024-02-09 13:10

Maven仓库私服-免费使用阿里云仓库私服

如果你不想分享你的jar或代码包，需要自己搭建一个私有的仓库服务自己搭建需要服务器成本和运维成本，阿里云提供免费的私有仓库服务，这里分享下地址：https://repomanage.rdc.aliyun.com
4ea0af17fd67·2024-02-09 13:33

spark开发中的Zip算子灵活使用

本人开发中，需要聚合的文段举个栗子：RDD中有如下元素kv(（a,b）,List(7，8，9))(（a,b）,List(1，2，3))(（a,b）,List(4，5，6))(（c,d）,List(4，5，6))。。。。。。reducebyke后要对v操作原理将v中的list前后zip再map每个元素进行逐个元组元素（口，口）的累加。a代表v的前一个元素，b代表v的后一个元素如vala=List（7
Hero.Lin·2024-02-09 13:35

云搜索服务在日志解决方案的应用

不可否认的是，随着对数据资产的观念兴起，越来越多的运营人员和运维人员开始使用这些日志构建应用场景。如何实现数据运营和智能运维，细节请戳下面链接~~~日志解决方案
NORTON_a744·2024-02-09 12:30

【阿里云镜像】使用阿里云Docker CE 镜像安装Docker

：阿里巴巴开源镜像站DockerCE镜像：DockerCE镜像二、DockerCE简介DockerCE是免费的Docker产品的新名称，DockerCE包含了完整的Docker平台，非常适合开发人员和运维团队构建容器
宝耶需努力·2024-02-09 11:07

Shell脚本批量清除Nginx缓存

那今天我们在这里针对网站速度这方面来一起交流，提高网站速度对于运维工程师、程序员来说变得至关重要。运维工程师首先得在日常网站运维中发现影响网站速度的各种因素得逐个推动然后解决。
weixin_34235457·2024-02-09 11:40

『运维备忘录』之 Find 命令详解

运维人员不仅要熟悉操作系统、服务器、网络等只是，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-09 11:55

『运维备忘录』之 Ansible 自动化运维工具

一、简介Ansible是基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能的自动化运维工具
流浪字节π·2024-02-09 11:25

Ansible

它融合了众多老牌运维工具的优点，Pubbet和Saltstack能实现的功能，Ansible基本上都可以实现。Ansible能批量配置、部署、管理上千台主机。
王德发666·2024-02-09 10:37

基于java（springboot）企业客户信息反馈管理系统设计与实现(源码+lw+部署文档+讲解等)

企业客户信息反馈管理系统设计与实现(源码+lw+部署文档+讲解等)文章目录基于java（springboot）企业客户信息反馈管理系统设计与实现(源码+lw+部署文档+讲解等)引言项目概述主要功能客户角色运维人员角色管理员角色技术要求后端技术前端技术其他技术功能截图源码获取引言博主介绍
阿逸学长·2024-02-09 10:58

Spark是什么？与MapReduce的对比

Spark是一个基于内存的集群计算系统，是一个分布式的计算框架。Spark可以将计算任务分发到多个机器并行计算。
Tim在路上·2024-02-09 10:27

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2024-02-09 09:54

Kubernetes 实战 （二） -- 面向资源的分布式集群 - 运维舵手

本文所涉及的脚本均来自仓库k-kubernetes-public闻名不如见面--HPAHorizontalPodAutoscaling，水平部署自动化弹性伸缩，即K8s支持根据CPU/内存利用率自动伸缩Pod数量，从而动态调整负载。Yaml配置#无状态服务部署DeploymentapiVersion:apps/v1kind:Deploymentmetadata:name:nginx-hpaspec
coder_kkx·2024-02-09 08:00

macos安装local模式spark

文章目录配置说明安装hadoop安装Spark测试安装成功配置说明Scala-3.18+Spark-3.5.0Hadoop-3.3.6安装hadoop从这里下载相应版本的hadoop下载后解压，配置系统环境变量
SparklingTheo·2024-02-09 08:52

普通用户(非root)使用nginx

由于生产安全要求，日常运维用户不能拥有管理员权限，需使用普通用户更改nginx配置、重新加载配置、查看日志等操作适用于使用rpm安装的nginx，目前在centos7上使用正常rpm或yum安装nginx
skywin88·2024-02-09 07:06

MySQL篇之定位与优化MySQL慢查询

运维工具：Prometheus、Skywalking。
学java的冲鸭·2024-02-09 07:34

禅道系统的Bug动态，对接钉钉软件，实时进行钉钉群内提醒，机器人并@ 艾特指派的开发人员。

但是我们的禅道系统版本过低，需要升级，于是我联系运维，开始处理此事。中间经过几次折腾：1.我司禅道运维不愿意升级禅道，因为版本跨度过大，数据库表结构有很大差别，会导致数据无法迁移。
王怕怕升职记·2024-02-09 07:34

SQL条件判断语句嵌套window子句的应用【易错点】--HiveSql面试题25

目录0需求分析1数据准备3数据分析4小结0需求分析需求：表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108
莫叫石榴姐·2024-02-09 06:00

HiveSQL——条件判断语句嵌套windows子句的应用

0需求分析需求：表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108
爱吃辣条byte·2024-02-09 06:58

Spark SQL（十一）：与Spark Core整合

每日top3热点搜索词统计Demo1、数据格式：日期用户搜索词城市平台版本2、需求：1、筛选出符合查询条件（城市、平台、版本）的数据2、统计出每天搜索uv排名前3的搜索词3、按照每天的top3搜索词的uv搜索总次数，倒序排序4、将数据保存到hive表中3、实现思路：1、针对原始数据（HDFS文件），获取输入的RDD2、使用filter算子，去针对输入RDD中的数据，进行数据过滤，过滤出符合查询条件
雪飘千里·2024-02-09 06:34

大数据 - Spark系列《五》- Spark常用算子

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-09 05:25

SQL、Hive中的SQL和Spark中的SQL三者联系与区别

SQL、Hive中的SQL和Spark中的SQL（即SparkSQL）都是用于处理和分析数据的查询语言，但它们在实现、性能、应用场景等方面存在一些明显的区别和联系。
大数据ＳＱＬｂｏｙ·2024-02-09 05:20

pyspark操作示例

前置pipinstallpyspark为了支持py4j的使用，需要进行如下设置，并修改了java_gateway.py中的env['_PYSPARK_DRIVER_CALLBACK_HOST']='127.0.0.1
佛系小懒·2024-02-09 05:15

MySQL篇----第十四篇

系列文章目录文章目录系列文章目录前言一、MySQL数据库作发布系统的存储，一天五万条以上的增量，预计运维三年,怎么优化？
数据大魔王·2024-02-09 04:47

spark从入门到放弃二十八:Spark Sql (1)Data Set

文章地址：http://www.haha174.top/article/details/257834项目源码：https://github.com/haha174/spark.git1.简介SparkSql
意浅离殇·2024-02-09 03:17

再聊阴影裁剪与高性能视锥剔除

【USparkle专栏】如果你深怀绝技，爱“搞点研究”，乐于分享也博采众长，我们期待你的加入，让智慧的火花碰撞交织，让知识的传递生生不息！
UWA·2024-02-09 03:24

spark原理总体介绍

拿到系统后，部署系统是第一件事，那么系统部署成功以后，各个节点都启动了哪些服务？部署图image.png从部署图中可以看到整个集群分为Master节点和Worker节点，相当于Hadoop的Master和Slave节点。Master节点上常驻Master守护进程，负责管理全部的Worker节点。Worker节点上常驻Worker守护进程，负责与Master节点通信并管理executors。Driv
tracy_668·2024-02-09 03:48

PDF如何页面插入

操作软件：旋风PDF编辑器下载地址：http://www.679sparkle.com/pdfeditor1.运行旋风PDF编辑器，打开你想要编辑的文件。
六号_db7a·2024-02-09 00:18

小公司网络游戏可能出现的运维事故

如果你是运营一个小的网络游戏公司，没有运维经验，你很可能会出现下面的运维事故：1.游戏包版本出错，分为两种情况：A向平台提交时，客户端版本出错（项目组遇到过几次）；B服务端版本出错（我遇到过几次）（出现概率很大
伯乐伴·2024-02-08 23:37

AWS eks绑定alb 使用aws-load-balancer-controller(Ingress Controller)提供服务

作者：SRE运维博客博客地址：https://www.cnsre.cn/文章地址：https://www.cnsre.cn/posts/211217431135/相关话题：https://www.cnsre.cn
SRE运维博客·2024-02-08 22:28

Flink状态编程

SparkStreaming在状态管理这块做的不好,很多时候需要借助于外部存储(例如Redis)来手动管理状态,增加了编程的难度.访问redis需要通过网络访问，增大处理时间状态一致性问题，可能会造成数据的不一致
万事万物·2024-02-08 22:41

Docker详解（三）——Docker安装与部署

今天继续给大家介绍Linux运维相关知识，本文主要内容是Docker的安装与部署。一、环境准备我们在Vmware虚拟机上来进行Docker的安装与部署，我们的虚拟机使用的是CentOS7系统。
永远是少年啊·2024-02-08 20:10
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他