E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark运维
顶级的python入门教程!小白到大师,从这篇教程开始!
学习Python的原因有很多,以下是几个主要的原因:广泛应用:Python被广泛应用于Web开发、数据科学、人工智能、机器学习、自动化
运维
、网络爬虫、科学计算、游戏开发等多个领域。
马大哈(Python)
·
2024-09-08 23:46
python
pycharm
开发语言
学习
青少年编程
Linux脚本实现自动化
运维
:系统自动备份、资源监控
1、系统自动备份目的:将重要应用备份到别的机器上脚本实例:#!/bin/bash#定义变量app_user=待备份应用的服务器用户名app_passwd=待备份应用的服务器密码app_ip=待备份应用的服务器IPBASE_PATH='/data/inspur_bak'TODAY_DATE=`date+\%Y\%m\%d`CURRENT_PATH=${BASE_PATH}/${TODAY_DATE}
人生在勤,不索何获-白大侠
·
2024-09-08 23:11
运维
linux
自动化
linux系统传输大文件报错_
运维
错题总结(一)
1、对linux下mysqldump备份命令的参数描述正确的是mysqldump-hip-uroot-pDBNAME>bck.sql解释:-h主机名-u用户名-p密码DBNAME数据库名2、linux中,一个端口能够接受tcp链接数量的理论上限是无上限解释:标识一个tcp链接的是,客户端和服务器的ip加端口号,尽管服务器ip地址和端口号一样,但是客户端ip地址不一样,而客户端端口号具有本地意义,理
weixin_39991305
·
2024-09-08 20:24
linux系统传输大文件报错
如何拿下TCP(数据库交付
运维
高级工程师TDSQL(MySQL版))认证
如何拿下TCP认证需要掌握的知识掌握分布式OLTP数据库TDSQL(MySQL版)的产品架构与分布式特性掌握TDSQL(MySQL版)各组件的功能,以及启停方法掌握TDSQL(MySQL版)数据库实例的基本操作与使用方法掌握TDSQL(MySQL版)集群的基本操作与使用方法掌握TDSQL(MySQL版)实例备份恢复原理与操作使用,以及高可用方案的实现掌握TDSQL(MySQL版)数据同步和数据迁移
小伟C_C
·
2024-09-08 18:14
数据库
Hive的优势与使用场景
它利用Hadoop的MapReduce或
Spark
来执行查询,具备高度扩展性,适合大数据处理。2.支持SQL-like查询语言(Hi
傲雪凌霜,松柏长青
·
2024-09-08 17:07
后端
大数据
hive
hadoop
数据仓库
Spark
3.5.1 升级 Java 17 异常 cannot access class sun.nio.ch.DirectBuffer
异常说明使用
Spark
3.5.1升级到Java17的时候会有一个异常,异常如下SLF4J:Failedtoloadclass"org.slf4j.impl.StaticLoggerBinder".SLF4J
敏叔V587
·
2024-09-08 15:23
spark
java
nio
【SpringCloud微服务实战10】DevOps自动化部署微服务项目(Jenkins+Docker+K8s)
一、什么是DevOpsDevOps是一种重视软件开发人员(Developer)和
运维
人员(Operations)之间沟通与协作的文化、运动或实践,目标在于快速交付高质量的软件产品和服务。
李维山
·
2024-09-08 11:25
Java
spring
cloud
微服务
jenkins
docker
k8s
【无标题】大数据之批处理,流处理,批流一体概念
Spark
和Flink都支持批处理,其中
Spark
使用的是批处理模型,即将一批数据一次性读入内存,然后对其进行处理,处理完成后再将结果写入磁盘。
数字天下
·
2024-09-08 09:43
大数据
Linux培训出来找得到工作吗?
毕竟现在很多从业的Linux
运维
工程师都是从培训机构学习出来的。Linux操作系统在互联网行
老男孩IT教育
·
2024-09-08 09:42
Linux
5G移动网络
运维
(优化)
5G网络优化现状移动通信行业属于技术密集型行业,是国民经济的重要支柱以及整个社会经济运转体系中不可或缺的基础。2019年年底5G开始商用,截止到2020年3月,我国三大运营商建设了16.1万个5G基站,我国成为目前全球5G基站最多的国家。预计到2020年年底,我国运营商会建设大概70万个5G基站。基于5G高频段的特性,信号覆盖距离会低于ins基站,再加上5G万物互联的巨大经济潜力价值需求,后续三大
Ysui\
·
2024-09-08 06:48
5G
网络
运维
主数据管理体系规划
企业级主数据管控体系总体目标在企业级数据管理系统支撑下,接入企业的各种系统,企业的客户关系管理、业务精细化管理、产品营销管理、全面风险管理等等,依靠企业级数据交换服务体系实现数据顺利流转,实现数据管理能力、数据服务能力和IT
运维
能力
「已注销」
·
2024-09-08 06:47
数据治理
big
data
大数据
2024年最新2024整理 iptables防火墙学习笔记大全_modepro iptables(1),2024年最新含BATJM大厂
为了做好
运维
面试路上的助攻手,特整理了上百道【
运维
技术栈面试题集锦】,让你面试不慌心不跳,高薪offer怀里抱!
2024spring
·
2024-09-08 04:07
程序员
学习
笔记
2024年最新2024整理 iptables防火墙学习笔记大全_modepro iptables,2024年最新最新Linux
运维
高级面试题汇总
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化的资料的朋友,可以点击这里获取!一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!–flush-F[chain]Deleteall
2024云技术
·
2024-09-08 04:37
程序员
运维
学习
笔记
py
spark
kafka mysql_数据平台实践①——Flume+Kafka+
Spark
Streaming(py
spark
)
蜻蜓点水Flume——数据采集如果说,爬虫是采集外部数据的常用手段的话,那么,Flume就是采集内部数据的常用手段之一(logstash也是这方面的佼佼者)。下面介绍一下Flume的基本构造。Agent:包含Source、Channel和Sink的主体,它是这3个组件的载体,是组成Flume的数据节点。Event:Flume数据传输的基本单元。Source:用来接收Event,并将Event批量传
weixin_39793638
·
2024-09-08 04:34
pyspark
kafka
mysql
mysql 8.0 高可用_MySQL 8.0 MGR(组复制)高可用VIP切换脚本
hcymysqlMySQL8.0MGR(组复制)高可用VIP切换脚本简介:MGR(组复制)官方推荐用MySQLrouter中间件去做MGR高可用故障转移,但其多过了一层网络,性能会下降,并且需要额外维护一套中间件,
运维
成本过高
错过整个世界
·
2024-09-08 00:11
mysql
8.0
高可用
项目遇到的难点、印象深刻点总结
1、更快地创建一个服务且免
运维
:大量的Node.js服务,创建服务,
橙秋筱
·
2024-09-07 21:15
javascript
<转>
Spark
体系架构
最近看到一篇关于
Spark
架构的博文,作者是AlexeyGrishchenko。
yongjian_luo
·
2024-09-07 20:11
Spark
Spark
分布式计算原理
目录一、RDD依赖与DAG原理1.1RDD的转换一、RDD依赖与DAG原理
Spark
根据计算逻辑中的RDD的转换与动作生成RDD的依赖关系,同时这个计算链也形成了逻辑上的DAG。
NightFall丶
·
2024-09-07 20:40
#
Spark
apache
spark
spark
Apache Flink 替换
Spark
Stream的架构与实践( bilibili 案例解读)_stream
spark
flink加载udf(1)
bilibili早期使用的引擎是
Spark
Streaming,后期扩展了Flink,在开发架构中预留了一部分引擎层的扩展。最下层是状态存储
2401_84165953
·
2024-09-07 12:44
程序员
flink
spark
架构
JavaEE(3)
业务分析市场提出需求设计编码测试
运维
项目搭建步骤1.搭建后端项目2.登录向后端发送请求使用axios发送异步请求在vue项目中安装axios在终端输入npminstallaxios安装更换npm镜像源,
无柳丶先生
·
2024-09-07 12:14
java-ee
java
CC00281.CloudKubernetes——|KuberNetes&
运维
.V03|——|EFK架构.v03|部署Fluentd|
一、部署Fluentd###---创建Fluentd-configmap.yaml文件~~~创建Fluentd-configmap文件[root@k8s-master01EFK]#catfluentd-configmap.yamlkind:ConfigMapapiVersion:v1metadata:name:fluentd-es-config-v0.2.0namespace:public-ser
yanqi_vip
·
2024-09-07 11:13
docker
kubernetes
logging
etcd
tapestry
linux自动化
运维
之ansible实战
ansible基础介绍优点-相比于saltatack和puppet,没有客户端,更轻量级-只是一个工具,可以很容易实现分布式拓展-更强的远程执行命令特点-模块化-支持自定义模块,可以用任何语言编写模块-基于python语言实现-部署简单,基于python和ssh,agentless,无需代理-安全安装yum安装首先安装epel源:yuminstallepel-release-y下载ansible:
浓黑的daidai
·
2024-09-07 11:05
运维
自动化
ansible
网络安全(黑客)自学
一、什么是网络安全网络安全可以基于攻击和防御视角来分类,我们经常听到的“红队”、“渗透测试”等就是研究攻击技术,而“蓝队”、“安全运营”、“安全
运维
”则研究防御技术。
白帽子凯哥
·
2024-09-07 09:21
web安全
安全
网络安全
服务器
网络
Py
Spark
数据分析基础:Py
Spark
基础功能及DataFrame操作基础语法详解_py
spark
rdd
DataFrame.show()使用格式:df.show()df.show(1)+---+---+-------+----------+-------------------+|a|b|c|d|e|+---+---+-------+----------+-------------------+|1|2.0|string1|2000-01-01|2000-01-0112:00:00|+---+---
2401_84187537
·
2024-09-07 08:47
数据分析
数据挖掘
Py
Spark
数据分析基础:Py
Spark
基础功能及DataFrame操作基础语法详解_py
spark
rdd(1)
dfDataFrame[a:bigint,b:double,c:string,d:date,e:timestamp]####通过由元组列表组成的RDD创建rdd=
spark
.
spark
Context.parallelize
2401_84181368
·
2024-09-07 08:46
程序员
数据分析
数据挖掘
Py
Spark
数据分析基础:Py
Spark
基础功能及DataFrame操作基础语法详解_py
spark
rdd(2)
轻松切换到pandasAPI和Py
Spark
API上下文,无需任何开销。有一个既适用于pandas(测试,较小的数据集)又适用于
Spark
(分布式数据集)的代码库。
2401_84181403
·
2024-09-07 08:46
程序员
数据分析
数据挖掘
Py
spark
DataFrame常用操作函数和示例
针对类型:py
spark
.sql.dataframe.DataFrame目录1.打印前几行1.1show()函数1.2take()函数2.读取文件2.1
spark
.read.csv3.获取某行某列的值(
还是那个同伟伟
·
2024-09-07 08:15
Spark
人工智能
机器学习
pandas
pyspark
spark
自学黑客(网络安全)
网络安全可以基于攻击和防御视角来分类,我们经常听到的“红队”、“渗透测试”等就是研究攻击技术,而“蓝队”、“安全运营”、“安全
运维
”则研究防御技术。
L世界凌乱了
·
2024-09-07 05:52
web安全
安全
网络安全
网络
学习
Spark
概念知识笔记
最近总结了个人的各项能力,发现在大数据这方面几乎没有涉及,因此想补充这方面的知识,丰富自己的知识体系,大数据生态主要包含:Hadoop和
Spark
两个部分,
Spark
作用相当于MapReduceMapReduce
kuntoria
·
2024-09-07 05:21
oracle 扩容undo,【案例】Oracle RAC数据库undo使用率较高的解决思路办法
天萃荷净Oracle研究中心案例分析:
运维
DBA反映Oracle数据库undo使用较大,结合案例分析undo使用问题。
南门居士-杜锦刚
·
2024-09-07 01:33
oracle
扩容undo
Python psutil模块
用Python来编写脚本简化日常的
运维
工作是Python的一个重要用途。在Linux下,有许多系统命令可以让我们时刻监控系统运行的状态,如ps,top,free等等。
Python 学习者
·
2024-09-07 01:32
编程语言
python
流程行业智能工厂系统集成总体解决方案:总体架构、SCADA厂务监控、MES、MON、EMS、数字孪生
SCADA厂务监控系统SCADA系统概述及功能数据采集与传输技术设备监控与报警机制能源管理与优化策略MES生产执行系统MES系统概念及作用生产计划与调度管理生产过程监控与追溯质量管理与控制策略MON设备
运维
管理系统
数字化建设方案
·
2024-09-06 20:05
智能制造
数字工厂
制造业数字化转型
工业互联网
架构
大数据
人工智能
如何搭建一个渲染农场
搭建一个渲染农场是一个复杂的事情,要考虑很多因素,本文将详细介绍如何搭建一个基本的渲染农场,包括前期规划、硬件选择、软件配置、网络设置、
运维
管理等方面。
炫云云渲染
·
2024-09-06 20:01
渲染农场
渲染解决方案
大数据秋招面经之
spark
系列
文章目录前言
spark
高频面试题汇总1.
spark
介绍2.
spark
分组取TopN方案总结:方案2是最佳方案。
wq17629260466
·
2024-09-06 19:54
大数据
spark
第04课:基于 Redis 的分布式缓存实现及加固策略
之后,分析集群所存在的几种可靠性问题并给出解决方案,最后,介绍一个集群
运维
软件的实现方案。1.Redis-Cluster搭建本节将介绍基于Redis和Lettuce搭建一个分布式缓存集群的方法。
Jin_Kwok
·
2024-09-06 18:13
分布式中间件实践之路
架构
分布式
中间件
ansible实战自动化
运维
项目
在实际生产环境中,Ansible可以帮助
运维
团队高效地管理服务器、应用和服务。以下是一个详细的Ansible自动化
运维
项目的生产实际案例,包括代码和详细讲解。
清风 001
·
2024-09-06 18:11
Linux系统
运维
每天一个数据分析题(五百一十四)- 决策树算法
D.叶结点(leafnode)数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-09-06 15:20
数据分析题库
算法
数据分析
决策树
python自动化
运维
项目实战_全网稀缺的Python/Django/Ansible Playbook自动化
运维
项目实战视频课程...
配置文件properties比yml优先级高SpringBoot使用一个全句的配置文件,配置文件名是固定的;application.propertiesapplication.yml配置文件的作用:修改SpringBoot自动配置的默认值,SpringBoot在底层都给我们自动配置好了。YAML,是/不是一个标记语言标记语言:以前的配置文件:xxx.xmlyaml:以数据为中心,比json、xml
weixin_39977642
·
2024-09-06 14:16
python自动化运维项目实战
ansible自动化
运维
1、ansble介绍ansble为一款批量化处理系统配置的服务,对批量化系统部署、批量程序部署、批量运行命令、批量修改服务、批量安装软件包、批量修改配置等诸多功能。ansible基于SSH架构,含有丰富的模块,支持win、路由器、交换机远程操作。查看playbook的网址:https://galaxy.ansible.com2、ansble部署环境准备ansible:192.168.4.10nod
芷阳99
·
2024-09-06 13:11
自动化运维
运维
ansible
自动化
能源交通行业ITSM案例分析报告
然而,长期以来,该行业内的信息中心普遍面临“重建设轻
运维
”的问题,即在基础设施建设上的投入远大于后续的
运维
管理。
采和精灵
·
2024-09-06 13:39
能源
运维
分布式系统实战:什么是微服务架构?微服务架构与SOA架构的区别
越来越多的企业拥抱微服务,期望通过微服务的架构来解决大型项目的管理与
运维
。那么什么是微服务?微服务架构与传统的SOA架构有什么区别?何时应该采用微服务架构?如何构建微服务?
程序员小英
·
2024-09-06 13:07
架构
微服务
云原生
ansible自动化
运维
项目
Ansible是一个基于Python开发的开源自动化
运维
工具,它通过其模块化的架构和强大的功能,实现了配置管理、批量系统配置、程序部署和运行命令等任务,旨在帮助
运维
工程师提高工作效能并减少重复性劳动。
不会代码的小林
·
2024-09-06 13:36
运维
ansible自动化
运维
项目
在MySQL中创建数据库和表是数据库管理的基础步骤,它们构成了数据存储和操作的基础结构。下面,我将详细介绍如何在MySQL中创建数据库和表,包括创建数据库的基本语法、设计表的考虑因素、表的创建过程、数据类型和约束的使用等,力求内容详尽且不少于2000字。一、创建数据库在MySQL中,数据库是一个创建简单的操作,使用CREATEDATABASE语句即可完成。这个语句允许你指定数据库的名称,并可选地指
shiming8879
·
2024-09-06 13:35
运维
ansible
自动化
使用Ansible进行自动化
运维
引言简介自动化
运维
在现代IT基础架构管理中扮演着重要角色。通过自动化,我们可以提高效率、减少人为错误和加速部署流程。
weixin_58606202
·
2024-09-06 12:02
运维
ansible
自动化
关于日志数据管理
熟悉数据中心
运维
的人都知道,日志数据是记录IT系统操作行为的重要数据,所有的硬件设备与软件执行的所有指令都会通过日志保留下来。企业针对日志数据的管理,目前的情况是怎么样的呢?1、缺少日志管理能力。
Aichris
·
2024-09-06 12:03
【
Spark
高级应用】使用
Spark
进行高级数据处理与分析
Spark
高级应用使用
Spark
进行高级数据处理与分析引言在大数据时代,快速处理和分析海量数据是每个企业面临的重大挑战。
爱技术的小伙子
·
2024-09-06 10:47
大数据
spark
ajax
大数据
spark
读取csv文件
测试
spark
读取本地和hdfs文件frompy
spark
.sqlimport
Spark
Session
spark
=
Spark
Session.builder\.appName("ExamplePy
Spark
Script
静听山水
·
2024-09-06 10:44
Spark
spark
Spark
Streaming业务逻辑处理的一些高级算子
packagecom.
spark
scala.streamingimportorg.apache.log4j.{Level,Logger}impor
看见我的小熊没
·
2024-09-06 09:43
sparkStreaming
scala
spark
big
data
scala
Spark
一些个人总结
文章目录前言一、
Spark
是什么二、
Spark
用来做什么三、
Spark
的优势是什么四、为什么用
Spark
五、
Spark
解决了什么问题总结前言随着大数据技术的发展,一些更加优秀的组件被提了出来,比如现在最常用的
易逑实战数据
·
2024-09-06 09:39
大数据
spark
big
data
scala
spark
任务优化参数整理
以下参数中有sql字眼的一般只有
spark
-sql模块生效,例外的时候会另行说明,此外由于总结这些参数是在不同时间段,当时使用的
spark
版本也不一样,因此要注意是否有效,如果本博主已经试过的会直接说明
尘世壹俗人
·
2024-09-06 09:08
大数据Spark技术
spark
大数据
分布式
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他