spark运维第25页

数据库运维工作量直接减少 50%，基于大模型构建智能问答系统的技术分享

本文源自百度智能云数据库运维团队的实践，深入探讨了基于大模型构建「知识库智能问答系统」的设计过程和应用。全文包括了总体的技术方案选型、各个模块的设计实现、重点难点问题的突破、以及目前的落地场景应用等。

百度智能云技术站·2024-02-02 23:35

API小百科_APISpace·2024-02-02 22:00

第三周 DAY1第三周老男孩linux运维58期学员七组许金龙之课堂笔记课

老男孩Linux云计算58期-day13-1[root@oldboyedu~]#ls-lhitotal32K33631870-rw-r--r--.1rootroot4Mar132019a.txt第二列结尾的.是标识selinux的符号1、selinux是什么？安全规则，让Linux系统更安全的一套规则。这个规则太严格了，一般的情况下都会关闭selinux。自己开启防火墙啊，用其他手段来实现同样的安

一起拍黄瓜·2024-02-02 22:33

【go语言】error 错误处理详解

一般情况下，系统出现故障，由运维在狂轰滥炸的报警信息中找到关键错误信息和研发人员进行沟通，再查看代码逻辑理清问题根源，最后解决问题，在定位错误过程中不仅效率低，沟通成本也高。

三水木_·2024-02-02 22:29

Linux巩固篇008-Linux 防火墙

前言身为一个三年的运维工程师，从开发转测开再转运维，都是不断学习的过程，未必开发才是最优秀的，找到适合自己的职业不断深耕，你也会在自己的行业大放光彩，本系列依照《Linux就该这么学》系列随书学习练习操作

linux舟停江吹雪·2024-02-02 22:56

Linux巩固篇007-Linux 磁盘阵列技术

前言身为一个三年的运维工程师，从开发转测开再转运维，都是不断学习的过程，未必开发才是最优秀的，找到适合自己的职业不断深耕，你也会在自己的行业大放光彩，本系列依照《Linux就该这么学》系列随书学习练习操作

linux舟停江吹雪·2024-02-02 22:26

linux命令运维技巧1-4（tail查看命令精用版+创建软硬链）

[root@bogontmp]#tail-n5/var/log/messagesNov515:50:01bogonsystemd:CreatedsliceUserSliceofroot.Nov515:50:01bogonsystemd:StartedSession4ofuserroot.Nov515:50:01bogonsystemd:RemovedsliceUserSliceofroot.Nov

linux舟停江吹雪·2024-02-02 22:55

2021-07-22linux运维yum下载老报错,尝试其他镜像网络不可达

最近遇到了一个很头痛的事,就是在装完zabbix后,有墙访问不了对应的库,导致软件无法通过yum下载报错如下http://repo.zabbix.com/zabbix/4.0/rhel/7/x86_64/repodata/repomd.xml:[Errno14]curl#7-"Failedtoconnectto2604:a880:2:d0::2062:d001:网络不可达"正在尝试其它镜像。htt

linux舟停江吹雪·2024-02-02 22:55

深度学习的开源分布式框架Deeplearning4j

该框架基本上是由Hadoop和Spark集成的分布式深度学习库组成的。在Hadoop和Spark的帮助下，我们可以轻松地分发模型和大数据集，并运行

weixin_43106248·2024-02-02 19:13

亚信安慧的AntDB数据库：稳定可靠的保障

在自主可控替换项目中，这种数据库的应用为运营商提供了更加灵活和便捷的数据库管理和运维手段，不仅实现

亚信安慧AntDB数据库·2024-02-02 18:03

golang实现简单的流式处理

实现一个最简单的类似spark的流式处理流程包含map和filter数据typeStreamstruct{data[]int}map函数func(sStream)Map(ffunc(int)int)Stream

nil_ddea·2024-02-02 18:24

【高效运维】可以解决日常99%的问题，能用到退休的 600条 Linux 命令

可以解决日常99%的问题，能用到退休的600条Linux命令~1、基本命令2、关机3、文件和目录4、文件搜索5、挂载一个文件系统6、磁盘空间7、用户和群组8、文件的权限9、文件的特殊属性10、打包和压缩文件11、RPM包12、YUM软件包升级器13、DEB包14、查看文件内容15、文本处理16、字符设置和文件格式转换17、文件系统分析18、初始化一个文件系统19、SWAP文件系统20、备份21、光

阿寻寻·2024-02-02 17:03

项目运维方案-(word)31页

1.文档介绍2.人员与责任3.运维过程内容4.运维资源5.运维服务规划保障6.事件处置7.质量改进8.运维边界及内容软件开发全文档获取：软件项目开发全套文档下载_软件项目文档-CSDN博客

软件项目资料查询库·2024-02-02 16:23

使用 DataEase 展示服务器运行状态

场景说明DataEase部署之后默认没有监控服务器的资源使用情况，如果内网环境中有Zabbix等监控服务可以直接接入到Zabbix，如果没有监控程序，为一台服务器搭建一个监控平台，将会增加服务器成本和运维成本

搞大屏的小北 BI·2024-02-02 16:26

由《幻兽帕鲁》私服漏洞引发的攻击面思考

运维工具看了下系统负载发现CPU已经跑满。故障排查登录服务器进行排查发现存在可疑的docker进程。

知白y·2024-02-02 15:45

网站监测工具的极与极，Site24x7 与百川云

但是它与百川云网站监测完全不一样，百川云网站监测是适合用中小微企业的交互极简的saas应用，Site24x7完全是另一个极端，适合于大型企业，且适合中高级运维人员使用。

知白y·2024-02-02 15:15

幻兽帕鲁越玩越卡，内存溢出问题如何解决？

没有服务器运维经验的玩家，很容易束手无策，只能任凭服务器默默重启。在这里教大家一招，使用saas形态的轻量级运维工具，只需要三步，即可对服务器资源情况进行实时监控，出现异

知白y·2024-02-02 15:42

linux文件权限备份、恢复-linux文件权限如何备份、恢复-getfacl/setfacl备份恢复文件权限

0、序在运维这条路上走久了，你能听到或者遇到这样的事情就越多，甚至是你自己干过的：一个信心满满的运维人员一个不小心，输入"chmod-R777/"导致一个巨大的悲剧，然后整个部门从上到下被撸一顿。

老覃头·2024-02-02 14:33

史上最全的spark面试题

1.spark中的RDD是什么，有哪些特性？

@毛毛·2024-02-02 13:12

livy使用样例_livy提交spark应用

spark-submit的使用shell时时灵活性较低，livy作为spark提交的一种工具，是使用接口或者java客户端的方式提交，可以集成到web应用中1.客户端提交的方式核心代码LivyClientclient

阿里聚安全·2024-02-02 13:11

PySpark（一）Spark原理介绍、PySpark初体验及原理

Spark简介ApacheSpark是用于大规模数据（large-scaladata）处理的统一（unified）分析引擎，其特点就是对任意类型的数据进行自定义计算。

独憩·2024-02-02 13:11

生产环境_Spark找出两DataFrame之间的差集（技巧）

在生产作业中，经常在工作流中遇到前后两DataFrame的数据缺失，比如df1为410条，下一个节点的df2就变成409条了，用眼睛看很费劲，因此不得不做一个差集。代码：/假设df1和df2是你的两个DataFramevaldf1=xxxvaldf2=ccc//使用except操作找出df1中存在但df2中不存在的数据valonlyInDf1=df1.except(df2)//使用except操作

Matrix70·2024-02-02 13:10

浅谈Spark Livy

SparkLivy什么是LivyLivy的特点Livy的运作流程阐述Livy的安装、启动、访问Livy的使用1.什么是Livylivy是cloudera开发的通过REST来连接、管理spark的解决方案

浅汐yt·2024-02-02 13:40

【Spark实践6】特征转换FeatureTransformers实践Scala版--补充算子

本节介绍了用于处理特征的算法，大致可以分为以下几组：提取（Extraction）：从“原始”数据中提取特征。转换（Transformation）：缩放、转换或修改特征。选择（Selection）：从更大的特征集中选择一个子集。局部敏感哈希（LocalitySensitiveHashing,LSH）：这类算法结合了特征转换的方面与其他算法。FeatureTransformersIndexToStri

周润发的弟弟·2024-02-02 13:39

spark相关面试题总结

1.spark中的RDD是什么，有哪些特性？

专注于大数据技术栈·2024-02-02 13:39

[Scala学习笔记] Spark开发小笔记

Spark开发小笔记：从0开始的Spark建图生活持续更新中……0.开发平台Zeppelin支持多种语言，默认是scala(背后是sparkshell)，SparkSQL,Markdown和Shell。

Rinnki·2024-02-02 13:39

Scala 与spark 7.23

例如：@transientvalsparkContext:SparkContext,Scala多行字符串之stripMargin方法https://www.jianshu.com/

qq_34872215·2024-02-02 13:09

生产环境踩坑系列::Hive on Spark的connection timeout 问题

起因7/16凌晨，钉钉突然收到了一条告警，一个公司所有业务部门的组织架构表的ETL过程中，数据推送到DIM层的过程中出现异常，导致任务失败。因为这个数据会影响到第二天所有大数据组对外的应用服务中组织架构基础数据，当然，我们的Pla-nB也不是吃素的，一旦出现错误，后面的权限管理模块与网关会自动配合切换前一天的最后一次成功处理到DIM中的组织架构数据，只会影响到在前一天做过组织架构变化的同事在系统上

dclar_·2024-02-02 13:08

【SparkML实践5】特征转换FeatureTransformers实战scala版

本节介绍了用于处理特征的算法，大致可以分为以下几组：提取（Extraction）：从“原始”数据中提取特征。转换（Transformation）：缩放、转换或修改特征。选择（Selection）：从更大的特征集中选择一个子集。局部敏感哈希（LocalitySensitiveHashing,LSH）：这类算法结合了特征转换的方面与其他算法。本章节主要讲转换1FeatureTransformersTo

周润发的弟弟·2024-02-02 13:08

spark livy hue

1.下载livylivy为Spark提供了REST接口，有如下特性:*提供交互式shell*批量提交*多用户使用用一个服务(用户模拟)*可以从任何地方使用REST的方式提交*无需对代码进行任何修改wgethttp

bigdataf·2024-02-02 13:08

PySpark（二）RDD基础、RDD常见算子

目录RDDRDD五大特性RDD创建RDD算子常见的Transformation算子mapflatMapmapValuesreduceByKeygroupByfilterdistinctunionjoinintersectionglomgroupByKeygroupByKey和reduceByKey的区别?sortBysortByKey常见的action算子countByKeycollectredu

独憩·2024-02-02 13:07

【livy】Spark Livy深究

什么是livyLivy的特点Livycloudera开发通过REST来连接、管理spark的解决方案从任何地方提交job使用交互式的Scala、Python语言与远程的spark集群进行通信无需更改代码

小赵要加油·2024-02-02 13:07

Python之PySpark简单应用

文章目录一、介绍1.准备工作2.创建SparkSession对象：3.读取数据：4.数据处理与分析：5.停止SparkSession：二、示例1.读取解析csv数据2.解析计算序列数据map\flatmap

陈年小趴菜·2024-02-02 13:37

【SparkML实践4】Pipeline实战scala版

DataFrame：这个机器学习API使用来自SparkSQL的DataFrame作为机器学习数据集，它可以包含多种数据类型。例如，一个DataFrame可以有不同的列存

周润发的弟弟·2024-02-02 13:36

生产环境_Spark接收传入的sql并替换sql中的表名与解析_非常NB

背景开发时遇到一个较为复杂的周期需求，为了适配读取各种数据库中的数据并将数据库数据转换为DataFrame并进行后续的开发分析工作，做了如下代码。在爷们开发这段生产中的代码，可适配mysql,hive,hbase，gbase等等等等，基本涉及到数据库的情况基本可以进行。可以说是非常之NB！！！！！了数据流程：由于该代码片段主要关注数据处理流程，而非实际数据内容，,当然，我也不能把特殊数据给大家展示

Matrix70·2024-02-02 13:06

Linux运维工程师必学必备的8项IT技能

linux运维工程师必须掌握的技能：1、Linux基础知识内容，和命令使用，以及用户和权限等核心知识点；2、Linux从进程、资源、任务、文件、软件包、磁盘等管理方法；3、安全架构、安全威胁模型、以及加密

微风伴着细雨0812·2024-02-02 13:00

python-自动化篇-运维-实现读取日志文件最后一行的时间

文章目录1.使用Python打开日志文件2.python读取文件最后一行两种方式3.读取当前时间，进行两者相减，超时报警4.将内容推送到企业微信5.关闭日志文件整体代码1.使用Python打开日志文件在开始实时读取日志文件之前，我们首先需要打开一个日志文件。可以使用Python的内置函数open()来打开文件，并且还可以设置打开方式和编码方式。下面是打开一个日志文件并指定为只读模式的示例代码：lo

fo安方·2024-02-02 12:58

Iceberg从入门到精通系列之二十四：Spark Structured Streaming

Iceberg从入门到精通系列之二十四：SparkStructuredStreaming一、StreamingReads二、StreamingWrites三、Partitionedtable四、流表的维护

最笨的羊羊·2024-02-02 12:52

Iceberg从入门到精通系列之二十三：Spark查询

Iceberg从入门到精通系列之二十三：Spark查询一、使用SQL查询二、使用DataFrame进行查询三、Timetravel四.Incrementalread五、检查表六、History七、元数据日志条目八

最笨的羊羊·2024-02-02 12:51

Iceberg从入门到精通系列之二十一：Spark集成Iceberg

Iceberg从入门到精通系列之二十一：Spark集成Iceberg一、在Spark3中使用Iceberg二、添加目录三、创建表四、写五、读六、Catalogs七、目录配置八、使用目录九、替换会话目录十

最笨的羊羊·2024-02-02 12:20

Linux下查看系统中占用内存和CPU最多的进程

作为一名IT人员，是很有必要知道一些linux运维常用的命令的，一下为一些常用的运维命令组合，在Linux中如何查看CPU使用情况，如果查看内存使用情况，找出linux中最占用CUP或者内存的进行。

技术蜜糖罐·2024-02-02 12:18

实时数据湖：Flink CDC流式写入Hudi

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜1.环境准备•Flink1.12.2_2.11•Hudi0.9.0-SNAPSHOT(master分支)•Spark2.4.5、Hadoop3.1.3

王知无(import_bigdata)·2024-02-02 12:01

使用 Flink Hudi 构建流式数据湖

通过MR/Spark的

浪尖聊大数据-浪尖·2024-02-02 12:30

Iceberg从入门到精通系列之二十二：Spark DDL

Iceberg从入门到精通系列之二十二：SparkDDL一、SparkDDL二、SparkDDL-创建表三、SparkDDL-PARTITIONEDBY四、SparkDDL-CREATETABLE...

最笨的羊羊·2024-02-02 12:47

pyspark的安装及使用

jdk安装必须要求为jdk1.8版本JDK下载后环境变量配置新增系统变量JAVA_HOMEPath新增测试是否安装成功：javac-versionspark安装官网下载，遇到加载不了选项框的情况可以尝试用手机打开网址获取下载链接后下载直接解压

a013067506e4·2024-02-02 11:56

怎么下载python并安装3.9.0,python下载安装教程3.10.0

Python可以应用于Web应用开发、网络爬虫、人工智能、数据处理、服务器运维工作等适合练手的python项目。以下为免费的资源下载网址（推荐官方

chatgpt001·2024-02-02 11:41

关于Redis Cluster集群运维与核心原理

关于RedisCluster集群运维与核心原理1、Redis集群方案比较哨兵模式高可用集群模式2、Redis高可用集群搭建3、Java操作redis集群1、Redis客户端Jedis操作2、集群的SpringBoot

秋天的一亩三分地·2024-02-02 10:00

Linux环境docker安装gitlab（简单粗暴，复制即用）

前言为方便运维，本人将常用docker安装镜像方式总结如下：一、安装gitlab1.查询镜像dockersearchgitlab2.拉取镜像可以根据自己需求拉取想要的版本，我选的是中文版dockerpulltwang2218

liaozk_c·2024-02-02 10:35

spark题06

6.列举Spark中常见的端口，分别有什么功能？8.Spark官网中，你常用哪几个模块？11.yarn的原理？14.看过源码？你熟悉哪几个部分的源码？

博弈史密斯·2024-02-02 09:59

浅谈MySQL优化技巧

硬件优化属于运维的工作，系统配置往往是由DBA进行优化。Java工程师是数据库系统的使用者

AlanLin824·2024-02-02 09:43

推荐频道

spark运维