spark运维

黑猴子的家：Spark SQL 的性能

1、内存列存储（In-MemoryColumnarStorage）内存列存储来说，将所有原生数据类型的列采用原生数组来存储，将Hive支持的复杂数据类型(如array、map等)先序列化后拼接成一个字节数组来存储。这样，每个列创建一个JVM对象，从而导致可以快速的GC和紧凑的数据存储。额外的，还可以用低廉CPU开销的高效压缩方法来降低内存开销。更有趣的是，对于分析查询中频繁使用的聚合特定列，性能会
黑猴子的家·2024-02-07 18:48

简单使用Spark、Scala完成对天气数据的指标统计

目录一、前言&什么是Spark？
db_lcz_2014·2024-02-07 18:33

APISpace 验证码短信API接口案例代码

1.验证码短信API产品介绍image.pngAPISpace的验证码短信API，支持三大运营商，虚拟运营商短信发送，电信级运维保障，独享专用通道，3秒可达，99.99％到达率，支持大容量高并发。
API小百科_APISpace·2024-02-07 18:44

kuberneter常用运维命令持续学习更新中

1.彻底删除当前k8s版本systemctlstopkubeletsystemctlstopetcdsystemctlstopdockerkubeadmreset-fyumlistinstalled|grepkubeyum-yremovekube*yumlistinstalled|grepkubeyum-yremovecri-tools.x86_64yumlistinstalled|grepkub
leo_hush·2024-02-07 15:52

docker部署docker运维工具

简介主要功能:管理容器,管理镜像,管理容器网络安装拉取镜像dockerpulljoinsunsoft/docker.ui:1.0.1启动容器dockerrun-d--namedocker.ui--restartalways-v/var/run/docker.sock:/var/run/docker.sock-p10039:8999joinsunsoft/docker.ui:1.0.1使用打开浏览器
老王聊技术·2024-02-07 15:47

云计算运维1

1、企业服务器LNMP环境搭建集群：多台服务器在一起作同样的事。分布式：多台服务器在一起作不同的事。环境准备：1、设置静态ip（NAT模式网关为.2）#cat/etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"BOOTPROTO="none"IPADDR="10.1.1.10"NETMASK="255.255.255.0"GATEWAY
mpp__mvp·2024-02-07 14:55

安全智能化办公平台-安创安全 OA

广东安创信息科技开发有限公司(以下简称“安创科技”)成立于2012年7月，是一家致力于网络和信息安全技术应用、产品研发、方案设计、检测与防护、运维及管理、技术支持等专业信息安全产品和服务提供商。
冯诗婷·2024-02-07 13:56

ctfshow-web11~20-WP

web11根据提示，查询对ctfshow域名进行dns查询，查看TXT记录阿里云查询链接：阿里云网站运维检测平台获取flag成功web12根据题目提示，我们访问robots.txt，获取到后台地址然后我们访问一下后台
五行缺你94·2024-02-07 13:20

一文明白calico的IPIP网络模式

微信公众号：运维开发故事，作者：姜总前言本文主要分析k8s中网络组件calico的IPIP网络模式。旨在理解IPIP网络模式下产生的calixxxx，tunl0等设备以及跨节点网络通信方式。
运维开发故事·2024-02-07 12:40

Redis核心技术与实战【学习笔记】 - 26.Redis数分布优化（应对数据倾斜问题）

比如，RedisCluster或Codis会先按照CRC算法的计算值对Slot（逻辑槽）取模，同时Slot又有运维管理员分配到不同的实例上。这样，数据就被保存到相应的实例上了。
陈建111·2024-02-07 11:10

【Iceberg学习一】什么是Iceberg？

Iceberg为包括Spark、Trino、PrestoDB、Flink、Hive和Impala在内的计算引擎增加了表格功能，使用一种高性能的表格格式，其工作方式就像一个SQL表一样。
周润发的弟弟·2024-02-07 10:56

RDD任务切分之Stage任务划分(图解和源码)

RDD任务切分中间分为：Application、Job、Stage和Task（1）Application：初始化一个SparkContext即生成一个Application；（2）Job：一个Action
大数据左右手·2024-02-07 09:34

微信被盗14小时，反思运维团队的应急响应管理

哈喽，Everyone~没错，我被盗号了。相当懵逼的一次被盗号，所有绑定信息全部发生了变更。与微信绑定的手机号、QQ、邮箱无一幸免，甚至连支付密码也难逃那只看不见的魔爪。一切发生的都是那么突然。14小时前，凌晨：我和平时一样，进行着睡前文章阅读。没有天空惊雷，没有夜幕乌啼，没有任何异象。安静躺在床上等待着美好的明天，陷入梦乡。早8：00，起床，习惯性的摸手机看一下早报，映入朦胧睡眼的不是熟悉的消息
PM研习社·2024-02-07 09:38

恒创科技：怎么看云主机的性价比

硬件成本是指云主机的物理设备成本，包括服务器、存储设备、网络设备等；运营成本则包括云主机的能源消耗、散热费用、运维人员的工资等；软件成本是指云主机操作系统、中间
海外空间恒创科技·2024-02-07 09:58

kyuubi 接入starrocks | doris

kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿·2024-02-07 09:48

什么？00后都在学python了？

目前，Python已经逐步在网络爬虫、数据分析、AI、机器学习、Web开发、金融、运维、测试等多个领域扎根壮大。
全栈媛·2024-02-07 07:16

Hive Sql优化记录

日常检查ETLjob时发现一段sql采用hiveonmr执行比hiveonspark要快70%，与正常的认知正好相反，所以对该sql进行了详细分析。
风筝flying·2024-02-07 07:40

Docker的用途

运维人员利用Docker可以在隔离容器中并行运行和管理应用，获得更好的计算密度。
xmh-sxh-1314·2024-02-07 07:57

Docker Arthas 实战指南

Arthas是一款强大的Java诊断和调试工具，它能够在生产环境中实时诊断Java应用，提供强大的调试功能，帮助开发者和运维人员解决各种Java应用的性能问题和调试挑战。
ivwdcwso·2024-02-07 07:22

Docker 有哪些常见的用途？

这使得Docker在开发和运维领域中非常受欢迎，因为它简化了应用程序的部署和管理。
恒创HengHost·2024-02-07 07:49

Linux操作系统运维-Docker的基础知识梳理总结

Linux操作系统运维-Docker的基础知识梳理总结docker用来解决不同开发人员软件调试时环境不统一的问题，保证了程序调试时运行环境的一致性。
半只野指针·2024-02-07 07:48

SparkJDBC读写数据库实战

默认的操作代码valdf=spark.read.format("jdbc").option("url","jdbc:postgresql://localhost:5432/testdb").option
SunnyRivers·2024-02-07 07:41

运维人员一定要正常关机！！！！！！！！（呐喊!!!）不要直接关机！！！！！！

运维人员不要直接关机！不要直接关机！不要直接关机！！！！！！！！！！！如何正常关机？shutdown-hnow表示将系统的服务停掉后，立即关机。
you秀·2024-02-07 06:35

运维之-如何在纯内网，无网络的环境中代理网络到外网！超全！手把手教！！

前言在外出实施和部署公司的软件和系统时，有的甲方要求时纯内网环境！不给开公网，但是自己处理软件包之间的依赖又太麻烦（一个软件包有可能会有6，7个依赖。亲身经验）。所以找到了一套可以强制代理固定软件的网络包到指定电脑端口的代理服务的工具——tsocks。但是在纯内网中安装它又可能需要其它的东西比如gcc和make编译工具。下面会一一列出需要的工具和获取的方法第二种可能会用到的情况就是在linux下想
you秀·2024-02-07 06:04

clickhouse（五、运维查看后台进程并杀死）

查看后台进程--这个命令和mysql是一样的showprocesslist；--如果进程太多，也可用通过查询系统表processes，select*fromsystem.processes;--指定主要关心字段selectuser,query_id,query,elapsed,memory_usagefromsystem.processes;杀死后台进程--通过上面指令获取到进程相关信息后，可以用
yyoc97·2024-02-07 06:12

IDEA 本地运行Spark

IDEA本地运行Spark1、背景2、环境准备3、具体流程3.1IDEA创建maven项目3.2pom.xml配置3.3Demo程序示例3.4结果输出4、总结改进1、背景主要用于本地阅读Spark源码，
fir_dameng·2024-02-07 06:41

Spark Scala大数据编程实例

一、Scala1.1、Scala简介Scala是一门现代的多范式编程语言，平滑地集成了面向对象和函数式语言的特性，旨在以简练、优雅的方式来表达常用编程模式。Scala的设计吸收借鉴了许多种编程语言的思想，只有很少量特点是Scala自己独有的。Scala语言的名称来自于“可伸展的语言”，从写个小脚本到建立个大系统的编程任务均可胜任。Scala运行于Java平台（JVM，Java虚拟机）上，并兼容现有
一直de不完的bug·2024-02-07 06:38

win10 spark scala 本地运行wordcount

hadoopcommon，可以从github下载zip，解包以后设置HADOOP_HOME环境变量指向它，然后在PATH里加上HADOOP_HOME\bin，特别注意，hadoopcommon的版本要和spark
疯琴·2024-02-07 06:06

Scala与java

目录Scala简介Scala和java的区别Spark选择Scala的原因Scala：Object与Class的区别Scala样例类和普通类的区别Scala中的None,Nothing,Null,NilScala
K. Bob·2024-02-07 06:05

Spark scala如何本地运行

Sparkscala如何本地运行Spark任务调试太费时间啦SparkScala本地运行Spark任务调试太费时间啦ApacheSpark是一个开源的大数据处理框架，它提供了一个接口用于编程大规模分布式计算
HanhahnaH·2024-02-07 06:03

Zeppelin结合Flink查询hudi数据

目前ApacheZeppelin支持ApacheSpark、ApacheFlink、Python、R、JDBC、
BigDataToAI·2024-02-07 05:38

Apache Zeppelin 整合 Spark 和 Hudi

一环境信息1.1组件版本组件版本Spark3.2.3Hudi0.14.0Zeppelin0.11.0-SNAPSHOT1.2环境准备Zeppelin整合Spark参考：ApacheZeppelin一文打尽
大数据AI·2024-02-07 05:03

spark sql上线前的调试工作实现

背景每个公司应该都有大数据的平台的吧，平台的作用就是可以在上面执行各种sparksql以及定时任务，不过一般来说，由于这些sparksql的上线不经过测试，所以可能会影响到生产的数据，这种情况下大数据平台提供一个上线前的调试功能也就非常好了
lixia0417mul2·2024-02-07 05:22

MySQL 磁盘95%，删完数据磁盘炸了！聊聊清理数据遇到的问题

在降本增笑的大环境下，运维被砍，开发也要承担一部分DBA的任务。例如，今天这个场景，某台MySQL5.7，磁盘95%，继续解决。开发想当然的做法是：删掉一些表的数据，肯定能降。
FesonX·2024-02-07 05:09

你一定要知道这个运维产品的能力闭环体系

实现一个运维产品的闭环，比碎片式的产品建设更有意义。抛开我最近创业对这一问题的必要性思考，回归到一个企业内运维团队本身，个人觉得也需要思考这个命题。一个完善的运维平台才能做到对业务的运营有效支撑。
AIOPstack·2024-02-07 04:57

linux运维:ywtools工具安装/卸载介绍

一.工具功能功能介绍ywtools工具是全部shell脚本编写,用于日常工作的linux运维二.已测试系统:centos7centos8centossteam8centossteam9rocky8rocky9AlmaLinux8.2
Z顺其自然·2024-02-07 03:04

Kuberntes权威指南

一、目录二、Kubernetes入门三、Kubernetes核心原理四、Kubernetes开发指南五、Kubernetes运维指南六、Kubernetes高级案例进阶七、Kubernetes源码导读
程序员的人生K·2024-02-07 03:04

Kuberntes DNS

kubectlgetendpointsNAMEENDPOINTSAGEdocker-registry172.17.0.10:500019dkubernetes10.0.2.41:844319drouter10.0.2.41:1936,10.0.2.41:80,10.0.2.41:44319dsparkthrift-headless172.17.0.12
zhixingheyi_tian·2024-02-07 03:02

D7 Elasticsearch-Mongodb（搜索记录）

一名从事运维开发的worker，记录分享学习。专注于AI，运维开发，windowsLinux系统领域的分享！
南城余coding·2024-02-07 02:16

黑马头条 xxl-job

一名从事运维开发的worker，记录分享学习。专注于AI，运维开发，windowsLinux系统领域的分享！
南城余coding·2024-02-07 02:16

对话开发者：Serverless 落地的困境与破局

在新的阶段中，云服务的角色也从单纯的提供资源，变成了企业构建应用的新平台，帮助企业尽可能减小机器运维等低价值重复工作，聚焦于业务的
阿里云云原生·2024-02-07 02:14

黑马头条 - minio

一名从事运维开发的worker，记录分享学习。专注于AI，运维开发，windowsLinux系统领域的分享！
南城余coding·2024-02-07 02:42

Spark RDD的学习(JAVA)

注：本文是跟着《Spark快速大数据分析》一书学习的笔记式总结，不喜勿喷。RDD(ResilientDistributedDataset)弹性分布式数据集是Spark对数据的核心抽象。
啊其11·2024-02-07 02:47

Spark Chapter 8 Spark SQL

【参考以慕课网日志分析为例进入大数据Sparksql】0导读SQL：MySQL，Oracle，DB2，SQLServer在大数据平台上实现大数据计算：Hive/SparkSQL/SparkCore直接使用
深海suke·2024-02-07 01:34

统计图表在线配置服务-百度 SugarBI的学习笔记

最近，有个产品要支持统计图表在线可配置，这样，当用户有新增统计指标的需求时，运维人员通过界面化配置，就可以增加统计指标了，不用开发写代码，画页面了。
快看那个人·2024-02-07 01:31

Spark大数据分析与实战笔记（第三章 Spark RDD弹性分布式数据集-01）

文章目录每日一句正能量第3章SparkRDD弹性分布式数据集章节概要3.1RDD简介3.2RDD的创建方式3.2.1从文件系统加载数据创建RDD3.2.2通过并行集合创建RDD每日一句正能量学如积薪，后来者居上
想你依然心痛·2024-02-07 01:53

StarRocks入门

目录一、连接StarRocks二、建表1.创建非分区表2.创建动态分区表3.修改表字段类型三、数据导入1.Sparkload2.Brokerload3.Streamload4.Routineload5.
jingyu鲸鱼·2024-02-06 22:42

超融合系统疑难故障定位与解决实践 3 例（含信创技术栈）

当IT系统出现故障，问题定位往往是运维人员最头疼的环节。
志凌海纳SmartX·2024-02-06 21:46

轻薄本中的异类：工程师专用掌上电脑，长成这样能接受吗？

今天跟大伙聊的这款掌上电脑，就是专门针对网络运维相关领域工程师推出的一款便携好用的掌上电脑GPDMicroPC。作为轻薄笔记本电脑细分到专精职业小众之佳作，它的三围只有153x113x23.5m
笔点酷玩·2024-02-06 20:51

Ansible 常用

一.前言在企业中运维工作人员通常需要同时管理几十台甚至几百台主机（虚拟机），如果需要批量修改设置或者做更新操作的话，即便是事先编写好脚本，一台一台的去运行脚本也是非常耗时的，效率也十分低下。
SkTj·2024-02-06 20:16
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他