分布式系统_spark 第10页

kafka基础概念分享

消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，Rabbit

小豆腐和小豆浆·2024-02-11 12:38

Kafka 概念，安装，常用命令（一）

Kafka有点像消息系统，允许发布和订阅消息流，但是它和传统的消息系统有很大的差异，首先，Kafka是个现代分布式系统，以集群的方式运行，可以自由伸缩。

响彻天堂丶·2024-02-11 12:06

离线数仓（一）【数仓概念、需求架构】

前言今天开始学习数仓的内容，之前花费一年半的时间已经学完了Hadoop、Hive、Zookeeper、Spark、HBase、Flume、Sqoop、Kafka、Flink等基础组件。

让线程再跑一会·2024-02-11 11:58

Hive与ClickHouse的区别

Hive的存储引擎使用HDFS，计算引擎使用MapReduce或Spark。Hive本质上是一个元数据管理平台，通过对存储于HDFS上的数据文件附加元数据，赋予HDFS上的文件以数据库表的语义。

晓之以理的喵~~·2024-02-11 08:18

分布式锁实现

在分布式系统中，一个应用部署在多台机器中，在某些场景下，为了保证数据一致性，要求在同一时刻，同一任务只在一个节点上运行，即保证某个行为在同一时刻只能被一个线程执行；在单机单进程多线程环境，通过锁很容易做到

码<>农·2024-02-11 07:11

Spark编程题

数据格式如下：张三|男|23|未婚|北京|海淀李四|女|25|已婚|河北|石家庄求：1.数据中所有人的平均年龄2.数据中所有男性未婚的人数和女性未婚人数3.数据中20-30已婚数量前3的省份答案：packagespark08importorg.apache.spark.rdd.RDDimportorg.apache.spa

不愿透露姓名的李某某·2024-02-11 07:09

死磕spark中的job、stage、task

写在前面台风夜的电话面试里被问到了spark运行任务的过程中stage的划分依据。一下子就给整懵了，支支吾吾答非所问。从事大数据的开发也有一年半光景，spark任务的运行原理依旧知之甚少。

NikolasNull·2024-02-11 06:11

国外现代并行计算课程CMU-15-418/15-618: Parallel Computer Architecture and Programming

wwxy261·2024-02-11 05:03

使用docker搭建spark(2.3.1)集群

使用Docker快速搭建Spark集群。

zealscott·2024-02-11 01:12

2023年全球软件架构师峰会（ArchSummit上海站）：核心内容与学习收获（附大会核心PPT下载）

随着云计算和分布式系统的普及，越来越多的企业开始采用微服务架构来构建他们的应用。微服务架构可以将一个大型的应用拆分成多个小型的服务，每个服务都独立部署、独立运行，并通过轻量级的通信协议进行交互。

百家峰会·2024-02-10 21:56

大数据毕业设计django+vue.js+scrapy租房推荐系统租房大屏可视化租房爬虫 hadoop spark 58同城租房爬虫房源推荐系统计算机毕业设计

博主介绍：✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久，选择我们就是选择放心、选择安心毕业✌由于篇幅限制，想要获取完整文章或者源码，或者代做，可以给我留言或者找我聊天。感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多的人。文章包含：项目选题+项目展示图片（必看）计算机毕业设计吊

B站计算机毕业设计超人·2024-02-10 20:52

用Python搞定接口自动化测试：轻松实现RPC协议接口测试

而RPC协议在分布式系统中很常见，对其进行自动化测试能够更好地保障在各节点之间的通信质量。

程序员江念·2024-02-10 13:31

RabbitMQ消息中间件

目录消息中间件介绍RabbitMQ什么是消息队列RabbitMQ单机部署消息中间件消息中间件也成为消息队列,指用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。

四季三餐，有趣有盼·2024-02-10 12:37

报表任务治理计划

先给大家介绍我们我们公司的报表产出组件图：报表产出图底层平台由HDFS、Yarn分别提供存储和计算支持在这之上我们提供了一套支持MR、Spark任务开发、依赖执行的调度系统BI业务同学利用调

liujianhuiouc·2024-02-10 12:46

计算机毕业设计Python+Spark+LSTM微博大屏情感分析微博大数据分析微博情感分析微博爬虫可视化微博数据分析微博采集分析平台

开发技术前端：vue.jsechartswebsocket后端API：springboot+spark+mybatis爬虫/算法：python、lstm情感分析(python实现)数据库：mysql创新点

计算机毕业设计大神·2024-02-10 12:42

spark键值对的链接

join连接frompysparkimportSparkContextif__name__=="__main__":master="local"iflen(sys.argv)==2:master=sys.argv

yanghedada·2024-02-10 09:27

gRPC库的arm交叉编译

它适用于构建分布式系统、微服务架构和云原生应用等场景，广泛应用于各种领域的软件开发。简单易用：gRPC提供了简单易用的API，使开发人员可

戴草帽的大z·2024-02-10 06:40

横扫Spark之 - 9个常见的行动算子

水善利万物而不争，处众人之所恶，故几于道文章目录1.collect()2.count()3.first()4.take()5.takeOrdered()6.countByKey()7.saveAS...()8.foreach()9.foreachPartition()***1.collect() 收集RDD每个分区的数据以数组封装之后发给Driver 如果RDD数据量比较大，Driver内存默

阿年、嗯啊·2024-02-10 06:04

横扫Spark之 - 22个常见的转换算子

水善利万物而不争，处众人之所恶，故几于道文章目录1.map()2.flatMap()3.filter()4.mapPartitions()5.mapPartitionsWithIndex()6.groupBy()7.distinct()8.coalesce()9.repartition()10.sortBy()11.intersection()12.union()13.subtract()14.z

阿年、嗯啊·2024-02-10 06:01

新人数据技术如何快速提升

对于数据平台和工具而言，一般情况下都是在Hadoop生态下做开发，但对于一些有特殊要求的团队，Spark和Flink已经得

晓阳的数据小站·2024-02-09 23:46

毕业设计：基于python的反爬虫系统

目录前言设计思路一、课题背景与意义二、算法理论技术2.1spark技术2.2反爬虫设计2.3黑名单设计三、检测的实现3.1数据集3.2实验环境最后前言大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备

Krin_IT·2024-02-09 22:54

ClickHouse-简谈OLAP与ClickHouse

在第一届易观OLAP大赛中，在用户行为分析转化漏斗场景里，ClickHouse比Spark快了近10倍。在随后几年的

adson1987·2024-02-09 18:00

Redis应用详解（一）分布式锁

随着技术快速发展，数据规模增大，分布式系统越来越普及，一个应用往往会部署在多台机器上（多节点），在有些场景中，为了保证数据不重复，要求在同一时刻，同一任务只在一个节点上运行，即保证某一方法同一时刻只能被一个线程执行

fedorafrog·2024-02-09 14:58

初识kafka

目前越来越多的开源分布式处理系统如Cloudera、Storm、Spark、Flink等都支持与Kafka集成。

tracy_668·2024-02-09 14:07

69.Kudu、Spark2、Kafka安装—CDH

69.1演示环境介绍CDH集群运行正常操作系统版本为：CentOS6.5CM和CDH版本为：5.12.1CM管理员为：admin用户操作系统用户为：root用户69.2操作演示Kudu安装Kudu的Parcel部署下载Kudu的Parcel包：http://archive.cloudera.com/kudu/parcels/5.12.1/KUDU-1.4.0-1.cdh5.12.1.p0.10-e

大勇任卷舒·2024-02-09 14:55

spark开发中的Zip算子灵活使用

本人开发中，需要聚合的文段举个栗子：RDD中有如下元素kv(（a,b）,List(7，8，9))(（a,b）,List(1，2，3))(（a,b）,List(4，5，6))(（c,d）,List(4，5，6))。。。。。。reducebyke后要对v操作原理将v中的list前后zip再map每个元素进行逐个元组元素（口，口）的累加。a代表v的前一个元素，b代表v的后一个元素如vala=List（7

Hero.Lin·2024-02-09 13:35

深入了解RocketMQ消息中间件：架构、特性和应用场景

随着系统复杂度的增加和业务需求的变化，传统的直接接口调用已经无法满足大规模分布式系统的通信需求。

一休哥助手·2024-02-09 11:42

Spark是什么？与MapReduce的对比

Spark是一个基于内存的集群计算系统，是一个分布式的计算框架。Spark可以将计算任务分发到多个机器并行计算。

Tim在路上·2024-02-09 10:27

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。

kikiki2·2024-02-09 09:54

macos安装local模式spark

文章目录配置说明安装hadoop安装Spark测试安装成功配置说明Scala-3.18+Spark-3.5.0Hadoop-3.3.6安装hadoop从这里下载相应版本的hadoop下载后解压，配置系统环境变量

SparklingTheo·2024-02-09 08:52

Redisson分布式锁源码_01_可重入锁加锁

单系统很容易想到Java的各种锁，像synchronize、ReentrantLock等等等，那分布式系统如何处理？当然是使用分布式锁。

Roc Lau·2024-02-09 07:48

Redisson 分布式锁源码 01：可重入锁加锁

单系统很容易想到Java的各种锁，像synchronize、ReentrantLock等等等，那分布式系统如何处理？当然是使用分布式锁。

程序员小航·2024-02-09 07:16

分布式系统架构介绍

1、为什么需要分布式架构？增大系统容量：单台系统的性能瓶颈，多台机器才能应对大规模的应用场景，所以就需要我们的应用支撑平台具备分布式架构。加强系统的可用：为了满足业务的SLA要求，需要通过分布式架构消除单点故障，提升系统的可用性。其他因素：增加功能模块复用、通过模块化加快开发效率、增强系统扩展性。2、和单体应用相比分布式架构的优缺点是什么？传统单体架构分布式服务化架构新功能开发需要时间容易开发和实

xmh-sxh-1314·2024-02-09 06:46

zookeeper和k8s_Kubernetes(k8s)运行ZooKeeper，一个分布式系统协调器

运行ZooKeeper，一个分布式系统协调器目标在本教程之后，您将了解以下内容。如何使用StatefulSet部署ZooKeeper集合。如何使用ConfigMaps一致地配置集合。

weixin_39853843·2024-02-09 06:38

Kubernetes的有状态应用示例：ZooKeeper

node故障持久化存储参考环境RHEL9.3DockerCommunity24.0.7minikubev1.32.0ZooKeeper简介ApacheZooKeeper是一个分布式的开源协调服务，用于分布式系统

蓝黑2020·2024-02-09 06:03

SQL条件判断语句嵌套window子句的应用【易错点】--HiveSql面试题25

目录0需求分析1数据准备3数据分析4小结0需求分析需求：表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108

莫叫石榴姐·2024-02-09 06:00

HiveSQL——条件判断语句嵌套windows子句的应用

0需求分析需求：表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108

爱吃辣条byte·2024-02-09 06:58

Spark SQL（十一）：与Spark Core整合

每日top3热点搜索词统计Demo1、数据格式：日期用户搜索词城市平台版本2、需求：1、筛选出符合查询条件（城市、平台、版本）的数据2、统计出每天搜索uv排名前3的搜索词3、按照每天的top3搜索词的uv搜索总次数，倒序排序4、将数据保存到hive表中3、实现思路：1、针对原始数据（HDFS文件），获取输入的RDD2、使用filter算子，去针对输入RDD中的数据，进行数据过滤，过滤出符合查询条件

雪飘千里·2024-02-09 06:34

大数据 - Spark系列《五》- Spark常用算子

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据

王哪跑nn·2024-02-09 05:25

SQL、Hive中的SQL和Spark中的SQL三者联系与区别

SQL、Hive中的SQL和Spark中的SQL（即SparkSQL）都是用于处理和分析数据的查询语言，但它们在实现、性能、应用场景等方面存在一些明显的区别和联系。

大数据ＳＱＬｂｏｙ·2024-02-09 05:20

pyspark操作示例

前置pipinstallpyspark为了支持py4j的使用，需要进行如下设置，并修改了java_gateway.py中的env['_PYSPARK_DRIVER_CALLBACK_HOST']='127.0.0.1

佛系小懒·2024-02-09 05:15

spark从入门到放弃二十八:Spark Sql (1)Data Set

文章地址：http://www.haha174.top/article/details/257834项目源码：https://github.com/haha174/spark.git1.简介SparkSql

意浅离殇·2024-02-09 03:17

再聊阴影裁剪与高性能视锥剔除

【USparkle专栏】如果你深怀绝技，爱“搞点研究”，乐于分享也博采众长，我们期待你的加入，让智慧的火花碰撞交织，让知识的传递生生不息！

UWA·2024-02-09 03:24

spark原理总体介绍

拿到系统后，部署系统是第一件事，那么系统部署成功以后，各个节点都启动了哪些服务？部署图image.png从部署图中可以看到整个集群分为Master节点和Worker节点，相当于Hadoop的Master和Slave节点。Master节点上常驻Master守护进程，负责管理全部的Worker节点。Worker节点上常驻Worker守护进程，负责与Master节点通信并管理executors。Driv

tracy_668·2024-02-09 03:48

2020-11-04

只要是一堆机器，就可以叫做集群，但他们是不是一起干活就不知道了；而分布式系统是若干独立计算机的集合，这些计算机对于用户来说像单个相关系统分

肝点啥_董晓宁·2024-02-09 02:51

UUID和雪花(Snowflake)算法该如何选择？

UUID和Snowflake都可以生成唯一标识，在分布式系统中可以说是必备利器，那么我们该如何对不同的场景进行不同算法的选择呢，UUID简单无序十分适合生成requestID，Snowflake里面包含时间序列等

Java方文山·2024-02-09 00:20

PDF如何页面插入

操作软件：旋风PDF编辑器下载地址：http://www.679sparkle.com/pdfeditor1.运行旋风PDF编辑器，打开你想要编辑的文件。

六号_db7a·2024-02-09 00:18

Flink状态编程

SparkStreaming在状态管理这块做的不好,很多时候需要借助于外部存储(例如Redis)来手动管理状态,增加了编程的难度.访问redis需要通过网络访问，增大处理时间状态一致性问题，可能会造成数据的不一致

万事万物·2024-02-08 22:41

7.0 MapReduce编程实例教程

MapReduce主要是依靠开发者通过Spark来实现功能的，开发者可以通过实现Map和Reduce相关的方法来进行数据处理。为了简单的展示这个过程，我们将手工编写一个字数统计程序。

二当家的素材网·2024-02-08 18:11

Spark经典案例之非结构数据处理

需求：根据tomcat日志计算url访问了情况，具体的url如下，要求：区别统计GET和POSTURL访问量结果为：访问方式、URL、访问量测试数据集：在CODE上查看代码片派生到我的代码片196.168.2.1--[03/Jul/2014:23:36:38+0800]“GET/course/detail/3.htmHTTP/1.0”200384350.038182.131.89.195--[03

张明洋_4b13·2024-02-08 15:57

推荐频道

分布式系统_spark