大数据分布式调度

p11 结构体：统计大数据

结构体定义（Struct）是一种用户定义的数据类型，用于组合不同数据类型的元素。它们允许将多个相关的变量组合在一起，形成一个逻辑上的单元。可以通过定义结构体来描述一个实际问题中的对象或概念，从而更好地组织和管理代码。输入一个正整数n(3voidmain(){structem{charname[10];floatjbg;floatfdg;floatzc;};structememp[100];inti
Mzylq·2024-02-19 14:16

消息中间件管理系统-RabbitMQ及其两类传输模型

MQ，意思为消息队列，分布式系统中的重要组件，用它就可以实现应用解耦、异步消息、流量削峰等问题。消息队列产品有很多，企业级应用较广泛的就是RabbitMQ。
sunyunfei1994·2024-02-19 14:08

RabbitMQ的高可用机制

集群中的节点共享同一个Erlang分布式数据库，队列可以在多个节点上进行镜像，以提供冗余。%%加入到集群的命令rabbitmqctljoin_clusterrabbit@镜像队列（MirroredQ
辞暮尔尔-烟火年年·2024-02-19 14:37

RabbitMQ面试题

RabbitMQ面试题RabbitMQ如何保证消息不丢失出现消息丢失可能会出现在以下场景：异步发送（验证码，短信，邮件）MySQL和Redis，ES之间的数据同步分布式事务削峰消谷总结为：消息未达到交换机
重生之我是cxk·2024-02-19 14:07

什么是RabbitMQ？

一、引言RabbitMQ是一个开源的消息代理软件，用于在分布式系统中传递消息。
张万森的救赎·2024-02-19 14:35

Redis实现分布式可重入锁——CAS操作

一、前言Redis实现的分布式锁被大家广泛用于解决在分布式环境下的并发问题——使用setNXEX，当某一个key存在时，返回失败，当key不存在时，设置新值和过期时间，返回成功。
qq_26678049·2024-02-19 14:55

Redis分布式可重入锁实现方案

在分布式环境下，要保证多个节点的线程对代码块的同步访问，就必须要用到分布式锁方案。
程序员小潘·2024-02-19 14:49

深入解析 Flink 细粒度资源管理

主要内容包括：细粒度资源管理与适用场景Flink资源调度框架基于SlotSharinGroup的资源配置接口动态资源切割机制资源申请策略总结与未来展望Tips：点击「阅读原文」查看原文视频&演讲PDF～
Apache Flink·2024-02-19 14:15

Apache Flink连载（二十六）：TaskSlot任务槽-（1）-TaskSlot&SlotSharingGroup

WX好友，获取更多资料哦~博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频提交到集群中的Flink程序最终会转换成一个个的Subtask，Subtask是Flink任务调度的基本单元
IT贫道·2024-02-19 13:41

Flink系列-1、流式计算简介

大数据系列文章目录官方网址：https://flink.apache.org/学习资料：https://flink-learning.org.cn/目录数据的时效性流式计算和批量计算流式计算流程和特性分布式计算引擎什么是
技术武器库·2024-02-19 13:10

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

【大数据面试题】009 Flink 有哪些机制实现故障恢复

一步一个脚印，一天一道面试题（重点）容错检查点（Checkpoint）：Flink使用容错检查点来定期记录应用程序的状态。检查点包含了所有正在进行中的任务的状态信息。当发生故障时，Flink可以使用最近的检查点来恢复应用程序的状态。#从检查点恢复$bin/flinkrun-s:savepointPath容错恢复策略：Flink提供了多种容错恢复策略，可以根据具体的需求进行配置。例如，可以设置重启策
Jiweilai1·2024-02-19 13:05

【大数据面试题】007 谈一谈 Flink 背压

一步一个脚印，一天一道面试题（有些难点的面试题不一定每天都能发，但每天都会写）什么是背压Backpressure在流式处理框架中，如果下游的处理速度，比上游的输入数据小，就会导致程序处理慢，不稳定，甚至出现崩溃等问题。出现背压的原因上游数据突然增大比如数据源突然数据量增大多倍，下游处理速度跟不上。就像平时的小饭店能处理的很轻松，突然到了过年人多了很多，就会需要客人排队。网络，机器异常等这个也好理解
Jiweilai1·2024-02-19 13:35

菜鸟也崩了 分析分析原因+聊聊降本增笑

2.盈利降低淘宝没参与双十二活动3.业务线的缩减或重心偏移技术创新：近年来，人工智能、大数据、物联网等技术在物流行业得到了广泛应用，有效提高了物流效率，降低了运营成本。例如，一些物流公司利用大数据进行
我才是真的封不觉·2024-02-19 13:34

【大数据面试题】006介绍一下Parquet存储格式的优势

一步一个脚印，一天一道面试题列式存储同一列的数据是同一种数据类型，所以压缩比例可以更高。同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python等都支持，所以Parquet文件可以在不同系统和语言通用。这是我觉得比较实在的优势
Jiweilai1·2024-02-19 13:34

[Flink02] Flink架构和原理

这是继第一节之后的Flink入门系列的第二篇，本篇主要内容是是：了解Flink运行模式、Flink调度原理、Flink分区、Flink安装。
YoungerChina·2024-02-19 13:32

【大数据面试题】008 谈一谈 Flink Slot 与 并行度

【大数据面试题】008谈一谈FlinkSlot与并行度配置并行度Parallelism概念作用Slot概念作用如何设置TaskManager任务管理器Flinksubmit脚本一步一个脚印，一天一道面试题该文章有较多引用文章
Jiweilai1·2024-02-19 13:01

云计算实训室建设方案2024

唯众公司提供云计算、大数据、人工智能等创新技术，为院校、政府、企业培养人才提供优质教学资源、师资培养、专业共建和产教融合等服务。
武汉唯众智创·2024-02-19 13:00

云计算基础-存储虚拟化（深信服aSAN分布式存储）

什么是存储虚拟化分布式存储是利用虚拟化技术“池化”集群存储卷内通用X86服务器中的本地硬盘，实现服务器存储资源的统一整合、管理及调度，最终向上层提供NFS、ISCSI存储接口，供虚拟机根据自身的存储需求自由分配使用资源池中的存储空间
比特微联·2024-02-19 13:19

抖音为什么这么火

这种社交形态是以短音乐与短视频相结合的方式，而且它会根据大数据推荐当前最新最火的短视频给你看，第一时间抓住你的注意力，吸引你的眼球。从抖音的运营看，抖音成立于2016年9月，在探索蛰伏了
追宇·2024-02-19 13:57

Linux：简单聊聊线程调度

目录一、什么是线程调度？二、什么时候会进行线程调度？三、什么原因会导致某个线程调度延迟？四、内核抢占和抢占式调度五、应用层线程优先级设置过高会导致什么问题？  
小嵌同学·2024-02-19 13:14

300分钟吃透分布式缓存-02讲：如何根据业务来选择缓存模式和组件？

缓存读写模式如下图，业务系统读写缓存有3种模式：&CacheAside（旁路缓存）&Read/WriteThrough（读写穿透）&WriteBehindCaching（异步缓存写入）CacheAside如上图所示，CacheAside模式中，业务应用方对于写，是更新DB后，直接将key从cache中删除，然后由DB驱动缓存数据的更新；而对于读，是先读cache，如果cache没有，则读DB，同时
机智阳·2024-02-19 13:12

31、商城系统（十三）：缓存：springboot集成redis，使用redisson用作分布式锁，缓存一致性解决方案，集成SpringCache，并自定义过期时间、序列化

目录一、集成redis（有问题版本）1.引入依赖2.配置redis的ip端口3.修改之前的查询接口
鹏哥哥啊Aaaa·2024-02-19 13:10

hadoop硬件配置 高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。
xcagy·2024-02-19 13:07

20-k8s中pod的调度-nodeSelector节点选择器

一、概念我们先创建一个普通的deploy资源，设置为10个副本[root@k8s231dns]#catdeploy.yamlapiVersion:apps/v1kind:Deploymentmetadata:name:dm01spec:replicas:10selector:matchLabels:k8s:k8stemplate:metadata:labels:k8s:k8sspec:contai
心机の之蛙·2024-02-19 13:34

K8S之运用污点、容忍度设置Pod的调度约束

给了Node选则的主动权，给Node打个污点，不容忍的Pod就调度不上来。现象：刚部署好的K8S集群，默认master节点上不会被调度来任何pod。原因：master节点上有个污点看
sissie喵~·2024-02-19 13:02

spring cloud和dubbo比较

Dubbo其实是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。
爱宝宝n·2024-02-19 12:17

渲染效果图为什么都选择使用云渲染，优势有哪些？

一、云渲染与本地渲染的比较1.渲染速度云渲染可以利用分布式渲染技术，同时调用多台高性能服务器进行渲染，大大缩短了渲染时间，比本地渲染节省了几十
小白的建模·2024-02-19 12:09

ACK One：构建混合云同城容灾系统

作者：蔡靖对于当前业务运行在IDC内的Kubernetes集群中，希望通过云计算为云下业务提供同城灾备的高可用冗余能力，可利用阿里云分布式云容器平台ACKOne[1]来提供统一得流量、应用和集群管理，实现业务流量的多集群路由和灾难情况下的流量的自动平滑容灾
·2024-02-19 12:35

精彩回顾 I DatenLord Hackathon 2023圆满结束！

达坦科技基于其跨云分布式文件系统DatenLord项目，结合AI大模型时代背景，搭建了擂台。我们邀请参赛者为DatenLord的极端场景设计并实现缓存p2p传输和同步模块。
·2024-02-19 12:34

阿里云 ACR 制品中心 AI/大数据镜像专场上新推荐榜

随着容器技术和服务在企业的应用程度不断加深，企业对于容器的使用也越来越多地从在线业务逐渐向AI、大数据类型的工作负载发展。
·2024-02-19 12:02

线程学习小结

线程：一个程序内部的一条执行流程多线程：软硬件实行的多条执行流程的技术（多线程由cpu负责调度执行）多线程的本质就是多个程序同时执行，但是进程同一时间只能有一个，所以线程会被cpu调度并且分配时间片线程创建方式一
白日做梦0.0·2024-02-19 12:29

2.16日学习打卡----初学Dubbo(一)

2.16日学习打卡目录:2.16日学习打卡一.什么是分布式？二.什么是RPC?
中北萌新程序员·2024-02-19 12:54

ACK One：构建混合云同城容灾系统

作者：蔡靖对于当前业务运行在IDC内的Kubernetes集群中，希望通过云计算为云下业务提供同城灾备的高可用冗余能力，可利用阿里云分布式云容器平台ACKOne[1]来提供统一得流量、应用和集群管理，实现业务流量的多集群路由和灾难情况下的流量的自动平滑容灾
·2024-02-19 12:31

RabbitMQ：分布式系统中的高效消息队列

摘要RabbitMQ是一款开源、高度可靠、灵活性强的消息队列系统，被广泛应用于分布式系统中。
张万森的救赎·2024-02-19 12:48

投票助力 | 第19届（2023）数智招标采购行业年度评选网络投票已开启！

评选组委会经过为期一个多月的奖项申报、初选等环节，本着客观、公正的评审原则，以必联网和隆道平台大数据为依据，从业务水平、项目业绩
隆道·2024-02-19 12:43

大数据提醒你：中国这些古建筑，可能是下一个巴黎圣母院！

2019独角兽企业重金招聘Python工程师标准>>>大家晚上好，我是今天的提笔人嗅嗅。巴黎圣母院失火事件让我的心情很沉重，一句无关痛痒的安慰“巴黎不哭”，已经不能表达我对这场文化之殇的惋惜之痛，人类伟大的建筑在一瞬间被毁灭。世界唯一的不变的就是变化，且我们永远赶不上变化的速度，因为做不到预知未来，或者说预测的不够精准。这句话在过去是完全适用的，受限于科技水平、数据缺失等各方面的因素，曾经的很长时
weixin_33696822·2024-02-19 12:06

JVM（4）原理篇

以基础篇的这段代码为例：Java中的8大数据类型在虚拟机中的实现：boolean、byte、char、short在栈上是不是存在空间浪费？
梵高Coding·2024-02-19 12:05

【Redis篇】详解布隆过滤器（原理 | 操作 | 代码）

文章目录简述布隆过滤器原理存入过程查询过程️‍优缺点⭐优点⭐缺点代码实现（本地）代码实现（分布式）简述布隆过滤器布隆过滤器的由来可以追溯到1970年代，由一个名叫BurtonHowardBloom的美国计算机科学家提出
在下小吉.·2024-02-19 12:29

「企业应用架构」应用程序架构的当前趋势

应用架构概述随着各种力量（云、移动、社交和大数据）的相互联系不断涌现，不利用这些力量的组织在未来将面临严重的业务劣势。
架构师研究会·2024-02-19 12:15

现阶段适用于 单一架构 还是 分布式架构 ？

分布式架构：优势：可以提高应用程序的可用性、可扩展性和弹性；各个服务之间通过定义的接口进行通信，彼此独立，互不干扰。劣势：开发和部署比较复杂，需要考虑分布式系统的一些问题，如分布式
小Mie不吃饭·2024-02-19 12:41

基于python的分布式爬虫框架_基于scrapy-redis的通用分布式爬虫框架

spiderman基于scrapy-redis的通用分布式爬虫框架目录demo采集效果爬虫元数据cluster模式standalone模式kafka实时采集监控功能自动建表自动生成爬虫代码，只需编写少量代码即可完成分布式爬虫自动存储元数据
summer_ccs·2024-02-19 11:39

【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解

在NodeManager中，有三种运行Container的方式，它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中，我们就能看得出来，默认情况下，一定使用的是DefaultContainerExecutor。而一般情况下，DefaultContainerExecutor也确实能够满足我
笑起来贼好看·2024-02-19 11:38

【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）

目录首页（Cluster）节点信息SchedulerMetrics：集群调度信息节点信息详解（Nodes）应用列表信息（applications）队列详情页（Scheduler）指标详细说明（非常重要）
笑起来贼好看·2024-02-19 11:08

手写myscrapy（二）

我们看一下scrapy的系统架构设计方法和思路：模块化设计：Scrapy采用模块化设计，将整个系统划分为多个独立的模块，包括引擎（Engine）、调度器（Scheduler）、下载器（Downloader
semicolon_hello·2024-02-19 11:36

Python爬虫开发：Scrapy框架与Requests库

Scrapy提供了多种可配置、可重用的组件，如调度器、下载器、爬虫和管道等，使得开发者可以快速地构建出稳定、高效的网络爬虫。Scrapy的主要特点包括：异步处理：Scrapy基
数据小爬虫·2024-02-19 11:35

深入解析鸿蒙系统的页面路由（Router）机制

鸿蒙系统以其独特的分布式架构和跨设备的统一体验而备受瞩目。在这个系统中，页面路由（Router）机制是连接应用各页面的关键组成部分。
OpenHarmony_小贾·2024-02-19 11:32

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。HDFS有两类工作节点：一个管理节点namenode、多个工作节点datenode，namenode维护文件系统树以及整颗树内所有的文件和目录。namenode记录每个文件中各个数据块所在的数据节点信息。但不永久保存块的位置信息，这些信息会在系统启动时根据数据节点信息重建。namenode
BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪·2024-02-19 11:58

python毕设选题 - 大数据上海租房数据爬取与分析可视化 -python 数据分析 可视化

为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是基于大数据上海租房数据爬取与分析可视化学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：3分创新点：5分1课题背景基于
DanCheng-studio·2024-02-19 11:54
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他