大数据分布式

【无标题】大数据之批处理，流处理，批流一体概念

批处理批处理是将一定量的数据集合在一起，形成一个数据批次，然后对这个批次中的数据进行处理。Spark和Flink都支持批处理，其中Spark使用的是批处理模型，即将一批数据一次性读入内存，然后对其进行处理，处理完成后再将结果写入磁盘。Flink也支持批处理，但使用的是基于流处理的批处理模式，即将一批数据分成多个数据流进行处理，可以实现更高效的内存管理和更低的延迟。流处理流式处理是一种将数据流式地处
数字天下·2024-09-08 09:43

Linux培训出来找得到工作吗?

Linux作为一种开源操作系统，其安全、稳定，被广泛应用于服务器、云计算、大数据、人工智能等领域，已经成为了IT行业的核心技能之一。
老男孩IT教育·2024-09-08 09:42

【大数据平台】数据处理层：批处理与流处理架构

⭐️大数据平台建设指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台的核心技术和方法。⭐️《遇见Python：初识、了解与热恋
野老杂谈·2024-09-08 09:07

python flink_《Flink官方文档》Python 编程指南测试版

操作执行的结果通过数据池以写入数据到(分布式)文件系统或标准输出(例如命令行终端)的形式返回。Flink程序可以运行在不同的环境中，既能够独立运行，也可以嵌入到其他程序中运行。
weixin_39846361·2024-09-08 08:04

TortoiseGit软件与TortoiseSvn

分布式与集中式：Git是一种分布式版本控制系统，每个开发者都有完整的版本库副本，可以在本地进行提交和分支操作。而SVN是一种集中式版本控制系统，版本
汽车软件工程师001·2024-09-08 08:03

优化Docker容器技术实现MySQL主从复制部署的策略与实践

优化Docker容器技术实现MySQL主从复制部署的策略与实践引言随着大数据和云计算的快速发展，数据库的高可用性、可扩展性和易维护性成为了企业IT架构中的重要考量因素。
天蓝蓝23528·2024-09-08 06:19

JAVA - 关于防重复提交探讨

1、前端提交按钮做单次点击2、后端接收判断请求的数据包，生成唯一key存redis，设置几秒的过期时间（缺陷：带时间戳的数据，需要做些逻辑判断）3、后端代码逻辑redis分布式锁（缺陷：redis崩溃后会造成脏数据
Teln_小凯·2024-09-08 05:11

感悟十则

005、昨天在整理老师药方的时候，突然之间就萌生了两个论文题目，果然大数据时代，数字的排列组合可以产生无限的可能，但是前提是，我们有数据基础么？006、
小长卿·2024-09-08 03:11

Go-Snowflake 项目教程

AnLockFreeIDGeneratorforGolangbasedonSnowflakeAlgorithm(Twitterannounced).项目地址:https://gitcode.com/gh_mirrors/go/go-snowflake项目介绍Go-Snowflake是一个基于Go语言实现的分布式唯一
喻季福·2024-09-08 02:23

如何使用Redis分布式锁避免秒杀活动中的订单超卖问题

1.秒杀系统的并发挑战秒杀活动介绍秒杀活动是一种在限定时间内以特价销售商品的营销手段，因其限时限量的特性，吸引大量用户参与，但也带来了巨大的并发压力。超卖问题的产生原因超卖问题指的是在秒杀活动中，由于并发访问量巨大，多个用户同时尝试购买同一商品，可能导致某个商品的库存被多次扣减，最终导致超卖，即用户实际购买的数量超过了商品的实际库存量。并发处理的常见策略在高并发场景下，处理超卖问题常见的策略包括：
一休哥助手·2024-09-08 02:52

2021-10-15

Science|三篇背对背Science论文揭示肿瘤蛋白质相互作用图谱原创图灵基因图灵基因今天收录于话题#前沿生物大数据分析与科学界的许多其他成员一样，NevanKrogan博士去年将他的加州大学旧金山分校
图灵基因·2024-09-08 02:42

基于 Kafka 实现分布式事件驱动

事件驱动是一种灵活的系统设计方法，在事件驱动的系统中，当数据发生变化时系统会产生、发布一个对应的事件，其它对这个事件感兴趣的部分会接收到通知，并进行相应的处理。事件驱动设计最大的好处在我看来有两点：一是它为系统提供了很好的扩展能力，比如我们可以对某类事件增加一个订阅者来对系统进行扩展，最主要的是我们并不需要修改任何已有的代码，它完全符合开闭原则；二是它实现了模块间的低偶合，系统间各个部分不是强依赖
weixin_33785972·2024-09-08 02:48

基于 React & TypeScript & Webpack 的微前端应用模板

微服务与微前端，都是希望将某个单一的单体应用，转化为多个可以独立运行、独立开发、独立部署、独立维护的服务或者应用的聚合，从而满足业务快速变化及分布式多团队并行开发的需求。
weixin_33806300·2024-09-08 02:48

Python基础（十二）：字典的详细讲解

礼尚往来总是要有的：①2000多本Python电子书（主流和经典的书籍应该都有了）②Python标准库资料（最全中文版）③项目源码（四五十个有趣且经典的练手项目及源码）④Python基础入门、爬虫、web开发、大数据分析方面的视频
m0_60707685·2024-09-08 01:16

深入剖析 RabbitMQ：架构深度解析、原理细节与关键特性全面掌握

旨在为开发者和架构师提供全面的RabbitMQ知识，以助其在分布式系统中有效利用该技术。
马丁的代码日记·2024-09-08 01:43

python实现rpc例子_【转】Python中实现远程调用（RPC、RMI）简单例子

远程调用是分布式系统的基础。远程调用一般分为两种，远程过程调用(RPC)和远程方法调用(RMI)。
weixin_39781186·2024-09-08 00:41

Python爬虫实战

主流的开源爬虫框架包括：1.分布式爬虫框架：Nutch2.Java单机爬虫框架：Crawler4j,WebMagic,WebCollector、Heritrix3.python单机爬虫框架：scrapy
weixin_34007879·2024-09-08 00:10

Web3.0是什么意思？普通人在Web3.0能赚到钱吗？

Web3.0，第三代互联网，意思是由DLT（分布式账本技术）支援，基于区块链的去中心化网路世界，也将是驱动元宇宙的基础建设技术。
stronger11·2024-09-08 00:59

2024年大数据高频面试题(下篇）

文章目录Scala数据类型函数式编程闭包函数柯里化面向对象样例类对象与伴生对象特质(trait)模式匹配隐式转换即席查询KylinKylin特点Kylin工作原理核心算法Kylin总结Kylin的优点什么场景用KylinKylin的缺点Impala什么是ImpalaImpala为什么快FrontendBackendImpala总结：Presto什么是PrestoPresto的执行过程Presto总
猿与禅·2024-09-07 22:27

Spark分布式计算原理

目录一、RDD依赖与DAG原理1.1RDD的转换一、RDD依赖与DAG原理Spark根据计算逻辑中的RDD的转换与动作生成RDD的依赖关系，同时这个计算链也形成了逻辑上的DAG。1.1RDD的转换e.g.(以wordcount为例）packagesparkimportorg.apache.spark.{SparkConf,SparkContext}objectWordCount{defmain(a
NightFall丶·2024-09-07 20:40

Web3：下一代互联网的崛起与革命性展望

一、Web3的概念与特点Web3，也被称为互联网的第三阶段，是建立在区块链技术、人工智能、大数据等先进技术基础上的全新互联网形态。与传统的Web2.0相比，Web3具有以下显
三花学编程·2024-09-07 19:36

配置管理 —— SpringCloud Config

概述Config为分布式系统提供统一的配置管理工具，应用程序在使用过程中可以像使用本地配置一样方便地添加、访问、修改配置中心的配置Config支持将配置存储在配置中心的本地服务器或Git仓库，通常将配置文件集中放置在一个
低吟不作语·2024-09-07 19:00

前端数据埋点

埋点方式前言最近看到一个很有意思的前端数据收集：前端数据埋点，下面说说我的观点一、什么是埋点埋点，是数据采集领域，简单来说就是行为数据收集二、为什么采用埋点数据生产->数据收集->数据处理->数据分析->数据驱动/用户反馈->产品优化/迭代通过大数据处理
小童不学前端·2024-09-07 18:52

Python大数据：深入探索Hadoop库的使用

在大数据的世界中，Python和Hadoop结合使用，为处理庞大数据集提供了强大的工具。本文将详细探讨如何在Python中使用Hadoop，特别是通过实例来展示这一过程。
t0_54coder·2024-09-07 17:22

【区块链 + 物联网】可信保密的海洋大数据分析平台 | FISCO BCOS应用案例

海洋大数据蕴含着难以估量的巨大价值，可为气候、航海、生态、灾害等领域提供科学依据，是实施海洋强国战略、拉动海洋经济、打造海洋文化的重要基础。
FISCO_BCOS·2024-09-07 17:49

Python 操作大数据使用 Hadoop

参考：https://blog.csdn.net/wuShiJingZuo/article/details/135620018fromhdfsimportInsecureClienthdfs_client=InsecureClient("http://localhost:9000",user="xiaokkk")#测试连接print(hdfs_client.status("/")){'access
静听山水·2024-09-07 17:47

先进制造业数字化转型：典型场景存储需求及实践解析

本文将从先进制造企业数字化转型中典型场景的存储需求出发，结合XSKY分布式存储的实际案例，看分布式存储如何帮助企业进行存储转型，满足相关的数据使用需求。01 本地硬盘存储方案的
XSKY星辰天合·2024-09-07 16:08

分布式全闪占比剧增 152%，2023 年企业存储市场报告发布

根据该报告，在2023年软件定义存储的市场占比进一步扩大，分布式全闪的增长尤其亮眼，其市场份额从2022年的7% 剧增到2023年的17.7%，增长了 152%。
XSKY星辰天合·2024-09-07 16:38

pyflink 滚动窗口实例

写在前头：更多大数据相关精彩内容请进我的知识星球，每周定期更新正篇技术路线：模拟kafka生产者发送数据——>flink对kafka数据实时计算处理——>处理后的数据发送到kafka1、模拟客流数据的生产者
菜鸟社长·2024-09-07 15:31

速盾：没有备案的网站能否接入CDN使用？

CDN作为一个分布式的网络服务器集群，可以将网站的静态资源存储在离用户最近的服务器上，从而加快资源的访问速度。然而，CDN服务提供商在为网站提供CDN服务之前，需要对网站进行一系列的备案手续。
速盾cdn·2024-09-07 13:52

速盾：选购高防cdn时应该注意些什么？

为了保护网站的安全可靠运行，很多企业和个人选择使用高防CDN（ContentDeliveryNetwork）服务来防御DDoS（分布式拒绝服务）攻击等网络威胁。
速盾cdn·2024-09-07 13:52

速盾：CDN原理 CDN技术是什么？

CDN（ContentDeliveryNetwork）是一种通过在全球分布式服务器中存储和分发静态和动态内容的技术。
速盾cdn·2024-09-07 13:52

【大数据Big DATA】大数据解决方案，提供完整的大数据采集，大数据存储，大数据处理，具体业务应用解决方案

大数据解决方案是指利用大数据技术，结合企业实际业务需求，为企业提供数据采集、存储、处理、分析和报告等一站式服务，以帮助企业更好地利用大数据提高运营效率、优化决策制定。
_晓夏_·2024-09-07 13:22

HiveSQL一本通 - 案例实操，2024年最新大数据开发编程基础班

count(stu_id)stu_countfromscore_infogroupbycourse_idhavingstu_count>=15;（3）查询结果。course_idstu_count0119021903196.3.4查询结果排序和分组指定条件1.查询学生的总成绩并按照总成绩降序排序（1）思路分析。本题主要考查分组聚合和orderby关键字的使用。（2）查询语句。hive>select
疯狂的石头。·2024-09-07 13:47

Kafka，构建TB级异步消息系统

ArrayBlockingQueueLinkedBlockingQueuePriorityBlockingQueue、SynchronousQueue、DelayQueue等2.Kafka入门Kafka简介Kafka是一个分布式的流媒体平台应用
Fern977·2024-09-07 12:15

仿论坛项目--Kafka，构建TB级异步消息系统

Kafka入门•Kafka简介Kafka是一个分布式的流媒体平台。
HUT_Tyne265·2024-09-07 12:14

自然语言处理系列六十一》分布式深度学习实战》TensorFlow深度学习框架

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列六十一分布式深度学习实战》
陈敬雷-充电了么-CEO兼CTO·2024-09-07 11:11

图像去噪算法代码c语言,深度学习图像去噪代码

AI开发平台ModelArtsModelArts是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力
weixin_39777018·2024-09-07 11:40

linux搭建ceph集群

172.26.50.75node1172.26.50.112node2172.26.50.228node3ceph-mon，ceph-mgr，ceph-mds都搭建在node1上，node2和node3上搭建ceph-osd，每个机器1个osdCeph是一个分布式的存储系统
浓黑的daidai·2024-09-07 11:05

linux自动化运维之ansible实战

ansible基础介绍优点-相比于saltatack和puppet，没有客户端，更轻量级-只是一个工具，可以很容易实现分布式拓展-更强的远程执行命令特点-模块化-支持自定义模块，可以用任何语言编写模块-
浓黑的daidai·2024-09-07 11:05

jedis 与 redission 实现分布式锁

本文为博主原创，未经允许不得转载：1.Jedis实现分布式锁2.Redission实现分布式锁为了确保分布式锁可用，至少要保证锁的实现同时满足以下几个条件互斥性：在任意时刻只有一个客户端能持有锁不会死锁
不知言愁·2024-09-07 10:34

ELK7.8部署：Elasticsearch+Logstash+Kibana搭建分布式日志平台

ELK7.8部署：Elasticsearch+Logstash+Kibana搭建分布式日志平台一、前言1、ELK简介2、ELK工作流二、准备工作1、服务器&软件环境说明2、ELK环境准备三、Elasticsearch
_海风_·2024-09-07 10:33

大数据测试

大数据测试主要测试的点涵盖了多个方面，以确保大数据系统能够正常运行并满足业务需求。
这不巧了·2024-09-07 10:32

MySQL 子查询与复杂查询的优化

⭐️大数据平台建设指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台的核心技术和方法。⭐️《遇见Python：初识、了解与热恋
野老杂谈·2024-09-07 09:23

Elasticsearch新手入门教程

Elasticsearch入门一.Elasticsearch介绍Elasticsearch是一个分布式、可扩展、实时的搜索与数据分析引擎。
超级英雄吉姆·2024-09-07 09:51

PySpark数据分析基础：PySpark基础功能及DataFrame操作基础语法详解_pyspark rdd(2)

有一个既适用于pandas（测试，较小的数据集）又适用于Spark（分布式数据集）的代码库。
2401_84181403·2024-09-07 08:46

探索Java中的分布式消息队列与事件总线：架构、实现与最佳实践

引言在现代分布式系统中，消息队列和事件总线已经成为实现松耦合、高扩展性和高可用性架构的关键组件。无论是微服务架构、事件驱动架构，还是实时数据处理，消息队列和事件总线都扮演着至关重要的角色。
๑҉ 晴天·2024-09-07 08:14

游卡，三七互娱，得物，顺丰，快手，oppo，康冠科技，途游游戏，埃科光电25秋招内推

游卡，三七互娱，得物，顺丰，快手，oppo，康冠科技，途游游戏，埃科光电25秋招内推①顺丰【招聘岗位】研发、算法、大数据、产品、项管、设计、人资等【官方内推码】4FOLXH【一键内推】https://sourl.cn
weixin_53585422·2024-09-07 08:43

大数据系列 | Kafka架构分析及应用

大数据系列|Kafka架构分析及应用1.消息系统介绍2.Kafka原理分析3.Kafka架构分析4.Kafka的安装与配置4.1.Zookeeper集群安装配置4.2.安装Kafka集群4.3.配置kafka
降世神童·2024-09-07 07:42

Python处理大数据，如何提高处理速度

Python处理大数据，如何提高处理速度？
RS&·2024-09-07 07:08
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他