Hadoop分布式大数据

【Python爬虫(37)】解锁分布式爬虫：原理与架构全解析

从Python基础语法、爬虫入门知识讲起，深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑，覆盖网页、图片、音频等各类数据爬取，还涉及数据处理与分析。
奔跑吧邓邓子·2025-02-26 14:57

Byzer：面向Data+AI的云原生低代码化语言

一、Byzer的设计哲学Byzer的核心设计理念在于简化大数据和AI平台的构建过程，降低开发成本。它通过类SQL的语言和云原生架
ITPUB-微风·2025-02-26 12:18

AIoT是什么？AIoT现状如何？

物联网产生、收集来自不同维度的海量数据并存储于云端、边缘端，再通过大数据分析以及更高形式的人工智能技术，实现万物数据化、万物智联化。
问就是想睡觉·2025-02-26 12:18

Apache IoTDB: 物联网时序数据库的分布式核心技术与实际应用

本文将深入探讨ApacheIoTDB的分布式核心技术和其在实际应用中的表现。项目背景与核心技术ApacheIoTDB的诞生源于对海量时序数据管理的需求。
ITPUB-微风·2025-02-26 12:17

Elasticsearch 相关面试题

Elasticsearch是一个分布式搜索引擎，基于Lucene实现。Mapping是什么？ES中有哪些数据类型？Mapping：定义字段的类型和属性。
一切顺势而行·2025-02-26 12:47

初识hadoop

关于hadoop的写入（存入）nn里面维护了一份元数据。
西门吹水之城·2025-02-26 12:45

Gossip 协议

Gossip协议协议介绍协议流程缺点Gossip算法是一种在分布式系统中广泛使用的通信协议，主要用于信息传播和状态同步。
disgare·2025-02-26 12:44

netty详解

Netty是一个高性能的网络通信框架，广泛用于构建网络应用程序，如高性能的服务器、客户端和分布式系统。以下是Netty的各个组件介绍与原理分析，以及客户端和服务端的实现示例。
p-knowledge·2025-02-26 11:13

HDFS是如何存储和管理大数据

HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）是专为大数据处理而设计的分布式文件系统，具有高吞吐量、高容错性等特点，适用于大规模数据存储和管理。
python资深爱好者·2025-02-26 11:38

Hadoop 基础原理

Hadoop基础原理基本介绍Hadoop的必要性Hadoop核心组件Hadoop生态系统中的附加组件HDFSHDFS集群架构HDFS读写流程HDFS写流程HDFS读流程NameNode持久化机制MapReduce
disgare·2025-02-26 11:38

短视频矩阵服务架构指南

在数据存储方面，系统使用分布式数据库或云数据库
李lrh9166·2025-02-26 11:37

Flink-02-flink技术架构及工作原理

Runtime层Runtime层提供了支持Flink计算的全部核心实现，比如：支持分布式Stream处理、JobGraph到ExecutionGraph的映射、调度等等，为上层API层提供基础服
TRX1024·2025-02-26 10:35

深入探索Spark MLlib：大数据时代的机器学习利器

随着大数据技术的迅猛发展，机器学习在各行各业的应用日益广泛。
concisedistinct·2025-02-26 10:59

Java 大视界 -- Java 大数据未来十年的技术蓝图与发展愿景（95）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
青云交·2025-02-26 09:59

Java 大视界 -- 5G 与 Java 大数据融合的行业应用与发展趋势（82）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
青云交·2025-02-26 09:28

大数据模型：技术赋能，引领未来

而如何挖掘和利用这些海量数据，为企业和社会创造价值，正是大数据模型所追求的目标。本文将从以下几个方面对大数据模型进行探讨：概述、技术原理、应用场景、挑战与发展趋势。
大模型教程·2025-02-26 09:56

Zookeeper（73）Zookeeper在微服务架构中的应用是什么？

分布式协调：Zookeeper可以实现分布式锁、Leader选举等功能，确保微服务之间的协调操作。健康检查和监控：Zookeeper可以监控微服务实
辞暮尔尔-烟火年年·2025-02-26 08:18

《白帽子讲Web安全》爬虫对抗：技术演进与攻防博弈

一、爬虫技术的发展与行业挑战1.爬虫的演进早期爬虫以简单脚本为主，通过模拟HTTP请求抓取公开数据；随着技术进步，现代爬虫已发展为具备分布式架构、动态渲染（如Headless浏览器）、AI辅助解析等能力的复杂
予安灵·2025-02-26 06:34

pinpoint安装及介绍

Pinpoint翻译自Pinpoint的github首页内容Pinpoint是一个开源的APM(ApplicationPerformanceManagement/应用性能管理)工具，用于基于Java的大规模分布式系统
jack-life·2025-02-26 06:02

GaussDB 数据库迁移方案设计与实践

GaussDB（华为云分布式关系型数据库）凭借其高吞吐、强一致性、弹性扩展等特性，成为政企客户替换传统数据库（如MySQL、Oracle）或升级原有GaussDB集群的首选目标。
如清风一般·2025-02-26 05:56

Apache Pinpoint工具介绍

ApachePinpoint：分布式系统性能分析与链路追踪一、Pinpoint简介ApachePinpoint是一个开源的分布式追踪系统，专为微服务架构设计，支持HTTP、RPC、MQTT等协议的调用链追踪
程序员的世界你不懂·2025-02-26 05:55

【Python爬虫(79)】解锁区块链+爬虫：数据采集的未来新范式

从Python基础语法、爬虫入门知识讲起，深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑，覆盖网页、图片、音频等各类数据爬取，还涉及数据处理与分析。
奔跑吧邓邓子·2025-02-26 05:23

【Python爬虫(80)】当Python爬虫邂逅边缘计算：探索数据采集新境界

从Python基础语法、爬虫入门知识讲起，深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑，覆盖网页、图片、音频等各类数据爬取，还涉及数据处理与分析。
奔跑吧邓邓子·2025-02-26 05:23

如何使用GraphX在Spark中进行图计算

GraphX是ApacheSpark的一个图计算框架，它允许开发者在分布式环境中进行大规模的图数据处理和分析。
python资深爱好者·2025-02-26 04:19

【Python爬虫(36)】深挖多进程爬虫性能优化：从通信到负载均衡

从Python基础语法、爬虫入门知识讲起，深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑，覆盖网页、图片、音频等各类数据爬取，还涉及数据处理与分析。
奔跑吧邓邓子·2025-02-26 04:18

Django实现API配合JWT进行用户验证的方法

随着分布式架构和跨平台应用的发展，传统的Session认证方式逐渐难以满足需求。JSONWebToken(JWT)提供了一种无需在服务端存储用户状态的认证方式，适用于无状态的应用程序。
Mr数据杨·2025-02-26 03:45

Tensorflow2.x框架-神经网络八股扩展-acc曲线与loss曲线

loss/loss可视化，可视化出准确率上升、损失函数下降的过程博主微信公众号（左）、Python+智能大数据+AI学习交流群（右）：欢迎关注和加群，大家一起学习交流，共同进步！
诗雨时·2025-02-25 23:15

jwt + redis 登录

Jsonwebtoken(JWT),是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准（(RFC7519).该token被设计为紧凑且安全的，特别适用于分布式站点的单点登录（SSO）场景。
code-布丁·2025-02-25 21:33

ERP系统之比较——SAP Oracle BAAN JDE SSA

R/2是用于集中式大型机环境的系统，R/3是用于分布式的客户机/服务器环境的系统。SAP是国际上著名的标准应用软件公司。
又是两个大汉堡·2025-02-25 21:31

精选 ES（elasticsearch）添加、修改、查询、删除详细使用语法

elasticsearch是一个分布式、RESTful风格的数据搜索和分析引擎。es使用简单，支持集群，适用于海量数据的存储、搜索与分析，应用十分广泛。
代码讲故事·2025-02-25 20:54

Redis是如何实现分布式锁的？使用中遇到过什么问题？如何解决的？红锁和set NX 有什么区别？

Redis分布式锁的实现与问题解决1.Redis实现分布式锁的核心步骤加锁：使用SET命令的NX（不存在时设置）和EX（过期时间）参数，确保原子性操作：SETlock_keyunique_valueNXEX30unique_value
·2025-02-25 20:19

分布式锁有哪些应用场景？

分布式锁在分布式系统中用于解决多个服务实例或多个应用节点之间共享资源时的并发问题。它可以确保同一时间只有一个实例对共享资源进行操作，从而避免数据冲突或不一致的问题。
·2025-02-25 20:46

分布式服务框架 Dubbo

Dubbo是一款高性能的分布式服务框架，主要用于实现服务的调用、管理和监控。它最早由阿里巴巴开发，现已成为一个开源项目，并且广泛应用于微服务架构中。
·2025-02-25 20:45

Spark集群架构介绍

Spark之YARN介绍一、导语二、Spark及其特性三、Spark架构总览一、导语ApacheSpark(后续简称为Spark)是一款正在点燃大数据世界的开源集群计算框架。
olifchou·2025-02-25 20:23

Spark Standalone集群架构

北风网spark学习笔记SparkStandalone集群架构SparkStandalone集群集群管理器，clustermanager：Master进程，工作节点：Worker进程搭建了一套Hadoop
htfenght·2025-02-25 20:22

Spark----Spark 在不同集群中的架构

部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、YARN-Client
XiaodunLP·2025-02-25 20:22

大数据服务＜FastApi＞:30秒内防止同维度重复下载的功能

1.项目背景在大数据服务接口面临大量数据查询和下载得时候，我们为了控制服务得资源占用，要考虑防止同维度重复下载得功能。
叶沧ii大数据全栈呀·2025-02-25 19:18

Hadoop--NameSpace（名称空间）

1.名称空间的定义  HDFS的名称空间是一个逻辑上的文件系统目录树，类似于传统文件系统的目录结构。组成目录：用于组织文件的逻辑容器。文件：存储在HDFS中的实际数据单元。元数据：包括文件名、权限、所有者、文件大小、创建时间、修改时间等信息。2.名称空间的作用名称空间的主要作用是：组织文件通过目录树的形式组织文件，方便用户管理和访问。维护元数据记录文件和目录的元数据信息（如权限、所有者、大小等）。
Cynthiaaaaalxy·2025-02-25 18:42

RESTful 是什么？一起来理解 RESTful 架构

互联网的兴起，使得这两个领域开始融合，即"互联网软件"，比网站、网络游戏、各种非单机版APP等，这种"互联网软件"采用客户端/服务器（C/S）模式，建立在分布式体系上，通过互联网通信，具有高延时（highlatency
疯狂的小镪·2025-02-25 18:08

线程池代码分析及延申应用（续二）

代码延申应用8.线程池与分布式系统的结合#include#include#include#include#include#include#include#include#include#include#
埃菲尔铁塔_CV算法·2025-02-25 16:00

编程新境界！文心快码用自然语言解释代码，助力高效研发

结合百度积累多年的编程现场大数据、外部优秀开源数据，可为开发者生成更符合实际研发场景的优秀代码，提升编码效率，释放“十倍”软件生产力。
·2025-02-25 16:40

hbase put 写入数据慢_HBase

HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。逻辑结构物理存储结构数据模型逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。
马斯克·贾·2025-02-25 16:25

spark程序提交到集群上_Spark集群模式&Spark程序提交

ApacheMesos—通用的集群管理，可以在其上运行HadoopMapReduce和一些服务应用。HadoopYARN—Hadoop2中的资源管理器。
毫无特色·2025-02-25 16:25

云计算该如何实现高效数据存储和处理？

一下就是云计算该如何实现高效数据存储和处理的几个方面：云计算平台提供的虚拟化技术，可以根据企业的需求来动态调整计算资源的配置，当业务高峰期时，企业可以快速增加服务器中的计算资源，以此来处理更高的用户请求量；在云计算中企业还可以使用分布式计算框架来
wanhengidc·2025-02-25 16:25

《聊聊Flink：大数据世界的神秘“小能手”》

《聊聊Flink：大数据世界的神秘“小能手”》宝子们，咱今天来唠唠一个有点神秘的东西——Flink。你要是刚听到这个名字，可能会觉得像什么魔法咒语似的。其实啊，它可没那么玄乎，但确实挺厉害的。
狮歌~资深攻城狮·2025-02-25 15:18

如何用HBase轻松管理海量数据？

HBase是一个分布式的、面向列的开源数据库，专门用来处理大规模数据。它基于Google的
狮歌~资深攻城狮·2025-02-25 15:46

编写和优化Go代码

虽然有些讨论会提高单个服务的速度（通过缓存等），但设计高性能的分布式系统已经超出了这项工作的范围。在监控和分布式系统设计方面已经有很好的文章，它包含了一套完全不同的研究和设计权衡理论。
少林码僧·2025-02-25 15:45

2025年投身Java培训的可行性分析——基于计算机科学与技术专业的视角

Java作为一种广泛应用的编程语言，在企业级应用开发、安卓应用开发、大数据处理等多个领域中占据重要位置。
车载诊断工程师-小白·2025-02-25 12:26

2025年计算机工程与大数据应用国际会议（CEBDA 2025）

2025年计算机工程与大数据应用国际会议2025InternationalConferenceonComputerEngineeringandBigDataApplications大会信息会议名称：2025
Yangxshy·2025-02-25 12:23

redis 集群 节点起不来_深入学习Redis：集群

一、集群的作用集群，即RedisCluster，是Redis3.0开始引入的分布式存储方案。集群由多个节点(No
翻书汪·2025-02-25 11:48
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他