Hadoop分布式大数据

工业控制系统的8种类型

最常见的包括监督控制和数据采集（SCADA）系统、分布式控制系统（DCS）、可编程逻辑控制器（PLC）以及其他几种。继续阅读
dotNET跨平台·2025-01-18 18:28

集群间hive数仓迁移

上建库建表；showcreatetabletb_name;createdatabasedb_name;createtabletb_name.....第二步：转移数据文件到新集群；在旧集群中下载数据到本地hadoopfs-get
one code·2025-01-18 17:15

Flink 常见面试题

1、Flink的四大特征（基石）checkpoint:基于Chandy-Lamport算法，实现了分布式一致性快照，提供了一致性的语义。State:丰富的StateAPI。
知否&知否·2025-01-18 16:14

Hive中没有超级管理员，如何进行权限控制

grantselectontabletest2touserhadoop;如何开发一个超级管理员：创建一个项目，导入mavanjar包，然后开始编写hook类importcom.google.common.base.Joiner
二进制_博客·2025-01-18 16:42

2.TIDB整体架构

与传统的单机数据库相比，TiDB具有以下优势：纯分布式架构，拥有良好的扩展性，支持弹性的扩缩容支持SQL，对外暴露MySQL的网络协议，并兼容大多数MySQL的语法，在大多数场景下可以直接替换MySQL
胡晗-·2025-01-18 14:30

Git基本操作

Git是一个分布式版本控制系统，它可以追踪文件的变化，并记录文件的历史版本。以下是Git的基本概念和使用方式：仓库（Repository）：Git仓库是存储代码和文件的地方，可以是本地仓库或远程仓库。
宠物与不尤编程·2025-01-18 14:29

大数据最新医学图像分割 3D nnUNet全流程快速实现_医学图像分割步骤

第一步：选择一个你能找的路径位置（这很重要），在这个位置打开终端，输入gitclonehttps://github.com/MIC-DKFZ/nnUNet.git，将nnUNet的代码下载到这个位置第二步：终端内定位到下载的nnUNet文件夹cdnnUNet，或者直接在对应位置打开终端第三步：开始安装，pipinstall-e.2数据整理2.1数据存放形式首先，nnUNet有自己的一套数据文件夹的
2401_84182020·2025-01-18 13:52

调试Hadoop源代码

个人博客地址：调试Hadoop源代码|一张假钞的真实世界Hadoop版本Hadoop2.7.3调试模式下启动HadoopNameNode在${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
一张假钞·2025-01-18 13:16

为什么要使用MQ？思维导图 代码示例（java 架构)

使用消息队列（MQ）的主要原因在于它能够提供解耦、异步通信、流量削峰等特性，这些特性对于构建稳定、高效、可扩展的分布式系统至关重要。
用心去追梦·2025-01-18 12:39

大数据毕业设计—基于python+Django自然灾害频发地区情况数据分析系统

一、项目技术开发语言：Pythonpython框架：Django软件版本：python3.7/python3.8数据库：mysql5.7或更高版本数据库工具：Navicat11开发软件：PyCharm/vscode前端框架:vue.js二、项目内容和项目介绍  1.项目内容  1.开发语言：该系统采用Python作为开发语言，Python具有优雅的语法和动态类型，以及解释型语言的本质，使其成为许多
qq_1406299528·2025-01-18 11:06

LabVIEW 蔬菜精密播种监测系统

该系统充分发挥高精度传感器的感知能力以及先进软件的强大数据处理与控制能力，显著提高了播种作业的
LabVIEW开发·2025-01-18 11:33

【2025最新计算机毕业设计】基于SSM的旅游与自然保护平台【提供源码+答辩PPT+文档+项目部署】

✌主要内容：Java项目、Python项目、前端项目、PHP、ASP.NET、人工智能与大数据、单片机开发、物联网设计与开发设计、简历模板、学习资料、面试题库、技术互助、就业指导等。
万码堂源码·2025-01-18 11:01

【源码+文档】基于SpringBoot+Vue旅游网站系统【提供源码+答辩PPT+参考文档+项目部署】

✌主要内容：Java项目、Python项目、前端项目、PHP、ASP.NET、人工智能与大数据、单片机开发、物联网设计与开发设计、简历模板、学习资料、面试题库、技术互助、就业指导等。
万码堂源码·2025-01-18 11:31

【大数据学习 | kafka】kafka的组件架构

broker:每个kafka的机器节点都会运行一个进程，这个进程叫做broker，负责管理自身的topic和partition，以及数据的存储和处理，因为kafka是集群形式的，所以一个集群中会存在多个broker，但是kafka的整体又不是一个主从集群，需要选举出来一个broker节点为主节点，管理整个集群中所有的数据和操作，以及所有节点的协同工作。每个broker上面都存在一个controll
Vez'nan的幸福生活·2025-01-18 10:30

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
武子康·2025-01-18 10:29

Rabbitmq源码分析，重复消费问题的redis或数据库代码实现

通过Redis的幂等性处理消息消费者实现分布式锁实现的重复检测完整的消息处理流程基于数据库实现Mapper接口消息处理服务RabbitMQ消息消费者底层源码解析RabbitMQ判断重复消息主要通过消息的唯一标识
xweiran·2025-01-18 10:26

产品解读 | 构建数智融合时代下的一站式大数据平台

一站式大数据平台，旨在通过一个平台即可满足各类业务需求，成为数智融合时代下数据基础设施的发展趋势，并从四个维度向四个“一体化”方向演进：数据架构-湖仓集一
·2025-01-18 09:50

pyspark 中删除hdfs的文件夹

寻找到一个删除的方法，是通过调用shell命令hadoopfs-rm-f来删除，这个方法感觉不怎么好，所以继续找。
TDengine （老段）·2025-01-18 09:21

Redis分布式锁-解锁操作

本章重点讨论解锁操作问题。案例使用RedisTemplate完成redis操作。1.简单加解解锁@ResourceprivateRedisTemplateredisTemplate;publicvoidtestLock(){Stringkey="xx_lock";Stringuuid=UUID.randomUUID().toString();try{booleanlock=redisTemplat
Ocean@上源码·2025-01-18 09:18

详解 RabbitMQ 在 Go 中的实现：一个带重试机制和死信队列的消息消费者

RabbitMQ是一个功能强大的消息队列系统，广泛应用于分布式系统中。本文将详细解析一个使用Go语言编写的RabbitMQ消费者程序。
田猿笔记·2025-01-18 08:43

小北的技术博客：探索华为昇腾CANN训练营与AI技术创新——Ascend C算子开发能力认证考试（初级）

在技术的广阔天地里，我专注于大数据与全栈开发，并致力于成为这一领域的新锐力量。通过智慧龙阁这个平台，我期望能与大家分享我的技术心得，共同探索技术的无限可能。
Stitch .·2025-01-18 08:12

redis 分布式重入锁

文章目录前言一、分布式重入锁1、单机重入锁2、redis重入锁二、redisson实现重入锁1、添加依赖2、配置Redisson客户端3、使用Redisson实现重入锁4、验证5、运行项目三、redisson
DREAM LINER SU·2025-01-18 08:38

大厂架构之极致缓存策略实战与原理剖析

无论是CPU中的多级缓存，还是分布式系统中的Redis、Memcached等缓存组件，都在各自的领域内发挥着重要作用。
喜欢猪猪·2025-01-18 07:37

如何通过 Nginx 实现 CouchDB 集群的负载均衡并监控请求分发

在现代分布式系统中，负载均衡是确保高可用性和性能的关键组件。CouchDB是一个强大的分布式数据库，而Nginx是一个高性能的反向代理和负载均衡器。
田猿笔记·2025-01-18 07:36

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

Linux内核性能调优：让系统飞起来的秘籍

在当今数字化时代，Linux系统凭借其强大的稳定性、开放性和灵活性，广泛应用于服务器、云计算、大数据等诸多领域。然而，随着业务量的不断增长和应用场景的日益复杂，Linux内核的性能面临着巨大挑战。
深度Linux·2025-01-18 06:26

星环科技×恒生电子，联合打造反洗钱解决方案

将大数据技术应用于反洗钱领域，可借助大数据平台高效整合、分析海量客户身份信息和交易数据，保障反洗钱系统有效开展客户风险等级评定、可疑交易筛查、黑名单监测等工作，为反洗钱工作赋能。
·2025-01-18 05:12

Transwarp Data Studio 4.0 ：适应AI新时代实现三大能力提升

星环科技大数据开发工具TranswarpDataStudio，在此过程中发挥着承上启下的关键作用。
·2025-01-18 05:12

如何防止缓存雪崩、击穿和穿透?思维导图 代码示例（java 架构)

思维导图结构防止缓存问题缓存雪崩分散过期时间设置随机的TTL（Time-To-Live）限流与熔断服务降级流量控制预热机制提前加载热点数据缓存击穿分布式锁使用Redis等工具实现分布式锁缓存冗余多副本存储异步更新异步加载数据到缓存缓存穿透
用心去追梦·2025-01-18 04:12

安装 Erlang：一步步教你安装和配置 Erlang 环境

Erlang是一种功能强大的编程语言和运行时环境，特别适用于构建高可靠性、并发性和分布式性能的应用程序。在本文中，我将为您提供安装和配置Erlang环境的详细步骤。
AzProcessgroup·2025-01-18 01:18

《鸿蒙Next旅游应用：人工智能赋能个性化与智能导览新体验》

鸿蒙Next与人工智能融合优势鸿蒙Next拥有强大的分布式能力和原生智能体验。其能打破设备界限，实现多设备协同，让用户在手机、平板、智能手表等设备上无缝使用旅游应用。
·2025-01-18 01:04

基于单片机的分布式智能输液系统设计

**单片机设计介绍，基于单片机的分布式智能输液系统设计文章目录一概要二、功能设计设计思路三、软件设计原理图五、程序六、文章目录一概要  基于单片机的分布式智能输液系统设计概要如下：一、系统概述基于单片机的分布式智能输液系统是一种集成化
01单片机设计·2025-01-18 01:47

《软硬协同优化，解锁鸿蒙系统AI应用性能新高度》

鸿蒙系统与AI应用的融合现状鸿蒙系统以其独特的微内核架构和分布式特性，为AI应用提供了良好的运行环境。
·2025-01-18 01:03

《解锁鸿蒙系统AI能力，开启智能应用开发新时代》

在当今科技飞速发展的时代，鸿蒙系统以其独特的分布式架构和强大的AI能力，为开发者们带来了前所未有的机遇。本文将深入探讨开发者如何利用鸿蒙系统的AI能力开发更智能的应用，开启智能应用开发的新时代。
·2025-01-18 01:03

云原生周刊：Docker 的替代方案

开源项目推荐DitoDito是一个用Go语言编写的高级Layer7反向代理服务器，提供灵活的中间件支持、后端连接的自定义证书处理、动态配置重载，以及与Redis的分布式缓存和速率限制功能。
·2025-01-18 01:30

如何设计一款分布式数据库

关注我，持续分享逻辑思维&管理思维&面试题；可提供大厂面试辅导、及定制化求职/在职/管理/架构辅导；推荐专栏《10天学会使用asp.net编程AI大模型》，目前已完成所有内容。一顿烧烤不到的费用，让人能紧跟时代的浪潮。从普通网站，到公众号、小程序，再到AI大模型网站。干货满满。学成后可接项目赚外快，绝对划算。不仅学会如何编程，还将学会如何将AI技术应用到实际问题中，为您的职业生涯增添一笔宝贵的财富
借雨醉东风·2025-01-18 00:44

高防是什么，DDos是什么

这些服务主要用于防御各种网络攻击，尤其是DDoS（分布式拒绝服务）攻击。高防服务器高防服务器是指具备高防御能力的服务器，能够抵御大规模的DDoS攻击。
不正经随记·2025-01-18 00:44

如何确保热点产品查询延迟控制在10ms以内?思维导图 代码示例（java 架构)

思维导图结构低延迟查询数据预加载热点数据预测提前加载到内存缓存使用高性能缓存内存级缓存（如Caffeine）分布式缓存（如Redis）缓存一致性管理弱一致性模型缓存更新策略（写后失效、读时更新等）并发处理多线程
用心去追梦·2025-01-17 23:07

全区全服游戏框架

游戏服务器架构概述分布式架构基础：全区全服游戏框架通常采用分布式架构，以应对大量玩家同时在线的情况。这种架构包括多个服务器节点，如登录服务器、游戏逻辑服务器、数据库服务器等。
lao geng·2025-01-17 23:31

推荐文章：libpopcnt——高效位计数的神器

高效位计数的神器libpopcntFastC/C++bitpopulationcountlibrary项目地址:https://gitcode.com/gh_mirrors/li/libpopcnt在数字处理和大数据分析的世界里
胡蓓怡·2025-01-17 23:31

DDOS和CC是什么

DDOS也叫分布式拒绝服务（DistributedDenialofService）简称为DDOS，就是将多台计算机联合起来作为攻击平台，通过远程连接利用恶意程序，对一个或多个目标
德迅云安全-小潘·2025-01-17 23:59

什么是数据仓库？

数据仓库是大数据体系的重要组成部分，主要用于对大量历史数据的存储、处理和分析。简单来说，数据仓库是一个为数据分析和业务决策服务的系统，通过整合来自不同来源的数据，形成面向主题的、可查询的
狮歌~资深攻城狮·2025-01-17 22:57

redis缓存穿透、雪崩与击穿

Redis缓存穿透、雪崩与击穿详解（附Java代码示例）在现代高并发分布式系统中，缓存作为提高系统性能和响应速度的重要组件，其稳定性和可靠性至关重要。
Flying_Fish_Xuan·2025-01-17 22:26

分布式系统架构4：容错设计模式

这是小卷对分布式系统架构学习的第4篇文章，虽然知道大家都不喜欢看纯技术文章，写了也没多少阅读量，但是为了个人要成长，小卷最近每天都会更新分布式的文章1.概念容错策略，指的是“面对故障，我们该做些什么”；
卷福同学·2025-01-17 22:50

【昇思25天学习打卡营打卡指南-第一天】基本介绍与快速入门

其中，易开发表现为API友好、调试难度低；高效执行包括计算效率、数据预处理效率和分布式训练效率；全场景则指框架同时支持云、边缘以及端侧场景。
JeffDingAI·2025-01-17 21:49

如何实现集群部署

集群部署广泛应用于各种场景，如Web服务、数据库、大数据处理等。以下是关于集群部署的详细解释：1.基本概念集群（Cluster）:一组相互连接的计算机，它们协同工作以提供单一的计算资源。
DaXiongJoker·2025-01-17 21:49

MongoDB深度解析与实践案例

MongoDB深度解析与实践案例在当今大数据与云计算盛行的时代，NoSQL数据库以其灵活的数据模型、水平扩展能力和高性能，成为处理海量数据的重要工具之一。
我的运维人生·2025-01-17 21:47

MongoDB深度解析与实践案例

MongoDB深度解析与实践案例在当今大数据与云计算蓬勃发展的时代，NoSQL数据库以其灵活的数据模型、水平扩展能力和高性能，成为处理海量数据的重要工具。
我的运维人生·2025-01-17 21:17

分布式数据库：技术深度解析与应用实践

分布式数据库：技术深度解析与应用实践随着数据量的爆炸性增长和用户访问量的不断增加，传统的单机数据库系统逐渐暴露出在高可用性、高并发性和高扩展性方面的不足。
我的运维人生·2025-01-17 21:46

Java 内存锁的实现方式、性能比较及使用场景分析

为了更好地解决分布式系统中的并发问题，我们可以将这些锁实现方式封装成一个基础的服务，并根据需要在不同的场景下使用它们。本文将讨论Java内存锁的实现方式、性能比较及其适用场景，同时介绍如
nbsaas-boot·2025-01-17 21:13
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他