hadoop分布式

1分钟玩转Kafka

Kafka是一种分布式的、基于发布/订阅的消息系统，其极致体验让人欲罢不能，但操心的运维、复杂的安全策略、可靠性易用性的缺失、算不上极致的性能发挥、并不丰富的消息服务功能，仍需要使用者付出诸多的背后工作
中间件小哥·2024-03-10 21:58

zookeeper 使用

zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法
SkTj·2024-03-10 02:15

三天学会阿里分布式事务框架Seata-seata事务分组介绍

锋哥原创的分布式事务框架Seata视频教程：实战阿里分布式事务框架Seata视频教程（无废话，通俗易懂版）_哔哩哔哩_bilibili实战阿里分布式事务框架Seata视频教程（无废话，通俗易懂版）共计10
java1234_小锋·2024-03-09 22:53

选型搜索引擎之参考Elasticsearch

简介Elasticsearch（简称ES）是一个基于ApacheLucene的开源、分布式、RESTful接口的全文搜索引擎。
剑飞的编程思维·2024-03-09 18:17

Hive SQL 开发指南（三）优化及常见异常

在大数据领域，HiveSQL是一种常用的查询语言，用于在Hadoop上进行数据分析和处理。为了确保代码的可读性、维护性和性能，制定一套规范化的HiveSQL开发规范至关重要。
大数据_苡~·2024-03-09 14:13

大数据开发（Hadoop面试真题-卷九）

大数据开发（Hadoop面试真题）1、Hivecount(distinct)有几个reduce，海量数据会有什么问题？
Key-Key·2024-03-09 10:06

大数据开源框架技术汇总

目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖·2024-03-08 20:48

本体要打造价值互联网，实现网络的大联通，大生态

本体昨天发布了框架白皮书，概述里的开篇就向我们阐述了本体是一个什么样的区块链项目，定义如下：本体（Ontology）是一个多链，多系统融合的链群结构，除了本体本身的分布式账本框架可以支持实现不同治理模式下的区块链体系
秋秋絮语·2024-03-08 20:53

PSCA电源控制集成之分布式PPU

PPU的放置是一个重要考虑因素。最简单的方法是将所有的PPU都放置在SCP所在的始终开启的域中。将所有的PPU放置在一个层次结构中，集成问题，如地址映射、互连、时钟和复位等问题都比较简单。然而，有几个原因可能导致这不是最佳选择。首先，在复杂的系统中可能存在许多组件LPI，而在整个SoC中连接大量的线到始终开启的域可能既不可取也不实际。其次，在需要快速进入和退出电源模式的情况下，使PPU能够快速响应
安全二次方·2024-03-08 06:59

ElasticSearch为什么快？

ElasticSearch是一个高性能，分布式搜索引擎，它之所以快，主要有以下几个原因：1.分布式存储：ElasticSearch使用分布式存储技术，将数据存储在多个节点上从而减少单个节点的压力，提高整体性能
z.jiaminf·2024-03-06 19:14

从入门到精通：Elasticsearch开发实践教程

Elasticsearch的原理Elasticsearch是一个分布式的文档存储和搜索引擎。
青年老年程序员·2024-03-05 19:14

Java实战：基于ThreadLocal打造强大的Java上下文管理组件

引言在大型分布式系统的设计与开发过程中，上下文信息的管理和传递是一个常见且关键的需求。例如，用户登录信息、事务ID、请求ID等都需要在调用链路中保持一致性，以便于跟踪、监控和调试。
拥抱AI·2024-03-05 18:13

软件测试基础理论（一）

计算机软件的分类按层次划分系统软件如:操作系统支持软件如:DBMS(数据库管理软件)应用软件如:很多...按结构划分单机软件如:WinRAR分布式软件C/S如:QQ,LOLB/S如:淘宝,天猫网格计算如
allyxmiko·2024-03-05 14:39

高并发之 API 接口，分布式，防刷限流，如何做？

以下文章部分出自网络，参考链接如下：https://blog.csdn.net/fanrenxiang/article/details/80683378https://blog.csdn.net/top_code/article/details/53242262https://blog.csdn.net/u010889390/article/details/82151903相关概念：应用级限流分布
码农小光·2024-03-05 04:27

高并发高可用--反向代理与负载均衡

为了实现这一目标，通常会采用一系列技术和策略，包括负载均衡、缓存、分布式系统、冗余部署、容错处理等。
管理大亨·2024-03-05 01:20

架构面试题汇总：缓存（二）

6.问题：在设计一个大型分布式系统时，你会如何考虑缓存策略？7.问题：你如何评估缓存的效率和对系统性能的影响？8.问题：请描述一下你曾经
码到三十五·2024-03-04 20:15

GO 编程语言

rpc概念，调用远程服务接口就像调用本地函数一样，能让你更容易创建分布式应用。proto3知识，描述服务接口的跨语言协议，
gengvvip·2024-03-04 07:57

阿里云高防服务器如何实现安全防护，以及如何接触安全防护

一、高防服务器的安全防护措施1、DDoS攻击防护DDoS攻击属于分布式拒绝服务攻击，其主要手段
九河云·2024-03-03 17:08

分布式ID选型对比（1）

常见的几种ID生成方式对比:种类全局唯一高性能高可用趋势递增中心服务缺点UUID是高(本地生成,(无网络开销)低(无序,不适用)否否无序、字符串数据库自增单表唯一中中(宕机就会使业务服务中断)是否安全性差,能猜出来规律对于分库分表场景无法唯一数据库自增-集群是中中(宕机就会使业务服务中断)是否通过设置初始值及步长进行自增不好扩展,增加节点可能导致不唯一数据库号段模式是低(需要频繁更新表maxId)
Loren_云淡风轻·2024-03-03 14:04

SpringCloud和SpringBoot的版本依赖该怎么选择

前言SpringCloud是一个基于SpringBoot的微服务框架，用于构建和管理分布式系统的各个组件。
trendcode·2024-03-03 10:59

【Hadoop】在spark读取clickhouse中数据

读取clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties(batchSize:String="
方大刚233·2024-03-03 06:54

【Hadoop】使用Metorikku框架读取hive数据统计分析写入mysql

一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置，具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.
方大刚233·2024-03-03 06:23

分布式事务

分布式事务是指在分布式系统中，涉及多个参与者（数据库、消息队列等）的跨多个节点的事务操作。
你不懂、、、·2024-03-03 03:51

如何在有限的预算里做好服务器的DDOS防护？

在网络安全领域，防御分布式拒绝服务（DDoS）攻击是一项持续且复杂的挑战。尤其对于预算有限的组织来说，如何在不牺牲安全性的前提下进行有效的防护，更是一个需要深思熟虑的问题。
群联云防护小杜·2024-03-02 21:12

第三章 软件定义汽车的典型架构

第三章软件定义汽车的典型架构软件定义汽车的总体架构可以分为四层架构：（1）硬件平台，异构分布式硬件架构；（2）系统软件层，包括虚拟机、系统内核、POSIX、Autosar等；（3）应用中间件和开发框架包括功能软件
_长风_·2024-03-02 19:08

分布式ID选型对比（2）

数据库号段模式一,引入依赖:mysqlmysql-connector-java8.0.19org.mybatis.spring.bootmybatis-spring-boot-starter2.2.2二,新建表CREATETABLE`id_generator`(`id`intNOTNULL,`max_id`bigintNOTNULLCOMMENT'当前最大id',`step`intNOTNULLC
qq_35255384·2024-03-02 17:35

分布式ID选型对比（4）

百度UIDgenerator一,创建表:worker_node(在项目启动时初始化生成workId)CREATETABLE`worker_node`(`ID`bigintNOTNULLAUTO_INCREMENTCOMMENT'autoincrementid',`HOST_NAME`varchar(64)NOTNULLCOMMENT'hostname',`PORT`varchar(64)NOTNU
qq_35255384·2024-03-02 17:35

Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数

看看这个参数如何运用：我们的spark-sql版本：[hadoop@666~]$spark-sql--versionWelcometo______/__
不想起的昵称·2024-03-02 15:03

hadoop里需要的libhadoop.so版本不一致导致问题及解决办法

$HADOOP_HOME/lib/native/Linux-amd64-64(64位操作系统)$HADOOP_HOME/lib/native/Linux-i386-32（32位操作系统）文件夹中的libhadoop.so
weixin_34304013·2024-03-02 09:23

hadoop启动报错处理

1.hadoop启动报错1.1.问题1util.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable
akuibpt23191·2024-03-02 08:51

基于非合作博弈的风-光-氢微电网容量优化配置（matlab代码）

主要内容模型架构图目标函数非合作博弈流程2部分代码3程序结果4下载链接1主要内容该程序复现《基于非合作博弈的风-光-氢微电网容量优化配置》，程序包含3种场景，场景1中包含风电、光伏和制氢-储氢-发电3种分布式电源
科研工作站·2024-03-02 07:20

Go开发技术示例：构建一个简单的Web服务器

它适用于多种应用场景，包括Web开发、云计算、分布式系统等。下面，我们将通过一个简单的示例来展示如何使用Go开发技术构建一个Web服务器。1.环境准备首先，确保你的计算机上已经安装了Go。
·2024-03-02 05:51

SeaweedFS部署

SeaweedFS介绍SeaweedFS是一个分布式文件系统应用场景：主要用于存储处理小文件、大文件分块成小文件上传Githup地址：https://github.com/chrislusf/seaweedfs
仙女陈·2024-03-02 04:46

git命令整理

分布式管理系统，可以快速的查看文件各个版本的改动。比如在第5行加了一个单词“Linux”，在第8行删了一个单词“Windows”。
@yongchao_pan·2024-03-02 03:44

Springboot中使用Redisson实现分布式锁

此时我们就要引入分布式锁了，分布式锁的实现方式有很多，可以使用Mysql数据库实现，也可以使用Zookeeper实现，当然比较
追风人聊Java·2024-03-02 02:43

分布式概念

分布式是一种计算机系统架构，它由多台计算机组成，这些计算机通过网络互相连接并协作工作。在分布式系统中，不同的计算机被称为节点，它们通过消息传递或者远程过程调用等方式进行通信和协作，共同完成任务。
独木人生·2024-03-01 00:38

从玩游戏到写外挂，C语言/C++程序员大神是怎样做到的！

＋是面向对象的这些是C/C++能做的服务器开发工程师、人工智能、云计算工程师、信息安全（黑客反黑客）、大数据、数据平台、嵌入式工程师、流媒体服务器、数据控解、图像处理、音频视频开发工程师、游戏服务器、分布式系统
小辰带你看世界·2024-02-29 12:58

鸿蒙系统开发适配注意事项

1.了解鸿蒙操作系统的特性：在适配前，深入了解鸿蒙操作系统的特性、架构和支持的功能，包括分布式架构、多设备协同、鸿蒙底层框架等。2.支持分辨率和屏幕尺寸
super_Dev_OP·2024-02-29 12:21

Spark整合hive（保姆级教程）

准备工作：1、需要安装配置好hive，如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark，如果不会安装可以跳转到Spark安装与配置（单机版）3、需要安装配置好Hadoop
万家林·2024-02-29 09:47

SpringCloud和SpringBoot的版本依赖该怎么选择

前言SpringCloud是一个基于SpringBoot的微服务框架，用于构建和管理分布式系统的各个组件。
·2024-02-28 15:03

分布式和微服务

分布式和微服务是两个不同的概念。分布式系统是说多个独立的计算机或服务器组成的系统，这些计算机通过网络进行通信和协作，共同完成一个任务或提供一个服务。
你小汁完了·2024-02-28 14:56

Scrapy与分布式开发(1.1)：课程导学

Scrapy与分布式开发：从入门到精通，打造高效爬虫系统课程大纲在这个专栏中，我们将一起探索Scrapy框架的魅力，以及如何通过Scrapy-Redis实现分布式爬虫的开发。
九月镇灵将·2024-02-28 11:23

消息队列-kafka

kafka和redis的区别数据类型和用途：Kafka：Kafka是一个分布式消息队列系统，主要用于高吞吐量的消息发布和订阅。它可以用于构建实时流处理应用、日志收集和传输、事件驱动架构等场景。
百晓生612·2024-02-28 08:48

分布式和微服务的联系和区别

1.联系分布式和微服务都是对单体应用功能的拆分2.区别：分布式是将不同的服务部署在不同服务器上微服务可能不是不同服务器此外，分布式是项目部署的层面上的理念，微服务是系统架构上的理念。
Jjjtreasure·2024-02-28 08:18

分布式匹配服

背景分布式匹配服（Distributedmatchmakingserver）是指将游戏的匹配功能分布到多台服务器上，并采用分布式架构实现的服务。
littleschemer·2024-02-28 08:48

Hadoop-Yarn-NodeManager是如何监控容器的

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中的ContainerLaunchprepareForLaunch
隔着天花板看星星·2024-02-28 06:15

Alibaba分布式事务组件Seata实战

Alibaba分布式事务组件Seata实战事务本地事务对于操作单一数据库的场景下的事务，ACIO特性是数据库直接支持的分布式事务在分布式情况下，需要的操作资源分布在多个资源服务上，而应用需要保证对于多个资源服务器的数据操作要么全部成功要么全部失败
枫吹过的柚·2024-02-27 19:01

Eureka简介与使用浅析

它是基于REST(RepresentationalStateTransfer)的服务，扮演了服务注册与发现的角色，在分布式系统中尤为重要。
dami_king·2024-02-27 15:57

XGB-12:在 Kubernetes 上进行分布式 XGBoost 训练

通过KubeflowXGBoostTrainingOperator支持在Kubernetes上进行分布式XGBoost训练和批量预测。
uncle_ll·2024-02-27 09:48

分布式scrapy_redis源码总结，及其架构

分布式scrapy的组件源码介绍完了，大致总结一下，相关组件目录如下：《RedisSpider的调度队列实现过程及其源码》《scrapy中scrapy_redis分布式内置pipeline源码及其工作原理
Python之战·2024-02-27 05:11
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他