分布式hadoop

docker安装Hadoop

拉取镜像[root@ecs-e722~]#dockerpullregistry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_baseUsingdefaulttag
悾说·2024-08-31 11:16

如何在Web3.0应用中实现数据的安全存储？

在Web3.0应用中，可以通过以下几种方式实现数据的安全存储：一、分布式存储技术1.IPFS（InterPlanetaryFileSystem，星际文件系统）：-IPFS是一种去中心化的分布式文件存储系统
alankuo·2024-08-31 09:31

harmonyos鸿蒙,HarmonyOS鸿蒙入门篇

鸿蒙系统又是什么，官网有：HarmonyOS是一款“面向未来”、面向全场景(移动办公、运动健康、社交通信、媒体娱乐等)的分布式操作系统。
丁丁TINTIN·2024-08-31 09:27

web3.0涉及的技术

Web3.0的设计涉及到多种技术，以下是一些主要的技术：一、区块链技术1.分布式账本-确保数据的去中心化存储，每个节点都有完整的账本副本，提高了数据的安全性和可靠性。
alankuo·2024-08-31 08:20

Redisson 实现分布式锁

使用Redisson实现分布式锁在分布式系统中，多个进程或线程可能同时尝试访问和修改共享资源，这可能导致数据不一致的问题。
SheldonChang·2024-08-31 06:36

Redis基础知识学习笔记（一）

REmoteDIctionaryServer(Redis)是一个由SalvatoreSanfilippo写的key-value存储系统，是跨平台的非关系型数据库,其是一个开源的使用ANSIC语言编写、遵守BSD协议、支持网络、可基于内存、分布式
晚睡早起₍˄·͈༝·͈˄*₎◞ ̑̑·2024-08-31 03:17

《C++与新兴数据库技术的完美交互：开启高效数据处理新时代》

新兴的数据库技术，如NoSQL数据库、NewSQL数据库、分布式
程序猿阿伟·2024-08-31 03:14

【Linux】Linux系统性能调优技巧

网络性能调整2.7监控和分析工具2.8编译器优化2.9预读取和写入缓存2.10内核参数调整2.11性能分析工具2.12NUMA优化2.13数据库性能调优2.14使用交换空间2.15更新和维护2.16负载均衡和分布式计算
大雨淅淅·2024-08-31 03:43

Redis 系列（二）Redis 安装

Redis全称：RemoteDictionaryServer(远程字典服务器)，是完全开源免费的，用C语言编写的，遵守BSD协议，是一个高性能的(key/value)分布式内存数据库，基于内存运行并支持持久化的
后端小哥·2024-08-31 02:08

使用 Shell 脚本管理 RocketMQ 服务：启动、停止与状态检查

在分布式系统中，RocketMQ是一个流行的消息队列中间件。在开发和运维过程中，能够高效地启动、停止和检查RocketMQ相关服务的状态非常重要。
heromps·2024-08-31 00:57

DDoS攻击与机房带宽占用详解

摘要本文将深入探讨分布式拒绝服务（DDoS）攻击是如何占用数据中心（通常称为“机房”）的网络带宽资源的。我们将从技术角度出发，通过具体的案例和代码示例来说明这一过程，并提出一些缓解策略。
群联云防护小杜·2024-08-31 00:24

海外系统为什么需要高防服务

然而，海外系统面临着各种网络攻击的威胁，尤其是分布式拒绝服务（DDoS）攻击。本文将重点讨论为什么海外系统需要高防服务，并提供一些实用的指南。2.为什么需要高防服务地理位置因素：
群联云防护小杜·2024-08-31 00:24

Linux 使用 docker 安装 MinIO 分布式对象存储系统

文章目录个人知识库MinIO简介环境要求一.新建文件目录1.1.新建docker-compose.yml1.2.编写docker-compose.yml二.文件赋权限三.启动容器3.1.启动并下载镜像3.2.停止并删除容器四.访问五.DockerHub官网更多知识平台个人知识库云网站：http://www.liupeng.cloud语雀：https://www.yuque.com/liupeng_
liupeng_blog·2024-08-30 23:53

Java语言的9个特质，你知道几个？

(2)分布式：Java带有很强大的T
小宇java·2024-08-30 23:00

java 使用zookeeper包实现zookeeper分布式锁

zookeeper不可重入锁的实现代码importorg.apache.zookeeper.*;importorg.apache.zookeeper.data.Stat;importjava.io.IOException;importjava.util.Collections;importjava.util.List;publicclassDistributedLockExample{privat
angen2018·2024-08-30 22:42

单机 安装 ELK 日志分析系统

Elasticsearch是一个基于Lucene的、支持全文索引的分布式存储和索引引擎，主要负责将日
TheFlsah·2024-08-30 21:40

git是什么?git的五个命令，git和svn的区别

Git是一个开源的分布式版本控制系统（DistributedVersionControlSystem，简称DVCS），由LinusTorvalds在2005年开发。
茶卡盐佑星_·2024-08-30 21:06

linux jmeter 对数据库,jmeter操作数据库，分布式，在Linux上运行

allowMultiQueries=truedriverclass:com.mysql.jdbc.Driverjmeter添加压力机(分布式)1.首先要其他电脑也安装有jmeter，自己的电脑是主机，其他的电脑都是分支
weixin_39820173·2024-08-30 19:55

Spring

1.1工厂设计模式、Spring工厂的底层实现原理EJB实现原理：就是将原来在客户端实现的代码放至服务端，并依靠RMI进行通信RMI实现原理：通过java可序列化机制实现分布式计算补充序列化：就是将java
楚楚ccc·2024-08-30 18:52

面试难题：Redis分布式锁的原理和实现

但现在大多站点都会使用分布式部署，那多台服务器间的就必须使用同一个目标来判断锁。分布式与单机情况下最大的不同在于其不是多线程而是多进程。图1：分布式站点使用内存
Java爱好狂.·2024-08-30 18:46

分布式WebSocket-下篇

分布式WebSocket落地-生产验证上篇文章主要讲述了单点Socket，以及它的使用场景。本章主要会从多个维度来探讨单机Socket存在问题以及解决方案。
蓝天/zachary·2024-08-30 18:46

分布式 WebSocket 集群解决方案

下面我将描述session特性，以及根据这些特性列举出n个解决分布式架构中处理ws请求的集群方案WebSocketSession与HttpSession在Spring所集成的WebSocket里面，每个
2401_83916394·2024-08-30 17:13

信息安全基础复习

主动攻击：中断，篡改，伪造被动攻击：截获DDOS:分布式拒绝访问（主动攻击）被动：被动威胁是对信息进行监听，而不对其进行篡改和破坏主动：主动威胁是对信息进行故意篡改和破坏，使合法用户得不到可用的信息。
星河如雨落·2024-08-30 16:35

kafka的安装与测试

kafka的安装与测试一、概念定义：kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue),主要用于大数据实时处理领域使用消息队列的一个好处1.解耦：不需要两台服务器保持同时在线
无情白·2024-08-30 16:04

使用python创建kafka的topic

文章目录使用python创建kafka的topickafka基本概念所需安装的包代码样例使用python创建kafka的topickafka基本概念Apache‌Kafka是一个开源的分布式流处理平台，
百流·2024-08-30 16:02

使用redis发布订阅实现websocket分布式消息推送服务

WebSocketConfig@ConfigurationpublicclassWebSocketConfig{privatestaticfinalLoggerlogger=LoggerFactory.getLogger(WebSocketConfig.class);@BeanpublicServerEndpointExporterserverEndpointExporter(){returnne
weixin_43833540·2024-08-30 16:00

揭示灵活分布式云平台的速效降本之道

2023年，Akamai委托ForresterConsulting进行了一项研究，重点关注了商业企业如何通过分布式云架构满足自己的各项需求。本文我们就一起看看这项研究的主要成果。“底线”是
Akamai中国·2024-08-30 15:56

PyTorch深度学习实战（26）—— PyTorch与Multi-GPU

当拥有多块GPU时，可以利用分布式计算（DistributedComputation）与并行计算（ParallelComputation）的方式加速网络的训练过程。
shangjg3·2024-08-30 12:10

小白学习大数据测试之hadoop hdfs和MapReduce小实战

转发是对小编的最大支持在湿货|大数据测试之hadoop单机环境搭建(超级详细版)这个基础上，我们来运行一个官网的MapReducedemo程序来看看效果和处理过程。
大数据学习02·2024-08-30 11:39

PyTorch深度学习实战（27）—— PyTorch分布式训练

本节将详细介绍如何进行神经网络的分布式训练。
shangjg3·2024-08-30 07:37

Curator框架 以及基本API如何操作

为了更好的实现java操作zookeeper服务器，后来出现Curator框架，非常的强大，目前已经是Apache的顶级项目，里面提供了更多丰富的操作，例如session超时重连、主从选举、分布式计数器
JAVA代码搬运工·2024-08-30 06:33

大模型训练和推理

文章目录一、NLP基础1.Tokenizer2.positionencoding3.注意力机制与transformer架构二、大模型训练1.SFT训练2.RLHF训练3.分布式并行训练技术（1）模型并行
李明朔·2024-08-30 01:27

云计算day13

一、Git概述Git是一种分布式版本控制系统，用于跟踪和管理代码的变更。它是由LinusTorvalds创建的，最初被设计用于Linux内核的开发。
巭氼·2024-08-29 23:42

中间件简介

它们在分布式系统、网络通信和应用集成中起着关键的作用。那么常见的中间件有哪些呢？消息队列中间件：消息队列中间件允许应用程序之间异步地发送和接收消息。
Will_1130·2024-08-29 22:38

虚拟机安装hadoop，hbase（单机伪集群模式）

虚拟机安装Hadoop，Hbase工作中遇到了大数据方面的一些技术栈，没有退路可言，只能去学习掌握它，就像当初做爬虫一样（虽然很简单），在数据爆发的现在，传统的数据库mysql，oracle显然在处理大数据量级的数据时显得力不从心
流~星~雨·2024-08-29 21:31

hive中的数据同步到hbase

关于hadoop，hive，hbase这三个技术栈我写了两篇博客简单的分享了我对这三个技术栈的一些看法，在我目前的认知里，hadoop提供hdfs这个组件来存储大数据量的数据（相比于mysql，oracle
流~星~雨·2024-08-29 21:31

Apache Kafka 快速学习大纲

Kafka概述定义Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。
aaaak_·2024-08-29 19:46

大数据实训笔记7：kafka

概述Kafka是一个开源的分布式事件流平台(EventStreamingPlatform)，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。
Roslin_v·2024-08-29 19:14

QPS提升10倍怎么设计-JAVA后端经常用到的技术

例如，使用分布式服务器集群，将请求均匀地分配到各个节点上，避免单个服务器负载过高。升级服务器的硬件配置，如提高CPU性能、增加内存容量、使用更快的存储设备等。例如，采用多核处理
九张算数·2024-08-29 17:00

优秀的开源项目

目录热key多线程并行秒级百G级日志工具ES操作工具消息推送平台HTTP客户端业务层的分布式限流组件企业级微服务解决方案热keyhotkey:京东App后台中间件，毫秒级探测热点数据，毫秒级推送至服务器集群内存
点滴~·2024-08-29 16:28

hbase ExportSnapshot迁移hbase表

在源集群上准备快照：snapshot'credit_dict','credit_dict_snapshot20221117'list_snapshots复制快照到目标集群：hbaseorg.apache.hadoop.hbase.snapshot.ExportSnapshot
Rjunxiang·2024-08-29 16:56

分布式中间件

1.Nacos服务注册和服务发现原理图：1.服务提供方将集群信息注册到Nacos，并定期心跳包提供健康信息，宕机即剔除2.服务消费方定期拉取订阅信息，获取服务实例列表3.服务集群的负载均衡是在消费者一方进行选择负载均衡：四层（传输层，ip+端口），七层（应用层，在四层ip+端口的基础上，添加一些用户级负载均衡规则，例如过滤特定的url访问请求）；nginx同时支持四层和七层负载均衡，硬件负载均衡器
C15751X·2024-08-29 16:54

Hbase离线迁移

hadoopdistcp-Dmapreduce.job.hdfs-servers.token-renewal.exclude="xx.xx.xx.xx"-i-strat
我要用代码向我喜欢的女孩表白·2024-08-29 15:22

Python知识点：如何使用HBase与HappyBase进行分布式存储

使用HBase与HappyBase进行分布式存储是处理大规模数据的有效方式。HBase是一个基于Hadoop的开源分布式数据库，可以处理非常大的表。
杰哥在此·2024-08-29 15:51

思二勋：web3.0是打造应对复杂市场敏捷组织的关键

本文内容摘自思二勋所著的《分布式商业生态战略》一书。数字化时代，需要企业具备敏捷应对变化的能力，以敏捷反应应对客户和市场的迅速变化。
学客汇·2024-08-29 14:15

【观点】区块链的未来：分布式商业；企业的未来：分布式商业生态战略

本文内容摘自思二勋所著的《分布式商业生态战略》一书。近两年，商业经济环境的不确定性越来越明显，市场经济受到疫情、技术、政策等多方因素影响越来越难以预测，黑天鹅事件时有发生。
学客汇·2024-08-29 14:14

新书推荐：《分布式商业生态战略：未来数字商业新逻辑与企业数字化转型新策略》

近两年，商业经济环境的不确定性越来越明显，市场经济受到疫情、技术、政策等多方因素影响越来越难以预测，黑天鹅事件时有发生。在国内外经济方面，国际的地缘政治对商业经济产生着重大的影响，例如供应链中断，核心技术的自主创新及国产化，以及美联储的持续加息对市场经济的影响，等等。国内经济也在承压发展，尽管内需总体回暖，但市场活力不足、内生动力不强、市场资源利用率低下等问题不容忽视。而在技术革新商业经济方面，如
学客汇·2024-08-29 14:44

Spark权威指南读书笔记（二）：结构化API

第四章结构化API概述结构化API主要指三种核心分布式集合类型API：Dataset、DataFrame、SQL表和视图DataFrame和Dataset类型DataFrame和Dataset是具有行和列的类似于数据表的集合类型
kaiker·2024-08-29 11:23

Python分布式任务处理库之dramatiq使用详解

Dramatiq是一个用于分布式任务处理的Python库，旨在提供简单、可靠的任务队列解决方案。与其他任务队列库相比，Dramatiq更加轻量级，且易于上手。
Rocky006·2024-08-29 09:41

Spark-RDD迭代器管道计算

一、上下文《Spark-Task启动流程》中讲到我们提交Stage是传入的是这个Stage最后一个RDD，当Task中触发ShuffleWriter、返回Driver数据或者写入Hadoop文件系统时才触发这个
隔着天花板看星星·2024-08-29 07:24
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他