hadoop2+集群+yarn

Redis热Key问题解决方案汇总

Redis+JVM缓存(Guava的LoadingCache,Caffeine等等)方法4:京东开源的hotkey工具Redis缓存问题Redis作为消息队列的优劣Redis热Key问题解决方案汇总Redis集群模式下保证可迁移和高可用
Cat凯94·2024-01-31 11:33

Redis常用数据结构与应用场景

hash应用场景Hash结构优缺点优点同类数据归类整合存储,方便数据管理相比String操作消耗内存与spu更小相比string更节省空间缺点过期功能不能使用在field上,只用用在key上Redis集群架构下不适合大规模使用
车马去闲闲丶·2024-01-31 11:23

flink sql运用入门

1.flinkapi层级2.flinksqlapi二、安装步骤步骤1：下载#步骤2：启动集群#步骤3：提交作业（Job）#步骤4：停止集群#三、SQL客户端#1、准备sql涉及的lib包2、编写sql脚本
yc_zlj·2024-01-31 11:21

KAFKA高可用架构涉及常用功能整理

高可用架构涉及常用功能整理1.kafka的高可用系统架构和相关组件2.kafka的核心参数2.1常规配置2.2特殊优化配置3.kafka常用命令3.1常用基础命令3.1.1创建topic3.1.2获取集群的
李姓门徒·2024-01-31 11:07

Redis（十）SpringBoot集成Redis

文章目录连接单机mvnYMLController.javaRedisConfig.java连接集群YML问题复现RedisTemplate方式连接单机mvnorg.springframework.bootspring-boot-starter-data-redisyourversionYMLserver.port
Lucky_Turtle·2024-01-31 11:06

RN 常用命令

android指定端口:adbreversetcp:8081tcp:8081启动服务：npmstart/yarnstart运行安装：react-nativerun-android运行iOS：react-nativerun-ios
AndyFrist·2024-01-31 10:33

漏洞复现----13、Apache Flink 文件上传漏洞 (CVE-2020-17518)

Flink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。ApacheFlink是一个分布式系统，它需要计算资源来执行应用程序。Flink集成了所有常见的集群资源管理
七天啊·2024-01-31 10:53

Apache Flink 文件上传漏洞 (CVE-2020-17518)

Flink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。ApacheFlink是一个分布式系统，它需要计算资源来执行应用程序。Flink集成了所有常见的集群资源管理
zxl2605·2024-01-31 10:22

Flink中的时间语义和TTL

在理想情况下，数据应当按照事件时间顺序到达集群节点，但是由于从产生一条数据到数据抵达集群有过多的中间步骤，一个较早发生的事件可能较晚到达，使用事件时间意味着会产生数据乱序。
大大大大肉包·2024-01-31 10:52

ubuntu18.04通过nginx反向代理nacos集群

目录前言一、部署nacos集群步骤1.下载安装nacos2.nacos配置3.开启三个nacos服务二、nginx反向代理nacos集群步骤1、下载安装nginx2、修改配置文件，反向代理nacos集群
TOB777·2024-01-31 10:32

[Spark] 如何设置Spark资源

转自1.公众号[Spark学习技巧]如何设置Spark资源2.Spark性能优化篇一：资源调优Spark和YARN管理的两个主要资源：CPU和内存应用程序中每个SparkExecutor都具有相同的固定数量的核心和相同的固定堆大小
LZhan·2024-01-31 10:07

【数据库】starrocks 安装部署集群版

之前写过一篇427.【数据库】starrocks安装踩坑，今天把详细的安装步骤记录下来：一、环境准备starrocks安装包jdk8centos7服务器3台二、服务器互信任在三台服务器之间建立互信任，使得ssh连接时，无需输入密码，可参考170.【Linux】ssh-keyscan解决“离线环境”多节点互信任问题，里面的脚本可直接使用。互信任完成之后，就可以使用sync_scripts.sh脚本了
七镜·2024-01-31 10:26

中标麒麟V7本地镜像设置,测试使用本地yum源安装工具

部分操作步骤参考了以下博客，原文链接：内网集群本地镜像设置(Centos7)_mount:/dev/loop0iswrite-protected,mountingrea-CSDN博客，特此感谢！
Vvv一定会更强·2024-01-31 10:05

Flink 添加 / 部署 Jar 包的若干注意事项

但要记住：这需要重启应用或启动新的YarnSession才会生效使用FlinkSQLClient时
　Laurence·2024-01-31 09:01

安装 vant-ui 实现底部导航栏 Tabbar

vant-ui.github.io)Vant是一个轻量、可定制的移动端组件库安装通过npm安装：#Vue3项目，安装最新版Vantnpmivant#Vue2项目，安装Vant2npmivant@latest-v2通过yarn
_沐晨·2024-01-31 09:25

大白话：分布式与集群是什么 ？（ 半分钟就懂）

后来客人多了，厨房一个厨师忙不过来，又请了个厨师，两个厨师都能炒一样的菜，两个厨师的关系是集群。为了让厨师专心炒菜，把菜做到极致，再请了个配菜师负责切菜，备菜，备料
40岁资深老架构师尼恩·2024-01-31 09:19

zookeeper curator 伪集群 - 安装 -配置 - 秒懂

zookeeper的伪装集群搭建疯狂创客圈Java分布式聊天室【亿级流量】实战系列之-22【博客园总入口】文章目录zookeeper的伪装集群搭建写在前面1.1.
40岁资深老架构师尼恩·2024-01-31 09:19

美团面试：Redis怎么做高可用、高并发架构？

为什么需要主从集群？它有什么优势？什么是分片集群？我真的需要分片集群吗？最近有小伙伴
40岁资深老架构师尼恩·2024-01-31 09:40

Netty zookeeper 集群 实战 （CrazyIM）

疯狂创客圈Java分布式聊天室【亿级流量】实战【博客园总入口】1.NettyZookeeper集群的实战的意义完成一个NettyZookeeper分布式集群的肉搏实战，有以下几个方面的最重要作用：增加一次高并发的程序的亲身体验
40岁资深老架构师尼恩·2024-01-31 09:20

Ignite分布式缓存框架

快速入门本章节介绍运行Ignite的系统要求，如何安装，启动一个集群，然后运行一个简单的HelloWorld示例。
don't_know·2024-01-31 09:19

Ignite数据流处理

数据流处理#1.概述Ignite提供了一个数据流API，可用于将大量连续的数据流注入Ignite集群，数据流API支持容错和线性扩展，并为注入Ignite的数据提供了至少一次保证，这意味着每个条目至少会被处理一次
don't_know·2024-01-31 09:19

分布式架构

服务集群地址如何
飞影铠甲·2024-01-31 08:35

【云原生】docker-compose单机容器集群编排工具

目录一、docker-compose容器编排的简介二、docker-compose的使用1、docker-compose的安装2、docker-compose的配置模板文件yaml文件的编写（1）布尔值类型（2）字符串类型（3）一个key有多个值（4）对象object类型类型（5）文本块（6）锚点3、docker-compose配置模板文件常用的字段与dockerrun的选项和参数对比4、dock
liu_xueyin·2024-01-31 08:51

JAVA电商平台免费搭建 B2B2C商城系统 多用户商城系统 直播带货 新零售商城 o2o商城 电子商务 拼团商城 分销商城

SpringBoot、Mybatis、Redis3.前端框架VUE、Uniapp、Bootstrap/H5/CSS3、IOS、Android、小程序4.核心思想分布式、微服务、云架构、模块化、原子化、持续集成、集群部署
2301_78385600·2024-01-31 08:48

启动集群时遇到WARNING: HADOOP_SECURE_DN_USER做替换

启动集群时遇到WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
Dirth.·2024-01-31 08:40

【大数据入门核心技术-Tez】（三）Tez与Hive整合

一、准备工作1、Hadoop和Hive安装【大数据入门核心技术-Hadoop】（五）Hadoop3.2.1非高可用集群搭建【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建【
forest_long·2024-01-31 08:06

大数据[1] -- 安装hadoop

安装jdk3.安装Hadoop二、配置三、其他配置四、出现的问题五参考文章Hadoop安装以及配置一、安装1.安装SSH，设置SSH无密码登录ssh可以让访问其他Linux虚拟机而不用输入密码，可以为集群做准备在被访问主机上生成公钥
天下一般·2024-01-31 08:06

Hadoop搭建集群中输入hdfs namenode -format格式化节点时，提示：hdfs command not found 解决办法

分析原因：hadoop的安装路径没有加入到当前路径中解决办法：方法1：进入hadoop的安装目录，在执行hadoop命令时在前面加上：./bin./sbin方法2:进入/etc/profile文件中添加hadoop的安装路径sudovim/etc/profile添加：exportHADOOP_HOME=本机的hadoop安装路径exportPATH=$HADOOP_HOME/bin:$HADOOP
drhrht·2024-01-31 08:05

Vue之初识路由

在我们修改地址栏路径时，切换显示匹配的组件VueRouter的使用(5+2)5个基础步骤(固定)1.下载:下载VueRouter模块到当前工程，版本3.6.5yarn[email protected]
远近高低各不同·2024-01-31 07:59

Kafka系列之：不重启kafka集群设置kafka topic数据保留时间

Kafka系列之：不重启kafka集群设置kafkatopic数据保留时间一、kafkatopic数据保留3天的bash命令二、查看kafka删除数据日志三、批量设置上千个topic保留3天数据1.构建
最笨的羊羊·2024-01-31 07:57

Hadoop生态系统中一些关键组件的详细解析

YARN（YetAnotherResourc
薛定谔的zhu·2024-01-31 07:27

snakemake 学习(0)

它们可以无缝扩展到服务器，集群，网格和云环境，而无需修改工作流定义。最后，Snakemake工作流程可能需要描述所需的软件，这些软件将自动部署到任何执行环境。
BioLearner·2024-01-31 07:06

Linux 工具

集群节点同步镜像同步目录#!
xfchn多多学习学习·2024-01-31 07:54

Kafka与RocketMQ性能对比大揭秘

在双十一过程中投入同样的硬件资源，Kafka搭建的日志集群单个Topic可以达到几百万的TPS，而使用RocketMQ组件的核心业务集群，集群TPS只能达到几十万TPS，这样的现象激发了我对两者性能方面的思考
Java柱柱·2024-01-31 07:21

Docker进阶篇-reids集群

一、集群存储算法分布式存储的常见算法：哈希取余分区一致性哈希算法分区哈希槽分区1、哈希取余分区描述：每次读写操作都是根据公式：Hash(key)%N（其中，key是要存入Redis的键名，N是Redis
陪我养猪吧·2024-01-31 07:53

K8S故障临时设置节点为不可调度

一、K8s节点驱逐节点驱逐是指将节点上运行的Pod迁移到其他可用节点上，并暂时从集群中移除目标节点。这个操作通常在节点维护、系统升级、硬件故障或者其它需要暂时离线节点的场景下使用。
睡不醒的猪儿·2024-01-31 07:53

Kubernetes k8s

k8s主要包括以下几点：服务发现与调度Kubernetes可以把用户提交的容器放到Kubernetes管理的集群的某一台节点上去。Kubernetes的调度器是执行这项能
eight_Jessen·2024-01-31 07:15

云原生 k8s 可能使用到的端口整理【不定期更新】

如果是通过公网IP进行安装的时候需要根据实际情况有选择的进行放开；一般只有云厂商会提供公网IP访问，自建的话不建议k8s集群通过公网IP进行通信，除非做了网络安全配置和管理；大多数情况下，k8s是通过内网
Roc.Chang·2024-01-31 07:11

构建高效可靠的消息队列系统：设计与实现

目录一、引言二、设计目标2.1、高可用性1.集群搭建1.1DockerCompose配置示例2.容错和恢复2.1异常检测与自动故障迁移2.2SpringBoot代码示例3.心跳检测4.优雅关闭2.2、持久性
喔的 喔的嘛呀·2024-01-31 07:31

【Kafka】服务器Broker与Controller详解

broker是集群的组成部分。每个集群都有一个broker同时充当了集群控制器
Ethan-running·2024-01-31 06:59

二百二十一、HiveSQL报错：return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

HiveSQL时，执行报错tatement:FAILED:ExecutionError,returncode2fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask二、在yarn
天地风雷水火山泽·2024-01-31 06:48

Python+大数据-hadoop(四)-Hadoop MapReduce、YARN、HA

Python+大数据-hadoop(四)-HadoopMapReduce、YARN、HA今日课程学习目标理解分布式计算分而治之的思想学会提交MapReduce程序掌握MapReduce执行流程掌握YARN
呆猛的呆呆小哥·2024-01-31 06:16

大数据技术Hadoop之分布式计算框架MapReduce

2.什么是MapReduceMapReduce是一种分布式计算框架，它可以将大规模的数据集分成许多小的数据块，然后在分布式计算集群中进行并行
大马猴写bug·2024-01-31 06:11

Hadoop系列之-4、MapReduce分布式计算

MapReduce计算模型介绍理解MapReduce思想HadoopMapReduce设计构思MapReduce编程规范及示例编写编程规范编程步骤WordCount示例编写MapReduce程序运行模式本地运行模式集群运行模式结束之前详细讲解了
技术武器库·2024-01-31 06:10

zabbix和prometheus怎么选？

不仅支持swarm原生集群,还支持Kubernetes容器集群，是目前容器监控最好解决方案。基本上使用kubernetes与容器的企业，prometheus是最好的选择。
信息化战略·2024-01-31 06:23

nfs挂载报错误wrong fs type, bad option, bad superblock

今天在kubernetes集群上搭建wordpress时，利用pvnfs存储方式持久化，但是pod一直不能Running，kubectldescribepod{wordpresspodname}报错如下
进击云原生·2024-01-31 05:00

RabbitMQ Federation

Federation插件的目标是使RabbitMQ在不同的Broker节点之间进行消息传递而无须建立集群，该功能在很多场景下都非常有用：Federation插件能够在不同管理域（可能设置了不同的用户和vhost
PC_Repair·2024-01-31 05:28

从单点 Redis 到 1 主 2 从 3 哨兵的架构演进之路

一、前言我们有个项目中用的MySQL、Redis、ES、微服务都是单节点部署的，没有做集群模式部署，为了提高整体的可用性，对项目的部署架构进行了升级，支持高可用。
程序员xysam·2024-01-31 05:50

Zookeeper实现分布式队列

Zookeeper不适合大数据量存储，官方并不推荐作为队列使用，但由于实现简单，集群搭建较为便利，因此在一些吞吐量不高的小型系统中
山鸟与鱼！·2024-01-31 05:33

ZooKeeper特性与节点数据类型详解

ZooKeeper节点分类示例：简单实现分布式锁ZooKeeper节点状态信息示例：zookeeper乐观锁删除ZooKeeper监听机制详解ZooKeeper节点特性总结应用场景详解统一命名服务数据发布/订阅统一集群管理负载均衡
山鸟与鱼！·2024-01-31 05:02
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他