E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop分片
shardingsphere自定义hint
分片
算法,完美实现按区域编码数据隔离,没改一行旧代码
因为已经改造了登录平台,实现了集群统一部署,然后后续就是继续弄集中统一部署服务改造(这里的集中统一部署的意思是区别于每个区域私有部署,服务本身还是可以弹性伸缩的),首先改造一个比较简单的白名单微服务,只涉及到三张表,业务逻辑也简单就是CRUD以及关联查询。因为当初这个服务是由其他人实现交给我这边部署维护一下,具体的业务逻辑和代码我也没看过,所以改造的时候就想着尽量不动代码,无侵入式的或者低侵入式的
·
2024-02-26 20:03
Zookeeper实现分布式锁
首先需要确保有
hadoop
102,
hadoop
103,
hadoop
104三台虚拟机并且都安装成功且配置成功了zookeeper。
正在绘制中
·
2024-02-25 23:35
分布式
zookeeper
云原生
docker搭建
hadoop
hdfs完全分布式集群
1制作
hadoop
镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分,固定IP及启动集群的部分应该跳过。
shangcunshanfu
·
2024-02-20 22:08
hadoop
docker
big
data
基于docker安装HDFS
1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/
hadoop
:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau
core512
·
2024-02-20 22:02
大数据
虚拟机&容器
docker
hdfs
Go切片数组深度解析
Go中的
分片
数组,实际上有点类似于Java中的ArrayList,是一个可以扩展的数组,但是Go中的切片由比较灵活,它和数组很像,也是基于数组,所以在了解Go切片前我们先了解下数组。
Tim在路上
·
2024-02-20 21:49
Redis-面试题
key-value存储的nosql开源内存数据库内存存储、数据结构优化,高性能一般用于应用和数据库之间的分布式缓存中间件提供主从复制+哨兵、集群的方式实现高可用,在redis集群中通过hash槽的方式实现数据
分片
HBryce24
·
2024-02-20 21:06
Redis
java
redis
hive 的map数和reduce如何确定
的文件大小,集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到,该参数不能自定义修改);2.举例:a)假设input目录下有1个文件a,大小为780M,那么
hadoop
Super乐
·
2024-02-20 20:38
hive
hive
HIVE中MAP和REDUCE数量
一、总览MR执行过程一般的MapReduce程序会经过以下几个过程:输入(Input)、输入
分片
(Splitting)、Map阶段、Shuffle阶段、Reduce阶段、输出(Finalresult)。
这孩子谁懂哈
·
2024-02-20 20:38
HIVE
hive
hadoop
mapreduce
粉丝:什么情况下,hive 只会产生一个reduce任务,而没有maptask
我们常规使用的mapreducer任务执行过程大致如下图:appmaster通过某种策略计算数据源可以做多少
分片
(getSplits方法),对应的生成固定数量的maptask,假如存在shuffle的话
浪尖聊大数据-浪尖
·
2024-02-20 20:04
mapreduce
hive
大数据
spark
java
(17)Hive ——MR任务的map与reduce个数由什么决定?
MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言,对于每一个输入的文件会有一个mapsplit,每一个
分片
会开启一个map任务,很容易导致小文件问题(如果不进行小文件合并,极可能导致
爱吃辣条byte
·
2024-02-20 20:27
#
Hive
hive
数据仓库
Hadoop
生态圈
是数据分析数据引擎,也是MapReduce模型,支持SQL4.Pig也是一个数据分析引擎,不支持SQL,有自己的PigLatin数据5.Sqoop是数据采集工具,针对关系数据库6.Flume是针对文件等数据的采集7.
Hadoop
陈超Terry的技术屋
·
2024-02-20 19:47
16.用
Hadoop
命令向CDH集群提交MR作业
Redhat7.2非Kerberos集群CDH5.13,OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的,因为使用
hadoop
大勇任卷舒
·
2024-02-20 19:27
【YARN】【Apache
Hadoop
YARN】【架构】
ThefundamentalideaofYARNistosplitupthefunctionalitiesofresourcemanagementandjobscheduling/monitoringintoseparatedaemons.TheideaistohaveaglobalResourceManager(RM)andper-applicationApplicationMaster(AM)
资源存储库
·
2024-02-20 18:48
apache
hadoop
大数据
记一次 Flink 作业启动缓慢
记一次Flink作业启动缓慢背景应用发现,
Hadoop
集群的hdfs较之前更加缓慢,且离线ELT任务也以前晚半个多小时才能跑完。
卢说
·
2024-02-20 18:38
Hadoop
大数据
Flink
flink
大数据
hadoop
hdfs
Redis学习笔记
redis官网:https://redis.io/一个基于内存的键值型NoSQL数据库key-value型单线程,每个命令具备原子性低延迟,速度快(基于内存、IO多路复用、c语言编写)支持数据持久化支持主从/
分片
集群支持多语言客户端
hhf的博客
·
2024-02-20 17:19
学习笔记
redis
MyCat实现单库分表+代理所有表
MyCAT支持水平
分片
与垂直
分片
:水平
分片
:一个表格的数据分割到多个节点上,按照行分隔。垂直
分片
:一个数据库中多个表格A,B,C,A存储到节点1上,B存储到节点2上,C存储到节点3上。
爱笑的人、
·
2024-02-20 16:31
数据库
大数据Map Reduce (
Hadoop
) 和 MPP数据库 的区别
原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW
山哥Samuel
·
2024-02-20 15:05
Hadoop
大数据的入门学习
由于所做的银行项目与大数据有关,所以个人学习下
hadoop
的知识,希望能对大数据有所了解,不喜勿喷,哪里有不对的希望大神指点
Hadoop
百度百科:
Hadoop
是一个由Apache基金会所开发的分布式系统基础架构
heybo_zhang
·
2024-02-20 14:36
深入浅出 spring-data-elasticsearch 之 ElasticSearch 架构初探(一)
本文目录一、Elasticsearch基本术语1.1文档(Document)、索引(Index)、类型(Type)文档三要素1.2集群(Cluster)、节点(Node)、
分片
(Shard)分布式三要素二
Julian Wong
·
2024-02-20 13:04
spring
elasticsearch
架构
java
后端
如何确定分库还是 分表?
分片
策略1、垂直拆分水平拆分3范围
分片
(range)垂直水平拆分4如何解决数据查询问题?
归来少年Plus
·
2024-02-20 13:00
性能优化
分库分表
垂直拆分
Flink理论—Flink架构设计
它集成了所有常见的集群资源管理器,例如
Hadoop
YARN,但也可以设置作为独立集群甚至库运行,例如Spark的StandaloneMode本节概述了Flink架构,并且描述了其主要组件如何交互以执行应用程序和从故障中恢复
不二人生
·
2024-02-20 12:59
#
Flink
理论
flink
大数据
Kafka核心逻辑介绍 | 京东云技术团队
分布式消息系统(kafka2.8.0版本之后接触了对zk的依赖,使用自己的kRaft做集群管理,新增内部主体@metadata存储元数据信息),它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于
hadoop
·
2024-02-20 11:54
kafkaredis消息队列
Redis之分布式搭建及使用快速入门
主从复制配置3、可用性保证之哨兵机制(Sentinel)4、redis分布式方案a、客户端Shardingb、代理Proxy之Twemproxyc、代理Proxy之Codisd、RedisClustere、
分片
方案总结
菜鸟编程98K
·
2024-02-20 10:02
•
Java架构
——【分布式缓存技术】
redis
redis集群
redis分布式
redis主从搭建
【Redis快速入门】Redis三种集群搭建配置(主从集群、哨兵集群、
分片
集群)
个人名片:作者简介:一名大三在校生,喜欢AI编程❄️个人主页:落798.个人WeChat:hmmwx53️系列专栏:️零基础学Java——小白入门必备重识C语言——复习回顾计算机网络体系———深度详讲HCIP数通工程师-刷题与实战微信小程序开发——实战开发HarmonyOS4.0应用开发实战——实战开发Redis快速入门到精通——实战开发每日一句:我很忙,但我要忙的有意义!欢迎评论点赞收藏加关注
落798.
·
2024-02-20 10:32
Redis入门到实战
redis
notepad++
数据库
大数据 - Spark系列《六》- RDD详解
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
大数据 - Spark系列《七》- 分区器详解
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
Linux之Shell
第1章Shell概述1)Linux提供的Shell解析器有[zhao@
hadoop
101~]$cat/etc/shells/bin/sh/bin/bash/usr/bin/sh/usr/bin/bash
efzy
·
2024-02-20 08:16
Linux
linux
测试环境搭建整套大数据系统(三:搭建集群zookeeper,hdfs,mapreduce,yarn,hive)
一:搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二:搭建
hadoop
,yarn,mapreduce。
宇智波云
·
2024-02-20 08:05
大数据项目
zookeeper
hdfs
mapreduce
hive
Hadoop
Streaming原理
Streaming简介•MapReduce和HDFS采用Java实现,默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在
Hadoop
MapReduce中使用•Streaming
可乐加冰丶丶
·
2024-02-20 07:18
【Flink】ClassNotFoundException: org.apache.
hadoop
.conf.Configuration
问题背景在Flink的sql-client客户端中执行连接hive的sql代码时出现如下错误,版本Flink1.13.6FlinkSQL>createcatalogtestwith(>'type'='hive',>'default-database'='default',>'hive-conf-dir'='/opt/hive/conf');[ERROR]CouldnotexecuteSQLstat
一杯咖啡半杯糖
·
2024-02-20 07:38
Flink实战
flink
hadoop
sql
生产环境下,应用模式部署flink任务,通过hdfs提交
通过通过yarn.provided.lib.dirs配置选项指定位置,将flink的依赖上传到hdfs文件管理系统1.实践 (1)生产集群为cdh集群,从cm上下载配置文件,设置环境export
HADOOP
_CONF_DIR
但行益事莫问前程
·
2024-02-20 07:04
flink
flink
让Elasticsearch集群冷热分享、读写分离
一、冷热分离按《控制Elasticsearch
分片
和副本的分配》来设置,将hot,stale数据分到不同的集群上去hot集群只保留最近一天或两天数据写一个定时任务每天凌晨将前一天的索引标记为stalePUT
达微
·
2024-02-20 05:28
以内存为核心的开源分布式存储系统
Tachyon为不同的大数据计算框架(如ApacheSpark,
Hadoop
MapReduce,ApacheFlink等)提供可靠的内存级的数据共享服务。
这次靠你了
·
2024-02-20 05:26
大数据
Tachyon
hdfs
大数据
微服务6:ES集群
-海量数据存储问题:将索引库从逻辑上拆分为N个
分片
(shard),存储到多个节点-单点故障问题:将
分片
数据在不同节点备份(replica)**ES集群相关概念**:*集群(cluster):一组拥有共同的
叶惠美zz
·
2024-02-20 04:33
微服务
elasticsearch
架构
Zookeeper(1):入门
/bin/bashcase$1in"start"){foriin
hadoop
100
hadoop
101
hadoop
102doecho----------zookeeper$i启动------------ssh
叶惠美zz
·
2024-02-20 04:33
zookeeper
linux
服务器
windows系统巨型帧问题
电脑是怎么计算巨型帧的呢首先将电脑巨型帧设置为9216byte,然后在电脑上可以发出的最大报文是:ping-l9170-f10.32.133.254注意:-l是设置单个报文的长度,单位是byte;-f是设置单个报文是否
分片
网工Albert
·
2024-02-20 04:17
网络
windows
10
【Linux】指令 【scp】
scp
hadoop
.tar.gzdatanode:/software这条命令的含义是将本地的
hadoop
.tar.gz文件复制到远程主机datanode的/software目录下。
giao客
·
2024-02-20 01:31
Linux
linux
无依赖单机尝鲜 Nebula Exchange 的 SST 导入
无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式(单机、容器化Spark、
Hadoop
、NebulaGraph),快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph
·
2024-02-19 23:51
ES实战--集群扩展
pretty=true当一个节点加入集群的时候,ES会自动地尝试将
分片
在所有节点上进行均匀分配.如果更多的节点加入集群,ES将试图在所有节点上均匀分配
分片
数量.这样每一个新加入的节点都能通过部分数据来分担负载第二个节点发现第一个节点
wzerofeng
·
2024-02-19 22:47
ES实战
elasticsearch
mv: 无法获取“/opt/module/
hadoop
/logs/
hadoop
-atguigu-nodemanager-
hadoop
102.out.1“ 的文件状态(stat): 没有那个文件或目录
最近在回顾之前做过的离线数仓项目,在启动
hadoop
时出现了如下错误:
hadoop
102:mv:无法获取"/opt/module/
hadoop
/logs/
hadoop
-atguigu-nodemanager-
hadoop
102
时代新人0-0
·
2024-02-19 21:53
hadoop
hadoop
大数据
马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解
分布式计算原则:移动计算,而不是移动数据
hadoop
默认包含了hdfs、yarn、mapReduce三个组件yarn(YetAnotherResourceNegotiater)是资源调度系统,yarn调配的是内存和
PC_Repair
·
2024-02-19 20:28
Sharding-JDBC学习笔记
ShardingSphere是一个开源的分布式数据库中间件,提供了分布式数据库的跨节点
分片
和分布式事务解决方案。
重生之Java再爱我一次
·
2024-02-19 20:03
学习
笔记
Flink-部署实践
1)修改flink/conf/flink-conf.yaml文件:jobmanager.rpc.address:
hadoop
1132)修改/conf/masters文件:
hadoop
1133)修改/conf
魔笛Love
·
2024-02-19 20:52
flink
主流开发语言和开发环境?
Java被广泛应用于企业级应用开发、移动应用(特别是Android应用)、游戏开发、大数据处理(如
Hadoop
生态系统)、云计算服务端开发等场景。C++简介:C+
dami_king
·
2024-02-19 20:50
开发语言
PolarDB-X的XPlan索引选择
全局索引是分布式数据库为了避免全
分片
扫描,冗余一份数据,采用与主表不同分区键的索引表。列存索引是主表的列存副本,提供HT
·
2024-02-19 18:08
数据库程序员
Redis快速的原因
Redis有哪些知识点高可靠:主从复制、哨兵节点、持久化高性能:数据结构、网络架构、持久化、线程模型高可扩展:数据
分片
、负载均衡Redis基础架构和重要模块访问框架网络访问操作模块get/set/delete
天上飞的云传奇
·
2024-02-19 16:55
数据库
redis
数据结构
缓存
TCP分段 & IP
分片
如果IP层有数据包要传,而且数据包的长度(包括IP头)超过了MTU,那么IP层就要对数据包进行
分片
(fragmentation)操作,使每一片的长度都小于或等于MTU。MTU&MSS这里以E
mysimplebook
·
2024-02-19 16:35
ClickHouse从入门到精通(初级)
第一章ClickHouse入门第二章ClickHouse的安装第三章数据类型第四章表引擎第五章SQL操作第六章副本第七章
分片
集群
程序员的人生K
·
2024-02-19 16:56
数据库
大数据开发
clickhouse
3.IP协议(带实验)
1.IP地址配置实验点这里(拓扑+代码)目录一、IP协议二、IPv4报文格式三、数据包
分片
四、IP地址五、子网划分六、ICMP协议七、IP地址的基础配置命令八、网络IP地址规划一、IP协议IP是InternetProtocol
Your Moon!
·
2024-02-19 15:29
一
HCIA笔记
网络
华为
tcp/ip
网络协议
《荒野猎人》强大的欲望使你实现目标
看过小李子很多电影了,大部
分片
子都很给力,他凭借这部片子拿到小金人,是名副其实。皮草猎人格拉斯随着船队一路前行,格拉斯是最重要的向导,因为他最熟悉山里的路。
文兴无道
·
2024-02-19 14:40
上一页
10
11
12
13
14
15
16
17
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他