E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop单机
Pg
单机
版安装配置
Pg的安装包括二进制(rpm)安装和源码(tar.gz)安装,其中二进制安装的版本不好选择,且要求服务器联网,不方便,不灵活。这里基于Pg源码进行安装,记录安装步骤:PostgreSQL官网:https://www.postgresql.org下载源码https://www.postgresql.org/ftp/source/v12.4/上传解压cd/data;tar-zxvfpostgresql
Pluto_CSND
·
2024-01-23 16:56
PostgreSql
postgresql
linux
Spark RDD分区数和分区器
TextInputFormat.getInputSplits()方法决定,具体源码追踪及解析如下:valrdd1=sc.textFile("data/tbPerson.txt")①Ctrl+B进入textFiletextFile底层其实就是通过
hadoop
File
maplea2012
·
2024-01-23 15:40
spark
大数据
hadoop
架构设计:消息队列之Kafka深度解析
即使在非常廉价的商用机器上也能做到
单机
支持每秒100K条消息的传输●支持KafkaServer间的消息分区,及分布式消息消费,同时保证每个partition内的消息顺序传输●同时支持离线数据处理和实时数据处理为什么要
弗语笑红尘
·
2024-01-23 15:47
架构设计
队列
分布式
kafka
消息队列
软件架构
clickhouse 入门 1
数据分区与线程级并行1.6性能对比2.clickhouse的安装准备工作2.1确定防火墙处于关闭状态2.2CentOS取消打开文件数限制2.3安装依赖2.4CentOS取消SELINUX3.clickhouse的
单机
安装
Walter_bigdata
·
2024-01-23 15:39
数据库
dba
database
简单的快乐
身为一个男人,不抽烟,基本不喝酒,最讨厌打牌,不想出去应酬,游戏什么的偶尔玩下
单机
,电视什么的偶尔看下新闻。手机用的最多的软件是微信,因为工作需要。结婚之前,喜欢到处跑,和朋友们一起出去玩这玩那。
Zhihu_will_liu
·
2024-01-23 14:43
Zookeeper源码分析ZooKeeperServer
ZooKeeperServer实现了
单机
版zookeeper服务端功能,子类实现了更加丰富的分布式集群功能:ZooKeeperServer|--QuorumZooKeeperServer|--LeaderZooKeeperServer
softshow1026
·
2024-01-23 12:58
zookeeper
debian
分布式
桌面级群控机器人CoCube探索-2022-
CoCube群机器人预览→资讯剧透←2022ROS暑期学校CoCube群控机器人探索活动海报活动内容CoCube群控机器人探索,包括
单机
基础功能实现,
单机
运动控制,视觉定位,集群算法实现等。
zhangrelay
·
2024-01-23 12:58
CoCube
zookeeper源码(06)ZooKeeperServer及子类
ZooKeeperServer实现了
单机
版zookeeper服务端功能,子类实现了更加丰富的分布式集群功能:ZooKeeperServer|--QuorumZooKeeperServer|--LeaderZooKeeperServer
xuguofeng2016
·
2024-01-23 11:07
Spring
Cloud
zookeeper
分布式组件
zookeeper
分布式
spring
cloud
Hadoop
集群配置及测试
Hadoop
集群配置及测试NameNode与SecondaryNameNode最好不在同一服务器ResourceManager较为消耗资源,因而和NameNode与SecondaryNameNode最好不在同一服务器
YUuuuME_
·
2024-01-23 11:07
hadoop
大数据
分布式
大数据分布式实时大数据处理框架Storm,入门到精通!
介绍:Storm是一个分布式实时大数据处理框架,被业界称为实时版的
Hadoop
。首先,Storm由Twitter开源,它解决了
Hadoop
MapReduce在处理实时数据方面的高延迟问题。
知识分享小能手
·
2024-01-23 09:42
学习心得体会
大数据
大数据
分布式
storm
大数据开发之Spark(入门)
第1章:Spark概述1.1什么是spark回顾:
hadoop
主要解决,海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key
·
2024-01-23 09:45
大数据
spark
分布式
Sqoop与Kafka的集成:实时数据导入
Sqoop用于将数据从关系型数据库导入到
Hadoop
生态系统中,而Kafka则用于数据流的传输和处理。
晓之以理的喵~~
·
2024-01-23 08:01
sqoop
sqoop
kafka
hadoop
电商系统设计到开发02
单机
性能压测
一、前言接着上篇文章:电商系统设计到开发(第一版)-CSDN博客已经开发的代码,今天我们对上面开发的代码进行压力测试,看看
单机
部署的情况下,性能表现如何。
风萧萧兮s
·
2024-01-23 08:00
电商下单并发研究
java
mysql
spring
boot
Hadoop
基本介绍
1、
Hadoop
的整体框架
Hadoop
由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成,其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(
Hadoop
DistributedFileSystem
w蕾丝
·
2024-01-23 08:53
Sqoop数据导入到Hive表的最佳实践
Sqoop是一个开源工具,用于在
Hadoop
生态系统中的数据存储(如HDFS)和关系型数据库之间传输数据。它可以帮助数据工程师和分析师轻松地
晓之以理的喵~~
·
2024-01-23 07:35
sqoop
hive
sqoop
hadoop
网络安全全栈培训笔记(55-服务攻防-数据库安全&Redis&
Hadoop
&Mysqla&未授权访问&RCE)
第54天服务攻防-数据库安全&Redis&
Hadoop
&Mysqla&未授权访问&RCE知识点:1、服务攻防数据库类型安全2、Redis&
Hadoop
&Mysql安全3、Mysql-CVE-2012-2122
清歌secure
·
2024-01-23 07:24
网络安全全栈学习笔记
web安全
笔记
redis
网络
安全
数仓建设 - 维度建模 - DIM维度
2.2ETL任务脚本三、活动维度表3.1表结构设计3.2ETL任务脚本四、地区维度表4.1表结构设计4.2ETL任务脚本五、日期维度表六、用户维度表6.1表结构设计6.2ETL任务脚本前置:准备数据库[
hadoop
m0_46218511
·
2024-01-23 05:14
大数据基础设施搭建
维度建模
数据仓库
【less】用koala编译
1、新建一个less文件(这里我用sublime编辑器)订阅号:Rabbit_svip2、打开koala,然后把less的父目录拉到koala里订阅号:Rabbit_svip3、选中右边的文件夹,
单机
右键
德育处主任
·
2024-01-23 03:18
Spring Cloud Eureka 自我保护机制
我们在
单机
测试的时候很容易满足心跳失败比例在15分钟之内低
匆匆岁月
·
2024-01-23 03:46
【Docker】contos7安装 Nacos容器部署单个&&部署集群
继续之前Docker的知识,今天我来继续分享【Docker】contos7安装Nacos容器部署单个&&部署集群目录一、Nacos
单机
模式1.1.创建mysql需要的挂载目录1.2.创建并运行my
平顶山大师
·
2024-01-23 02:15
Docker
docker
容器
运维
Hadoop
-- Hive
文章目录1.什么是hive?1.1基本思想1.2为什么使用hive?1.3hive创建表与查询原理2.hive安装2.1.mysql安装2.2.hive的元数据库配置3.hive使用方式3.1最基本使用方式3.2启动hive服务使用3.3脚本化运行4.建库建表与数据导入4.1建库4.2建表4.2.1基本建表语句4.2.2删除表4.2.3内部表与外部表4.2.4分区表4.2.5外部分区表4.3数据导
Cool_Pepsi
·
2024-01-23 02:12
大数据
hive
Spark运行流程
Spark相对于
Hadoop
的优势
Hadoop
虽然已成为大数据技术的事实标准,但其本身还存在诸多缺陷,最主要的缺陷是其MapReduce计算模型延迟过高,无法胜任实时、快速计算的需求,因而只适用于离线批处
Cool_Pepsi
·
2024-01-23 02:12
大数据
spark
Hadoop
-- HDFS
1.什么是
Hadoop
hadoop
中有3个核心组件:分布式文件系统:HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架:MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台
Cool_Pepsi
·
2024-01-23 02:42
大数据
hdfs
hadoop
Hadoop
-- ZooKeeper
ZooKeeper就是动物园管理员,他是用来管
hadoop
(大象)、Hive(蜜蜂)等的管理员。
Cool_Pepsi
·
2024-01-23 02:42
大数据
zookeeper
docker安装nacos
Docker(部署常见应用):Docker安装AlibabaNacos教程(
单机
)SpringCloudAlibaba实战教程系列阿里巴巴Nacos官方文档docker命令大全docker:官网中文官网
流沙的牵挂
·
2024-01-23 02:31
docker
容器
java
hadoop
搭建服务器
一、服务器配置说明1.四台服务器2.每台服务器内存4G3./boot空间3072M4.【可选择配置】/swap交互虚拟内存,40965./根目录空间57G二、服务器网络选择配置1.选择NAT链接网络/桥接2.编辑~/.bashrc文件vim~/.bashrcexportall_proxy=socks5://192.168.197.2:21881exporthttp_proxy=http://192
成_7b38
·
2024-01-22 20:47
Hadoop
RPC解析
网络通信模块是分布式系统中最底层的模块。它直接支撑了上层分布式环境下复杂的进程间通信(Inter-ProcessCommunication,IPC)逻辑,是所有分布式系统的基础。远程过程调用(RemoteProcedureCall,RPC)是一种常用的分布式网络通信协议。它允许运行于一台计算机的程序调用另一台计算机的子程序,同时将网络的通信细节隐藏起来,使得用户无须额外地为这个交互作用编程。由于R
tracy_668
·
2024-01-22 19:51
hadoop
之mapreduce教程+案例学习(一)
第1章MapReduce概述目录第1章MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架,是用户开发“基于
Hadoop
的数据分析应用”的核心框架。
菜瓜技术联盟
·
2024-01-22 19:04
Hadoop
mapreduce
hadoop
Docker整合dockerfly实现UI界面管理(
单机
版)
https://my.oschina.net/wubiaowpBlogShare/blog/1822913
WALKMANWP
·
2024-01-22 18:42
Impala:基于内存的MPP查询引擎
Impala的特点1.3、Impala与Hive1、Impala概述1.1、Impala简介Impala是Cloudera公司主导研发的高性能、低延迟的交互式SQL查询引擎,它提供SQL语义,能查询存储在
Hadoop
对许
·
2024-01-22 17:26
Java大数据
#
Hadoop及生态圈
#
数据湖仓
大数据
Hadooop和Hbase是什么关系
HBase是一个基于
Hadoop
的NoSQL分布式列存储数据库,用于存储海量结构化和半结构化数据,并提供高可用、高性能和面向列的操作功能。
wwwyx12138
·
2024-01-22 17:50
hbase
数据库
大数据
大数据平台的硬件规划、网络调优、架构设计、节点规划
1.大数据平台硬件选型要对
Hadoop
大数据平台进行硬件选型,首先需要了解
Hadoop
的运行架构以及每个角色的功能。
小枫@码
·
2024-01-22 17:18
大数据架构师
大数据
hadoop
-hdfs-API
处理
hadoop
配置文件及系统环境1.将
hadoop
所有jar包(除了..以外)添进
hadoop
/lib文件夹备用。2.将linux的
hadoop
/bin导出覆盖windows的
hadoop
/bin。
有七段变化
·
2024-01-22 15:43
docker安装及达梦数据库docker版本
单机
部署
docker安装、达梦数据库docker版本安装安装前准备:docker版本镜像请通过达梦官网或通过达梦商务渠道申请试用宿主机Centos7.6dockerv20.10.6DMdm_v8.1.2.66_x86_rh7_64_ent.tar一、docker安装1.1、卸载旧版本docker[root@localhost~]#yumremovedockerdocker-clientdocker-cli
iiiiibingo
·
2024-01-22 14:09
达梦
数据库
docker
数据库
CentOS7下
Hadoop
2.9.2、Hive 2.3.6安装与实践
参考的安装文章地址:https://blog.csdn.net/pengjunlee/article/details/81607890实际安装的版本为:
hadoop
2.9.2,hive2.3.6;操作系统
流火星空
·
2024-01-22 14:58
大数据
hive
大数据
hive
java大数据
hadoop
2.9.2 Linux安装mariadb和hive
一、安装mariadb版本centos71、检查Linux服务器是否已安装mariadbyumlistinstalledmariadb*2、如果安装了,想要卸载yumremovemariadbrm-rf/etc/my.cnfrm-rf/var/lib/mysql才能完全删除3、安装mariadb在线网络安装yuminstall-ymariadb-server开启服务systemctlstartma
crud-boy
·
2024-01-22 14:26
java大数据
大数据
linux
mariadb
关于Hive架构原理,尚硅谷
最近学习hive时候,在做一个实操案例,具体大概是这样子的:我在dataGip里建了一个表,然后在
hadoop
集群创建一个文本文件里面存储了数据库表的数据信息,然后把他上传到hdfs后,dataGrip
大数据SQLboy
·
2024-01-22 11:41
Hive
hive
架构
hadoop
༺༽༾ཊ—Unity之-01-单例模式—ཏ༿༼༻
再比如UI管理器,网络管理器等等,比如说我们在制作
单机
游戏时,需要用到的人物管理器可以设置成单例模式,首先我们在unity中创建一个脚本人物管理器Pl
__water
·
2024-01-22 11:04
单例模式
c#
游戏制作前提
美团社区团购发
单机
器人认证怎么弄?
因此,美团社区团购平台引入了发
单机
器人认证机制,以确保商家和消费者的权益和信誉。那么,关于美团社区团购发
单机
器人的认证,我们该如何进行呢?首先,商家需要满足一些基本条件才能申请认证。
一起高省
·
2024-01-22 11:10
扫雷游戏(c++题解)
题目描述扫雷游戏是一款十分经典的
单机
小游戏。在n行m列的雷区中有一些格子含有地雷(称之为地雷格),其他格子不含地雷(称之为非地雷格)。
hb_zhyu
·
2024-01-22 11:32
c++
开发语言
算法
Ranger概述及安装配置
二、Ranger2.1、什么是rangerApacheRanger是一个用来在
Hadoop
平台上进行监控,启动服务,以及全方位数据安全访问管理的安全框架。Ranger愿景是在Apa
小枫@码
·
2024-01-22 09:39
大数据运维
安全
运维
【大数据处理技术实践】期末考查题目:集群搭建、合并文件与数据统计可视化
合并文件与数据统计可视化实验目的任务一:任务二:实验平台实验内容及步骤任务一:搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改
hadoop
汐ya~
·
2024-01-22 09:35
hadoop
linux
虚拟机
java
datax与sqoop的优缺点?
datax:●缺点:○单进程多线程○
单机
压⼒⼤○不⽀持分布式○社区开源不久,不太活跃●优点:○能显示运⾏信息,包括运⾏时间,数据量,消耗资源,脏数据稽核等○⽀持流量控制sqoop:●优点:○运⾏模式是mr
不良人-程序星
·
2024-01-22 09:32
sqoop
hadoop
hive
redis-5.0.8集群环境搭建
1.前置准备Linux版redis-3.2.8
单机
环境安装redis-3.2.8主从复制架构搭建及哨兵配置如果你对redis的安装很陌生,请看完我以上两期教程,对完成此期教程很有帮助2.下载解压redis
小刘新鲜事儿
·
2024-01-22 08:15
redis
redis
k8s搭建
单机
版redis
前段时间在集群上搭建了一个简易的
单机
版redis用于测试,注意redis是采用nodePort方式暴露的服务,因此需要在配置相应的端口安全组策略。
行走的小码农
·
2024-01-22 08:44
docker&k8s
redis
kubernetes
docker
使用helm部署 redis
单机
版
1、配置helmredisrepohelmrepoaddbitnamihttps://charts.bitnami.com/bitnami2安装下载helmredis下面是默认安装,不过前往别直接拿着下面安装命令就安装,官方默认安装的默认参数配置往往和我们实际场景不一样,需要配置一些参数helminstallmy-redisbitnami/redis--version18.7.02.1下载helm
leellun
·
2024-01-22 08:10
helm从入门到实践
redis
java
数据库
大数据技术原理及应用课实验3 :熟悉常用的HBase操作
目录实验3熟悉常用的HBase操作一、实验目的二、实验平台三、实验步骤(每个步骤下均需有运行截图)(一)编程实现以下指定功能,并用
Hadoop
提供的HBaseShell命令完成相同任务:1.列出HBase
Blossom i
·
2024-01-22 08:08
大数据编程
大数据
hbase
数据库
Flink on YARN(下):常见问题与排查思路
杨弢(搏远),阿里巴巴计算平台事业部技术专家,Apache
Hadoop
Committer,目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。
Apache Flink
·
2024-01-22 08:33
一张图轻松掌握 Flink on YARN 基础架构与启动流程
杨弢(搏远),阿里巴巴计算平台事业部技术专家,Apache
Hadoop
Committer,目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。
zhisheng_blog
·
2024-01-22 08:02
10
Hadoop
的安全模式及权限介绍
1、HDFS工作流程启动NameNode,NameNode加载fsimage到内存,对内存数据执行editslog日志中的事务操作。文件系统元数据内存镜像加载完毕,进行fsimage和editslog日志的合并,并创建新的fsimage文件和一个空的editslog日志文件。NameNode等待DataNode上传block列表信息,直到副本数满足最小副本条件,这个过程NameNode处于安全模式
水无痕simon
·
2024-01-22 08:02
Hadoop
hadoop
安全
大数据
上一页
32
33
34
35
36
37
38
39
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他