E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop单机
浅析大数据汇总
传统的数据库技术已经无法满足对这些海量数据的存储和处理需求,因此出现了分布式存储和计算技术,如
Hadoop
、HBase等。
shinelord明
·
2024-01-29 19:10
大数据
开源
阿里云服务器2024年2核16G、4核32G、8核64G配置最新收费标准及活动价格
2核16G、8核64G、4核32G配置的云服务器处理器与内存比为1:8,这种配比的云服务器一般适用于数据分析与挖掘,
Hadoop
、Spark集群和数据库,缓存等内存密集型场景,因此,多为企业级用户选择,
qq_3304559116
·
2024-01-29 18:17
阿里云
阿里云
服务器
云计算
datawhale 大模型学习 第八章-分布式训练
近年来,随着Transformer、MOE架构的提出,使得深度学习模型轻松突破上万亿规模参数,传统的
单机
单卡模式已经无法满足超大模型进行训练的要求。
fan_fan_feng
·
2024-01-29 18:25
学习
Alibaba最新产物手册宝典:分布式核心原理解析,简直是Java程序员福音!
分布式从
单机
模式到数据并行(也叫作数据分布式)模式,再到任务并行(也叫作任务分布式)模式。分布式其实就是将相同或相关的程序运行在多台计算机上,从而实现特定目标的一种计算方式。
小迁不秃头
·
2024-01-29 17:25
oracle
单机
打DBBP补丁
spm=1001.2014.3001.5502
单机
安装DBBP解压缩补丁包unzipp34204559_121020_Linux-x86-64.zip关闭数据库su-oraclesqlplus/assysdbashutimmed
foxytale
·
2024-01-29 17:51
oracle
数据库
DBBP补丁
全面解析基于
Hadoop
模型的数据分析平台框架
本文主要讲解以下两个方面:♦
Hadoop
MapReduce与Hive技术研究♦数据分析平台框架设计与环境配置
Hadoop
MapReduce与Hive技术研究一、
Hadoop
框架工作机制
Hadoop
框架定义
丨程序之道丨
·
2024-01-29 17:04
Redisson延迟任务
DelayQueue与时间轮不依赖第三方服务,但只能用于
单机
使用。Redisson和MQ支持分布式锁,但缺点是依赖于第三方软件。Redisson延迟任务的实现步骤1.添加依赖r
sunyunfei1994
·
2024-01-29 15:42
微服务项目复习总结
java
数据库分表分库理论
1.数据切分关系型数据库本身比较容易成为系统瓶颈,
单机
存储容量、连接数、处理能力都有限。
CwSunlit
·
2024-01-29 15:24
linux
数据库分表分库 小记
单机
数据库的存储能力、连接数是有限的,它自身就很容易会成为系统的瓶颈。举例MYSQL来说,当单表数据量在百万以里时,我们还可以通过添加从库、优化索引提升性能。当单表数据达到千万级别时,其查
annolim
·
2024-01-29 15:53
数据库
Unity2D新手教程[安装和创建项目]
v=XtQMytORBmM)2.安装本教程使用的Unity版本2021.3.34f1,安装好该LTS(长期支持)版本之后,在左侧Install选项卡Tab中选择对应版本右边的齿轮,
单机
后在菜单栏中选择Addmodules
IoOozZzzz
·
2024-01-29 12:54
Unity2D新手教程
unity
【若泽大数据第一天】--在vmware workstation上安装CentOS6.5系统
一、下载并安装vmwareworkstationpro12二、下载CentOS6.5镜像文件三、创建虚拟机并命名为
hadoop
0011、在VM12中选择创建新虚拟机2、自定义高级3、默认下一步4、选择稍后安装操作系统
naroutofan
·
2024-01-29 11:25
台服DNF腾讯云搭建流程
自己开通的有腾讯云的服务器,刚好前段时间已经在虚拟机里把
单机
版的台服dnf搭建完成,所以一直想搬到自己的云服务器上,可以供大家玩。不过我的云服务器配置太低,1核1G内存。。所以还是自己娱乐吧。
Lazyafei
·
2024-01-29 11:34
游戏
Elasticsearch集群部署及Head插件安装
由于ES比较吃内存,所以每台服务器的配置要求为:CPU:2核内存:2G我的三个节点分别是
Hadoop
Node01、
Hadoop
Node02、
Hadoop
Node03,以下操作全部基于
Hadoop
Node01
景鹏虎晓
·
2024-01-29 11:54
elasticsearch
es
spark快速入门java_Spark 快速入门
既然本教程中我们不使用HDFS,你可以随便下载一个适配任何
Hadoop
的版本的Spark。
陈兰香
·
2024-01-29 11:54
spark快速入门java
基于大数据平台的kylin安装部署手册
目录一.单例Kylin部署1.环境准备1.1软件要求1.2硬件要求1.3
Hadoop
环境1.4安装前环境检查1.4.1开启时钟同步1.4.2安装net-tools1.4.3检查hbase是否可用1.4.4
猿来孺词
·
2024-01-29 10:26
部署安装
大数据
kylin
分布式
数据仓库
数据分析
MR和Spark的比较
二、
hadoop
和spark的shuffle相同和差异?三、Spark与
Hadoop
差异一、Spark为什么比MR快?
猿来孺词
·
2024-01-29 10:55
mr
spark
大数据
分布式
hadoop
Redis -- 前置知识
目录简要分布式系统负载均衡引入缓存数据库分表微服务小结简要redis是存储数据在内存中,定义变量就是在内存中,但是redis是在分布式系统中,才能真正发挥威力,如果只是
单机
程序,那么直接通过变量来存储数据的方式将是最优的选择
niceffking
·
2024-01-29 10:17
Redis
redis
java
数据库
缓存
springboot集成 Redis快速入门demo
一、准备redis环境这里用docker-compose来搭建Redis测试环境,采用
单机
模式,具体配置如下:docker-compose-redis.ymlversion:'3'services:redis
AskHarries
·
2024-01-29 10:46
spring
boot
redis
后端
java
spring
rabbitMq安装
CentOS7安装RabbitMQ
单机
版2.1软件安装方式同一个软件有很多种不同的安装方式,Linux操作系统中安装软件有几种常见方式:1、源码编译安装:一般需要解压然后用make、makeinstall
延歌_
·
2024-01-29 10:06
Elk运维-Elastic7.6.1集群安装部署
集群安装结果说明实例配置安装软件安装账号
hadoop
12C4G磁盘:50G云服务器elasticsearchkibanard
hadoop
22C4G磁盘:50G云服务器elasticsearchrd
hadoop
32C4G
消逝的bug
·
2024-01-29 10:11
运维
elk
数据库
Hadoop
学习之路(七) MapReduce框架Partitioner分区
Partitioner分区的作用是什么?在进行MapReduce计算时,有时候需要把最终输出数据分到不同的文件中,比如按照省份划分的话,需要把同一省份的数据放到一个文件中;按照性别划分的话,需要把同一性别的数据放到一个文件中。我们知道最终的输出数据是来自于Reducer任务。那么如果要得到多个文件,意味着有相同数量的Reducer任务在运行。Reducer任务的数据来自于Mapper任务,也就是M
shine_rainbow
·
2024-01-29 10:26
FlinkCdc--Debezium实现Kafka实时监控mysql binlog日志
不管是什么大数据组件大部分都分
单机
和集群模式,这次我配置的是kafka集群监控mysqlbinlog日志一.Zookeeper和Kafka集群部署我的服务器是三台节点aliyun-bigdata-01aliyun-bigdata
chenzhihao
·
2024-01-29 09:08
flink
hive
flink
大数据
rabbitmq快速上手
(这里是
单机
,随
勿语&
·
2024-01-29 08:19
rabbitmq
分布式
Jmeter 分布式测试
Jmeter
单机
进行压测,受到单台机器的性能影响,Jmeter支持分布式测试,用一个控制节点去控制多个工作节点去模拟更多的用户。
modelmd
·
2024-01-29 08:09
#
jmeter
jmeter
分布式
Redis学习——入门篇⑤
配置文件7.2防火墙7.3Jedis(了解即可)1.介绍2.步骤7.4Lettuce(相当于Jedis++)1.介绍以及和Jedis的区别2.步骤7.5RedisTemplate(推荐)7.5.1连接
单机
_Matthew
·
2024-01-29 08:51
Redis
redis
学习
数据库
HDFS
HDFS入门1.1.HDFS介绍HDFS是
Hadoop
DistributeFileSystem的简称,意为:
Hadoop
分布式文件系统。是
Hadoop
核心组件之一,作为最底层的分布式存储服务而存在。
VincentLeon
·
2024-01-29 08:44
Hadoop
, HIve, Spark关系简述
单机
数据管理时代下,数据处理的任务:IO密集型;数据存不下?HDFS用于存放多机器的数据并提供相关Api接口。HDFS中引入了一个模块:MapReduce(基于磁盘计算)。
小白兔奶糖ovo
·
2024-01-29 07:22
hadoop
hive
spark
【Docker】Docker学习⑨ -
单机
编排之Docker Compose
【Docker】Docker学习⑨-
单机
编排之DockerCompose一、Docker简介二、Docker安装及基础命令介绍三、Docker镜像管理四、Docker镜像与制作五、Docker数据管理六
洁癖丶
·
2024-01-29 07:21
docker
学习
容器
LNMP
单机
架构
1.创建用户groupaddwww-g666useraddwww-s/sbin/nologin-M-u666-g6662.安装nginxyuminstallnginx-y3.下载第三方软件仓库,解决一些依赖rpm-Uvhhttps://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpmrpm-Uvhhttps://mirro
2201_76119904
·
2024-01-29 07:16
架构
服务器
linux
运维
【微服务核心】Spring Cloud
文章目录1.简介2.微服务项目搭建2.1父工程2.2提供者子工程2.3热部署配置2.4消费者子工程2.5项目重构3.服务注册与发现3.1Eureka服务注册与发现3.1.1
单机
版工程搭建3.1.2
单机
版改集群版
比尔高特
·
2024-01-29 06:05
#
04
微服务核心
微服务
spring
cloud
架构
灵馨加密操作说明
灵馨加密:反监听APP(1.5.9)使用说明灵馨加密:反监听APP是一款信息端对端的
单机
版加密软件。
我没缺啥
·
2024-01-29 06:48
记一次Flink自带jar包与第三方jar包依赖冲突解决
flink版本1.14.5
hadoop
2.6.0为了实现flink读取hive数据写入第三方的数据库,写入数据库需要调用数据库的SDK,当前SDK依赖的protobuf-java-3.11.0.jar,
一枚小刺猬
·
2024-01-29 06:10
flink
flink
jar
hadoop
Hadoop
面试题及参考答案
目录1、什么是
Hadoop
及其组件2、
Hadoop
的守护进程3、
Hadoop
的YARN/HDFS/MapReduce分别包含哪些组件,每个组件的职能是什么?
zuolixiangfisher
·
2024-01-29 06:02
Hadoop
hadoop
hdfs
大数据
hadoop
面试题
0.思维导图1.HDFS1.HDFS的架构♥♥ HDFS主要包括三个部分,namenode,datanode以及secondarynamenode。这里主要讲一下他们的作用:namenode主要负责存储数据的元数据信息,不存储实际的数据块,而datanode就是存储实际的数据块,secondarynamenode主要是定期合并FsImage和edits文件(这里可以进行扩展,讲一下为什么有他们的
韩顺平的小迷弟
·
2024-01-29 06:27
大数据面试题
hadoop
大数据
分布式
分布式最优化:算法与架构
随着数据规模的增加,
单机
计算的能力已经无法满足需求,因此需要借助分布式计算来解决这些问题。
OpenChat
·
2024-01-29 04:06
分布式
算法
架构
众量科技发
单机
器人安全吗?
近年来,随着互联网技术的不断进步,发
单机
器人在各个领域得到了广泛应用。众量科技作为一家专注于发
单机
器人开发的公司,其产品备受关注。然而,关于众量科技发
单机
器人的安全性,我们需要进行深入的探讨。
一起高省
·
2024-01-29 04:47
大数据之
Hadoop
-MapReduce(1)
第1章MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架,是用户开发“基于
Hadoop
的数据分析应用”的核心框架。
jackyan163
·
2024-01-29 04:18
Hive初体验
首先,确保启动了Metastore服务{runjar就是metastore;
hadoop
要先启动}可以执行:bin/hive进入到HiveShell环境中,可以直接执行SQL的语句;·创建表(hive里面的字符串就是
%HelloWorld%
·
2024-01-29 03:09
hive
hadoop
数据仓库
[m1pro ] ssh: connect to host localhost port 22: Connection refused
在学习
Hadoop
的时候,使用sshlocalhost遇到以下问题原因:本地没有打开远程登录解决办法:打开远程登录成功结果
程序员三木
·
2024-01-29 03:33
大后端
ssh
服务器
数据库
可组合扩展性:如何利用事件驱动架构提高扩展性
1.背景介绍在当今的大数据时代,数据的产生和处理速度都急剧增加,这导致传统的
单机
处理模式已经无法满足业务需求。
OpenChat
·
2024-01-29 03:00
架构
Ceph部署
Ceph版本发行生命周期--------------------基于ceph-deploy部署Ceph集群--------------------//部署Ceph集群//资源池Pool管理1、存储基础//
单机
存储设备
bob_gem
·
2024-01-29 02:39
ceph
spark shuffle
这个就是spark和
hadoop
的主要区别,基于内存进行运算。
流砂月歌
·
2024-01-29 01:13
Spark运行原理
无论是性能,还是方案的统一性,对比传统的
Hadoop
,优势都非常明显。
hellozhxy
·
2024-01-28 23:41
spark
spark
Redis高级应用
文章目录1.5.1布隆过滤器BloomFilter1.5.1.1原理1.5.1.2使用场景1.5.2Redis分布式锁1.5.2.1使用案例分析1.5.2.1.1
单机
版没加锁1.5.2.1.2单节点Redis
野心与梦
·
2024-01-28 23:39
redis专栏
redis
数据库
缓存
数仓治理-小文件治理
希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark|Hive]HDFS小文件处理-腾讯云开发者社区-腾讯云HDFS小文件过多会对
hadoop
爱吃辣条byte
·
2024-01-28 23:40
数据治理
大数据
数据仓库
2021-08-10 HDFS Web报错Couldn‘t preview the file.
添加配置信息dfs.webhdfs.enabledtrue第二步:配置浏览器所在系统的hosts文件windows:在C:\Windows\System32\drivers\etc\hosts末尾增加内容(
Hadoop
学习是一种信仰_zdy
·
2024-01-28 21:28
大数据
hadoop
大数据
hdfs
HDFS文件系统的根目录和用户主目录解析
HDFS文件系统的根目录是/,用户主目录是/user/[
hadoop
用户名]根据上面的截图,所有的文件都放在根目录及其子目录下。
问君何能尔?心远地自偏
·
2024-01-28 21:57
大数据
Name node is in safe mode
相信
hadoop
用户经常为安全模式头痛,但是又是难以避免的。安全模式开启通常是由于hdfs文件系统数据完整性缺失造成。所以核心就是想办法让hdfs文件系统数据变得完整,相对没有损坏。
大数据东哥(Aidon)
·
2024-01-28 21:27
大数据
hadoop
safemode
safemode
hadoop
safe
mode
Name
node
is
in
safe
记一次HDFS Web报错Couldn‘t preview the file. NetworkError: Failed to execute ‘send‘ on ‘XMLHttpRequest‘
tpreviewthefile.NetworkError:Failedtoexecute‘send’on‘XMLHttpRequest’:Failedtoload‘http://slave1:9864/webhdfs/v1/Hello
Hadoop
.txt
一花一世界~
·
2024-01-28 21:55
Linux-Centos
x.x
Hadoop
大数据
hadoop
hdfs
大数据
经验分享
centos
Java技术栈 ——
Hadoop
入门(二)
Java技术栈——
Hadoop
入门(二)一、用MapReduce对统计单词个数1.1项目流程1.2可能遇到的问题1.3代码勘误1.4总结一、用MapReduce对统计单词个数1.1项目流程(1)上传jar
键盘国治理专家
·
2024-01-28 21:51
Java技术栈
java
hadoop
开发语言
上一页
17
18
19
20
21
22
23
24
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他