E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
研磨hadoop
深度访谈:华为开源数据格式CarbonData项目,实现大数据即席查询秒级响应
那么相比SQLon
Hadoop
方案、传统NoSQL或相对ElasticSearch等搜索系统,CarbonData具有什么样的优势呢?CarbonData的技术架构是什么样子的?未来有什么样的规划?
chouya3495
·
2023-11-08 16:42
数据库
大数据
分布式数据库·Hive和MySQL的安装与配置
一、版本要求:
Hadoop
:
hadoop
-2.10.1、MySQL:mysql-8.0.35、HIVE:apache-hive-3.1.2、MySQL驱动:mysql-connector-java-5.1.49
马龙强_
·
2023-11-08 16:40
数据库
分布式
hive
电主轴有哪些类型及不同用途详解
从应用上来区分有分为:铣削、磨削、抛光、打磨、雕刻、去毛刺、切削、切割、
研磨
、钻孔等。二、电主轴应用(部分类型主轴在不同机床上的应用)1)机器人4033DC
速科德电机科技
·
2023-11-08 13:20
机床主轴
数控机床主轴
卡西德电机科技
德国SYCOTEC
雕刻机主轴电机拆卸步骤方法
电主轴前后轴承均为串联DT配对②、按轴承所承受的轴向力方向,支起内套,用手用雕铣机设计力向下压外套,(力量的大小与弹簧对轴承的预紧力大体相同),调整垫圈的间隙,有两种方法,一是更换轴承及轴承的上下位置,二是
研磨
垫圈高度
速科德电机科技
·
2023-11-08 13:20
卡西德
雕刻机主轴
Hadoop
安装遇到的各种异常及解决办法
/blog.csdn.net/lifuxiangcaohui/article/details/39269479###;异常一:2014-03-1311:10:23,665INFOorg.apache.
Hadoop
.ipc.Client
风是外衣衣衣
·
2023-11-08 13:54
hadoop
hadoop
hadoop
常见错误及解决办法!
1:ShuffleError:ExceededMAX_FAILED_UNIQUE_FETCHES;bailing-outAnswer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit-a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:修改2个文件。/etc/security/limits.confvi/etc/security/limits.co
零下代码
·
2023-11-08 13:52
hadoop
Spark启动报错问题
今天准备把Spark和Hive进行集成一下,当启动Spark的时候,报了如下错误:[rzf@
hadoop
100spark]$bin/spark-shell21/06/0411:52:20WARNNativeCodeLoader
理科男同学
·
2023-11-08 13:21
Spark
大数据
Hive安装到配置-2021年11月23日
Hadoop
Hive篇Hive安装到配置前言(一)Hive集群规划(二)安装MySql官网下载需要的包把他们下载到CentOS的`/usr/local/src`目录下安装包,注意依赖,需要联网开启服务器并初始化密码
JiaJunRun
·
2023-11-08 09:02
hive
linux
工具安装
java
hadoop
linux
hive
大数据
hadoop
安装到配置-2021-11-4
文章目录本次需要用到软件:1.安装虚拟机2.安装centos73.安装
hadoop
静态IP的配置更改主机名配置本地域名解析(host)设置linux防火墙关闭防火墙:防火墙配置文件:配置ssh(免密连接
JiaJunRun
·
2023-11-08 09:32
工具安装
测试分栏
hadoop
linux
大数据
sqoop笔记(安装、配置及使用)
sqoop简介----sqoop是一个用来在
hadoop
体系和关系型数据库之间进行数据互导的工具----实质就是将导入导出命令转换成mapreduce程序来实现sqoop安装:安装在一台节点上就可以了。
小小哭包
·
2023-11-08 09:00
大数据
sqoop
笔记
hadoop
Spark中常见的错误以及修改方案
1、在Windows中运行,缺少模拟
Hadoop
的运行环境,报这样的错是因为你windows下的
hadoop
中没有
hadoop
zaiwindows下执行所需要的插件:winutils.exe解决方式:配置一下就可以解决
新手小农
·
2023-11-08 09:23
Spark
大数据
hadoop
yarn调度平台
前言YARN是
Hadoop
资源管理器。负责协调任务作业的服务器资源。使任务有序对资源进行利用。除了支持原生MapReduce任务,他还提供了Spark等任务接入的入口。
懒猫gg
·
2023-11-08 06:12
大数据
#
任务调度
hadoop
yarn
任务调度
Hadoop
Yarn 三种资源调度器详解使用
参考链接:https://blog.csdn.net/ddxygq/article/details/113869619?spm=1001.2014.3001.55011、调度器的选择在Yarn中有三种调度器可以选择:FIFOScheduler,CapacityScheduler,FairScheduler。FIFOScheduler把应用按提交的顺序排成一个队列,这是一个先进先出队列,在进行资源分
这个操蛋的人生!!!
·
2023-11-08 06:40
hadoop
hadoop
之 Yarn 调度器Scheduler详解
概述集群资源是非常有限的,在多用户、多任务环境下,需要有一个协调者,来保证在有限资源或业务约束下有序调度任务,YARN资源调度器就是这个协调者。YARN调度器有多种实现,自带的调度器为CapacityScheduler和FairScheduler。YARN资源调度器均实现ResourceScheduler接口,是一个插拔式组件,用户可以通过配置参数来使用不同的调度器,也可以自己按照接口规范编写新的
weixin_33847182
·
2023-11-08 06:10
大数据
数据结构与算法
hadoop
yarn资源调度
yarn概述YARN是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是
Hadoop
2.x版本中的一个新特性
习丿枫叶菊
·
2023-11-08 06:09
hadoop
yarn
资源调度
大数据
【大数据】
HADOOP
-YARN容量调度器配置详解
目录简介资源分配应用程序数目限制队列权限管理基于用户或组的队列映射应用程序的生存期(lifetime)简介Capacity调度器具有以下的几个特性:层次化的队列设计,这种层次化的队列设计保证了子队列可以使用父队列设置的全部资源。这样通过层次化的管理,更容易合理分配和限制资源的使用。容量保证,队列上都会设置一个资源的占比,这样可以保证每个队列都不会占用整个集群的资源。安全,每个队列有严格的访问控制。
笑起来贼好看
·
2023-11-08 06:39
Hadoop
Spark
大数据
大数据
hadoop
java
hadoop
job yarn 命令
hadoop
命令行与job相关的:命令行工具•1.查看Job信息:
hadoop
job-list2.杀掉Job:
hadoop
job–killjob_id3.指定路径下查看历史日志汇总:
hadoop
job-historyoutput-dir4
wankunde
·
2023-11-08 06:39
hadoop
【大数据】【Spark】Spark概述
可参照博主以下Scala入门文章链接:https://blog.csdn.net/treesorshining/article/details/124697102文章目录1.Spark概念2.Spark与
Hadoop
Silver Star
·
2023-11-08 06:08
大数据架构
Spark
大数据
spark
hadoop
大数据学习之一文学会Spark【Spark知识点总结】
文章目录什么是SparkSpark的特点Sparkvs
Hadoop
Spark+
Hadoop
Spark集群安装部署Spark集群安装部署StandaloneONYARNSpark的工作原理什么是RDDRDD
小崔的技术博客
·
2023-11-08 06:37
大数据学习
大数据
学习
spark
Apache
Hadoop
YARN详解
官方文档Apache
Hadoop
YARN:https://
hadoop
.apache.org/docs/r3.3.5/
hadoop
-yarn/
hadoop
-yarn-site/YARN.html一、什么是
liuhanyuu
·
2023-11-08 05:35
hadoop
yarn
大数据
Hadoop
hadoop
yarn 指令相关参数详解
原文地址:
Hadoop
之YARN命令http://www.aboutyun.com/thread-14930-1-1.html问题导读1.对于
Hadoop
集群用户有哪些有用的命令?
m0_67403073
·
2023-11-08 05:35
java
java
后端
Hadoop
中Yarn资源调度器、Yarn工作机制、作业提交全过程、Yarn调度器和调度算法、先进先出调度器(FIFO)、容量调度器(Capacity Scheduler)、公平调度器(Fair Sc
文章目录16.Yarn资源调度器16.1Yarn基础架构16.2Yarn工作机制16.3作业提交全过程16.3.1HDFS、YARN、MapReduce三者关系16.3.2作业提交过程值YARN16.3.3作业提交过程之HDFS&MapReduce16.4Yarn调度器和调度算法16.4.1先进先出调度器(FIFO)16.4.2容量调度器(CapacityScheduler)16.4.2.1容器调
Redamancy_06
·
2023-11-08 05:03
#
Hadoop
hadoop
大数据
分布式
【
Hadoop
】YARN容量调度器详解
目录一、CapacityScheduler简介二、CapacityScheduler特性三、CapacityScheduler配置四、YARNWEBUI参数详解一、CapacityScheduler简介
Hadoop
YARN
开着拖拉机回家
·
2023-11-08 05:02
#
【====
HDFS&YARN
====】
hadoop
YARN
Capacity
Scheduler
容量调度
YARN
WEB
UI
YARN
调度配置
搭建DMETL与使用
DMETL创新地将传统的ETL工具(Extract、Transform、Loading)与分布式大数据处理平台相结合,实现了对数据同步、数据处理以及数据共享交换的一站式支持,大幅度降低了用户使用各种
hadoop
abiubiu~
·
2023-11-08 03:14
数据库
database
DMETL部署测试记录
DMETL创新地将传统的ETL工具(Extract、Transform、Loading)与分布式大数据处理平台相结合,实现了对数据同步、数据处理以及数据共享交换的一站式支持,大幅度降低了用户使用各种
hadoop
xufei_9527
·
2023-11-08 03:14
达梦数据库
国产数据库
big
data
数据仓库
etl
DMETL5工具安装部署(图形化安装)
DMETL创新地将传统的ETL工具(Extract、Transform、Loading)与分布式大数据处理平台相结合,实现了对数据同步、数据处理以及数据共享交换的一站式支持,大幅度降低了用户使用各种
hadoop
Dfnygs
·
2023-11-08 03:43
达梦数据库
linux
达梦数据库迁移工具
数据库
数据仓库
大数据
hadoop
hadoop
安装与配置
安装和配置
Hadoop
涉及以下步骤:下载
Hadoop
:访问
Hadoop
官方网站(https://
hadoop
.apache.org/)或其他可信来源,下载适合您操作系统的
Hadoop
版本。
玥沐春风
·
2023-11-08 01:06
hadoop
大数据
分布式
Hadoop
不主动退出安全模式
hdfsdfsadmin-safemodeget查看安全模式的状态hdfsdfsadmin-safemodeleave主动关闭安全模式或者hdfsfsck/查看损坏的数据块hdfsfsck/-delete删除损坏的数据块
南城守护
·
2023-11-07 22:26
hadoop
大数据
分布式
Hadoop
从入门到入土(第三天)
(今天学习的时候把
hadoop
的环境变量配置错了,然后所有命令就运行不了,被迫重开)目录一、安装
hadoop
二、本地运行模式一、安装
hadoop
打开Xshell7连接
hadoop
102>cd/opt/software
南城守护
·
2023-11-07 22:56
hadoop
hdfs
mapreduce
Hadoop
从入门到入土(第四天)
编写集群分发脚本xsync二、ssh无密登陆配置1.配置ssh2.无密钥设置一、完全分布式运行模式(开发重点)1)分析1.准备3台客户机(关闭防火墙、静态IP、主机名称)2.安装JDK3.配置环境变量4.安装
Hadoop
5
南城守护
·
2023-11-07 22:56
hadoop
大数据
big
data
Hadoop
从入门到入土(第五天)
cd/opt/module/
hadoop
文件名>ll>cdetc/
hadoop
/>复制(fs.defaultFShdfs://
hadoop
102:8020hadoo
南城守护
·
2023-11-07 22:56
hadoop
hdfs
big
data
Hadoop
从入门到入土(第二天)
目录一、今日学习所遇到的命令二、模板虚拟机准备三、虚拟机克隆四、安装jdk一、今日所遇到的命令:reboot重启,相当于shutdown-rnowsu变更其它使用者的身份cd返回上一级目录pwd查看当前目录ping用来检测网络联通性yuminstall-yepel-release关闭防火墙systemctldisablefivewall.service关闭防火墙开机自启systemctldisab
南城守护
·
2023-11-07 22:56
hadoop
大数据
big
data
云服务器安装Hive
服务运行模式6.编写脚本来管理hive的metastore/hiveserver2服务的启动和停止1.7Hive常用命令7.Hive参数配置方式7.1Hive常见的几个属性配置安装Hive的前提是先安装
Hadoop
几窗花鸢
·
2023-11-07 22:19
hadoop
大数据应用
服务器
hive
分布式
hadoop
【flink集群+高可用搭建】
-1.10.1flink配置环境变量:exportFLINK_HOME=/usr/local/software/flinkexportPATH=$FLINK_HOME/bin:$PATH#export
HADOOP
_CONF_DIR
长安不问
·
2023-11-07 22:49
flink
服务器
big
data
大数据毕业设计选题推荐-营业厅营业效能监控平台-
Hadoop
-Spark-Hive
✨作者主页:IT毕设梦工厂✨个人简介:曾从事计算机专业培训教学,擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着通信行业的快速
IT毕设梦工厂
·
2023-11-07 17:59
大数据项目
大数据
hadoop
spark
hive
毕业设计
基于
Hadoop
与Electron的京东商品评论词云统计系统
项目采用Electron+
Hadoop
技术栈实现,前后端使用Socket进行通讯。二、背景随着电子商务的快速发展,京东和淘宝成为中国最大的在线购物平台之一
没头发的米糊
·
2023-11-07 15:06
瞎折腾
Java
大数据
hadoop
hbase
渗透测试思路
渗透测试思路端口扫描注意未授权访问漏洞:mongoDB/redis/
hadoop
/推荐工具:nmap—时间较长小米范—可快速发现很多页面的未授权访问常规测试点明文传输(中危):抓包,是不是HTTPS,是
行者_Seven
·
2023-11-07 11:06
渗透测试
安全
Centos7系统下搭建
Hadoop
3.3.6
本次使用3台服务器进行安装
Hadoop
。其中服务器系统均为Centos7.6、
Hadoop
版本为3.3.6、jdk版本为1.8.0_371。
mr-element
·
2023-11-07 11:41
大数据
hadoop
大数据
分布式
Hadoop
下载与安装
安装
Hadoop
介绍:
Hadoop
是一个开源软件框架,用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储,巨大的处理能力以及处理几乎无限的并发任务或作业的能力。
m0_67400972
·
2023-11-07 11:34
java
java
后端
Hadoop
-3.3.6完全分布式集群搭建
目录1.克隆两台虚拟机,作为从机使用2.从机ip设置3.Xshell连接5.配置环境变量6.配置
hadoop
-env.sh文件及其他重要文件7.分发文件8.启动
hadoop
集群并测试9.访问web界面10
-ikL1122
·
2023-11-07 11:04
分布式
hadoop
大数据
VM创建虚拟机安装centos7.5记录篇
或者在文件选项卡里找到新建虚拟机选项)在新建虚拟机导航里选择典型,点击下一步选择稍后安装操作系统,点击下一步如图选好将要安装的操作系统和对应的发行版我们自己命名虚拟机的名称,并配置本机磁盘上的对应位置,这里我将虚虚拟机命名为
hadoop
100
Java啊升
·
2023-11-07 10:17
linux
运维
java
Ubuntu环境下
Hadoop
1.2.1, HBase0.94.25, nutch2.2.1各个配置文件一览
××/Author:xxx0624HomePage:http://www.cnblogs.com/xxx0624//×××××××××××××××××××××××××××××××××××××××××/
Hadoop
weixin_30491641
·
2023-11-07 09:10
大数据
java
runtime
Hadoop
知识点全面总结
文章目录什么是
Hadoop
Hadoop
发行版介绍
Hadoop
版本演变历史
Hadoop
3.x的细节优化
Hadoop
三大核心组件介绍HDFS体系结构NameNode介绍总结SecondaryNameNode
小崔的技术博客
·
2023-11-07 08:40
大数据学习
hadoop
大数据
分布式
大数据毕业设计选题推荐-家具公司运营数据分析平台-
Hadoop
-Spark-Hive
✨作者主页:IT研究室✨个人简介:曾从事计算机专业培训教学,擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着家具行业的快速发展,市
IT研究室
·
2023-11-07 07:49
大数据项目
大数据
hadoop
spark
hive
毕业设计
Haddop,HDFS和MapDeduce简单理论
Hadoop
Hadoop
1
Hadoop
2HDFS3.MapDeduce
Hadoop
1
Hadoop
开源的分布式存储+分布式计算平台核心组件:HDFS:分布式文件系统,存储海量数据。
杰KaMi
·
2023-11-07 06:25
linux
hadoop
大数据
Spark基础知识点
分布式文件系统(
Hadoop
DistributedFileSystem)当数据集达到一定规模,单机无法处理把数据分布到各个独立的机器上(多机器共同协作)网络HDFS优缺点优点:构建在廉价的机器上使用大数据处理高容错硬件错误流式数据访问大规模数据集简单的一致性模型
蛋炒双黄蛋
·
2023-11-07 05:04
Spark
数据库
【Spark】基础知识点
大数据开发复习课程-Spark11、spark11.1、spark介绍11.2、spark与
Hadoop
的区别11.3、spark的特点11.4、spark的运行模式1.local本地模式(单机)--开发测试使用
浪里小飞侠
·
2023-11-07 05:03
知识点
数据科学
spark
spark基础知识点
Spark针对开发大数据应用程序提供了丰富的API,这些API比
Hadoop
MapReduce更易读懂。相比之下,
Hadoop
MapRed
叫我三少爷
·
2023-11-07 05:01
spark
shuffle
spark
rdd
Spark 基础知识点、三种模式安装
环境说明centos7.5spark-2.1.1Spark内置模块Sparklocal模式安装直接解压即可,无需配置(spark-2.1.1-bin-
hadoop
2.7.tgz集成
hadoop
环境包)local
得过且过1223
·
2023-11-07 05:01
大数据
#
Spark
hadoop
配置
服务规划gz上传文件,解压文件,创建软连接cdetc修改workers文件配置
hadoop
-env.sh,这个文件作用主要是
Hadoop
运行的环境变量exportJAVA_HOME=/export/server
弦之森
·
2023-11-07 04:57
hadoop
大数据
分布式
上一页
59
60
61
62
63
64
65
66
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他