E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Linux安装Hadoop
JDK下载安装教程(Windows和Linux)详解
目录一、下载方式①:Oracle官网下载方式②:国内镜像二、Windows安装JDK1.安装2.设置环境变量3.检验三、
Linux安装
JDK1.上传JDK2.解压3.配置环境变量4.刷新配置5.检验一、
JokeyXu
·
2024-02-04 04:04
开发工具
java
linux
windows
centos
Linux下安装jupyter notebook
Linux安装
jupyternotebook1、生成配置文件jupyternotebook--generate-config这样就生成了.jupyter/jupyter_notebook_config.py
识影潜潜
·
2024-02-04 02:50
软件安装
2021-07-02
Hadoop
集群构建配主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=
hadoop
012.配置IP映射vi/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4
谢尔比比
·
2024-02-04 02:40
笔记
hadoop
、spark、flink集群修改默认ssh端口号
大数据集群在实际搭建过程中,其默认ssh端口不一定都是22,这时需要根据各自的配置文件进行适配。ssh端口号默认为22,以centos7.x为例,可以在/etc/ssh/sshd_config中进行修改,如下示例将22改为22222:#IfyouwanttochangetheportonaSELinuxsystem,youhavetotell#SELinuxaboutthischange.#sem
0X码上链
·
2024-02-03 21:12
大数据
分布式技术
ssh
hadoop
spark
flink
Zookeeper集群安装
简介ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是
Hadoop
和Hbase的重要组件。
万总有点菜
·
2024-02-03 21:14
2019-10-08 大数据开发进阶之路
市场需要的水平熟练掌握Linux、SQL与HiveSQL掌握
Hadoop
生态主流技术,如HDFS/MapRedunce/Yarn/HBase/Flume等掌握Spark生态核心技术,如Spark架构/RDD
红瓦李
·
2024-02-03 20:39
Hadoop
框架下MapReduce中的map个数如何控制
一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为:一、将待处理的文件进行逻辑切片(根据处理数据文件的大小,划分多个split),然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下:1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
piziyang12138
·
2024-02-03 20:13
Linux的RPM安装包如何获取
起因于我需要在内网
Linux安装
软件~~~百度不好找,找到后因为网络问题也不好下载。那么这时,我们可以找个可上网的Linux服务器,通过命令下载RMP包。
旧巷听雨枫染晨
·
2024-02-03 17:18
21.修改Linux下默认的Python版本
001431643484137e38b44e5925440ec8b1e4c70f800b4e2000根据教程来练习的时候,发现程序并不能正确的执行,仔细检查后发现代码没有拼写错误,思考后解决如下经过检查发现
Linux
扶桑啊啊
·
2024-02-03 17:35
Hadoop
MapReduce 各阶段理解
Hadoop
的MapReduce是一个很经典的分布式并行计算框架,一直对各个阶段的具体含义有些模糊。花时间看了下stackoverflow上的理解,记录一下。
phusFuNs
·
2024-02-03 16:10
阿里云服务器2核16G、4核32G、8核64G配置最新收费标准及活动价格
2核16G、8核64G、4核32G配置的云服务器处理器与内存比为1:8,这种配比的云服务器一般适用于数据分析与挖掘,
Hadoop
、Spark集群和数据库,缓存等内存密集型场景,因此,多为企业级用户选择,
阿里云最新优惠和活动汇总
·
2024-02-03 15:07
hadoop
2.0之环境搭建详细流程
1、在安装
hadoop
2.0之前,需要准备好以下软件(如下图1)图1:然后将这两个软件共享到centos上(如下图2红箭头指向和图3红箭头指向所示)在vm这上面有个虚拟机,点击虚拟机后有个硬件和选项,点选项
hhf_Engineer
·
2024-02-03 14:51
Linux安装
GoLand
1下载下载GoLand下载GoLand2安装Goland解压并重命名目录~$tar-zxvfgoland-2019.1.3.tar.gz-C/usr/local~$sudomv/usr/local/GoLand-2019.1.3//usr/local/GoLand~$ll/usr/local/total48drwxr-xr-x12rootroot40967月2317:08./drwxr-xr-x1
Jerry_1116
·
2024-02-03 13:30
hadoop
使用公平调度器
数据量不大,做离线一个晚上就能轻松调度完,那时候使用的
hadoop
自带的调度器,容量调度器。但默认配置没有改,就会发生什么!root主leaf下面只有default。
向他一样rap
·
2024-02-03 13:22
kylin
hadoop
hadoop
大数据
分布式
Redis
Linux安装
,彻底解决编译问题
超级注意点核心就是:找教程,问chat把环境补齐然后删除解压的目录,重新解压这一步很重要,因为Redis的脚本,运行一次出错了,不删除整个目录,可能就修不好。有其他教程说,放在usr/local下,没用的另一种错误也要删除重新执行cdsrc&&maketestmake[1]:Enteringdirectory`/usr/local/redis-5.0.4/src'Youneedtcl8.5orne
天海华兮
·
2024-02-03 12:04
redis
redis
bootstrap
数据库
linux安装
JDK8
1.首先卸载自带的jdk1.1查看当前系统自带jdkrmp-qa|grepjdk1.2卸载JDKyum-yremoveopenjdk2.下载JDK8安装包安装包地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html安装rpm-ivh安装包名-linux-x64.rpm3.配置环境变量
十三_0223
·
2024-02-03 11:26
本地部署Tale博客网站并结合内网穿透实现公网访问本地站点
文章目录前言1.Tale网站搭建1.1检查本地环境1.2部署Tale个人博客系统1.3启动Tale服务1.4访问博客地址2.
Linux安装
Cpolar内网穿透3.创建Tale博客公网地址4.使用公网地址访问
阿四啊
·
2024-02-03 09:18
内网穿透_cpolar
linux
【数据开发】pyspark入门与RDD编程
spark与pyspark的关系spark是一种计算引擎,类似于
hadoop
架构下mapreduce,与mapr
小哈里
·
2024-02-03 08:58
#
后端开发
python
spark
pyspark
后端
大数据
(四)hive的搭建2
1.元数据服务的方式1.1编辑hive-site.xmlsudovihive-site.xml在文件最后增加以下内容hive.metastore.uristhrift://
hadoop
-master:90831.2
调试大师
·
2024-02-03 08:18
大数据
Hadoop
hive
hadoop
数据仓库
(三)
hadoop
之hive的搭建1
下载访问官方网站https://hive.apache.org/点击downloads点击Downloadareleasenow!点击https://dlcdn.apache.org/hive/选择最新的稳定版复制最新的url在linux执行下载命令wgethttps://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz2.
调试大师
·
2024-02-03 08:48
Hadoop
大数据
hadoop
hive
大数据
hadoop
50070 无法访问问题解决汇总
解决办法1:[root@djt002
hadoop
]#vi/etc/selinux/config改为:SELINUX=disabled解决办法2:查看你的$
HADOOP
_HOME/etc/
hadoop
下的
無法複制
·
2024-02-03 08:13
linux
hadoop
linux安装
mongodb
一、MongoDB官网下载地址:https://www.mongodb.com/try?jmp=nav#community二、MongoDB下载及安装1、在/usr/local/目录下创建mongodb文件夹:$cd/usr/local/$mkdirmongodb2、在mongodb/文件夹下下载安装包:$cdmongodb/$wgethttps://fastdl.mongodb.org/linu
無法複制
·
2024-02-03 08:42
mongodb
Hadoop
:学习HDFS,看完这篇就够了!
HDFS(
Hadoop
DistributedFileSystem)是Apache
Hadoop
生态系统中的分布式文件系统,用于存储和处理大规模数据集。
爱写代码的July
·
2024-02-03 08:09
大数据与云计算
hadoop
学习
hdfs
大数据
云计算
Hadoop
:HDFS学习巩固——基础习题及编程实战
一HDFS选择题1.对HDFS通信协议的理解错误的是?A.客户端与数据节点的交互是通过RPC(RemoteProcedureCall)来实现的B.HDFS通信协议都是构建在IoT协议基础之上的C.名称节点和数据节点之间则使用数据节点协议进行交互D.客户端通过一个可配置的端口向名称节点主动发起TCP连接,并使用客户端协议与名称节点进行交互BHDFS通信协议构建在TCP/IP协议基础之上2.HDFS的
爱写代码的July
·
2024-02-03 08:09
大数据与云计算
hadoop
hdfs
学习
linux安装
trac+svn+apache+wike,Ubuntu安装Trac+svn+apache+ldap+[mysql]认证
Ubuntu安装Trac+svn+apache+ldap认证权限全为www-data:www-dataapt-getinstalllibapache2-svnlibsvn-perllibsvn1libldap-2.4-2libldap2-devtraclibapache2-mod-pythonlibapache2-mod-python-docapache2-mpm-prefork####tracd
情夜别敲门
·
2024-02-03 06:32
hadoop
3.x 案例5:Flink SQL运行报错
文章目录一.问题描述二.解决方案参考:一.问题描述启动yarnsession后,运行FlinkSQL,报错。命令:--启动yarn-session/home/flink-1.15.2/bin/yarn-session.sh-d--在yarnsession模式下启动flinksql/home/flink-1.15.2/bin/sql-client.shembedded-syarn-session--
只是甲
·
2024-02-03 06:31
大数据和数据仓库
#
Hadoop大数据平台
sql
hadoop
flink
黑方备份学习(1):
linux安装
黑方容灾备份与恢复系统软件v6.0 代理
1.环境准备1.1硬件环境内存>4G,cpu最低双核1.2把SElinux状态改为Disabled(1)查看SElinux状态输入getenforce命令SELinux共有3个状态:enforcing(执行中)、permissive(不执行但产生警告)、disabled(关闭)(2)临时关闭SElinux输入setenforce0:用于关闭selinux防火墙,但重启后失效。(3)永久关闭SEli
入门如入土
·
2024-02-03 01:32
linux
运维
服务器
apache
hadoop
2.4.0 64bit 在windows8.1下直接安装指南(无需虚拟机和cygwin)
工作需要,要开始搞
hadoop
了,又是大数据,自己感觉大数据、云,只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织,Java如果没有它也不会现在如火中天。
夜魔009
·
2024-02-03 00:56
技术
windows8
hadoop
64bit
库
hdfs
Hadoop
生态圈-组件介绍
Hadoop
是目前应用最为广泛的分布式大数据处理框架,其具备可靠、高效、可伸缩等特点。
Hadoop
的核心组件是HDFS、MapReduce。
苏尔伯特
·
2024-02-03 00:19
测试环境搭建整套大数据系统(一:基础配置,修改hostname,hosts,免密,时间同步)
vim/etc/hostnamexdso-
hadoop
-test-001vim/etc/hosts192.168.50.60xdso-
hadoop
-test-001192.168.50.61xdso-ha
宇智波云
·
2024-02-03 00:15
大数据项目
大数据
搭建
hadoop
单机环境
hadoop
笔记sbin:一些启动脚本【服务端的serverbin】logs:存放
hadoop
相关日志bin:客户端的脚本etc:
hadoop
相关的配置文件格式化文件系统配置免密码登录ssh-keygen-trsa-P
.Passion
·
2024-02-02 23:12
hadoop
hadoop
hdfs
大数据
Hadoop
单机环境搭建
Hadoop
单机环境搭建一、jdk环境二、IP地址和主机名映射三、生成公私钥授权四、下载解压
Hadoop
五、配置
Hadoop
环境变量六、修改
Hadoop
配置文件七、关闭防火墙八、初始化九、启动十、Yarn
三暮辰
·
2024-02-02 23:42
Hadoop
hadoop
大数据
docker搭建单机
hadoop
docker搭建单机
hadoop
前言一、docker是什么?二、
hadoop
是什么?
阿桔是只猫
·
2024-02-02 23:41
大数据
hadoop
docker
大数据
手把手教
Hadoop
环境搭建,学不会你咬我~
之前后台小伙伴私信我想了解
hadoop
的单机环境安装,以方便用于
hadoop
学习,今天给大家安排上了,废话不多说,直接上干货。
程序IT圈
·
2024-02-02 23:11
hadoop
jdk
linux
centos
hdfs
hadoop
单机模式搭建
1.新建虚拟机给虚拟机命名,选择存放路径接着指定磁盘大小,因为我们不止搭建单机模式还要搭建伪分布模式,这里我们选择80G这里会看到创建虚拟机完成,我们点击自定义硬件,选择合适的内存,处理器,还有映像文件,这里我们用不到声卡和打印机可以给他移除根据自己电脑配置选择合适的,这里我们选择完之后是这样的然后我们开启虚拟机
H6666W
·
2024-02-02 23:10
hadoop
hadoop
java
大数据
HADOOP
_MAPRED_HOME=${full path of your
hadoop
distribution directory}
场景在
Hadoop
3.13的YARN上运行MapReduce报错信息终端界面提示FAILED:ExecutionError,returncode2fromorg.apache.
hadoop
.hive.ql.exec.mr.MapRedTask
小基基o_O
·
2024-02-02 23:10
Hadoop
单机搭建
hadoop
环境(包括hdfs、yarn、hive)
单机可以搭建伪分布式
hadoop
环境,用来测试和开发使用,
hadoop
包括:hdfs服务器yarn服务器,yarn的前提是hdfs服务器,在前面两个的基础上,课可以搭建hive服务器,不过hive不属于
howard_shooter
·
2024-02-02 23:39
大数据
hadoop
大数据
分布式
Linux软件包管理器yum
Linux(CentOS7)yum什么是yumyum的作用Linux系统的生态
Linux安装
方式yum如何安装开源生态yum的安装与卸载yum安装yum卸载yum的软件源配置yum源什么是yumyum是
Hungry_11
·
2024-02-02 22:49
Linux
linux
运维
服务器
Hadopp未授权访问导致RCE
前言:
Hadoop
是一个开源的分布式计算框架,用于处理大规模数据集的存储和处理。
安鸾彭于晏
·
2024-02-02 22:27
web安全
安全
网络
2021年11月23号 linux系统安装部署文字介绍(无命令)
linux安装
部署1.安装虚拟机首先如果直接装机可以存到U盘里安装如果只是学习去网上找一下vm虚拟机的安装资源先装虚拟机2.去阿里云镜像找centos7的镜像文件iso并保存到指定目录打开虚拟机,找到对应
linux舟停江吹雪
·
2024-02-02 22:25
linux
运维
linux
服务器
运维
springboot集成redis并设置过期时间
redis作为常用的缓存工具在日常中经常使用,首先是下载redisredis-github选择windows/
linux安装
即可不会自己百度下载好后配置redis配置文件设置访问密码为123456开始集成
"农"夫山泉
·
2024-02-02 21:23
spring
boot
redis
后端
6月11日第二十八次早课(sqoop)
主要用于在
Hadoop
与RDBMS间进行数据的传递2.sqoop分为哪两个分支,各最新版本是什么?
ly稻草
·
2024-02-02 19:55
深度学习的开源分布式框架Deeplearning4j
该框架基本上是由
Hadoop
和Spark集成的分布式深度学习库组成的。在
Hadoop
和Spark的帮助下,我们可以轻松地分发模型和大数据集,并运行
weixin_43106248
·
2024-02-02 19:13
深度学习
Hadoop
深度学习开源分布式框架
deeplearning4j
Linux配置jdk8错误:/usr/libexec/grepconf.sh: line 5: grep: command not found 导致Linux基础命令无法使用
shell窗口或者重启Linux的时候,又出现了找不到命令的错误,一直在查资料,类似的exportxxx命令都可以临时解决问题,却在根源上解决不了问题1.打开.bash_profile文件[`root@
hadoop
000
独恋彼岸花
·
2024-02-02 18:30
Linux环境变量配置
linux
vim
运维
如何部署Docker Registry并实现无公网ip远程连接本地镜像仓库
文章目录1.部署DockerRegistry2.本地测试推送镜像3.
Linux安装
cpolar4.配置DockerRegistry公网访问地址5.公网远程推送DockerRegistry6.固定DockerRegistry
Aomnitrix
·
2024-02-02 18:43
docker
tcp/ip
容器
Hive和Hbase的各自适用场景
一、区别:Hbase:
Hadoop
database的简称,也就是基于
Hadoop
数据库,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如日志明细、交易清单、轨迹行为等。
yoku酱
·
2024-02-02 17:36
Hadoop
原理
Hadoop
框架分布式文件存储-HDFS即
Hadoop
内提供分布式数据存储的文件系统分布式计算框架-MapReduce即
Hadoop
内提供的进行分布式计算的组件分布式资源调度-YARN即
Hadoop
内提供的进行分布式资源调度的组件
我走之後
·
2024-02-02 14:25
hadoop
大数据
分布式
大数据技术之
Hadoop
相关导论大数据相关导论首先我们要知道一切皆数据数据的作用从海量数据中提取出有效的价值信息,实现数据的商业化,价值化,给企业的决策者或者运营人员提供数据支持或者分析性报告.更好的了解事与物的运行规律,给生活赋能.什么是大数据数据的体量比较大,2000年全球互联的概念提出及普及后,数据量开始快速增长....数据单位:bit,byte,kb,mb,gb,tb,pb,eb,zb,yb,bb,nb,db大数
我走之後
·
2024-02-02 14:54
大数据
hadoop
分布式
PySpark(一)Spark原理介绍、PySpark初体验及原理
SparkVS
Hadoop
尽管Spark相对于
Hadoop
而言具有较大优势,但Spark并不能完全替代
Hadoop
在计算层面,Spark相比较MR(MapReduce)有巨大的性能优势,但至今仍有许多计算工具基于
独憩
·
2024-02-02 13:11
PySpark
python
分布式
大数据
spark
【livy】Spark Livy深究
的解决方案从任何地方提交job使用交互式的Scala、Python语言与远程的spark集群进行通信无需更改代码Livy的运作流程阐述Livy的安装、启动、访问Livy的启动:依次启动zookeeper集群、
Hadoop
小赵要加油
·
2024-02-02 13:07
livy
大数据
分布式
上一页
8
9
10
11
12
13
14
15
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他