E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop编译安装
Linux离线免root
编译安装
Flac和Sox
目录一、安装Sox1.1下载安装包1.2解压
编译安装
1.3其他依赖1.4测试二、安装Flac2.1下载安装包2.2解压编译一、安装Sox1.1下载安装包下载链接https://sourceforge.net
字符搬运工s
·
2024-02-03 00:48
Linux
软件安装注册
linux
服务器
工具安装
Hadoop
生态圈-组件介绍
Hadoop
是目前应用最为广泛的分布式大数据处理框架,其具备可靠、高效、可伸缩等特点。
Hadoop
的核心组件是HDFS、MapReduce。
苏尔伯特
·
2024-02-03 00:19
centos7 安装nginx
在CentOS7上安装Nginx,你可以选择从官方仓库(EPEL)安装,或者手动
编译安装
。
iteye_10392
·
2024-02-03 00:55
nginx
nginx
运维
centos7安装redis
在CentOS7上安装Redis,你可以选择从官方源码
编译安装
,也可以通过系统自带的包管理器Yum进行安装。
iteye_10392
·
2024-02-03 00:23
redis
redis
数据库
缓存
测试环境搭建整套大数据系统(一:基础配置,修改hostname,hosts,免密,时间同步)
vim/etc/hostnamexdso-
hadoop
-test-001vim/etc/hosts192.168.50.60xdso-
hadoop
-test-001192.168.50.61xdso-ha
宇智波云
·
2024-02-03 00:15
大数据项目
大数据
搭建
hadoop
单机环境
hadoop
笔记sbin:一些启动脚本【服务端的serverbin】logs:存放
hadoop
相关日志bin:客户端的脚本etc:
hadoop
相关的配置文件格式化文件系统配置免密码登录ssh-keygen-trsa-P
.Passion
·
2024-02-02 23:12
hadoop
hadoop
hdfs
大数据
Hadoop
单机环境搭建
Hadoop
单机环境搭建一、jdk环境二、IP地址和主机名映射三、生成公私钥授权四、下载解压
Hadoop
五、配置
Hadoop
环境变量六、修改
Hadoop
配置文件七、关闭防火墙八、初始化九、启动十、Yarn
三暮辰
·
2024-02-02 23:42
Hadoop
hadoop
大数据
docker搭建单机
hadoop
docker搭建单机
hadoop
前言一、docker是什么?二、
hadoop
是什么?
阿桔是只猫
·
2024-02-02 23:41
大数据
hadoop
docker
大数据
手把手教
Hadoop
环境搭建,学不会你咬我~
之前后台小伙伴私信我想了解
hadoop
的单机环境安装,以方便用于
hadoop
学习,今天给大家安排上了,废话不多说,直接上干货。
程序IT圈
·
2024-02-02 23:11
hadoop
jdk
linux
centos
hdfs
hadoop
单机模式搭建
1.新建虚拟机给虚拟机命名,选择存放路径接着指定磁盘大小,因为我们不止搭建单机模式还要搭建伪分布模式,这里我们选择80G这里会看到创建虚拟机完成,我们点击自定义硬件,选择合适的内存,处理器,还有映像文件,这里我们用不到声卡和打印机可以给他移除根据自己电脑配置选择合适的,这里我们选择完之后是这样的然后我们开启虚拟机
H6666W
·
2024-02-02 23:10
hadoop
hadoop
java
大数据
HADOOP
_MAPRED_HOME=${full path of your
hadoop
distribution directory}
场景在
Hadoop
3.13的YARN上运行MapReduce报错信息终端界面提示FAILED:ExecutionError,returncode2fromorg.apache.
hadoop
.hive.ql.exec.mr.MapRedTask
小基基o_O
·
2024-02-02 23:10
Hadoop
单机搭建
hadoop
环境(包括hdfs、yarn、hive)
单机可以搭建伪分布式
hadoop
环境,用来测试和开发使用,
hadoop
包括:hdfs服务器yarn服务器,yarn的前提是hdfs服务器,在前面两个的基础上,课可以搭建hive服务器,不过hive不属于
howard_shooter
·
2024-02-02 23:39
大数据
hadoop
大数据
分布式
Hadopp未授权访问导致RCE
前言:
Hadoop
是一个开源的分布式计算框架,用于处理大规模数据集的存储和处理。
安鸾彭于晏
·
2024-02-02 22:27
web安全
安全
网络
6月11日第二十八次早课(sqoop)
主要用于在
Hadoop
与RDBMS间进行数据的传递2.sqoop分为哪两个分支,各最新版本是什么?
ly稻草
·
2024-02-02 19:55
深度学习的开源分布式框架Deeplearning4j
该框架基本上是由
Hadoop
和Spark集成的分布式深度学习库组成的。在
Hadoop
和Spark的帮助下,我们可以轻松地分发模型和大数据集,并运行
weixin_43106248
·
2024-02-02 19:13
深度学习
Hadoop
深度学习开源分布式框架
deeplearning4j
Linux配置jdk8错误:/usr/libexec/grepconf.sh: line 5: grep: command not found 导致Linux基础命令无法使用
shell窗口或者重启Linux的时候,又出现了找不到命令的错误,一直在查资料,类似的exportxxx命令都可以临时解决问题,却在根源上解决不了问题1.打开.bash_profile文件[`root@
hadoop
000
独恋彼岸花
·
2024-02-02 18:30
Linux环境变量配置
linux
vim
运维
银河麒麟系统arrch64架构安装zabbix监控
架构安装zabbix监控*系统版本查看一、zabbix服务版本二、zabbix服务组件安装2.1服务依赖安装2.2部署存储引擎2.2.1YUM安装MariaDB2.2.2安装SQLITE3三、Zabbix
编译安装
独恋彼岸花
·
2024-02-02 18:59
zabbix
Hive和Hbase的各自适用场景
一、区别:Hbase:
Hadoop
database的简称,也就是基于
Hadoop
数据库,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如日志明细、交易清单、轨迹行为等。
yoku酱
·
2024-02-02 17:36
openssl3.2 - 帮助文档的整理
文章目录openssl3.2-帮助文档的整理概述笔记整理后,非空的文件夹如下整理后,留下的有点用的文件列表如下备注ENDopenssl3.2-帮助文档的整理概述openssl3.2源码工程
编译安装
完,对于库的使用者
LostSpeed
·
2024-02-02 17:26
openSSL
openSSL
centos7安装python3.10.5
3.10.5/Python-3.10.5.tgztar-xfPython-3.10.5.tgz-C/usr/local#安装环境依赖yum-yinstalllibffi-develzlibzlib-devel#
编译安装
烟雨话浮生
·
2024-02-02 14:38
python
python
开发语言
Hadoop
原理
Hadoop
框架分布式文件存储-HDFS即
Hadoop
内提供分布式数据存储的文件系统分布式计算框架-MapReduce即
Hadoop
内提供的进行分布式计算的组件分布式资源调度-YARN即
Hadoop
内提供的进行分布式资源调度的组件
我走之後
·
2024-02-02 14:25
hadoop
大数据
分布式
大数据技术之
Hadoop
相关导论大数据相关导论首先我们要知道一切皆数据数据的作用从海量数据中提取出有效的价值信息,实现数据的商业化,价值化,给企业的决策者或者运营人员提供数据支持或者分析性报告.更好的了解事与物的运行规律,给生活赋能.什么是大数据数据的体量比较大,2000年全球互联的概念提出及普及后,数据量开始快速增长....数据单位:bit,byte,kb,mb,gb,tb,pb,eb,zb,yb,bb,nb,db大数
我走之後
·
2024-02-02 14:54
大数据
hadoop
分布式
PySpark(一)Spark原理介绍、PySpark初体验及原理
SparkVS
Hadoop
尽管Spark相对于
Hadoop
而言具有较大优势,但Spark并不能完全替代
Hadoop
在计算层面,Spark相比较MR(MapReduce)有巨大的性能优势,但至今仍有许多计算工具基于
独憩
·
2024-02-02 13:11
PySpark
python
分布式
大数据
spark
【livy】Spark Livy深究
的解决方案从任何地方提交job使用交互式的Scala、Python语言与远程的spark集群进行通信无需更改代码Livy的运作流程阐述Livy的安装、启动、访问Livy的启动:依次启动zookeeper集群、
Hadoop
小赵要加油
·
2024-02-02 13:07
livy
大数据
分布式
Iceberg从入门到精通系列之二十一:Spark集成Iceberg
从入门到精通系列之二十一:Spark集成Iceberg一、在Spark3中使用Iceberg二、添加目录三、创建表四、写五、读六、Catalogs七、目录配置八、使用目录九、替换会话目录十、使用目录特定的
Hadoop
最笨的羊羊
·
2024-02-02 12:20
日常分享专栏
Iceberg
从入门到精通系列之二十一
Spark集成Iceberg
实时数据湖:Flink CDC流式写入Hudi
点击上方蓝色字体,选择“设为星标”回复"面试"获取更多惊喜1.环境准备•Flink1.12.2_2.11•Hudi0.9.0-SNAPSHOT(master分支)•Spark2.4.5、
Hadoop
3.1.3
王知无(import_bigdata)
·
2024-02-02 12:01
spark
hadoop
hive
大数据
mysql
pyspark的安装及使用
遇到加载不了选项框的情况可以尝试用手机打开网址获取下载链接后下载直接解压,注意路径不要有空格环境变量配置Path配置测试安装情况,cmd输入spark-shell出现WelcometoSpark表示安装成功,如果没有装
Hadoop
a013067506e4
·
2024-02-02 11:56
麒麟系统—— openKylin 安装 Nginx
二、下载nginx三、解压与运行解压检查与
编译安装
编译运行四、配置加入到服务中加入环境变量nginx配置文件五、常用命令Nginx是一款高性能的HTTP和反向代理服务器,广泛应用于Web服务器领域。
盗理者
·
2024-02-02 10:13
Linux
nginx
nginx
运维
后端
Hadoop
环境搭建
目录一、简介1.1、概念1.2、优势1.3、
Hadoop
组成部分二、
Hadoop
运行环境搭建2.1安装VM(虚拟机管理环境)2.2VM网络设置2.3安装CentOS7系统2.4master主机进行网络配置
业里村牛欢喜
·
2024-02-02 07:24
hadoop
大数据
hdfs
Hadoop
-生产调优(更新中)
128*1024*1024*1024/150byte≈9.1亿GMBKBByte2)
Hadoop
2.x系列,配置NameNode内存NameNode内存默认2000m,如果内存服务器内存4G,NameNode
OnePandas
·
2024-02-02 07:47
Hadoop
hadoop
大数据
分布式
Hadoop
3.x基础(3)- MapReduce
MapReduce概述MapReduce定义MapReduce优缺点优点缺点MapReduce核心思想MapReduce进程常用数据序列化类型MapReduce编程规范WordCount案例实操本地测试提交到集群测试
Hadoop
魅美
·
2024-02-02 07:45
大数据基础
hadoop
(二)
hadoop
搭建
1.下载访问https://
hadoop
.apache.org/releases.html查看
hadoop
最新下载地址wgethttps://dlcdn.apache.org/
hadoop
/common
调试大师
·
2024-02-02 07:41
Hadoop
大数据
hadoop
大数据
分布式
(一)
hadoop
搭建之环境准备1
1.参考http://www.fogsvc.com/97.html文档设置三台虚拟机并固定ip192.168.1.10
hadoop
-master192.168.1.11
hadoop
-slave1192.168.1.12
hadoop
-slave22
调试大师
·
2024-02-02 07:40
大数据
Hadoop
hadoop
大数据
分布式
【Hive】配置
服务部署hiveserver2服务介绍部署启动远程连接1.使用命令行客户端beeline进行远程访问metastore服务运行模式部署其他常见配置显示当前表头和库日志配置Hive的JVM堆内存设置关闭
Hadoop
返返返
·
2024-02-02 07:33
大数据开发
hive
大数据
Hbase安装详解
node1、node2、node3(已在/etc/hosts文件里做好了ip和名字的映射)b、软件压缩包存储路径:/export/software/c、解压后安装包存储路径:/export/server/d、
hadoop
沉默鹰_90
·
2024-02-02 06:30
软件安装
hbase
大数据
linux
HBase详细安装指南
HBase–
Hadoop
Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在
嘎嘎嘎啊哈
·
2024-02-02 06:59
hadoop
hbase
big
data
Java技术栈 —— Hive与HBase
一、参考文章或视频链接[1]《Java技术栈——
Hadoop
入门(一)》-CSDN二、如何
键盘国治理专家
·
2024-02-02 06:23
Java技术栈
java
hive
hbase
redis(1)
文章目录一、redis基础redis简介redis特性单线程redis对比memcachedredis典型应用场景二、redis安装及连接yum安装redis查看yum仓库redis版本yum安装redis
编译安装
Dream visit
·
2024-02-02 02:33
企业服务
redis
数据库
缓存
黑猴子的家:API 操作 HDFS 文件夹删除
1、Code->GitHubhttps://github.com/liufengji/
hadoop
_hdfs.git2、Code@TestpublicvoiddeleteAtHDFS()throwsException
黑猴子的家
·
2024-02-02 00:29
Java接收solr动态域_Solr和Spring Data Solr
Solr可以和
Hadoop
(http://www.yiibai.com/
hadoop
/)一起使用。由于
Hadoop
处理大量数据,Solr帮助我们从这么大的源中找到所需的信息。
weixin_39897015
·
2024-02-01 22:27
Java接收solr动态域
Centos7.6-
编译安装
Nginx
需求:
编译安装
nginx环境:以前yum安装过Nginx由于我这台虚拟机安装过Nginx,没有安装过的可以跳过这一步。
Unlucky丶
·
2024-02-01 22:19
(二)PostgreSQL学习:
编译安装
PostgreSQL
1、准备安装包操作系统centos7.6pg载地址:www.postgresql.org/download/下载路径:Downloads–>source选中你要下载的安装包,避开最新版本,我这先选15.5来进行安装。下载最新的tar.gz安装包,(tar.bz2是解压需要系统安装bzip2软件包,与tar.gz包的区别就是压缩效率不一样这个更小)tar.gz包的MD5值为:96175683748e
徐sir(徐慧阳)
·
2024-02-01 20:40
数据库记录
postgresql
linux
安装配置hive
[root@
hadoop
00~]#wget-chttps://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.7/apache-hive-2.3.7-
m0_69595107
·
2024-02-01 19:28
Hadoop
hive
hadoop
数据仓库
database
大数据
安装配置sqoop
一、了解Sqoop1、Sqoop产生的原因A.多数使用
hadoop
技术的处理大数据业务的企业,有大量的数据存储在关系型数据中。
m0_69595107
·
2024-02-01 19:27
Hadoop
sqoop
hadoop
分布式
apache
centos
大数据
Hadoop
-3.1.3(四)读写流程详解
读文件流程客户端向namenode发起OpenFile请求,目的是获取要下载文件的输入流。namenode收到请求会后会检查路径的合法性,以及客户端的权限。客户端发起OpenFile的同时,还会掉用GetBlockLocation。当第一次的检验通过之后,namenode会将文件的块信息(元数据)封装到输入流,交给客户端。3.4.客户端用输入流,根据元数据信息去找指定的datanode读取文件块(
_大叔_
·
2024-02-01 19:38
RHEL8 RPM 与 YUM/DNF 软件包管理基础
的软件包的卸载与重建数据库二、YUM1)什么是yum2)yum工具管理3)RHEL8配置本地yum源①本地仓库的分类②配置本地仓库②YUM工具的使用三、DNF1)什么是DNF2)DNF常用参数四、源码
编译安装
_HsForPyp
·
2024-02-01 18:14
Linux
Base
linux
yum
dnf
运维
rpm
Kafka运维相关知识
它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于
hadoop
的批处理系统、低延迟的实时系统、storm/spark流式处理引擎。
全脂主妇
·
2024-02-01 17:31
消息组件
kafka
分布式
Centos7
编译安装
git 报错 git-compat-util.h:14:2: error
Centos7
编译安装
git报错git-compat-util.h:14:2:error环境:OS:CentOS7.9Git版本:git-2.38.1一、报错现象[root@0773d8e7fe8fgit
V+V
·
2024-02-01 17:24
git
git
github
开源大数据集群部署(八)Ranger编译部署
简单说明如下:在pom.xml中更改对应
hadoop
集群组件版本。ranger2编译前提条件是python3和mvn已安装完成。
云掣YUNCHE
·
2024-02-01 16:57
开源大数据集群部署
开源
大数据
nginx升级OpenSSL版本
node1~]#cd/usr/local/src/[root@node1src]#wget-chttps://www.openssl.org/source/openssl-1.1.1j.tar.gz3、
编译安装
cwy_linux
·
2024-02-01 15:26
linux架构学习
nginx
linux
centos
openssl
上一页
8
9
10
11
12
13
14
15
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他