E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop学习积累
HDFS中的Erasure Coding纠删码是个什么样的存在?
在
Hadoop
3.x之后就引入了纠删码技术(ErasureCoding)纠删码技术(Erasurecoding)简称EC,是一种编码容错技术。最早用于通信行业,数据传输中的数据恢复。它通过对数
小KKKKKKKK
·
2024-01-21 03:29
ElasticSearch 亿级数据检索深度优化!
一、前言数据平台已迭代三个版本,从头开始遇到很多常见的难题,终于有片段时间整理一些已完善的文档,在此分享以供所需朋友的实现参考,少走些弯路,在此篇幅中偏重于ES的优化,关于HBase,
Hadoop
的设计优化估计有很多文章可以参考
夜空_2cd3
·
2024-01-21 03:53
Redis学习笔记--尚硅谷
、Tomcat、HTML、Linux、JDBC、SVNe解决扩展性的问题:Struts、Spring、SpringMVC、Hibernate、Mybatise解决性能的问题:NoSQL、Java线程、
Hadoop
Geho
·
2024-01-21 02:52
redis
数据库
nosql
java
springboot
大数据技术原理及应用课实验1 熟悉常用的Linux操作和
Hadoop
操作
实验1熟悉常用的Linux操作和
Hadoop
操作一、实验目的
Hadoop
运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。
Blossom i
·
2024-01-21 02:21
大数据编程
大数据
linux
hadoop
大数据技术原理及应用课实验2 :熟悉常用的HDFS操作
实验2熟悉常用的HDFS操作目录实验2熟悉常用的HDFS操作一、实验目的二、实验平台三、实验步骤(每个步骤下均需有运行截图)(一)编程实现以下功能,并利用
Hadoop
提供的Shell命令完成相同任务:(
Blossom i
·
2024-01-21 02:21
大数据编程
大数据
hdfs
hadoop
通过WordCount解析Spark RDD内部源码机制
HelloSparkHelloScalaHello
Hadoop
HelloFlinkSparkisAwesome然后在Eclipse中编写wo
联旺
·
2024-01-21 01:54
客户案例|知名证券机构核心大数据平台升级之路
Hadoop
作为海量数据处理的关键技术框架,自诞生以来就改变了企业对数据的存储、处理和分析的过程,因具备开源低成本、高可靠等特性,在证券行业得到了广泛的应用。
云掣YUNCHE
·
2024-01-21 01:17
产品介绍
大数据
云原生
运维开发
Spark(一): 基本架构及原理
前言:目标:架构及生态:Spark与
hadoop
:运行流程及特点:常用术语:Spark运行模式:RDD运行流程:前言:ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009
贝賏赑钡
·
2024-01-20 22:46
spark
架构
大数据
大数据导论(3)---大数据技术
文章目录1.大数据技术概述2.数据采集与预处理2.1数据采集2.2预处理3.数据存储和管理3.1分布式基础架构
Hadoop
3.2分布式文件系统HDFS3.3分布式数据库HBase3.4非关系型数据库NoSQL4
冒冒菜菜
·
2024-01-20 21:28
大数据导论
大数据导论
大数据技术
课程学习
Sqoop与HBase结合使用:实现强大的数据存储
Sqoop用于将数据从关系型数据库导入到
Hadoop
生态系统中,而HBase则用于实时、非关系型数据存储和查询。
晓之以理的喵~~
·
2024-01-20 19:57
sqoop
sqoop
hbase
hadoop
使用Sqoop从Oracle数据库导入数据
在大数据领域,将数据从关系型数据库(如Oracle)导入到
Hadoop
生态系统是一项常见的任务。Sqoop是一个强大的工具,可以帮助轻松完成这项任务。
晓之以理的喵~~
·
2024-01-20 19:27
sqoop
数据库
sqoop
oracle
Sqoop数据传输中的常见挑战及其解决方法
Sqoop是一个用于将数据传输到
Hadoop
生态系统的强大工具,但在实际使用中,可能会面临一些挑战。
晓之以理的喵~~
·
2024-01-20 19:26
sqoop
sqoop
eclipse
hadoop
创建虚拟机
弹出如下对话框,点击“下一步”3.继续点击“下一步”4.选择“稍后安装操作系统”,然后点击“下一步”5.在版本下拉框中选择“CentOS764位”,然后点击“下一步”6.给虚拟机起一个名字,本机叫做“
Hadoop
100
吃草料的羊
·
2024-01-20 19:56
hadoop
大数据
大数据
Hadoop
入门——HDFS分布式文件系统基础
HDFS命令基础语法:【
hadoop
fs具体命令、hdfsdfs具体命令】两个是完全相同的。显示文件列表#hdfsdfs-lsURL创建目录#hdfsdfs-mkdir[-p]URL使用-p参数可以
nucty
·
2024-01-20 16:00
大数据
大数据
hadoop
hdfs
Zookeeper简介
一、Zookeeper简介ZooKeeper是一个分布式的、开放源码的分布式应用程序协调服务,它是Google的Chubby一个开源的实现,是
Hadoop
和Hbase的重要组件。
破茧......
·
2024-01-20 16:35
Zookeeper
zookeeper
分布式
云原生
大数据技术之
Hadoop
伪分布式安装步骤及结果(Ubuntu)
、下载安装虚拟机软件;下载Ubuntu镜像文件,安装Ubuntu虚拟机;2、在Ubuntu系统中创建用户、更新APT、安装SSH并配置SSH无密码登录、安装Java环境、配置PATH环境变量;3、下载
Hadoop
小嘤嘤怪学
·
2024-01-20 16:52
Hadoop
分布式
hadoop
大数据
【大数据】了解 YARN 架构的基础知识
3.1.2ApplicationManager应用程序管理器3.2NodeManager节点管理器3.3ApplicationMaster应用程序主控3.4Container容器4.在YARN中提交应用程序5.
Hadoop
YARN
G皮T
·
2024-01-20 14:23
大数据
大数据
架构
yarn
资源管理
作业调度
hadoop
hdfs
Hive性能优化
sum,count,max,min等UDAF,不怕数据倾斜问题,
hadoop
在map端的汇总合并优化,使数据倾斜不成问题。count(distinct),在数据量大的情况下,效率较
La victoria
·
2024-01-20 13:23
大数据
hive Error while compiling statement: FAILED: ClassCastException org.apache.
hadoop
.hive.serde2.objec
Errorwhilecompilingstatement:FAILED:ClassCastExceptionorg.apache.
hadoop
.hive.serde2.objectinspector.primitive.WritableConstantStringObjectInspectorcannotbecasttoorg.apache.
hadoop
.hive.serde2
圆周率的后六位
·
2024-01-20 12:35
hive
hadoop
apache
hadoop
运行任务出错,Hive Runtime Error while processing row
Error:java.lang.RuntimeException:org.apache.
hadoop
.hive.ql.metadata.HiveException:HiveRuntimeErrorwhileprocessingrow
圆周率的后六位
·
2024-01-20 12:05
hive
hadoop
big
data
Hadoop
配置文件加载
1.
hadoop
使用org.apache.
hadoop
.conf.Configuration类来加载配置文件2.一般我们在写客户端程序等需要连接
hadoop
集群时,需要自己准备好core-site.xml
sf_www
·
2024-01-20 11:52
hadoop
hadoop
大数据
hdfs
Hadoop
基础知识
Hadoop
基础知识1、
Hadoop
简介广义上来说,
Hadoop
通常是指一个更广泛的概念——
Hadoop
生态圈。
坐在风口上de猪
·
2024-01-20 10:10
hadoop
大数据
分布式
大数据开发之
Hadoop
(完整版+练习)
第1章:
Hadoop
概述1.1
Hadoop
是什么1、
Hadoop
是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决,海量数据的存储和海量数据的分析计算问题。
Key-Key
·
2024-01-20 10:36
hadoop
hdfs
mapreduce
分布式
大数据
Kylin安装学习教程
Kylin安装学习教程Kylin是一个开源的分布式分析引擎,提供
Hadoop
/Spark之上的SQL接口及多维分析(OLAP)能力以支持大数据分析,最初由eBayInc.开发并贡献到开源社区。
Luo_Yang111
·
2024-01-20 09:28
kylin
黑猴子的家:Linux 文件有空格或特殊字符--转义
1、使用window斜杠""转义处理[victor@
hadoop
102~]$cdwindow\vnc/2、使用英文双引号处理[victor@
hadoop
102~]$cd"windowvnc"
黑猴子的家
·
2024-01-20 07:10
Windows平台安装配置
Hadoop
2.7.X
一,准备1.安装jdk1.82.下载
hadoop
2.7.7.tar.gz官网下载地址:https://archive.apache.org/dist/
hadoop
/common/
hadoop
-2.7.7
sun_十一
·
2024-01-20 04:23
余老师带你学习大数据-Spark快速大数据处理第十章Kafka第八节Kafka-Connect
kafkaKafkaConnect基本概念1、KafkaConnect是Kafka流式计算的一部分,左侧是数据源包括了数据库、
hadoop
、文本等等,右侧是数据结果包括了文本、
hadoop
、数据库,中间上层就是
weixin_45810046
·
2024-01-20 03:41
kafka
Kylin基础教程(一)
一、Kylin介绍1.1现状
Hadoop
于2006年初步实现,改变了企业级的大数据存储(基于HDFS)和批处理(主要基于MR)问题,10几年过去了,数据量随着互联网的发展井喷式增长,如何高速、低延迟的分析数据成为后续面临的挑战
GOD_WAR
·
2024-01-20 03:43
Kylin
技术博览
Kylin
kylin安装学习教程
ApacheKylin是一个开源的分布式分析引擎,提供
Hadoop
/Spark之上的SQL接口及多维分析(OLAP)能力以支持大数据分析,最初由eBayInc.开发并贡献到开源社区。
打工人何苦为难打工人
·
2024-01-20 03:07
kylin
Kylin安装学习教程
ApacheKylin是一个开源的分布式分析引擎,提供
Hadoop
/Spark上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据。
终将老去的穷苦程序员
·
2024-01-20 03:04
kylin
CVE-2023-46226 Apache iotdb远程代码执行漏洞
它具有体量轻、性能高、易使用的特点,完美对接
Hadoop
与Spark生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。
棱镜七彩
·
2024-01-20 02:27
apache
iotdb
实习期运维工程师一些日常问题的汇总
一方面希望能帮助到和我一样初入社会,想从事计算机方向的学生党们,另一方面也能方便自己
学习积累
和及时复盘。一、查看电脑开关机时间的方法:右键此电脑。点击管理,打开计算机管理。点击事件查看器。
卑微计算机小白
·
2024-01-19 23:35
打工人的自省
运维
超详细版
Hadoop
的安装与使用(单机/伪分布式)
一、首先安装VMware虚拟机虚拟机安装包以及UbuntuISO映像下载:https://pan.baidu.com/s/19Ai5K-AA4NZHpfMcCs3D8w?pwd=9999下载完成后,进入VMware,点击右上角【文件】——【新建虚拟机向导】1.1选择典型1.2选择光盘映像映像文件选择上方刚刚下载的ubuntukylin-16.04-desktop-amd641.3命名根据自己需求来
比护隆佑
·
2024-01-19 23:49
分布式
hadoop
大数据
hadoop
dfs web页面访问增加鉴权
前言装好了
Hadoop
,通过浏览器访问,发现竟然不需要鉴权就能访问,且暴露了很多服务器层文件路径信息,基于多年积累的安全意识,必须得配置些鉴权信息,就有了该文,仅做学习记录,下次自己再装时能提高效率。
花菜回锅肉
·
2024-01-19 21:10
大数据
数据仓库
hadoop
前端
大数据
dfs
Hadoop
伪分布式坏境搭建
环境说明:VM上ubuntu16.04版本安装
hadoop
前的准备(1)ssh免密登录(2)配置好Java环境(1)(2)步骤的安装见网上博客安装
Hadoop
(1)下载
hadoop
到上一篇博客给出的网下载
zoux
·
2024-01-19 19:16
大数据开发之
Hadoop
(优化&新特征)
第1章:HDFS-故障排除注意:采用三台服务器即可,恢复到Yarn开始的服务器快照。1.1集群安全模块1、安全模式:文件系统只接收读数据请求,而不接收删除、修改等变更请求2、进入安全模式场景1)NameNode在加载镜像文件和编辑日志期间处于安全模式2)NameNode再接收DataNode注册时,处于安全模式3)退出安全模式条件dfs.namenode.safemode.min.datanode
Key-Key
·
2024-01-19 10:50
大数据
hadoop
分布式
caused by: java.lang.outofmemory_
hadoop
运行java.lang.OutOfMemoryError:java heap space错误。
99M的文件,运行时出现下面的问题:java.lang.RuntimeException:java.lang.reflect.InvocationTargetExceptionatorg.apache.
hadoop
.util.ReflectionUtils.newInstance
weixin_39662834
·
2024-01-19 08:16
caused
by:
一站式大数据平台XSailboat简介--
Hadoop
、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等
1.引言从2021年年底开始,笔者带领一个微型团队开始开发我们的大数据平台XSailboat,目前已经初步具备实用化条件,产品将持续性地开发、完善、迭代升级。在接下来的一段时间,笔者将陆续编写一些关于大数据平台实现相关的技术文档,有兴趣的从事大数据相关的同学,可以关注收藏一下,交流一下开发技术。如果对我们的大数据平台XSailboat感兴趣的同学比较多,希望将其应用于学习或商业项目中,我们可以在条
OkGogooXSailboat
·
2024-01-19 06:26
大数据平台开发技术
大数据
大数据开发之
Hadoop
(MapReduce)
第1章:MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架,是用户开发“基于
Hadoop
的数据分析应用”的核心框架。
Key-Key
·
2024-01-19 06:40
大数据
hadoop
mapreduce
大数据开发之
Hadoop
(Yarn)
第1章:Yarn资源调度器思考:1、如何管理集群资源?2、如何给任务合理分配资源?Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。1.1Yarn基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成
Key-Key
·
2024-01-19 06:09
大数据
hadoop
分布式
linux安装
hadoop
详细步骤
以下是在Linux系统上安装
Hadoop
的详细步骤:下载
Hadoop
文件在
Hadoop
官方网站上下载最新的稳定版本的
Hadoop
文件。
酷爱码
·
2024-01-19 06:08
大数据基础教程
linux
hadoop
运维
hadoop
下载,安装
下载:https://mirrors.tuna.tsinghua.edu.cn/从清华源下载找到apache找到
hadoop
找到对应的版本使用64位版本上传到linux的/usr/local目录下使用tar-zxvf
三木一立
·
2024-01-19 06:33
大数据
hadoop
大数据
分布式
spark读取hive的数据
/dev/make-distribution.sh--tgz--namewith-hive-Pyarn-P
hadoop
-2.7-D
hadoop
.version=2.7.7-Phive-Phive
IT烧麦
·
2024-01-19 04:17
HBase第一章:集群搭建
:集群搭建文章目录系列文章目录前言一、环境准备二、上传HBase三、上传HBase四、配置参数五、分发测试六、高可用总结前言Hive的内容基本算是学完了,太深入的东西,现在没有必要死磕,接下来我们学习
hadoop
超哥--
·
2024-01-19 00:57
HBase
hbase
hadoop
大数据
HBase学习总结(1):HBase的下载与安装
(HBase是一种数据库:
Hadoop
数据库,它是一种NoSQL存储系统,专门设计用来快速随机读写大规模数据。本文介绍HBase的下载与安装的整个过程。)
蝶Wu天涯
·
2024-01-19 00:25
HBase
HBase
hbase学习笔记-hbase集群安装部署
上传安装包到服务器4、解压安装包到指定的规划目录tar-zxvfhbase-2.0.0-bin.tar.gz-C/opt/bigdata5、重命名解压目录mvhbase-2.0.0hbase6、修改配置文件1、需要把
hadoop
陈同学:
·
2024-01-19 00:22
hbase
hbase
zookeeper
HBase集群部署
前提条件安装hbse的前提条件是jdk已经搭建完成,虚拟机具有
Hadoop
伪分布式或完全分布式的集群搭建,以及zookeeper环境搭建完成。
Golden life
·
2024-01-19 00:21
hbase
数据库
大数据
【大数据】HBase集群安装部署
一、前提条件服务器配置好,搭建大数据集群服务器看这篇:搭建学习使用的大数据集群环境:windows使用vmware安装三台虚拟机,配置好网络环境安装好对应版本的
hadoop
集群,并启动安装好对应版本的zookeeper
橙子园
·
2024-01-19 00:51
大数据工程师成神之路
hbase
big
data
hadoop
安装部署
Hbase高可用集群部署
Zookeeper集群的正常部署并启动
Hadoop
集群的正常部署并启动配置环境变量vi/etc/profile#Hbase-HAexportHBASE_HOME=/home/xyp9x/hbase-2.0.5
衡超越爱学习~
·
2024-01-19 00:21
Hbase
hbase
hadoop
big
data
HBase学习三:集群部署
集群启停顺序:启动
Hadoop
—>启动HBase—>关闭HBase—>关闭
Hadoop
1环境准备1.0环境前期准备参考基础环境配置1.1机器准备hostnameipvm1ip1vm2ip2vm3ip31.2
Studying!!!
·
2024-01-19 00:50
中间件
HBase
上一页
13
14
15
16
17
18
19
20
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他