E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop学习积累
使用 Kettle 完成数据 ETL
先将数据集加载到
Hadoop
集群中,然后对数据进行清洗,最后加载到Hive中。
撕得失败的标签
·
2023-12-03 23:33
Hadoop
Kettle
数据仓库
Hadoop
Hive
大数据
ETL
产品迭代更新 | 阿列夫科技基于Linkis+DataSphere Studio的单机安装部署实战
作者:萧寒GitHubID:hx23840阿列夫科技原来的技术平台是基于
Hadoop
,Spark平台搭建的,为了充分的满足业务需求,做了大量接口封装。
微众开源
·
2023-12-03 23:12
开源
微众开源
大数据
科技
hadoop
大数据
Ubuntu安装
hadoop
并做单机测试
1.配置jdk见前文2.下载解压
hadoop
这里以2.7.7版本为例,将文件剪切到/usr/local里面并更改名字为
hadoop
方便后续配置#解压sudotar-zxvf
hadoop
-2.7.7.tar.gz
MA木易YA
·
2023-12-03 20:37
基于
hadoop
的商品推荐系统_推荐系统大规模特征工程与FEDB的Spark基于LLVM优化
今天给大家分享第四范式在推荐系统大规模特征工程与Spark基于LLVM优化方面的实践,主要包括以下四个主题。大规模推荐系统特征工程介绍SparkSQL与FESQL架构设计基于LLVM的Spark性能优化推荐系统与Spark优化总结大规模推荐系统特征工程介绍推荐系统在新闻推荐、搜索引擎、广告投放以及最新很火的短视频App中都有非常广阔的应用,可以说绝大部分互联网企业和传统企业都可以通过推荐系统来提升
weixin_39541212
·
2023-12-03 18:05
基于hadoop的商品推荐系统
大数据 python
hadoop
_大数据与
Hadoop
1.大数据简介1.1大数据的由来随着计算机技术的发展,互联网的普及,信息的积累已经到了一个非常庞大的地步,信息的增长也在不断的加快,随着互联网、物联网建设的加快,信息更是爆炸式增长,收集、检索、统计这些信息越发困难,必须使用新的技术来解决这些问题1.2什么是大数据xxxxxxxxxx【1】定义大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,需要新处理模式才能具有更强的决策
weixin_39883129
·
2023-12-03 18:35
大数据
python
hadoop
[一起学Hive]之一–Hive概述,Hive是什么
1.Hive是什么Hive是基于
Hadoop
的数据仓库解决方案。由于
Hadoop
本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了这些特性。这是来自官方的解释。
antyzhu
·
2023-12-03 17:23
kafka到hbase API
{ConnectionInstance,HbaseUtil,PropertiesUtil}importorg.apache.
hadoop
.conf.Configurationimportorg.apache.
hadoop
.hbase
故里良田
·
2023-12-03 16:37
Hadoop
是什么,主要有哪些优势?
Hadoop
是一个能够对大量数据进行分布式处理的软件框架。但是
Hadoop
是以一种可靠、高效、可伸缩的方式进行处理的。
人工智能爱好者
·
2023-12-03 14:07
大数据
Hadoop介绍
Hadoop优势
Hadoop
1 ~
Hadoop
3 的发展史
Hadoop
简介
Hadoop
到目前为止发展已经余年了,版本经过了无数次的更新迭代,目前市面上已经把
Hadoop
分为
Hadoop
1、
Hadoop
2、
Hadoop
3三个版本。
大数据狂人
·
2023-12-03 14:34
hadoop
hadoop
介绍以及未来发展
大数据作为当今世界的重要商业行为,给无数商家和企业带来了无数的发展机遇和机会,这里介绍一下,因为sap也是需要进入大数据时代的,毕竟跟这互联网,sap有发展,如果单纯就是应用在企业中,会错失很多良机。比如sap服务的很多客户,卖苹果的一家单位,当时只是一家小作坊,但是后来通过sap达到了一定量级,然后做到了当地的巨无霸企业。大数据主要有如下几个特点:1.数据体量很大2.数据类型多样3.商业价值4.
Troc_wangpeng
·
2023-12-03 14:34
hadoop
大数据
分布式
大数据
Hadoop
技术的发展历史与未来前景
大数据概念火了又火,但是好多人对大数据的概念却一知半解,今天主要来细说下
Hadoop
:1.
Hadoop
是什么1)
Hadoop
是一个由Apache基金会所开发的分布式系统基础架构2)主要解决,海量数据的存储和海量数据的分析问题
人工智能和大数据时代
·
2023-12-03 14:04
大数据
Hadoop
好程序员大数据教程分享之
Hadoop
优缺点
好程序员大数据教程分享之
Hadoop
优缺点,大数据成为时代主流,开启时代的大门,全球43亿部电话、20亿位互联网用户每秒都在不断地产生大量数据,人们发送短信给朋友、上传视频、用手机拍照、更新社交网站的信息
?Briella
·
2023-12-03 14:34
大数据
Hadoop
未来五年走向何方
相对于传统数据库和数据仓库技术,
Hadoop
的优势在于将数据分析和存储平民化。
IT时代周刊
·
2023-12-03 14:02
2019年5月
2019年3月
2018年11月
2018年6月
2018年12月
2019年4月
2017年3月
2016年5月
2017年2月
2016年4月
2014年9月
大数据
人工智能
编程语言
程序员
Hadoop
概述
一、什么是
Hadoop
二、
Hadoop
发展史1.
Hadoop
创始人为DougCutting,为了实现与谷歌类似的全文搜索功能,他在Lucene框架基础上进行优化升级,查询引擎和索引引擎。
勤奋的ls丶
·
2023-12-03 14:31
Hadoop
hadoop
mapreduce
big
data
大数据
大数据开发:HDFS Erasure Coding机制
提到大规模数据存储,
Hadoop
的分布式存储,作为主流的技术方案,实力也是得到市场认可的。
Hadoop
的分布式文件系统HDFS,其冗余备份机制,确保了数据存储的容错,但是同时也增加了冗余存储成本。
成都加米谷大数据
·
2023-12-03 14:29
昨日黄花
Hadoop
方兴未艾云原生——传统大数据平台的云原生化改造
本文6539字,阅读时间约20分钟以
Hadoop
为中心的大数据生态系统从2006年开源以来,一直是大部分公司构建大数据平台的选择,但这种传统选择随着人们深入地使用,出现越来越多的问题,比如:数据开发迭代速度不够快
LinkTime_Cloud
·
2023-12-03 14:28
大数据
分布式
编程语言
hadoop
kubernetes
Hadoop
的基本概念、架构、优点、缺陷、适应场景和未来发展方向
作者:禅与计算机程序设计艺术1.背景介绍
Hadoop
是一个由Apache基金会开发并开源的分布式计算框架,是一个为海量数据的分析而设计的工具。
禅与计算机程序设计艺术
·
2023-12-03 14:57
AI大模型应用实战
大数据AI人工智能
大数据
人工智能
语言模型
Java
Python
架构设计
大数据技术之Oozie
一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对
Hadoop
MapReduce、PigJobs的任务调度与协调。Oozie需要部署到JavaServlet容器中运行。
星川皆无恙
·
2023-12-03 13:00
大数据
系统运维
大数据
java
数据仓库
架构
sql
Hbase与Hive的区别与联系
参考了网上的一些资料,这两者的关联基本如下Hbase,是数据库,是基于
Hadoop
的一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如交易清单、日志明细、轨迹行为等。
阿乐_822e
·
2023-12-03 12:13
Spark经典案例分享
Spark经典案例链接操作案例二次排序案例链接操作案例案例需求数据介绍代码如下:packagebase.charpter7importorg.apache.
hadoop
.conf.Configurationimportorg.apache.
hadoop
.fs
pblh123
·
2023-12-03 12:45
Spark
spark
一致性hash
应用领域(数据分布式存储)数据缓存集群(redis、memcache)
hadoop
ESearch分布式数据库演进产生的问题1.本地缓存image.png由于用户访问量的上升,DB的并发数增加,对数据库造成巨大压力
半数的年
·
2023-12-03 10:32
hive 分号(;)在数据处理中带来的问题
NoViableAltException(114@[])atorg.apache.
hadoop
.hive.ql.parse.HiveParser_IdentifiersParser.function(HiveParser_IdentifiersParser.java
hankl1990
·
2023-12-03 09:34
hive
hive
大数据
hadoop
hbase Master is initializing
问题如下:ERROR:org.apache.
hadoop
.hbase.PleaseHoldException:MasterisinitializingERROR:org.apache.
hadoop
.hbase.PleaseHoldException
Link_999
·
2023-12-03 09:39
HBASE
hbase
数据库
大数据
Hive SQL使用过程中的奇怪现象
hive是基于
Hadoop
的一个数据仓库工具,用来进行数据的ETL,这是一种可以存储、查询和分析存储在
Hadoop
中的大规模数据的机制。
大数据技术与数仓
·
2023-12-03 08:07
基于
hadoop
下的hbase安装
就像Bigtable利用了Google文件系统(FileSystem)所提供的分布式数据存储一样,HBase在
Hadoop
之上提供了类似于Bigtable的能力。
necessary653
·
2023-12-03 05:45
hadoop
hbase
大数据
MMA安装及使用优化
1.背景公司自建的
Hadoop
集群,后期使用阿里的Maxcompute,就需要迁移数据到新环境中,阿里提供众多的迁移方案,在经过我们的实践后,最终选择了MMA,迁移数据Hive到Maxcompute。
选手一号位
·
2023-12-03 02:14
Hive----基本概念
2、Hive是基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
Hi杯酒故人
·
2023-12-02 21:21
HBase安装配置:一键自动安装配置
/bin/bash#安装之前确保安装目录有写入权限,若没有,自行增加#安装版本zk_version="2.4.8"#安装目录zk_installDir="/opt/module"install_
hadoop
大数据魔法师
·
2023-12-02 20:21
大数据
hbase
数据库
大数据
Hadoop
进阶学习---MapReduce分布式计算架构
1.单词统计流程(文字简单描述)已知文件内容:
hadoop
hive
hadoop
sparkhiveflinkhivelinuxhivemysql计算每个单词出现的次数2.MR底层计算原理[重点]MAP阶段第一阶段是把输入目录下文件按照一定的标准逐个进行逻辑切片
Yan_bigdata
·
2023-12-02 19:30
hadoop
学习
mapreduce
Hadoop
架构---HDFS补充知识点---三个模式/机制
1.安全模式在安全模式下不允许HDFS客户端进行任何修改文件的操作,包括上传文件,删除文件等操作。#查看安全模式状态:[root@node1/]#hdfsdfsadmin-safemodegetSafemodeisOFF#开启安全模式:[root@node1/]#hdfsdfsadmin-safemodeenterSafemodeisON#退出安全模式:[root@node1/]#hdfsdfsa
Yan_bigdata
·
2023-12-02 19:29
hadoop
架构
hdfs
学习
Hive环境准备[重点学习]
1.前提启动
hadoop
集群
hadoop
在统一虚拟机中已经配置了环境变量启动hdfs和yarn集群命令:start-all.sh[root@node1/]#start-all.sh启动mr历史服务命令:
Yan_bigdata
·
2023-12-02 19:59
hive
学习
hadoop
Hadoop
进阶学习---HDFS分布式文件存储系统
1.hdfs分布式文件存储的特点分布式存储:一次写入,多次读取HDFS文件系统可存储超大文件,时效性较差.HDFS基友硬件故障检测和自动快速恢复功能.HDFS为数据存储提供很强的扩展能力.HDFS存储一般为一次写入,多次读取,只支持追加写入,不支持随机修改.HDFS可以在普通廉价的机器上运行.2.HDFS架构1、Client发请求就是客户端。文件切分。文件上传HDFS的时候,Client将文件切分
Yan_bigdata
·
2023-12-02 19:59
hadoop
分布式
学习
hdfs
Hadoop
进阶学习---Yarn资源调度架构
1.Yarn执行MR流程1.客户端提交一个MR程序给ResourceManager(校验请求是否合法…)2.如果请求合法,ResourceManager随机选择一个NodeManager用于生成appmaster(应用程序控制者,每个应用程序都单独有一个appmaster)3.appmaster会主动向ResourceManager的应用管理器(applicationmanager)注册自己,告知
Yan_bigdata
·
2023-12-02 19:28
yarn
hadoop
大数据
架构
学习
Hadoop
入门|
Hadoop
简介及安装
一、大数据简介1.大数据的定义⼤数据是指⽆法在⼀定时间范围内⽤常规软件⼯具进⾏捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策⼒、洞察发现⼒和流程优化能⼒的海量、⾼增⻓率和多样化的信息资产。2.大数据的特点⼤数据的特点可以⽤IBM曾经提出的“5V”来描述,如下:大量采集、存储和计算的数据量都⾮常⼤。大数据领域数据量基本上以PB为最小单位,而PB级数据量有多⼤?是怎样的⼀个概念?假如⼿
大数据学习宝典
·
2023-12-02 19:22
Hadoop
hadoop
大数据
推荐系统lambda架构学习笔记之
Hadoop
、HDFS、YARN&MapReduce(三)
Hadoop
Hadoop
介绍
Hadoop
名字的由来作者:Dougcutting
Hadoop
项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名
Hadoop
的概念:Apache™
Hadoop
®是一个开源的
吃一口桃酥
·
2023-12-02 19:50
笔记
hadoop
hdfs
mapreduce
Hadoop
之MapReduce学习笔记(一)
主要内容:mapreduce整体工作机制介绍;wordcont的编写(map逻辑和reduce逻辑)与提交集群运行;调度平台yarn的快速理解以及yarn集群的安装与启动。1、mapreduce整体工作机制介绍回顾第HDFS第一天单词统计实例(HDFS版wordcount):统计HDFS的/wordcount/input/a.txt文件中的每个单词出现的次数——wordcount但是,进一步思考:
weixin_30752377
·
2023-12-02 19:50
大数据
操作系统
java
大数据技术学习笔记之hive框架基础3-sqoop工具的使用及具体业务分析
一、CDH版本的介绍及环境部署-》
Hadoop
的三大发行版本-》Apache
Hadoop
-》cloudera
Hadoop
:CDH-》Hortonworks:HDP-》选用CDH版本的好处-》解决每个框架之间的兼容性问题
黄剑锋1996
·
2023-12-02 19:50
技术学习笔记
hadoop
学习笔记——NO.4_
HADOOP
集群搭建与使用初步
HADOOP
集群搭建与使用初步
HADOOP
集群搭建集群简介
HADOOP
集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起HDFS集群:负责海量数据的存储,集群中的角色主要有
蔡茂昌
·
2023-12-02 19:20
hadoop学习笔记
Hadoop
Core - HDFS, MapReduce, YARN
Hadoop
Core-HDFS,MapReduce,YARN参加拉勾教育大数据训练营课程笔记引用:《
Hadoop
-TheDefinitiveGuide,4thEdition》,《拉勾导师笔记》简介大数据特性
DataPeak
·
2023-12-02 19:13
大数据
hadoop
big
data
java
hadoop
rpc基础
同其他RPC框架一样,
Hadoop
分为四个部分:序列化层:支持多种框架实现序列化与反序列化函数调用层:利用java反射与动态代理实现网络传输层:基于TCP/IP的Socket机制服务的处理框架:基于Reactor
安静平和
·
2023-12-02 17:09
Hadoop
hadoop
rpc
基础
行业变革时期的经营
多年来,汽车经销商习惯了主机厂直接教玩法和套路,忽视方法论和理论的
学习积累
殊不知玩法和套路只是武功招式方法论和理论是内功心法有招式无心法,杀伤力有限有心法无招式,也无法杀敌制胜只有内外兼修,融会贯通,才能使自己立于不败之地特别提醒一下
草船借的箭
·
2023-12-02 17:37
HDFS JAVA API的应用
首先把
hadoop
服务起来1.
星星失眠️
·
2023-12-02 16:28
大数据开发技术
hdfs
java
hadoop
大数据:
Hadoop
刷题
大数据:
Hadoop
刷题2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,可能很多算法学生都得去找开发,测开测开的话,你就得学数据库,sql,oracle,尤其sql要学,当然,像很多金融企业
冰露可乐
·
2023-12-02 12:02
国考
数据挖掘
软件工程
大数据
hadoop
分布式
数据库
网警
尚硅谷
hadoop
3.x课程部分资料文件下载,jdk,
hadoop
jar包
jdk文件百度云下载:链接:https://pan.baidu.com/s/1MCiGRzOZY8rAFpRJwA3tdw提取码:kphl
hadoop
的jar包:最新版官网链接:Indexof/dist
大数据SQLboy
·
2023-12-02 12:59
hadoop
开发语言
hadoop
hbase thrift2 jar包冲突导致启动失败问题排查记录
hbase-root-thrift2-hdfs-test07.yingzi.com.out异常日志:Exceptioninthread"main"java.lang.AbstractMethodError:org.apache.
hadoop
.metrics2
Java小田
·
2023-12-02 12:53
hbase
大数据
jar冲突
java: 通过URL读取
hadoop
HDFS
packagetju;importorg.apache.
hadoop
.fs.FsUrlStreamHandlerFactory;importorg.apache.
hadoop
.io.IOUtils;importjava.io.InputStream
amadeus_liu2
·
2023-12-02 11:28
Hadoop
hadoop
java
hdfs
hadoop
:通过Configuration读取hdfs
packagetju;importorg.apache.
hadoop
.conf.Configuration;importorg.apache.
hadoop
.fs.FSDataInputStream;importorg.apache.
hadoop
.fs.FSDataOutputStream
amadeus_liu2
·
2023-12-02 11:28
Hadoop
hadoop
hdfs
大数据
hadoop
-3.3.5安装过程
准备资源三台虚拟机:1)准备3台服务器(关闭防火墙、静态IP、主机名称)2)安装JDK3)配置环境变量4)安装
Hadoop
5)配置环境变量安装虚拟机(略)--1台即可,执行完毕下述内容,再克隆2台。
Snower_2022
·
2023-12-02 11:57
hadoop
hadoop
大数据
分布式
SparkSQL-MR、RDD、DataFrame三个编程模型演进
2011的时候,Hive可以说是SQLOn
Hadoop
的唯一选择,负责将SQL解析成MR任务运行在大数据上,实现交互
扎克begod
·
2023-12-02 10:12
Spark
spark
SparkSQL
Linux查看进程的pid和port
[root@
Hadoop
001~]#ps-ef|grepsshroot14831007:29?00:00:00/usr/sbin/sshdroot18481483007:31?
吃货大米饭
·
2023-12-02 09:42
上一页
39
40
41
42
43
44
45
46
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他