E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop回收站
图文详解 MapReduce on YARN
本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系正文权威版本——《
Hadoop
权威指南第3版》1.作业提交MRrunJob从RM获取新的作业ID作业客户端检査作业的输出说明,计算输入分片并将作业资源
Shockang
·
2025-01-28 13:20
大数据技术体系
大数据
mapreduce
yarn
深入MapReduce——从MRv1到Yarn
在
Hadoop
1.0实现里,每一个MapReduce的任务并没有一个独立的master进程,而是直接让调度系统承担了所有的worker的master的角色,这就是
Hadoop
1.0里的JobTracker
黄雪超
·
2025-01-28 12:49
大数据基础
#
深入MapReduce
mapreduce
大数据
hadoop
Hadoop
学习笔记 --- YARN执行流程与工作原理
一、YARN简述首先介绍一下YARN在
Hadoop
2.0版本引进的资源管理系统,直接从MapReduceV1演化而来(由于引擎的功能缺陷);原因是将MapReduce1中的JobTracker的资源管理和作业调度两个功能分开
杨鑫newlfe
·
2025-01-28 07:42
数据仓库
大数据挖掘与大数据应用案例
YARN
Hadoop
大数据
资源调度
数据仓库
【深入浅出 Yarn 架构与实现】1-1 设计理念与基本架构
一、Yarn产生的背景
Hadoop
2之前是由HDFS和MR组成的,HDFS负责存储,MR负责计算。一)MRv1的问题耦合度高:MR中的jobTracker同时负责资源管理和作业控制两个功能,互相制约。
大数据王小皮
·
2025-01-28 07:12
深入浅出Yarn架构与实现
架构
hadoop
大数据
yarn
java
【YARN】yarn 基础知识整理——
hadoop
1.0与
hadoop
2.0区别、yarn总结
文章目录1.
hadoop
1.0和
hadoop
2.0区别1.1
hadoop
1.01.1.1HDFS1.1.2Mapreduce1.2
hadoop
2.01.2.1HDFS1.2.2Yarn/MapReduce22
时间的美景
·
2025-01-28 07:39
Hadoop
Yarn
hadoop
hadoop1
hadoop2
大数据
搭建
Hadoop
与Hive环境
当搭建
Hadoop
与Hive环境时,以下是每个步骤的详细操作说明:1.安装并配置CentOS7操作系统:-下载CentOS7ISO镜像文件,并通过虚拟机或物理机安装CentOS7操作系统。
达达玲玲
·
2025-01-28 05:28
hadoop
hive
大数据
大数据技术之MapReduce
一、MapReduce概述1、MapReduce简介MapReduce是一个分布式运算程序的编程框架,是基于
Hadoop
的数据分析计算的核心框架。
wespten
·
2025-01-27 20:21
Hadoop
Hive
Spark
大数据安全
大数据
mapreduce
hadoop
anaconda中pyspark_自学大数据——9 Anaconda安装与使用pyspark
一、解压安装包sudobashAnaconda3-2020.07-Linux-x86_64.shchown-R
hadoop
:
hadoop
/opt/anaconda/vi/etc/profileexportANACONDA_HOME
步六孤陆
·
2025-01-27 17:59
PySpark数据处理过程简析
作者:禅与计算机程序设计艺术1.简介PySpark是ApacheSpark的PythonAPI,可以用Python进行分布式数据处理,它在内存中利用了Apache
Hadoop
YARN资源调度框架对数据进行并行处理
AI天才研究院
·
2025-01-27 17:28
Python实战
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
kafka开启kerberos
例如:注意有几台机器创建几个kadmin.local-q"addprinc-randkeyzookeeper/dshieldcdh01@
HADOOP
139.COM"kadmin.local-q"addprinc-rand
蘑菇丁
·
2025-01-27 16:55
debian
运维
ranger-kms安装
解压安装包[
hadoop
~]$cd/opt/ranger[
hadoop
@ranger]$tar-xzvfranger-2.1.0-kms.tar.gz[
hadoop
@xranger]$mvranger-
蘑菇丁
·
2025-01-27 16:55
eclipse
java
ide
ansible批量生产kerberos票据,并批量分发到所有其他主机脚本
-name:ConfigureKerberosfor
Hadoop
Usershosts:
hadoop
_serversbecome:nogather_facts:novars:kerberos_server
蘑菇丁
·
2025-01-27 16:50
ansible
hadoop
学习笔记
eclipse
java
ide
网络爬虫相关软件以及论文检索与推荐网站调研
Nutch的创始人是DougCutting,他同时也是Lucene、
Hadoop
和Avro开源项
Q7318
·
2025-01-27 14:04
网络爬虫
网络爬虫
搜索引擎
修改hdfs路径权限
三、解决shell执行以下命令,${hdfs_path}替换成目标表的文件路径/usr/local/service/
hadoop
/bin/hdfsdfs-chmod
chimchim66
·
2025-01-27 11:52
hdfs
hadoop
大数据
HDFS升级和回退
概述作为一个大型的分布式系统,
Hadoop
内部实现了一套升级机制,当在一个集群上升级
Hadoop
时,像其他的软件升级一样,可能会有新的bug或一些会影响现有应用的非兼容性变更出现;在任何有实际意义的HDFS
小森饭
·
2025-01-27 08:05
hdfs
hadoop
大数据
大数据平台建设整体架构设计方案
《大数据平台建设整体架构设计方案》关键词:大数据平台、分布式存储、分布式计算、数据仓库、数据湖、数据安全、数据质量管理、数据治理、数据挖掘、机器学习、图计算、自然语言处理、
Hadoop
、Spark、Flink
AI天才研究院
·
2025-01-27 02:55
ChatGPT
AI大模型企业级应用开发实战
大数据AI人工智能
大厂Offer收割机
面试题
简历
程序员读书
硅基计算
碳基计算
认知计算
生物计算
深度学习
神经网络
大数据
AIGC
AGI
LLM
Java
Python
架构设计
Agent
程序员实现财富自由
python操作HBase
并指定端口9090hbase-daemon.shstartthrift-p90903.操作HBaseimporthappybaseconnection=happybase.Connection(host='
hadoop
10
王壮_
·
2025-01-26 19:01
大数据
Python
hbase
数据库
大数据
HBase伪分布式安装配置流程
1.准备工作确保已经安装并配置好了
Hadoop
(伪分布式),因为HBase依赖HDFS。
Hadoop
已经配置并能够正常运行。Java已经安装并配置好了环境变量。
TheMountainGhost
·
2025-01-26 19:27
hbase
数据库
大数据
Scala简介
hadoop
生态圈—>javaspark生态圈—>scala1.scala是面向对象的、面向函数的基于静态类型的编程语言。
醉游江湖
·
2025-01-26 18:21
scala
【spark床头书系列】如何在YARN上启动Spark官网权威详解说明
属性重要说明KerberosYARN特定的Kerberos配置Kerberos故障排除配置外部Shuffle服务使用ApacheOozie启动应用程序使用Spark历史服务器替代SparkWebUI官网链接确保
HADOOP
_CONF_DIR
BigDataMLApplication
·
2025-01-26 18:20
spark
spark
大数据
分布式
xgboost在spark集群使用指南
相同的代码在主要的分布式环境(
Hadoop
、SGE、MPI)上运行,可以解决数十亿个示例的训练问题。xgb相对于gbt所做的改进:1.2.3.XGBoost可以使用R、python、java
一颗小草333
·
2025-01-26 17:49
算法
mapreduce
spark
数据挖掘
解决Python中libhdfs.so的共享库找不到的问题
这个错误通常发生在使用Python访问
Hadoop
分布式文件系统(
Hadoop
DistributedFileSystem,简称HDFS)时,由于缺少libhdfs.so共享库文件而
code_welike
·
2025-01-26 16:34
python
开发语言
Python
《Spark大数据分析与内存计算》——第三章
(单选题)并不是所有企业都能自己产生数据,从而用于决策辅助,而更多的互联网企业如电商等大部分是要靠什么来抓取互联网数据进行分析A.
Hadoop
B.pythonC.SparkD.网路爬虫正确答案:D:网路爬虫
阿万古
·
2025-01-26 05:07
课程作业
spark
数据分析
大数据
Hive数据仓库中的数据导出到MySQL的数据表不成功
可能的原因:(1)没有下载flume和sqoop(2)权限问题:因为MySQL数据库拒绝了root用户从
hadoop
3主机的连接请求,root用户没有从
hadoop
3主机进行连接的权限解决:通过MySQL
sin2201
·
2025-01-26 04:01
出错问题
数据仓库
hive
mysql
探秘FreeMovie:一个开源的电影推荐系统
技术分析FreeMovie的核心架构包括以下关键组件:数据处理-项目采用
Hadoop
进行大数据预处
孟振优Harvester
·
2025-01-26 02:39
用 Docker 搭建 Spark 集群
简介Spark是Berkeley开发的分布式计算的框架,相对于
Hadoop
来说,Spark可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率,目前收到广泛关注。
yeasy
·
2025-01-26 00:22
Bigdata
Docker
spark
Docker
云计算
集群
分布式计算
不同hive集群中基于表的数据一致性比对
前阵子博主遇到一个需求,因对
hadoop
集群进行数据迁移,数据迁移完毕后进行两个hive库的数据一致性的比对,不仅对源表数据进行比对,而且要同时使用两个集群加工相同数据,对加工后的数据进行数据一致性比对
AA赵师傅
·
2025-01-25 07:19
hadoop数据管理
hive
数据验证
数据迁移
hadoop
Hadoop
、Hive、Hbase集群间的数据迁移
一、
hadoop
集群间拷贝数据:迁移之前需要把两个集群的所有节点都互通/etc/hosts文件(重要,包括各个数据节点)两个集群版本不相同
hadoop
distcphftp://192.168.57.73
这个操蛋的人生!!!
·
2025-01-25 07:18
Hive面试题汇总
Hive定义Hive是建立在
Hadoop
上的数据仓库基础构架。可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
大数据侠客
·
2025-01-25 07:18
hive相关问题汇总及解决
hive
hadoop
数据仓库
面试
CDH大数据平台
CDH概念CDH(ClouderaDistributionIncludingApache
Hadoop
)是由Cloudera公司提供的一个集成了Apache
Hadoop
以及相关生态系统的发行版本。
梦龙zmc
·
2025-01-25 06:44
大数据
大数据
【大数据入门核心技术-Hive】(十六)hive表加载csv格式数据或者json格式数据
高可用集群搭建二、hive加载Json格式数据1、数据准备vistu.json[{"id":111,"name":"name111"},{"id":222,"name":"name22"}]上传到hdfs
hadoop
fs-putstu.j
forest_long
·
2025-01-24 12:27
大数据技术入门到21天通关
大数据
hive
hadoop
开发语言
后端
数据仓库
cascading 入门 (一)
1cascading是什么cascading是一个架构在
Hadoop
上的API,用来创建复杂和容错数据处理工作流。
zhumin726
·
2025-01-24 01:28
搭建单机伪分布式
Hadoop
+spark+scala
五、免密登陆1.创建ssh秘钥,输入如下命令,生成公私密钥2.将master公钥id_dsa复制到master进行公钥认证,实现本机免密登陆,测试完exit退出六、安装
Hadoop
软件1.解压hadoo
啥也不会0-0
·
2025-01-23 16:21
分布式
hadoop
spark
Hadoop
与 Spark:大数据处理的比较
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-23 16:50
大数据
经验分享
hadoop
spark
大数据
虚拟机VMware Workstation Pro安装集群+
hadoop
+spark+scala
参考资料:参考视频教程链接:大数据实验虚拟机安装
Hadoop
和Spark_哔哩哔哩_bilibiliup主:孤独时代的硕硕namenode安装选择镜像、路径、磁盘(最好不要c盘)、内存和处理器编辑名称与位置可点击此处自定义硬盘进行设置
落枫兮
·
2025-01-23 15:16
hadoop
spark
scala
Hadoop
分布式文件系统-HDFS架构
一、HDFS的简介HDFS全称
Hadoop
DistributedFileSystem,是分布式文件管理系统。
Fancs2024
·
2025-01-23 09:37
hadoop
hadoop
hdfs
TiDB 对
Hadoop
的影响:大数据时代的新选择
TiDB对
Hadoop
的影响:大数据时代的新选择随着大数据时代的到来,各种处理和存储海量数据的技术应运而生。
狮歌~资深攻城狮
·
2025-01-23 06:10
tidb
数据仓库
数据分析
数据库
分布式
Apache DolphinScheduler 限制秒级别的定时调度
但历史上出现过因配置的疏忽大意而产生故障时间,如应该配置每分钟执行的工作流被配置长了每秒执行,造成短时间内产生大量工作流实例,对ApacheDolphinScheduler服务可用性和提交任务的
Hadoop
·
2025-01-22 16:58
数据库
有了TiDB,是否还需要“散装”大数据组件?
最近和同事们讨论一个问题:在大数据应用日益增多的今天,如果使用了TiDB这样的一体化数据库,还需要使用那些传统的大数据组件(比如
Hadoop
、Spark等)吗?
狮歌~资深攻城狮
·
2025-01-22 15:02
tidb
数据仓库
数据分析
数据库
分布式
Hadoop
是什么,怎么部署安装?
Hadoop
是什么?
Hadoop
是一个由Apache基金会开发的开源分布式系统基础架构,主要用于处理和存储大规模数据集。
狮歌~资深攻城狮
·
2025-01-22 15:01
hadoop
大数据
分布式
azkaban的概况
Azkaban的性质azkaban是一个任务调度,管理系统,可以帮用户管理,调度各种运算任务的一个web服务器可以调度任何任务,只要你的任务能用脚本启动azkaban的类似的产品还有很多,例如
hadoop
北京小峻
·
2025-01-21 23:35
大数据
azkaban
mysql
数据库
基于
hadoop
的协同过滤算法电影推荐系统的设计与实现
基于
hadoop
的协同过滤算法电影推荐系统的设计与实现文章目录基于
hadoop
的协同过滤算法电影推荐系统的设计与实现1.背景介绍1.1电影推荐系统的重要性1.2传统推荐系统的缺陷1.3
Hadoop
在大数据处理中的作用
AI天才研究院
·
2025-01-21 23:32
大数据AI人工智能
AI大模型企业级应用开发实战
计算科学
神经计算
深度学习
神经网络
大数据
人工智能
大型语言模型
AI
AGI
LLM
Java
Python
架构设计
Agent
RPA
hive电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档]【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到
hadoop
QQ-1305637939
·
2025-01-21 22:28
毕业设计
大数据毕设
计算机毕业设计
hive
spring
boot
爬虫
hadoop
电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
全套视频教程全套开发文档
hadoop
电影数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示【
Hadoop
项目】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv
QQ-1305637939
·
2025-01-21 22:28
计算机毕业设计
毕业设计
大数据毕设
hadoop
spring
boot
爬虫
spark电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到
hadoop
QQ-1305637939
·
2025-01-21 22:58
毕业设计
大数据毕设
计算机毕业设计
spark
spring
boot
爬虫
大数据
电影推荐
电影分析
hadoop
图书数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫1万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
hadoop
图书数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫1万+数据大屏数据展示+[手把手视频教程和开发文档]【亮点功能】1.Springboot+Vue+Element-UI+Mysql
QQ-1305637939
·
2025-01-21 22:57
毕业设计
大数据毕设
图书数据分析
hadoop
spring
boot
爬虫
2024年最全(一)大数据---
Hadoop
整体介绍(架构层)----(组件,并发知识体系大全
Hadoop
方案一、大数据介绍============
2401_84586689
·
2025-01-21 21:19
程序员
大数据
hadoop
架构
大数据分析专业毕业设计最新最全选题精华汇总--持续更新中⑤
以下是学长精心整理的一些选题:21.基于
Hadoop
和Spa
源码空间站11
·
2025-01-21 20:37
python
django
大数据分析
数据可视化
hadoop
hive
大数据分析毕设
Hadoop
常用命令
查看指定目录下的文件及文件夹
hadoop
fs-ls/user/hive/warehouse/查看指定目录下的文件及文件夹大小#文件大小(单位Byte)
hadoop
fs-du/user/hive/warehouse
ZenPower
·
2025-01-21 06:59
hadoop
大数据
分布式
hadoop
常用命令汇总
1、查看目录下的文件列表:
hadoop
fs–ls[文件目录]
hadoop
fs-ls-h/lance2、将本机文件夹存储至
hadoop
上:
hadoop
fs–put[本机目录][
hadoop
目录]
hadoop
fs-putlance
m0_67402026
·
2025-01-21 06:59
java
java
后端
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他