E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop深入浅出
Hadoop
之MapReduce
1.MapReduce解决的问题1)数据问题:10G的TXT文件2)生活问题:统计分类上海市的图书馆的书2.MapReduce是什么MapReduce是一种分布式的离线计算框架,是一种编程模型,用于大规模数据集(大于1TB)的并行运算将自己的程序运行在分布式系统上。概念是:Map(映射)"和"Reduce(归约)指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduc
qq_43198449
·
2024-09-03 01:07
大数据技术之Flume 数据流监控——Ganglia 的安装与部署(11)
目录Flume数据流监控Ganglia的安装与部署Ganglia组件介绍1)安装Ganglia2)在
hadoop
12修改配置文件/etc/httpd/conf.d/ganglia.conf3)在
hadoop
12
大数据深度洞察
·
2024-09-03 00:33
Flume
大数据
flume
Hadoop
中的大数据技术:调优篇(3)
故障模拟终止NameNode进程[lzl@
hadoop
12current]$kill-919886删除NameNode存储的数据[lzl@
hadoop
12
hadoop
-3.1.3]$rm-rf/opt/
大数据深度洞察
·
2024-09-03 00:33
大数据
hadoop
分布式
【HBase之轨迹】(1)使用 Docker 搭建 HBase 集群
——目录——0.前置准备1.下载安装2.配置(重)3.启动与关闭4.搭建高可用HBase前言(贫穷使我见多识广)前边经历了
Hadoop
,Zookeeper,Kafka,他们的集群,全都是使用Docker
寒冰小澈IceClean
·
2024-09-02 22:49
【大数据之轨迹】
【Docker之轨迹】
笔记
hbase
docker
hadoop
Spark-submit提交任务的常用参数
#参数名称#含义--clusterc3prc-
hadoop
#--masterMASTER_URL#可以是spark://host:port,mesos://host:port,yarn,yarn-cluster
liuzx32
·
2024-09-02 20:22
hadoop
sdk使用_使用 .NET SDK 管理 HDInsight 中的 Apache
Hadoop
群集
全球版技术文档网站,若需要访问由世纪互联运营的MICROSOFTAZURE中国区技术文档网站,请访问https://docs.azure.cn.使用.NETSDK管理HDInsight中的Apache
Hadoop
weixin_39862484
·
2024-09-02 20:39
hadoopsdk使用
Hive 运行在 Tez 上
Tez下载Tez官网Tez在Hive上的运用前提要有
Hadoop
集群上传Tez压缩包到Hive节点上tar-zxvfapache-tez-0.9.1-bin.tar.gz-C/opt/module/tez
爱吃酸梨
·
2024-09-02 20:07
大数据
大数据开发技术HBase优化与特点分析
关闭HBase集群(如果没有开启则跳过此步)[atguigu@
hadoop
102hbase]$bin/stop-hbase.sh在con
at小白在线中
·
2024-09-02 13:32
大数据
经验笔记:
Hadoop
Hadoop
经验笔记一、
Hadoop
概述
Hadoop
是一个开源软件框架,用于分布式存储和处理大规模数据集。其设计目的是为了在商用硬件上运行,具备高容错性和可扩展性。
漆黑的莫莫
·
2024-09-02 03:54
随手笔记
笔记
hadoop
大数据
Docker技术入门与实战-第3版.pdf OCR 高清 可复制
-第3版.pdfOCR高清可复制Docker技术入门与实战-第3版.pdfOCR高清可复制简介预览下载地址Docker技术入门与实战-第3版.pdfOCR高清可复制简介本书从Docker基本原理开始,
深入浅出
地讲解
clicheeeeee
·
2024-09-01 22:24
Books
docker
linux
探索安全的边界:深入解析CVE-2023-7028——GitLab账户接管漏洞
本文旨在通过
深入浅出
的技术分析和场景探讨,为您提供对这一重要安全问题的理解,并非鼓励任何非法操作,而是增强我们对于
邹澜鹤Gardener
·
2024-09-01 21:19
Python大数据之
Hadoop
学习——day06_hive学习02
一.hive内外表操作1.建表语法create[external]table[ifnotexists]表名(字段名字段类型,字段名字段类型,...)[partitionedby(分区字段名分区字段类型)]#分区表固定格式[clusteredby(分桶字段名)into桶个数buckets]#分桶表固定格式[sortedby(排序字段名asc|desc)][rowformatdelimitedfiel
笨小孩124
·
2024-09-01 11:18
大数据
hadoop
学习
大数据毕业设计
hadoop
+spark+hive微博舆情情感分析 知识图谱微博推荐系统
(一)Selenium自动化Python爬虫工具采集新浪微博评论、热搜、文章等约10万条存入.csv文件作为数据集;(二)使用pandas+numpy或MapReduce对数据进行数据清洗,生成最终的.csv文件并上传到hdfs;(三)使用hive数仓技术建表建库,导入.csv数据集;(四)离线分析采用hive_sql完成,实时分析利用Spark之Scala完成;(五)统计指标使用sqoop导入m
qq_79856539
·
2024-09-01 11:16
javaweb
大数据
hadoop
课程设计
基于
hadoop
+spark的旅游大数据分析平台
S2023132基于
hadoop
+spark的旅游大数据分析平台使用BeautifulSoup爬取数据,爬取成功以后使用spark分析数据,将分析的结果保存到mysql,flask读取mysql数据,结合
源码空间站11
·
2024-09-01 11:16
hadoop
spark
旅游
大数据毕业设计天
hadoop
+spark+hive游戏推荐系统 游戏数据分析可视化大屏 steam游戏爬虫 游戏大数据 机器学习 知识图谱 计算机毕业设计 机器学习 深度学习 人工智能 知识图谱
|—||一、选题的目的和意义用户往往因为不能及时查看游戏信息而造成许多烦恼。另一方面,游戏商城平台没能进行系统的管理与维护使游戏信息没能及时的更新。而传统的游戏信息管理,采用的还是手工备案、人工查询的方式。但是随之游戏信息的增多这种管理方式的工作量不断加大,这种做法就存在费时费力、缺乏时效性、不利于调动人员的积极性等缺点。一旦网站建立好之后,一方面,用户可以在第一时间在系统里查询所需的信息,另一方
2401_84159688
·
2024-09-01 11:45
程序员
大数据
hadoop
人工智能
深入浅出
Kubernetes 的核心概念
Kubernetes迅速成为云环境中软件部署和管理的新标准。与强大的功能相对应的是陡峭的学习曲线。本文将提供Kubernetes的简化视图,从高处观察其中的重要组件,以及他们的关联。硬件(1)Node节点Node(节点)是计算资源的最小单位,表示集群中单台计算机。可能是数据中心里面的计算机,也可能是云中的虚拟机,还可能是其他的东西。Node就是一个抽象层,我们不必关注某台机器的特性,只需要简单的视
AI乔治
·
2024-09-01 03:03
【基于
Hadoop
3.3.6+Spark3.4.3电商用户行为分析】
基于
Hadoop
3.3.6+Spark3.4.3电商用户行为分析一、摘要二、正文2.1需求分析2.2架构设计2.3实施过程2.3.1系统环境说明2.3.2系统开发思路说明2.3.4代码实现及测试2.3.5
若兰幽竹
·
2024-09-01 00:09
大数据项目
大数据
基于
Hadoop
的高校教学管理平台设计与实现
文中就高校大数据平台的关键技术和架构进行阐述,结合高校实际情况,设计高校大数据平台架构,通过搭建
Hadoop
集群环境,以业务系统和平台之间的数据交互验证平台设计的可行性和优势。
这是辰辰啊
·
2024-09-01 00:38
hadoop
hadoop
大数据
Hive SQL练习之影评案例
找的练习hive,内容非原创链接https://www.cnblogs.com/frankdeng/p/9309668.html一、建表,导入数据1、建表[root@master
hadoop
]#hiveLogginginitializedusingconfigurationinjar
软件手
·
2024-08-31 17:23
Hive
mysql
hive
hadoop
sql
大数据
hadoop
日志文件
路径:/opt/homebrew/Cellar/
hadoop
/3.4.0/libexec/logs从你提供的输出信息来看,你正在查看
Hadoop
的日志文件目录(logs目录)。
静听山水
·
2024-08-31 17:51
Spark
hadoop
hadoop
常用地址
java:"/opt/homebrew/Cellar/openjdk/22.0.1/libexec/openjdk.jdk/Contents/Home"
hadoop
:1】sbin:/opt/homebrew
静听山水
·
2024-08-31 16:49
Spark
hadoop
Hadoop
技术栈
1.什么是
hadoop
(分布式软件框架)他提供了分步式数据存储分布式数据计算分布式资源调度为一体的整体解决方案1.1
hadoop
的用处可以部署在1台乃至成千上万台服务器节点上协同工作。
XingChen.
·
2024-08-31 16:48
分布式
hadoop
大数据
Spark SQL 结构化数据处理流程及原理是什么?
这篇文章
深入浅出
地告诉你SparkSQL3.x
我想去吃ya
·
2024-08-31 16:18
spark
sql
hive
数据库
大数据
【Mysql】通过Keepalived搭建mysql双主高可用集群
一、环境信息主机名ip操作系统mysql版本VIP(虚拟ip)
hadoop
01192.168.10.200centos7_x865.7192.168.10.253
hadoop
03192.168.10.202centos7
维运
·
2024-08-31 15:13
数据库
mysql
数据库
《
Hadoop
系列》Docker安装
Hadoop
文章目录Docker安装
Hadoop
1安装docker1.1添加docker到yum源1.2安装docker2安装
Hadoop
2.1使用docker自带的
hadoop
安装2.2免密操作2.2.1master
DATA数据猿
·
2024-08-31 12:16
Hadoop
Docker
docker
hadoop
docker安装
Hadoop
拉取镜像[root@ecs-e722~]#dockerpullregistry.cn-hangzhou.aliyuncs.com/
hadoop
_test/
hadoop
_baseUsingdefaulttag
悾说
·
2024-08-31 11:16
docker
hadoop
hadoop
docker
大数据
小白学习大数据测试之
hadoop
hdfs和MapReduce小实战
转发是对小编的最大支持在湿货|大数据测试之
hadoop
单机环境搭建(超级详细版)这个基础上,我们来运行一个官网的MapReducedemo程序来看看效果和处理过程。
大数据学习02
·
2024-08-30 11:39
读书分享:促进一般化的应对思维
今天有幸参加了朱老师的读书分享时间,果然功力深厚,
深入浅出
,形象化的比喻讲解把枯燥绕口的内容讲解成通俗易懂,来形象化地把读书分享这个场域比喻成充电宝,有事没事进来听一听,无论是你想说不想说想发
素心如竹焦点团队
·
2024-08-30 04:35
虚拟机安装
hadoop
,hbase(单机伪集群模式)
虚拟机安装
Hadoop
,Hbase工作中遇到了大数据方面的一些技术栈,没有退路可言,只能去学习掌握它,就像当初做爬虫一样(虽然很简单),在数据爆发的现在,传统的数据库mysql,oracle显然在处理大数据量级的数据时显得力不从心
流~星~雨
·
2024-08-29 21:31
大数据相关
hadoop
hbase
大数据
hive中的数据同步到hbase
关于
hadoop
,hive,hbase这三个技术栈我写了两篇博客简单的分享了我对这三个技术栈的一些看法,在我目前的认知里,
hadoop
提供hdfs这个组件来存储大数据量的数据(相比于mysql,oracle
流~星~雨
·
2024-08-29 21:31
大数据相关
hive
hbase
hadoop
hbase ExportSnapshot迁移hbase表
在源集群上准备快照:snapshot'credit_dict','credit_dict_snapshot20221117'list_snapshots复制快照到目标集群:hbaseorg.apache.
hadoop
.hbase.snapshot.ExportSnapshot
Rjunxiang
·
2024-08-29 16:56
hbase
hbase
大数据
hadoop
Hbase离线迁移
hadoop
distcp-Dmapreduce.job.hdfs-servers.token-renewal.exclude="xx.xx.xx.xx"-i-strat
我要用代码向我喜欢的女孩表白
·
2024-08-29 15:22
hbase
数据库
大数据
Python知识点:如何使用HBase与HappyBase进行分布式存储
HBase是一个基于
Hadoop
的开源分布式数据库,可以处理非常大的表。HappyBase是一个Python库,它提供了一个友好的接口来与HBase交互。
杰哥在此
·
2024-08-29 15:51
Python系列
分布式
python
hbase
编程
面试
努力按自己努力的方向活着
图片发自App今天看了白岩松的对白,觉得里面的一些观点很犀利,白岩松和崔永元是笔者很喜欢的两个主持人,一个犀利睿智,一个
深入浅出
,风格迥异,但都是有大智慧的人。
河东琛
·
2024-08-29 14:30
大模型提示词工程技术1-《大模型提示词工程技术》创作与前沿章节介绍
大模型提示词工程技术1-《大模型提示词工程技术》创作与前沿章节介绍,《大模型提示词工程技术》的作者:微学AI,这是一本专注于提升人工智能大模型性能的著作,它
深入浅出
地讲解了如何通过优化输入提示词来引导大模型生成高质量
微学AI
·
2024-08-29 11:53
大模型提示词技术
提示词工程
大模型
Spark-RDD迭代器管道计算
一、上下文《Spark-Task启动流程》中讲到我们提交Stage是传入的是这个Stage最后一个RDD,当Task中触发ShuffleWriter、返回Driver数据或者写入
Hadoop
文件系统时才触发这个
隔着天花板看星星
·
2024-08-29 07:24
spark
大数据
scala
关于这道填空题,你会如何回答?(附带学习链接)
小白的答案是:Java是铜牌,Linux是银牌,
Hadoop
是金牌,大数据是王牌。因为Java是学大数据的基础,有基础然后就可以学后续的;最后只有学好大数据这一王牌才能出去找一份比较好的工作。
csdn业界要闻
·
2024-08-29 05:09
Hdfs的机架感知与副本放置策略
1.介绍Apache
hadoop
机架感知
Hadoop
分布式文件系统(Hdfs)作为Apache
Hadoop
生态系统的的核心组件之一,通过机架感知和副本放置策略来优化数据的可靠性,可用和性能.Hdfs的机架感知和副本放置策略是其设计的关键组成部分
sheansavage
·
2024-08-29 01:42
hdfs
hadoop
大数据
【好书推荐5】《精通推荐算法:核心模块+经典模型+代码详解》
前些天发现了一个人工智能学习网站,内容
深入浅出
、易于理解。如果对人工智能感兴趣,不妨点击查看。写在最前面感谢大家的陪伴和支持!2024年,争取每周二开展粉丝
是Yu欸
·
2024-08-28 21:17
粉丝福利
学习
推荐算法
算法
机器学习
人工智能
数据挖掘
自然语言处理
Java高级技术day75:Zookeeper与Dubbo
一、Zookeeper的介绍1.Zookeeper介绍:顾名思义zookeeper就是动物园管理员,他是用来管
hadoop
(大象)、Hive(蜜蜂)、pig(小猪)的管理员,ApacheHbase和ApacheSolr
开源oo柒
·
2024-08-28 20:54
2021-01-22
刘老师
深入浅出
地讲解了绘本教学要做到几个要点,让我更加了解现在的绘本教学不在是老师问几个问题,孩子们坐在下面单纯回答问题,而是要链接游戏,让孩子们在游戏中理解绘本表达的意思,这样才能让孩子真正的成长。
同同_d7d5
·
2024-08-28 12:34
Spark on YARN
ApacheSpark和Apache
Hadoop
YARN是两个紧密相关的项目,它们经常一起使用来处理大规模数据集。
静听山水
·
2024-08-28 09:26
Spark
spark
大数据
分布式
Ubuntu下部署
Hadoop
集群+Hive(三)
Hive部署准备环境apache-hive-4.0.0-bin.tar.gz、mysql-connector-j-8.1.0.jar如果是离线安装的话,使用mysql-8.0.34-1.el7.x86_64.rpm-bundle.tar,在线安装的话则不用;hive下载地址:Indexof/hive(apache.org)mysqlconnector下载地址:MySQL::DownloadConn
岩屿
·
2024-08-28 01:07
hadoop
ubuntu
hive
深入 Rust 标准库,Rust标准库源代码系统分析
系列文章目录送书第一期《用户画像:平台构建与业务实践》送书活动之抽奖工具的打造《获取博客评论用户抽取幸运中奖者》送书第二期《SpringCloudAlibaba核心技术与实战案例》送书第三期《
深入浅出
Java
青花科技
·
2024-08-28 00:01
rust
开发语言
后端
深入浅出
fs-extra:Node.js文件操作的瑞士军刀
在Node.js的世界里,文件操作是日常开发不可或缺的一部分。虽然Node.js内置的fs(文件系统)模块提供了基本的文件读写能力,但在实际开发中,我们往往需要更多的功能和更简洁的API。这时候,fs-extra包就像是一把瑞士军刀,为我们提供了强大而便捷的文件操作工具。1,为什么选择fs-extra?fs-extra是对标准fs模块的扩展,它不仅包含了所有原生fs模块的方法,而且还添加了许多实用
NolanKy
·
2024-08-27 20:36
node.js
vim
编辑器
分享一个基于Spark的招聘数据可视化与分析系统
Hadoop
大数据源码(源码、调试、LW、开题、PPT)
作者:计算机源码社个人简介:本人八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流!学习资料、程序开发、技术解答、文档报告如需要源码,可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|基
计算机源码社
·
2024-08-27 20:05
大数据
大数据
spark
毕业设计项目
计算机毕业设计源码
计算机毕设论文
hadoop
计算机课程设计
Hadoop
:HA模式配置与实现
写的不到位的地方,欢迎评论指出不足之处一、检查系统环境1、HostName、Hosts、JDK、SSH、网络、防火墙、数据源二、集群角色分配表注:这只是实例服务器NameNodeNameNodeZookepperFailoverControllerDataNodeZookepperJournalNodeOneyes(NN2和其它节点免密)yesyesTwoyes(NN1和其它节点免密)yesyes
家道消乏
·
2024-08-27 08:14
Hadoop基础
hadoop
大数据
hdfs
大数据技术之Flume 企业开发案例——负载均衡和故障转移(6)
2)需求分析故障转移案例3)实现步骤准备工作在/opt/module/flume/job目录下创建group2文件夹[lzl@
hadoop
12job]$c
大数据深度洞察
·
2024-08-27 05:58
Flume
大数据
flume
负载均衡
zookeeper+KAFKA 集群搭建
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是
Hadoop
和Hbase的重要组件。
懵逼的运维弟弟
·
2024-08-26 16:28
Linux
zookeeper+KAFKA
集群搭建
(十五)Flink 内存管理机制
在大数据领域,很多开源框架(
Hadoop
、Spark、Storm)都是基于JVM运行,但是JVM的内存管理机制往往存在着诸多类似OutOfMemoryError的问题,主要是因为创建大量的实例,超过JVM
springk
·
2024-08-26 16:27
Flink全景解析
flink
大数据
实时数据
flink
内存管理
内存管理机制
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他