E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
java调用hadoop
Ubuntu下配置安装
Hadoop
2.2
---恢复内容开始---这两天玩
Hadoop
,之前在我的Mac上配置了好长时间都没成功的
Hadoop
环境,今天想在win7虚拟机下的Ubuntu12.0464位机下配置,然后再建一个组群看一看。
weixin_30501857
·
2025-02-15 15:55
大数据
java
运维
2014 6月,比较老了
AwesomeBigDataAcuratedlistofawesomebigdataframeworks,resourcesandotherawesomeness.Inspiredbyawesome-php,awesome-python,awesome-ruby,
hadoop
ecosystemtable
金金2019
·
2025-02-15 09:40
Hive服务启动 之 metastore配置 和 hiveserver2
首先贴直连配置代码:javax.jdo.option.ConnectionURLjdbc:mysql://
hadoop
102:3306/metastore?useSSL=fal
龍浮影
·
2025-02-15 08:33
hive
5. clickhouse 单节点多实例部署
环境说明:主机名:cmc01为例操作系统:centos7安装部署软件版本部署方式centos7zookeeperzookeeper-3.4.10伪分布式
hadoop
hadoop
-3.1.3伪分布式hivehive
Toroidals
·
2025-02-15 05:35
大数据组件安装部署教程
clickhouse
单节点
多实例
伪分布
安装部署
蓝易云 - HBase基础知识
HBase是一个分布式、可伸缩、列式存储的NoSQL数据库,它建立在
Hadoop
的HDFS之上,提供高可靠性、高性能的数据存储和访问。
蓝易云
·
2025-02-15 02:38
hbase
数据库
大数据
php
python
人工智能
JAVA访问调用python接口
因为工作需要,用到python,做cplex模型计算,研究了一下如何
java调用
python接口,并传输接受数据.首先你需要安装好python环境,之后导入flask包.这点就不多赘述了,参考网上很多教程都有
不秃头的小刘
·
2025-02-14 11:19
python
flask
开发语言
java
腾讯云大数据套件TBDS与阿里云大数据能力产品对比
我们最开始使用的都是开源的产品,比如
hadoop
,HDSF,MAPRedu
奋力向前123
·
2025-02-14 03:29
数据库
java
人工智能
腾讯云
大数据
阿里云
DS缩写乱争:当小海豚撞上AI顶流,技术圈也逃不过“撞名”修罗场
这个2019年诞生的分布式任务调度系统,凭借可视化DAG界面、多租户支持和对
Hadoop
/Spark生态的深度集成,一度是大数据工程师的“梦中情工”。
·
2025-02-12 18:58
数据库
1.
hadoop
1.0.0 source code
https://archive.apache.org/dist/
hadoop
/core/
hadoop
-1.0.0/
小阿小火苗
·
2025-02-12 07:18
hadoop
hadoop
1.0 基本概念了解
hadoop
基本概念了解common:
hadoop
组件公共常用工具类Avro:Avro是用于数据序列化的系统。不同机器之间数据交流的保障。
fenggfa
·
2025-02-12 07:48
hadoop
hadoop
大数据
mapreduce
深入理解
Hadoop
1.0.0源码架构及组件实现
本文还有配套的精品资源,点击获取简介:
Hadoop
1.0.0作为大数据处理的开源框架,在业界有广泛应用。该版本包含核心分布式文件系统HDFS、MapReduce计算模型、Common工具库等关键组件。
隔壁王医生
·
2025-02-12 07:14
如何在Java中实现高效的分布式计算框架:从
Hadoop
到Spark
如何在Java中实现高效的分布式计算框架:从
Hadoop
到Spark大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!
省赚客app开发者
·
2025-02-12 07:12
java
hadoop
spark
分布式架构设计全解:以银行系统为例
本文还有配套的精品资源,点击获取简介:分布式架构设计对于银行处理实时交易和数据分析至关重要,本文深入分析了
Hadoop
、F5、Dubbo和SpringCloud等技术在银行项目中的实际应用。
聚合收藏
·
2025-02-12 04:54
HiveQL命令(三)- Hive函数
ApacheHive作为一种流行的数据仓库工具,提供了丰富的内置函数,帮助用户高效地处理和分析存储在
Hadoop
分布式文件系统(HDFS)中的数据。这些内置函数涵盖了数值计算、字符
BigDataMagician
·
2025-02-11 12:00
HiveQL命令
hive
hadoop
数据仓库
【hudi】基于hive2.1.1的编译hudi-1.0.0源码
hudi版本1.0.0需要使用较低版本的hive,编译hudi只需要修改下类即可:org.apache.hudi.
hadoop
.hive.HoodieCombineHiveInputFormat一、复制
lisacumt
·
2025-02-10 22:10
大数据
掌握大数据--Hive全面指南
1.Hive简介2.Hive部署方式3.Hive的架构图4.Hive初体验5.HiveSQL语法--DDL操作数据库1.Hive简介ApacheHive是建立在
Hadoop
之上的一个数据仓库工具,它提供了一种类似于
纪祥_ee1
·
2025-02-10 22:40
大数据
hive
hadoop
ZooKeeper 技术全解:概念、功能、文件系统与主从同步
ZooKeeper作为一个由Apache维护的开源分布式协调服务框架,广泛用于
Hadoop
生态系统和其他需要协调的分布式环境中。
专业WP网站开发-Joyous
·
2025-02-10 15:14
Java
分布式
zookeeper
分布式
云原生
hadoop
之MapReduce:片和块
假如我现在500M这样的数据,如何存储?500M=128M+128M+128M+116M分为四个块进行存储。计算的时候,是按照片儿计算的,而不是块儿。块是物理概念,一个块就是128M,妥妥的,毋庸置疑。片是逻辑概念,一个片大约等于一个块。假如我现在需要计算一个300M的文件,这个时候启动多少个MapTask任务?答案是有多少个片儿,就启动多少个任务。一个片儿约等于一个块,但是最大可以128M*1.
哒啵Q297
·
2025-02-10 12:14
hadoop
mapreduce
大数据
Hadoop
智能房屋推荐系统 爬虫1w+ 协同过滤余弦函数推荐 代码+视频教程+文档
Hadoop
智能房屋推荐系统爬虫1w+协同过滤余弦函数推荐带视频教程毕设设计课题设计【
Hadoop
项目】1.data.csv上传到
hadoop
集群环境2.data.csv数据清洗3.MapReducer
小盼江
·
2025-02-10 04:05
课题设计
Hadoop
课设
hadoop
爬虫
大数据
DeepSeek 引发 AI 大模型战火
应用场景:三、Python:大模型开发的宠儿:3.1语言优势:3.2使用Python调用DeepSeek示例:3.3代码解释:3.4局限性:四、Java:企业级应用的中坚力量:4.1语言优势:4.2使用
Java
zxfxcbxc
·
2025-02-10 00:04
人工智能
计算机毕业设计
hadoop
+spark+hive新能源汽车数据分析可视化大屏 汽车推荐系统 新能源汽车推荐系统 汽车爬虫 汽车大数据 机器学习 大数据毕业设计 深度学习 知识图谱 人工智能
(1)设计目的本次设计一个基于Hive的新能源汽车数据仓管理系统。企业管理员登录系统后可以在汽车保养时,根据这些汽车内置传感器传回的数据分析其故障原因,以便维修人员更加及时准确处理相关的故障问题。或者对这些数据分析之后向车主进行预警提示车主注意保养汽车,以提高汽车行驶的安全系数。(2)设计要求利用Flume进行分布式的日志数据采集,Kafka实现高吞吐量的数据传输,DateX进行数据清洗、转换和整
qq+593186283
·
2025-02-09 21:35
hadoop
大数据
人工智能
Hadoop
解决数据倾斜方法?思维导图 代码示例(java 架构)
为了解决这个问题,
Hadoop
提供了多种策略和技术手段来优化数据分布和任务分配。以下是关于
Hadoop
解决数据倾斜的方法总结、思维导图描述以及Java代码示例。
Hadoop
解决数据倾斜方法概述
用心去追梦
·
2025-02-09 16:04
hadoop
java
架构
Ranger Hive Service连接测试失败问题解决
个人博客地址:RangerHiveService连接测试失败问题解决|一张假钞的真实世界异常信息如下:org.apache.ranger.plugin.client.
Hadoop
Exception:UnabletoconnecttoHiveThriftServerinstance
一张假钞
·
2025-02-09 11:00
hive
hadoop
数据仓库
python操作hbase创建表(一)
thrift来操作hbase在开发环境安装python库pipinstallthriftpipinstallhbase-thrifthbase中需要开启hbase-daemon.shstartthrift
hadoop
金融小白数据分析之路
·
2025-02-09 08:10
大数据
hbase
python
数据库
spark安装与环境配置
1.安装spark官网http://spark.apache.org/downloads.html考虑到spark之后要结合
hadoop
一起使用,所以下载和已经安装
hadoop
版本均兼容的spark(首先安装好
Handoking
·
2025-02-09 08:03
大数据进阶中
spark
python
安装
ClickHouse vs StarRocks 选型对比
一、面向列存的DBMS新的选择
Hadoop
从诞生已经十三年了,
Hadoop
的供应商争先恐后的为
Hadoop
贡献各种开源插件,发明各种的解决方案技术栈,一方面确实帮助很多用户解决了问题,但另一方面因为繁杂的技术栈与高昂的维护成本
金州饿霸
·
2025-02-09 00:07
Big
Data
分布式数据库
clickhouse
StarRocks和ClickHouse对比
经过研究,StarRocks与ClickHouse作为OLAP数据库在某些场景下都展现出极端的性能表现,且都不依赖于Apache
Hadoop
生态系统。
靴子学长
·
2025-02-08 20:41
clickhouse
数据库
数据库架构
java
spark on yarn-cluster在生产环境 部署 spark 任务, 同时支持读取外部可配置化文件
Spark中,有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上,通常Yarn-cluster适用于生产环境,而Yarn-Cluster更适用于交互,调试模式提示:前提条件有
hadoop
千里风雪
·
2025-02-08 20:40
spark
linux运维
spark
大数据
hadoop
【MapReduce】分布式计算框架MapReduce
它的设计初衷是解决搜索引擎中大规模网页数据的并行处理问题,之后成为Apache
Hadoop
的核心子项目。它是一个面向批处理的分布式计算框架;在分布式环境中,MapRedu
桥路丶
·
2025-02-08 15:00
大数据Hadoop快速入门
big
data
hive 连接Datagrip失败
在hive目录下使用beeline命令:bin/beeline-ujdbc:hive2://
hadoop
102:10000-nsxr具体的报错信息如下所示:解决办法:在
hadoop
的core-site.xml
都给我吃吧
·
2025-02-08 06:55
hive
hadoop
大数据
分布式
Hive之数据操作DML
Load)通过查询语句向表中插入数据(Insert)查询语句中创建表并加载数据(AsSelect)创建表时通过Location指定加载数据路径Import数据到指定Hive表中5.2数据导出Insert导出
Hadoop
WHYBIGDATA
·
2025-02-08 06:55
Hive
hive
hadoop
大数据
一文了解mapreduce及工作原理
目录前言-MR概述1.
Hadoop
MapReduce设计思想及优缺点设计思想优点:缺点:2.
Hadoop
MapReduce核心思想3.MapReduce工作机制剖析MapReduce运行机制过程描述第一阶段
TEL浅笑嫣然
·
2025-02-07 20:22
openstack
大数据
hadoop
笔记
2024-JAVA-大数据-面试汇总_大数据java部门面试(1)
Hive是基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能33.说说内部表和外部表的区别?
2401_84141419
·
2025-02-07 19:15
程序员
java
大数据
面试
大数据-267 实时数仓 - ODS Lambda架构 Kappa架构 核心思想
目前已经更新到了:
Hadoop
(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis
m0_74823336
·
2025-02-07 16:57
面试
学习路线
阿里巴巴
大数据
架构
Hbase基础
1.HBase简介HBASE理论HBase是一个基于
Hadoop
的分布式、面向列的开源数据库,对大数据实现了随机定位和实时读写。
yandao
·
2025-02-07 13:38
hadoop
hbase
big
data
hadoop
nginx+flume网络流量日志实时数据分析实战_日志数据分析(1)
得到visits模型
hadoop
jar/export/data/mapreduce/web_log.jarcn.itcast.bigdata.weblog.clickstream.ClickStreamVisit
2401_84182578
·
2025-02-07 11:22
程序员
nginx
flume
数据分析
【大数据入门核心技术-Flume】(二)Flume安装部署
目录一、准备工作1、基本
Hadoop
环境安装2、下载安装包二、安装1、解压2、修改环境变量3、修改并配置flume-env.sh文件4、验证是否安装成功一、准备工作1、基本
Hadoop
环境安装参考
Hadoop
forest_long
·
2025-02-07 08:33
大数据技术入门到21天通关
big
data
hadoop
大数据
hbase
flume
Java调用
rabbitmq监听_RabbitMQ:@RabbitListener 与 @RabbitHandler 及 消息序列化
添加@RabbitListener注解来指定某方法作为消息消费的方法,例如监听某Queue里面的消息MessageConvert涉及网络传输的应用序列化不可避免,发送端以某种规则将消息转成byte数组进行发送,接收端则以约定的规则进行byte[]数组的解析RabbitMQ的序列化是指Message的body属性,即我们真正需要传输的内容,RabbitMQ抽象出一个MessageConvert接口处
Kingkongmilo
·
2025-02-07 04:31
大数据集群搭建基础:
Hadoop
完全分布式搭建学习指南!!
Hadoop
完全分布式搭建学习指南
Hadoop
版本:
Hadoop
2.XJDK版本:JDK1.8一、准备工作设置主机名和IP在三台CentOS7.4机器上分别设置主机名和IP:node1:192.168.14.10node2
初次知晓
·
2025-02-07 01:16
大数据
分布式
hadoop
如何处理大规模数据集中的数据处理:Spark和ApacheFlink
文章目录1.简介2.基本概念术语说明数据处理(DataProcessing)任务调度(TaskScheduling)
Hadoop
ApacheSparkApacheFlink3.核心算法原理和具体操作步骤以及数学公式讲解
AI天才研究院
·
2025-02-07 01:43
DeepSeek
R1
&
大数据AI人工智能大模型
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
Hudi VS Doris 使用分析
Hudi(
Hadoop
UpsertsDeletesandIncrementals)定位-面向数据湖的增量写入、更新与删除技术。
sunxunyong
·
2025-02-07 01:13
数据库
Hive-Container killed by YARN for exceeding memory limits. 9.2 GB of 9 GB physical memory used. Cons...
Jobabortedduetostagefailure:Task3instage0.0failed4times,mostrecentfailure:Losttask3.3instage0.0(TID62,
hadoop
7
嘣嘣嚓
·
2025-02-07 01:41
spark
hive
boosting
scala
big
data
CDH+Kylin三部曲之三:Kylin官方demo
《CDH+Kylin三部曲之二:部署和设置》:完成CDH和Kylin部署,并在管理页面做好相关的设置;现在
Hadoop
、Kylin都就绪了,接下来实践Kylin的官方demo;Yarn参数设置Yarn的内存参数设置之后一定要重启
2401_89740692
·
2025-02-07 00:07
kylin
大数据
数据开发八股文整理-
Hadoop
什么是
hadoop
Hadoop
是一个分布式系统基础架构,主要解决海量数据的存储和海量数据的分析计算问题
Hadoop
运行模式本地模式和为分布式模式都是单机运行完全分布模式即是多台服务器组成分布式环境
Hadoop
兔子宇航员0301
·
2025-02-06 18:59
数据开发小白成长笔记
hadoop
大数据
分布式
HIVE常见面试题
1.简述hiveHive是一个构建在
Hadoop
之上的数据仓库工具,主要用于处理和查询存储在HDFS上的大规模数据。
兔子宇航员0301
·
2025-02-06 18:59
数据开发小白成长笔记
hive
hadoop
数据仓库
如何搭建
Hadoop
高可用集群
一、集群配置图在搭建集群之前,我们要考虑好集群中各个机器的配置。这里以四台机器为例,配置图如下:集群配置图ant151ant152ant153ant154NameNodeNameNodeDataNodeDataNodeDataNodeDataNodeNodeManagerNodeManagerNodeManagerNodeManagerResourceManagerResourceManagerJ
Alcaibur
·
2025-02-06 13:24
hadoop
大数据
java
使用python实现
Hadoop
中MapReduce
Hadoop
包含HDFS(分布式文件系统)、YARN(资源管理器)、MapReduce(编程模型)。
qq_44801116
·
2025-02-06 06:10
Python
python
hadoop
mapreduce
【大数据技术】编写Python代码实现词频统计(python+
hadoop
+mapreduce+yarn)
编写Python代码实现词频统计(python+
hadoop
+mapreduce+yarn)搭建完全分布式高可用大数据集群(VMware+CentOS+FinalShell)搭建完全分布式高可用大数据集群
Want595
·
2025-02-06 06:05
Python大数据采集与分析
大数据
python
hadoop
Hadoop
1.0和2.0的主要区别
Hadoop
1.0指的是版本为Apache
Hadoop
0.20.x、1.x或者CDH3系列的
Hadoop
,组件主要由HDFS和MapReduce两个系统组成,HDFS是一个分布式文件存储系统,MapReduce
web_15534274656
·
2025-02-06 03:43
java
hadoop
大数据
hdfs
dubbo
java-zookeeper
Hadoop
1.0-HDFS介绍
Hadoop
是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括
Hadoop
Common、HDFS与MapReduce。
szjianzr
·
2025-02-06 03:13
HADOOP介绍
hadoop
HDFS
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他