E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
研磨hadoop
基于JavaWeb+BS架构+SpringBoot+Vue+
Hadoop
的物品租赁系统的设计与实现
基于JavaWeb+BS架构+SpringBoot+Vue+
Hadoop
的物品租赁系统的设计与实现文末获取源码Lun文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例《500套》
FREE技术
·
2024-01-18 00:17
计算机专业毕业设计
spring
boot
Note08:Hive-1.2.2安装配置
安装包下载安装地址:http://archive.apache.org/dist/hive/把安装包上传到/opt/software目录解压[kevin@
hadoop
112software]$tar-zxvfapache-hive
K__3f8b
·
2024-01-18 00:22
【若泽大数据第二天】--MySQL二进制部署
1、通过winscp上传MySQL5.6安装文件2、判断一下服务器是否安装了MySQL3、解压MySQL安装文件并进行重命名[root@
hadoop
001~]#tar-zxvfmysql-5.6.23-
naroutofan
·
2024-01-17 21:52
[CDH5] Oozie web console is disabled 问题解决
Ooziewebconsoleisdisabled.问题解决:下载ExtJS2.2:下载地址:http://archive.cloudera.com/gplextras/misc/ext-2.2.zip上传到服务器并解压[root@
hadoop
1libext
尼小摩
·
2024-01-17 19:12
IDEA插件安装ZooKeeper
zookeeper介绍Zookeeper是Apacahe
Hadoop
的子项目,可以为分布式应用程序协调服务,适合作为Dubbo服务的注册中心,负责服务地址的注册与查找,相当于目录服务,服务提供者和消费者只在启动时与注册中心交互
冰冰很社恐
·
2024-01-17 19:07
java-zookeeper
intellij-idea
zookeeper
Hadoop
集群安装(入门级)
Hadoop
集群安装配置三台主机(每台主机都需要配置)修改IP使用vi/etc/sysconfig/network-scripts/ifcfg-xx不同的机器可能不同修改三台主机ipaddr地址如下192.168.200.101master192.168.200.102slave1192.168.200.103slave2
blueoftravel
·
2024-01-17 17:20
HDFS简介与常用API
HDFS简介HDFS是一个文件系统(
Hadoop
DocumentFileSystem),通过目录树来定位文件。其次,它是分布式的。HDFS适用于:一次写入,多次读出的场景。
正橙橙橙橙
·
2024-01-17 16:45
Hadoop入门
hadoop
hdfs
java
ZooKeeper 原理及其在
Hadoop
和 HBase 中的应用
简介ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。基本概念本节将介绍ZooKeeper的几个核心概念。这些概念贯穿于之后对ZooKeeper更深入的讲解,因此有必要预先了解这些概念。集群角色在
Java程序员YY
·
2024-01-17 15:08
hadoop
3.3.4 编译报错记录
现在centos7.6,docker19.x版本会缺少一些依赖包不能一次编译过
hadoop
3.3.4注意BUILDING.txt依赖环境的版本二,报错信息1.cmake-compile(cmake-compile
第一次看海
·
2024-01-17 15:31
hadoop
hdfs
大数据
大数据——CentOS 7加装虚拟机存储空间、CPU和内存
和内存准备条件一台已经配置好的虚拟机虚拟机安装和配置扩容前扩展空间点击扩展增加存储空间,点击扩展这时会提醒你,让你从操作系统中重新进行分区点击确定打开虚拟机操作系统中进行分区扩展文件系统打开虚拟机查看一下磁盘大小[root@
hadoop
1002
蜂蜜柚子加苦茶
·
2024-01-17 13:05
linux
centos
操作系统
大数据
介绍 Apache Spark 的基本概念和在大数据分析中的应用
Spark的主要特点包括:快速:Spark使用内存计算技术,可以比传统的批处理系统(如
Hadoop
)快上数十倍甚至更多。它通过将数据存储在内存中来避免磁盘读写的开销,从而提供更快的数据处理速度。灵活:
酷爱码
·
2024-01-17 11:45
经验分享
spark
大数据
分布式
大数据开发之
Hadoop
(HDFS)
2、HDFS定义HDFS(
Hadoop
DistributedFileSystem),它是一个文件系统,用于存储文
Key-Key
·
2024-01-17 10:22
大数据
hadoop
hdfs
hadoop
-common /native/src/exception.c : error: function-like macro ‘__GLIBC_PREREQ‘ is not defined
1.问题来源mac上编译
hadoop
源码的时候遇到如下错误1errorgenerated.
寂夜了无痕
·
2024-01-17 10:21
大数据搭建问题
hadoop
大数据
大数据开发之
Hadoop
(入门)
第1章:
Hadoop
概述1.1
Hadoop
是什么1、
Hadoop
是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决,海量数据的存储和海量数据的分析计算问题。
Key-Key
·
2024-01-17 09:19
大数据
hadoop
分布式
hadoop
-common: CMake failed with error code 1
问题在编译
hadoop
源码时遇到如下错误
hadoop
-common:CMakefailedwitherrorcode1看了这个错误表示一脸懵逼排查在mvn的命令中增加-X和-emvncleanpackage-e-X-Pdist
寂夜了无痕
·
2024-01-17 09:49
大数据搭建问题
hadoop
hadoop
源码编译
Hive数据导出的四种方法
hive数据仓库有多种数据导出方法,我在本篇文章中介绍下面的四种方法供大家参考:Insert语句导出、
Hadoop
命令导出、Hiveshell命令导出、Export语句导出。
冬瓜的编程笔记
·
2024-01-17 08:31
大数据
hive
hadoop
数据仓库
java链接hive数据库实现增删改查操作
首先,确保已经安装了Hive,并且
Hadoop
集群正在运行。然后,根据Hive版本下载相应的HiveJDBC驱动程序。可以从ApacheHive官方网站下载。
酷爱码
·
2024-01-17 08:30
java技术教程
java
hive
数据库
hive除数取整
简介Hive是一个构建在
Hadoop
上的数据仓库基础设施,它提供了一个类似于SQL的查询语言,用于处理大规模的结构化数据。在Hive中,我们常常需要对数据进行数学运算,包括除法操作。
cuisidong1997
·
2024-01-17 08:30
hive
hadoop
数据仓库
Kafka详解及常见面试问题解析(值得珍藏)
对于像
Hadoop
一样的日志数据和离线分析系统,但又要求实时处理的限制,
孤蓬&听雨
·
2024-01-17 07:29
知识库
面试资料
kafka
面试
分布式
消息队列
Mac M1芯片本地安装
hadoop
集群填坑之路
文章目录背景环境前置知识安装过程#bug1#bug2#bug3背景学习一项技能的最好方式自然是理解+实践,在了解了
hadoop
的基本概念后我开始尝试在本地搭建一个集群环境用于进一步学习。
喵王叭
·
2024-01-17 06:46
大数据
hadoop
macos
大数据
Hadoop
——HDFS、MapReduce、Yarn期末复习版(搭配尚硅谷视频速通)
一、HDFS1.HDFS概述1.1HDFS定义HDFS(
Hadoop
DistributedFileSystem),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能
革斤要加油
·
2024-01-17 06:10
专业课
hadoop
hdfs
mapreduce
yarn
阿里云服务器ECS安装图形界面
系列文章目录华为云耀云服务器试用领取领取的试用云耀云服务器在哪阿里云服务器免费试用领取
Hadoop
3.3.5云耀云服务器安装教程-单机/伪分布式配置阿里云服务器ECS安装图形界面文章目录系列文章目录前言安装步骤前言我们在安装图形界面时
柔雾
·
2024-01-17 06:59
阿里云
服务器
云计算
Centos7.0上docker的使用
Centos7.0上docker的使用前言安装dockerdocker打包SpringBoot项目docker搭建
hadoop
集群前言docker是基于go语言而开发的容器,和虚拟机如OracleVm有着异曲同工之妙
legendaryhaha
·
2024-01-17 06:51
Linux
docker
Springboot打包
hadoop搭建
HBase的协处理器
比如,在旧版本的(hbase.coprocessor.user.region.classesorg.apache.
hadoop
.hbase.coprocessor.AggregateImplementation
临界爵迹
·
2024-01-17 06:43
大数据
数据库
hbase
hadoop
之yarn
yarn简单介绍:yarn是
hadoop
集群当中的资源管理系统模块,从
hadoop
2.x开始引入yarn来进行管理集群当中的资源(主要是服务器的各种硬件资源,包括CPU,内存,磁盘,网络IO等)以及运行在
临界爵迹
·
2024-01-17 06:42
大数据
hadoop
hadoop
之shuffle
map端:1、读取数据源2、将数据切片(每片128M),切分成一个个的split3、启动mapTask,mapTask个数和split个数一样,开始执行任务4、mapTask将数据读入内存,存在一个内存环形缓冲区(mapreduce.task.io.sort.mb=100,可自定义);当该区域中的容量到达80%(默认mapreduce.map.sort.spill.percent=0.8,可自定义
临界爵迹
·
2024-01-17 06:42
大数据
hadoop
从 Linux 安装到
Hadoop
环境搭建全过程
Hadoop
环境搭建从Linux的最小化安装到
Hadoop
环境的搭建,尽可能详尽介绍每个步骤。
奇妙的代码
·
2024-01-17 05:58
Linux
hadoop
linux
大数据
【教程】集群搭建准备工作全流程
基于VMware创建虚拟机进行集群搭建,适用于
hadoop
/GreenPlum等集群之前已经创建了三台虚拟机
hadoop
102,
hadoop
103,
hadoop
104来搭建
hadoop
集群,因为目前学习到了
THE WHY
·
2024-01-17 04:12
大数据
大数据
分布式
运维
hadoop
学习
电商项目实战
Hadoop
实现
1、用户行为日志概述每一次访问的行为(包括访问,搜索、等)产生的日志历史行为数据《==历史订单==》推荐==〉订单的转换率2、为什么要记录用户行为日志根据行为日志分析可以很好的有针对性的对不同用户推荐不同商品,以及不同广告的推送3、日志内容介绍日志产生的渠道有nginx日志、ajax加载的一些动态的图片、位置啊等等信息。本次我们提供了一个电商日志打~/data/trackinfo_20130721
zhaoxiaoba123
·
2024-01-17 02:44
Hadoop
hadoop
数据库
大数据
securecrt密码与账户正确却登不上ubuntu
我的账户名为
hadoop
如下:于是尝试用这个账户名和密码去登录ssh报错:根本原因在于这个username是错的,应该用控制台中的名字:ps:密码是一样的
linpaomian
·
2024-01-17 02:43
ssh
linux
运维
hadoop
【项目实战】基于
Hadoop
大数据电商平台用户行为分析与可视化系统Hive、Spark计算机程序开发
注意:该项目只展示部分功能,如需了解,评论区咨询即可。本文目录1设计背景2设计意义3系统展示3.1页面展示3.2视频展示4更多推荐5部分功能代码1设计背景在当今数字化时代,电商行业成为全球商业生态系统的关键组成部分,电商平台已经深入各行各业,影响了人们的购物方式和消费习惯。随着互联网技术的不断发展,电商平台产生了大量的用户数据,包括点击、购买、搜索、浏览历史等行为数据。这些数据蕴含着宝贵的商业洞察
Q2643365023
·
2024-01-17 02:43
项目
大数据
hadoop
大数据
hive
大数据实战(
hadoop
+spark+python):淘宝电商数据分析
一,运行环境与所需资源:虚拟机:Ubuntu20.04.6LTSdocker容器
hadoop
-3.3.4spark-3.3.2-bin-
hadoop
3python,pyspark,pandas,matplotlibmysql
linpaomian
·
2024-01-17 02:13
大数据
hadoop
spark
docker
数据分析
干货分享|使用Yarn标签机制实现任务资源隔离
在
Hadoop
YARN中,标签(Labels)机制是一种资源管理的特性,它允许你对节点和应用程序进行分类,可以有效地进行资源管理和调度。
KubeData
·
2024-01-17 02:11
大数据技术
大数据
yarn
HDFS 机架感知配置导致数据不均衡
HDFS机架感知是一种逻辑上的网络架构设计,它主要是用来区分不同节点的网络拓扑情况下,保证数据是能够高性能写入和查询的一种机制,毕竟跨网络的数据读写是有网络带宽消耗的,当没有配置机架信息时,所有的机器
hadoop
KubeData
·
2024-01-17 02:41
hdfs
hadoop
大数据
Hive数学函数讲解
Hive是一个基于
Hadoop
的数据仓库工具,它支持类似于SQL的查询语言HiveQL,并且提供了许多内建的数学函数来处理数值数据。下面我将逐一讲解您提到的这些数学函数,并提供一些使用案例和注意事项。
田晖扬
·
2024-01-17 02:55
hive内置函数讲解
hive
hadoop
数据仓库
Hadoop
详解
Hadoop
概念就是一个大数据解决方案。它提供了一套分布式系统基础架构。核心内容包含hdfs和mapreduce。
武昌库里写JAVA
·
2024-01-16 21:20
高手面试
hadoop
大数据
分布式
「Kafka」Broker篇
KafkaBroker总体工作流程Zookeeper存储的Kafka信息启动Zookeeper客户端:[atguigu@
hadoop
102zookeeper-3.5.7]$bin/zkCli.sh通过ls
小成同学_
·
2024-01-16 21:44
Kafka
kafka
分布式
java
后端
中间件
Hudi0.14.0最新编译(修订版)
1编译环境Java1.8maven3.9.3
hadoop
3.3.4hive3.1.3spark3.2.1flink1.16.0hudi0.14.02hudi准备2.1源码$gitclonehttps:/
跟着大数据和AI去旅行
·
2024-01-16 20:40
大数据企业级实战
hudi
架构简介,到底什么是架构?
我们经常对新员工培训整个系统的架构,参加架构设计评审,学习业界开源系统(例如,MySQL、
Hadoop
)的架构,研究大公司的架构实现(例如,微信架构、淘宝架构)……虽然“架构”这个词常见,但如果深究一下
星猿杂谈
·
2024-01-16 18:51
软件架构
编程经验
架构
大数据学习入门到实战教程,精心整理万字长文入门,老奶奶看了都说学会了
换个角度说,大数据是:1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具(
hadoop
、spark、storm、flink、tez
悦悦学Python
·
2024-01-16 18:10
hive:创建自定义python UDF
由于
Hadoop
框架是用Java编写的,大多数
Hadoop
开发人员自然更喜欢用Java编写UDF。
-柚子皮-
·
2024-01-16 16:35
Database
hive
python
udf
记录学习Spark+Kafka构建实时分析Dashboard案例中遇到的问题(一)安装
目录推荐环境系统和软件安装安装Ubuntu分辨率问题虚拟机桥接模式连不上网
Hadoop
安装Ubuntu16.04下用aria2下载百度网盘大文件其他在安装
hadoop
时遇到的问题
hadoop
用法小结单机模式伪分布式
白令屿
·
2024-01-16 13:53
大数据处理
spark
kafka
python
大数据
大数据实战——基于
Hadoop
的Mapreduce编程实践案例的设计与实现
基于
Hadoop
的Mapreduce编程实践案例的设计与实现一、数据排序案例的设计与实现1.1设计思路1.2实践过程1.3成果展示+数据可视化分析二、求数据平均值案例的设计与实现2.1设计思路2.2实践过程
ZShiJ
·
2024-01-16 11:27
虚拟机
大数据
hadoop
mapreduce
Flume用法总结
在
Hadoop
生态系统中,规模最大,知名度最高的公司就是Cloudera,2008年成立的Cloudera是最早将
Hadoop
商用的公司,为合作伙伴提供
Hadoop
商用解决方案。
天选之子123
·
2024-01-16 10:53
大数据
flume
大数据
Kafka入门基本概念(详细)
对于像
Hadoop
一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoo
学会用脚编程
·
2024-01-16 10:17
kafka
分布式
HIve项目入门 环境部署遇到的问题及解决方案
环境布置的步骤建议是jdk,
hadoop
hive这几个分别去下载,参考以下几个安装教程:【主要参考:傻瓜式教程】Windows下安装HiveMySQL版【附安装
Hadoop
教程】全网最详细的图文教程【有一些补充的内容
Manchesterr
·
2024-01-16 09:47
数据分析岗位
hive
hadoop
数据仓库
001 大数据爱好者的
Hadoop
教程-学习
Hadoop
的最佳方式
000
Hadoop
TutorialforBigDataEnthusiasts–TheOptimalwayofLearning
Hadoop
Hadoop
Tutorial–Oneofthemostsearchedtermsontheinternettoday.Doyouknowthereason
胡巴Lei特
·
2024-01-16 09:27
3.6日日精进
今天给宝马严气门用严磨砂来回磨先是用机油跟
研磨
沙搅拌一下在抹在气门口上奖气门润滑装上之后让气门来回在缸盖上进行磨合最后在试漏就行了
京心达侯天祥
·
2024-01-16 09:27
基于CentOS7利用docker搭建
hadoop
环境
一、任务目标在之前已经安装好的CentOS虚拟机上,在Docker上,安装
hadoop
。
Cupcake_JackY
·
2024-01-16 07:50
linux
docker
hadoop
Hive 数据迁移
二、思路三、同步数据(方案)1、环境:断直连模拟环境2、操作机器:ETL机器XX.14.36.2163、工作路径:cd/usr/local/fql
hadoop
/
hadoop
/bin4、执行命令:命令格式
bigdata-余建新
·
2024-01-16 07:14
Hive
hive
hadoop
数据仓库
上一页
15
16
17
18
19
20
21
22
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他