E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
云计算hadoop
Flink1.8 on yarn 环境搭建及使用
tgz,然后解压下载地址https://flink.apache.org/downloads.html或https://www.apache.org/dyn/closer.lua/flink/二、下载
hadoop
magic_kid_2010
·
2023-12-28 13:42
Flink
flink1.8
yarn
HDFS 短路读的实现(全网最全面深入讲解)
文章目录前言1.知识准备1.1关于域套接字(DomainSocket)什么是DomainSocketDomainSocket通信在ShortCircuitRead中做了什么DomainSocket在
Hadoop
小昌昌的博客
·
2023-12-28 13:38
大数据架构
实现
hadoop
java
短路读
hdfs
ShortCircuit
hadoop
域套接字
Domain
Socket
mmap
Hadoop
2.4 完全分布式环境安装与配置
依赖项Java1.从http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html下载tar.gz格式的,32位和64位机器对应下载,这里下的是64位的wgethttp://download.oracle.com/otn-pub/java/jdk/7u51-b13/jdk-7u51-linux-
王下邀月熊-WxChevalier
·
2023-12-28 13:06
hadoop
2.4
yarn
hdfs
mapreduce
springboot远程连接HDFS-
hadoop
3.0
一.
hadoop
前置环境:
hadoop
3.0+CDH6.1这里默认已经在linux环境配置好;如何安装hodoop不在本次范围内;注意:此时集群没有开启Kerberos认证我的环境:win10+IDEA2019.3
尚云峰
·
2023-12-28 13:33
spring
boot
springboot
hadoop
HDFS
java.net.UnknownHostException:
hadoop
搭建完成
hadoop
使用zookeeper作为群集管理器的HA后。用eclipse客户端连接
hadoop
。
綠竹清水之福荫
·
2023-12-28 13:33
hadoop
mycluster
hadoopha
hadoopclu
Hadoop
源码分析---Namenode和Datanode
一、
Hadoop
RPC框架1.
hadoop
ipc框架代码位于org.apache.
hadoop
.ipc包内,有一个抽象类Server,实现监听服务的功能。
编程小王子啊
·
2023-12-28 13:33
CSDN大数据专栏
java
hadoop
大数据
hdfs
hadoop
面试问题
1当前你们公司使用的
Hadoop
版本是什么
Hadoop
cdh-5.7.6/
hadoop
-2.6.02HDFS常见的数据压缩格式有哪些,介绍其中一种详细的实现方式Gzip优点是压缩率高,速度快。
code学习社
·
2023-12-28 13:31
【
Hadoop
】RPC在client端的源码解析
最近在看《
Hadoop
2.XHDFS源码剖析》这本书(其实看了挺久的,但是进度比较慢),要看懂
hadoop
源码真的是需要一定的代码和框架的基础,用到的东西还真是蛮多的,真的厉害,哎,我太菜了~我们会用
hadoop
lsr40
·
2023-12-28 13:01
hadoop
2.X版本的一个通病问题
【概述】对于配置了HA模式的RM或者NN,客户端如果向standby的节点发送请求,会因为不可连接或standby拒绝提供服务导致请求失败,转而向Active的节点发送请求,这个转换是
hadoop
客户端内部自动完成的
陈猿解码
·
2023-12-28 13:29
hadoop
hdfs
java
分布式
zookeeper
spring
hadoop
HDFS2.x之RPC流程分析
HDFS2.x之RPC流程分析1概述
Hadoop
提供了一个统一的RPC机制来处理client-namenode,namenode-dataname,client-dataname之间的通信。
can007
·
2023-12-28 13:59
Hadoop
Java大杂烩
hadoop2.0
HDFS
Hadoop
RPC
高光回眸:阿里云容器服务如何全面助力精彩亚运
在亚运之光和科技之光的交相辉映下,这届亚运会成为亚运史上首届“云上亚运”,用
云计算
创造了历史,赛事核心系统和转播全面上云,为大型赛事的数字化普及奠定了坚实基础,杭州亚运会乘着科技的翅膀取得圆满成功。
阿里云云原生
·
2023-12-28 13:28
阿里云
云计算
容器
Java版企业电子招标采购系统源码——鸿鹄电子招投标系统的技术特点
鸿鹄云商SAAS云产品是一种基于
云计算
的软件服务,旨在帮助企业实现业务流程的自动化和优化。该产品采用了先进的
云计算
技术,具有高可用性、高扩展性和高安全性等特点,可以满足不同企业的需求。
Xiaohong0716
·
2023-12-28 12:15
spring
cloud
招投标系统源码
架构
探究Presto SQL引擎(1)-巧用Antlr
从
Hadoop
生态的Hive,Spark,Presto,Kylin,Druid到非
Hadoop
生态的Clic
vivo互联网技术
·
2023-12-28 12:14
Hadoop
安装笔记_单机/伪分布式配置_
Hadoop
3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理
将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码,使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info。字段名称、类型不变,同时添加静态分区,分区字段为etl_date,类型为String,且值为当前日期的前一天日期(分区字段格式为yyyyMMdd)。使用hivecli执行showpartitio
Stitch .
·
2023-12-28 12:32
我的大学笔记
Hadoop
分布式
大数据
hadoop
笔记
「Kafka」入门篇
「Kafka」入门篇基础架构Kafka快速入门集群规划集群部署官方下载地址:http://kafka.apache.org/downloads.html解压安装包:[atguigu@
hadoop
102software
小成同学_
·
2023-12-28 12:30
Kafka
kafka
中间件
分布式
后端
Hadoop
之HDFS 详细教程
1、HDFS概述
Hadoop
分布式系统框架中,首要的基础功能就是文件系统,在
Hadoop
中使用FileSystem这个抽象类来表示我们的文件系统,这个抽象类下面有很多子实现类,究竟使用哪一种,需要看我们具体的实现类
白鸽呀
·
2023-12-28 11:29
大数据
hadoop
hdfs
大数据
hadoop
hive spark flink 安装
下载地址Indexof/distubuntu安装
hadoop
集群准备IP地址主机名称192.168.1.21node1192.168.1.22node2192.168.1.23node3上传
hadoop
nsa65223
·
2023-12-28 11:59
hadoop
hive
spark
关于自主泊车与自动泊车
“置顶”重磅干货,第一时间送达本文转自:3D视觉工坊自主泊车系统01定义自动泊车系统主要是利用遍布车辆自身和周边环境里的传感器,测量车辆自身与周边物体之间的相对距离、速度和角度,然后通过车载计算平台或
云计算
平台计算出操作流程
小白学视觉
·
2023-12-28 11:21
人工智能
编程语言
python
java
计算机视觉
运维工程师的出路到底在哪里?
无论是
云计算
、物联网还是人工智能,运维人员都将在技术发展的道路上继续闪耀光芒!何为运维运维是指运营和维护的简称,是指企业或组织为保障信息系统、网络设备、服务器和应用程序等正常运行而进行的一系
五行缺你94
·
2023-12-28 10:25
笔记
运维
Spark从入门到精通23:Spark SQL简介
我们知道Hive是
Hadoop
生态中的一个数据分析引擎,它可以将HiveSQL转换成MapReduce任务提交到
Hadoop
集群中执行,大大简化了编写MapReduce程序的
金字塔下的小蜗牛
·
2023-12-28 09:20
新手用户注册阿里云账号,领取优惠券和代金券及便宜购买云服务器流程
作为国内领先的
云计算
服务提供商,阿里云一直致力于为新用户提供更多优惠政策和活动。
阿里云最新优惠和活动汇总
·
2023-12-28 07:15
阿里云服务器--Elasticsearch配置
Elasticsearch应用于
云计算
中,具有实时搜索、稳定、可靠、快速、安装使用方便等优势;但也存在一些安全隐患:默认安装完成后,Elastic
无剑_君
·
2023-12-28 07:40
Java版直播商城免 费 搭 建:电商、小程序、三级分销及免 费 搭 建,平台规划与营销策略全掌握
鸿鹄云商SAAS云产品是一种基于
云计算
的软件服务,旨在帮助企业实现业务流程的自动化和优化。该产品采用了先进的
云计算
技术,具有高可用性、高扩展性和高安全性等特点,可以满足不同企业的需求。
微服务商城技术分享
·
2023-12-28 05:01
电子商务商城
spring
boot
java
构建高效数据中台:集群规划与搭建的最佳实践指南
然而,
Hadoop
也支持通过调整队列的权重和使用抢占策略来优化资源的使用。例如&
数据与后端架构提升之路
·
2023-12-28 04:20
#
数据中台
大数据
win7配置
hadoop
-2.7.7详细教程
Date:2019/09/27Version:
hadoop
2.7.7;java1.8.0_221;流程安装java下载并解压
hadoop
压缩包修改配置文件下载winutil,并覆盖启动
hadoop
0.安装
pluo1717
·
2023-12-28 04:02
Hive
Hive是基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射为一张表(类似于RDBMS中的表),并提供类SQL查询功能;Hive是由Facebook开源,用于解决海量结构化日志的数据统计。
之古
·
2023-12-28 02:58
Hadoop
集成对象存储和HDFS磁盘文件存储
1.环境配置1.1版本说明组件版本是否必须其他事项
Hadoop
3.3.0+是
hadoop
3.3.0之后原生支持国内主要对象存储Hive3.1.3否实测没有Hive也可以使用sparksql,使用hive
tuoluzhe8521
·
2023-12-28 02:38
Hadoop
hadoop
hdfs
大数据
阿里云
Hadoop
集群找不到native-
hadoop
1.问题描述========hive运行中的问题,需要把把native复制进去/usr/lib2023-02-1519:59:42,165WARNscheduler.TaskSetManager:Losttask11.0instage1.0(TID3,common4,executor2):java.lang.RuntimeException:HiveRuntimeErrorwhileclosing
tuoluzhe8521
·
2023-12-28 02:38
Hadoop
hadoop
大数据
分布式
EMR集群迁移自建
Hadoop
(元数据及HDFS数据)
1.背景老集群采用的腾讯emr集群,使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题,因此决定采用自建
hadoop
集群,需要将emr的元数据和hdfs基础数据迁移过来。
tuoluzhe8521
·
2023-12-28 02:37
Hadoop
hadoop
hdfs
大数据
大数据开发之Sqoop详细介绍
测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop(SQL-to-
Hadoop
)项目旨在协助RDBMS与
Hadoop
之间进行高效的大数据交流。
lcz-2000
·
2023-12-27 23:31
大数据
sqoop
hadoop
Hive 部署
Hive构建在Apache
Hadoop
之上,并通过hdfs支持S3,adls,gs等存储。Hive允许用户使用SQL读取、写入和管理PB级数据。官网地址二、架构Hive中主要包
有人看我吗
·
2023-12-27 23:54
hive
hadoop
数据仓库
大数据-Zookeeper 安装步骤(亲测保成功)
第2章Zookeeper本地安装步骤1.上传到
hadoop
01上面的apps包下面[root@
hadoop
01current]#cd/opt/apps2.解压该文件tar-zxvfzookeeper-3.4.6
王哪跑nn
·
2023-12-27 21:39
大数据
linux
linux
zookeeper
大数据
Hadoop
集群shell常用命令
1.启动
hadoop
所有进程start-all.sh#等价于start-dfs.sh+start-yarn.sh但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。
Youngmon
·
2023-12-27 21:10
GBASE南大通用 GCDW&阿里
云计算
巢:自动化部署云原生数据仓库
目前,GBASE南大通用已与阿里
云计算
巢合作,双方融合各自技术优势,助力企业用户实现云上数据仓库的自动化部署,让用户在云端获取数据仓库服务“更简单”,让用户在云端使用数据仓库服务“更便捷”,满足企业用户对高效便捷
GBASE数据库
·
2023-12-27 21:51
数据库
GBASE南大通用
GBASE
数据仓库
速盾cdn:无视cc高防
一、速盾cdn的原理和作用速盾cdn是一种基于
云计算
的分布式防御系统,通过将网站内容分发至多个节点,实现用户
速盾cdn
·
2023-12-27 21:46
安全
网络
MATLAB入门
设计和问题求解而设计的桌面环境用于可视化数据的图形和用于创建自定义绘图的工具用于曲线拟合、数据分类、信号分析、控制系统优化和许多其他任务的APP用于各种工程和科学应用程序的附加功能工具箱用于构建包含自定义用户界面的应用程序的工具用于C/C++、Java、Net、Python、SQL、
Hadoop
Litle_Pudding
·
2023-12-27 21:39
MATLAB学习笔记
matlab
算法
Hadoop
期末考试自用
绪论大数据定义从字面意思来看,大数据指的是巨量数据最早提出“大数据”这一概念的是全球知名咨询公司麦肯锡,他是这样定义大数据的:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型以及价值密度四大特征。大数据的基本特点大量(Volume)多样(Varity)时效性(Velocity)结果准确性(Veracity)价
Yolo_jin
·
2023-12-27 20:04
hadoop
【大数据存储与处理】开卷考试总复习笔记
7.
hadoop
批量数据导入before三、MongoDB数据库操作0.
friklogff
·
2023-12-27 20:31
大数据
笔记
oracle
数据库
信息可视化
机器学习
python
计算机视觉
数字生态大会上,云鼎实验室介绍了这些重要成果
随着
云计算
的发展,云上安全成为各行业绕不开的重要议
云鼎实验室
·
2023-12-27 19:04
资讯
数字生态大会
云安全
亚马逊云科技创业加速器,帮助企业重塑业务并加速生成式AI之旅
初创公司值得信赖的
云计算
厂商全球排名前1000的独角兽,超过80%都选择使用亚马逊云科技。在中国,亚马逊云科技已经服务超过一万家初创企业。
科技互联网
·
2023-12-27 19:28
人工智能
科技
大数据
Spark与PySpark(1.概述、框架、模块)
目录1.Spark概念2.
Hadoop
和Spark的对比3.Spark特点3.1运行速度快3.2简单易用3.3通用性强3.4可以允许运行在很多地方4.Spark框架模块4.1SparkCore4.2SparkSQL4.3SparkStreaming4.4MLlib4.5GraphX5
还是那个同伟伟
·
2023-12-27 18:06
Spark
spark
大数据
分布式
python
API在互联网的应用有哪些?最全的API互联网应用领域盘点
随着数字化转型和
云计算
技术的普及,API的数量和种类不断增加,越来越多开发者利用API来构建应用程序、服务和产品,来服务我们的生活。
探数数据
·
2023-12-27 18:56
数据挖掘
后端
爬虫
网络
2024年五个大胆的网络安全预测
随着人工智能和
云计算
等新技术改变网络安全格局,攻击者和防御者之间的猫捉老鼠游戏肯定会加剧,并且会变得更加复杂。再加上其他因素,例如政府对网络安全风险采取更积极的行动,新的一年将变得格外活跃。
胖头鱼不吃鱼-
·
2023-12-27 16:59
web安全
安全
将本地镜像推送到阿里云
文章目录创建仓库镜像登录并上传下载上传的创建仓库镜像利用下面的脚本进行配置登录并上传[root@
hadoop
100~]#dockerlogin--username=13thmregistry.cn-hangzhou.aliyuncs.comPassword
我是小水水啊
·
2023-12-27 16:18
docker
docker
Gearman-任务分发系统
简介Gearman是一个分发任务的程序框架,可以用在各种场合,与
Hadoop
相比,Gearman更偏向于任务分发功能。
瞎胡侃
·
2023-12-27 15:58
其他
gearman
开源
任务调度
并行处理
server
There are 4 missing blocks. The following files may be corrupted
Thereare4missingblocks.ThefollowingfilesmaybecorruptedPleasecheckthelogsorrunfsckinordertoidentifythemissingblocks.Seethe
Hadoop
FAQforcommoncausesandpotentialsolutions
玖玖1704
·
2023-12-27 14:53
hadoop
etl
运维人员的未来:新技术下的挑战与机遇
首先,
云计算
的崛起让我们的工作方式发生了巨大的变化。以前,我们需要亲自管理物理硬件,而现在,我们通过云平台
默o。
·
2023-12-27 14:22
运维
云HIS源码 云HIS解决方案 支持医保功能
云HIS作为基于
云计算
的B/S构架的HIS系统,为基层医疗机构(包括诊所、社区卫生服务中心、乡镇卫生院等)提供了标准化的、信息化的、可共享的医疗信息管理系统,可有效进行医疗数据共享与交换,解决数据重复采集及信息孤岛等问题
源码技术栈
·
2023-12-27 14:10
云HIS系统源码
支持医保
村卫生室
诊所
云HIS
HIS
医院信息管理系统
源码
腾讯云新用户活动:2核4G5M轻量服务器性能评测与便宜购买方法说明
在
云计算
时代,服务器成为了我们生活和工作中不可或缺的一部分。对于个人用户而言,如何选择一款性价比高、性能稳定的服务器显得尤为重要。
主机教程
·
2023-12-27 13:42
腾讯云
服务器
云计算
腾讯云8核16G服务器性能配置测评及腾讯云服务器优惠活动介绍
随着
云计算
技术的日益成熟,越来越多的企业和个人开始选择云服务来满足其业务需求。在众多的云服务提供商中,腾讯云以其卓越的性能和稳定的服务赢得了用户的信赖。
主机教程
·
2023-12-27 13:12
腾讯云
服务器
云计算
上一页
58
59
60
61
62
63
64
65
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他