E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
云原生hadoop
hadoop
常用地址
java:"/opt/homebrew/Cellar/openjdk/22.0.1/libexec/openjdk.jdk/Contents/Home"
hadoop
:1】sbin:/opt/homebrew
静听山水
·
2024-08-31 16:49
Spark
hadoop
Hadoop
技术栈
1.什么是
hadoop
(分布式软件框架)他提供了分步式数据存储分布式数据计算分布式资源调度为一体的整体解决方案1.1
hadoop
的用处可以部署在1台乃至成千上万台服务器节点上协同工作。
XingChen.
·
2024-08-31 16:48
分布式
hadoop
大数据
【Mysql】通过Keepalived搭建mysql双主高可用集群
一、环境信息主机名ip操作系统mysql版本VIP(虚拟ip)
hadoop
01192.168.10.200centos7_x865.7192.168.10.253
hadoop
03192.168.10.202centos7
维运
·
2024-08-31 15:13
数据库
mysql
数据库
《
Hadoop
系列》Docker安装
Hadoop
文章目录Docker安装
Hadoop
1安装docker1.1添加docker到yum源1.2安装docker2安装
Hadoop
2.1使用docker自带的
hadoop
安装2.2免密操作2.2.1master
DATA数据猿
·
2024-08-31 12:16
Hadoop
Docker
docker
hadoop
docker安装
Hadoop
拉取镜像[root@ecs-e722~]#dockerpullregistry.cn-hangzhou.aliyuncs.com/
hadoop
_test/
hadoop
_baseUsingdefaulttag
悾说
·
2024-08-31 11:16
docker
hadoop
hadoop
docker
大数据
什么是DevOps? 什么是DORA?
1.前言对于搞
云原生
应用的同学,对于DevOps和DORA应该都不陌生。但对于传统应用程序开发的同学,经常被DevOps,Microservice,CICD,DORA这些新颖的名词搞得晕头转向。
十年铸器
·
2024-08-31 09:56
IT项目与团队
运维
DORA
KubeSphere 宣布开源 Thanos 的企业级发行版 Whizard
Prometheus已经成为
云原生
监控领域事实上的标准,但Prometheus并没有解决企业用户对高可用、可扩展、可存储与查询海量监控数据、易运维等方面的需求。
KubeSphere 云原生
·
2024-08-31 04:49
k8s
容器平台
kubesphere
云计算
日志服务之使用Nginx模式采集日志
活动期完成有机会参与100%中奖):https://developer.aliyun.com/adc/series/activity/sls-1背景知识本场景主要涉及以下云产品和服务:●日志服务:日志服务SLS是
云原生
观测与分析平台
阿里云天池
·
2024-08-31 01:00
体验场景
云原生
阿里云
微服务中间件之Nacos-安装篇
Nacos(DynamicNamingandConfigurationService)是由阿里巴巴开发的一个更易于构建
云原生
应用的动态服务发现、配置管理和服务管理平台。
java_heartLake
·
2024-08-31 01:59
中间件
微服务
中间件
架构
小白学习大数据测试之
hadoop
hdfs和MapReduce小实战
转发是对小编的最大支持在湿货|大数据测试之
hadoop
单机环境搭建(超级详细版)这个基础上,我们来运行一个官网的MapReducedemo程序来看看效果和处理过程。
大数据学习02
·
2024-08-30 11:39
虚拟机安装
hadoop
,hbase(单机伪集群模式)
虚拟机安装
Hadoop
,Hbase工作中遇到了大数据方面的一些技术栈,没有退路可言,只能去学习掌握它,就像当初做爬虫一样(虽然很简单),在数据爆发的现在,传统的数据库mysql,oracle显然在处理大数据量级的数据时显得力不从心
流~星~雨
·
2024-08-29 21:31
大数据相关
hadoop
hbase
大数据
hive中的数据同步到hbase
关于
hadoop
,hive,hbase这三个技术栈我写了两篇博客简单的分享了我对这三个技术栈的一些看法,在我目前的认知里,
hadoop
提供hdfs这个组件来存储大数据量的数据(相比于mysql,oracle
流~星~雨
·
2024-08-29 21:31
大数据相关
hive
hbase
hadoop
云原生
应用(7)之Docker容器数据持久化存储机制
一、Docker容器数据持久化存储介绍物理机或虚拟机数据持久化存储由于物理机或虚拟机本身就拥有大容量的磁盘,所以可以直接把数据存储在物理机或虚拟机本地文件系统中,亦或者也可以通过使用额外的存储系统(NFS、GlusterFS、Ceph等)来完成数据持久化存储。Docker容器数据持久化存储由于Docker容器是由容器镜像生成的,所以一般容器镜像中包含什么文件或目录,在容器启动后,我们依旧可以看到相
技术路上的苦行僧
·
2024-08-29 18:10
云原生应用与架构设计
云原生
docker
容器
docker容器数据持久化
hbase ExportSnapshot迁移hbase表
在源集群上准备快照:snapshot'credit_dict','credit_dict_snapshot20221117'list_snapshots复制快照到目标集群:hbaseorg.apache.
hadoop
.hbase.snapshot.ExportSnapshot
Rjunxiang
·
2024-08-29 16:56
hbase
hbase
大数据
hadoop
Hbase离线迁移
hadoop
distcp-Dmapreduce.job.hdfs-servers.token-renewal.exclude="xx.xx.xx.xx"-i-strat
我要用代码向我喜欢的女孩表白
·
2024-08-29 15:22
hbase
数据库
大数据
Python知识点:如何使用HBase与HappyBase进行分布式存储
HBase是一个基于
Hadoop
的开源分布式数据库,可以处理非常大的表。HappyBase是一个Python库,它提供了一个友好的接口来与HBase交互。
杰哥在此
·
2024-08-29 15:51
Python系列
分布式
python
hbase
编程
面试
Linux 属主属组设置和文件类型
我是公众号「想吃西红柿」「
云原生
运维实战派」作者,对
云原生
运维感兴趣,也保持时刻学习,后续会分享工作中用到的运维技术,在运维的路上得到支持和共同进步!
尘嫣慕曦
·
2024-08-29 15:50
linux
运维
服务器
云计算
Spark-RDD迭代器管道计算
一、上下文《Spark-Task启动流程》中讲到我们提交Stage是传入的是这个Stage最后一个RDD,当Task中触发ShuffleWriter、返回Driver数据或者写入
Hadoop
文件系统时才触发这个
隔着天花板看星星
·
2024-08-29 07:24
spark
大数据
scala
关于这道填空题,你会如何回答?(附带学习链接)
小白的答案是:Java是铜牌,Linux是银牌,
Hadoop
是金牌,大数据是王牌。因为Java是学大数据的基础,有基础然后就可以学后续的;最后只有学好大数据这一王牌才能出去找一份比较好的工作。
csdn业界要闻
·
2024-08-29 05:09
Hdfs的机架感知与副本放置策略
1.介绍Apache
hadoop
机架感知
Hadoop
分布式文件系统(Hdfs)作为Apache
Hadoop
生态系统的的核心组件之一,通过机架感知和副本放置策略来优化数据的可靠性,可用和性能.Hdfs的机架感知和副本放置策略是其设计的关键组成部分
sheansavage
·
2024-08-29 01:42
hdfs
hadoop
大数据
Java高级技术day75:Zookeeper与Dubbo
一、Zookeeper的介绍1.Zookeeper介绍:顾名思义zookeeper就是动物园管理员,他是用来管
hadoop
(大象)、Hive(蜜蜂)、pig(小猪)的管理员,ApacheHbase和ApacheSolr
开源oo柒
·
2024-08-28 20:54
【python】如何通过Python中的http.server搭建文件上传下载服务
《博客》:Python全栈,PyQt5和Tkinter桌面开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi,flask等框架,
云原生
K
景天科技苑
·
2024-08-28 18:55
python轻松入门
基础语法到高阶实战教学
python
http
开发语言
python文件上传下载
http.server
Spark on YARN
ApacheSpark和Apache
Hadoop
YARN是两个紧密相关的项目,它们经常一起使用来处理大规模数据集。
静听山水
·
2024-08-28 09:26
Spark
spark
大数据
分布式
Kubernetes (K8s) 监控方案:Prometheus 实战指南
1.引言在当今
云原生
时代,Kubernetes(K8s)已成为容器编排的标准解决方案。然而,随着K8s集群规模和复杂性的增加,有效的监控变得至关重要。
ivwdcwso
·
2024-08-28 07:14
运维
kubernetes
prometheus
容器
云原生
k8s
grafana
Ubuntu下部署
Hadoop
集群+Hive(三)
Hive部署准备环境apache-hive-4.0.0-bin.tar.gz、mysql-connector-j-8.1.0.jar如果是离线安装的话,使用mysql-8.0.34-1.el7.x86_64.rpm-bundle.tar,在线安装的话则不用;hive下载地址:Indexof/hive(apache.org)mysqlconnector下载地址:MySQL::DownloadConn
岩屿
·
2024-08-28 01:07
hadoop
ubuntu
hive
分享一个基于Spark的招聘数据可视化与分析系统
Hadoop
大数据源码(源码、调试、LW、开题、PPT)
作者:计算机源码社个人简介:本人八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流!学习资料、程序开发、技术解答、文档报告如需要源码,可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|基
计算机源码社
·
2024-08-27 20:05
大数据
大数据
spark
毕业设计项目
计算机毕业设计源码
计算机毕设论文
hadoop
计算机课程设计
【
云原生
】Kubernetes中常见的Pod故障排查定位与解决方案
《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi,flask等框架,
云原生
k8s,linux,she
景天科技苑
·
2024-08-27 20:00
云原生K8S
零基础到进阶实战
云原生
kubernetes
容器
pod故障排查
pod故障排查与解决方案
k8s故障排查
在亚马逊云科技上搭建
云原生
生成式AI教育学习平台
本次介绍的是如何利用亚马逊云科技大模型托管服务AmazonBedrock和
云原生
容器管理服务,将生成式AI和亚马逊Titan大模型应用到教育和学习场景,利用Titan大模型的向量化、文字和图片生成能力构建云端
佛州小李哥
·
2024-08-27 18:20
AWS技术
科技
云原生
人工智能
云计算
架构
aws
亚马逊云科技
云原生
周刊:KubeSphere 宣布开源 Thanos 的企业级发行版 Whizard
开源项目推荐AdmiraltyAdmiralty是一个Kubernetes控制器系统,可以智能地在多个集群之间调度工作负载。它使用简单,并且易于与其他工具集成。CozystackCozystack是一个免费的PaaS平台和框架,用于构建云服务。通过Cozystack,你可以将一组服务器转变为一个智能系统,并通过简单的RESTAPI轻松生成Kubernetes集群、数据库即服务、虚拟机、负载均衡器、
KubeSphere 云原生
·
2024-08-27 14:59
k8s
容器平台
kubesphere
云计算
Hadoop
:HA模式配置与实现
写的不到位的地方,欢迎评论指出不足之处一、检查系统环境1、HostName、Hosts、JDK、SSH、网络、防火墙、数据源二、集群角色分配表注:这只是实例服务器NameNodeNameNodeZookepperFailoverControllerDataNodeZookepperJournalNodeOneyes(NN2和其它节点免密)yesyesTwoyes(NN1和其它节点免密)yesyes
家道消乏
·
2024-08-27 08:14
Hadoop基础
hadoop
大数据
hdfs
大数据技术之Flume 企业开发案例——负载均衡和故障转移(6)
2)需求分析故障转移案例3)实现步骤准备工作在/opt/module/flume/job目录下创建group2文件夹[lzl@
hadoop
12job]$c
大数据深度洞察
·
2024-08-27 05:58
Flume
大数据
flume
负载均衡
zookeeper+KAFKA 集群搭建
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是
Hadoop
和Hbase的重要组件。
懵逼的运维弟弟
·
2024-08-26 16:28
Linux
zookeeper+KAFKA
集群搭建
(十五)Flink 内存管理机制
在大数据领域,很多开源框架(
Hadoop
、Spark、Storm)都是基于JVM运行,但是JVM的内存管理机制往往存在着诸多类似OutOfMemoryError的问题,主要是因为创建大量的实例,超过JVM
springk
·
2024-08-26 16:27
Flink全景解析
flink
大数据
实时数据
flink
内存管理
内存管理机制
面试笔记8.24
正确答案:在我的项目中涉及大数据开发时,我通常会采用分布式的架构,比如使用
Hadoop
或者Spark等大数据处理框架。我会在集群中部署多台服务器,通过分布式计算和存储来处理大规模数据。
励志秃头码代码
·
2024-08-26 16:55
面试
职场和发展
在linux机器中安装配置
hadoop
1.首先我们要把
hadoop
包上传到我们的liunx机器中(运用外链软件上传如:Xshell+xftp)(用我们的外链软件连接成功后,进行
hadoop
包的上传)上传到我们想要的目录路径下,比如我的是上传到
BigData_C
·
2024-08-26 14:40
linux
hadoop
云原生
存储解决方案
云原生
存储解决方案使用Rook、Ceph等工具进行
云原生
存储管理
云原生
存储简介什么是
云原生
存储
云原生
存储是指设计用于
云原生
环境中的存储解决方案,通常在容器化平台如Kubernetes上运行。
爱技术的小伙子
·
2024-08-26 13:38
云原生
计算机毕业设计
Hadoop
+Spark知识图谱体育赛事推荐系统 体育赛事热度预测系统 体育赛事数据分析 体育赛事可视化 体育赛事大数据 机器学习 大数据毕业设计 大数据毕设 机器学习 人工智能
开发技术前端:vue.js、element-ui、echarts后端:springboot、mybatis大数据:spark、
hadoop
数据库:mysql关系型数据库、neo4j图数据库算法:协同过滤推荐算法
计算机毕业设计大全
·
2024-08-26 13:43
Kylin系列-入门
Kylin系列-入门ApacheKylin是一个开源的分布式分析引擎,提供
Hadoop
/Spark之上的SQL查询接口及多维分析(OLAP)能力,以支持超大规模数据。
Dingdangr
·
2024-08-26 13:34
kylin
【
云原生
应用的监控与日志管理】使用Prometheus、ELK Stack等工具进行
云原生
应用的监控与日志管理
云原生
应用的监控与日志管理使用Prometheus、ELKStack等工具进行
云原生
应用的监控与日志管理引言随着
云原生
技术的普及,应用的复杂性和规模不断增加,传统的监控与日志管理手段已无法满足需求。
爱技术的小伙子
·
2024-08-26 13:04
云原生
prometheus
elk
Mac
Hadoop
Yarn日志聚合出错
Mac
Hadoop
Yarn日志聚合出错通过日志查看出现了下面的错误:java.lang.IllegalStateException:CannotcloseTFileinthemiddleofkey-valueinsertion.atorg.apache.
hadoop
.io.file.tfile.TFile
HHoao
·
2024-08-26 10:15
macos
hadoop
大数据
基于spark+
hadoop
+hive大数据分析的电影推荐系统的设计与实现
1.1开发环境二、系统介绍2.1图片展示三、部分代码设计3.1.部分代码如下:**总结****大家可以帮忙点赞、收藏、关注、评论啦****有问题评论区交流**一、开发介绍1.1开发环境技术栈:spark+
hadoop
毕设木哥
·
2024-08-26 06:26
spark
spark
hadoop
hive
spring
java
微服务与
云原生
有何关联?
正是在这样的时代背景和业务诉求下,微服务架构成为了解决复杂问题的灵丹妙药。微服务架构在应对需求的变化、容错处理、服务复用及扩展、提升开发效率、简化交互等方面都有明显的优势。同时,敏捷、DevOps、持续集成/持续交付、容器技术、SpringCloud框架、轻量级服务、领域驱动设计等的涌现也为微服务架构的发展奠定了基础。综上所述,持续快速响应市场、高度动态化、应对复杂场景的能力已经成为企业的核心竞争
2401_84023683
·
2024-08-25 22:04
程序员
架构
云原生
微服务
《
Hadoop
核心技术》作者翟周伟 :我与
Hadoop
的不解之缘
摘要:翟周伟,资深
Hadoop
技术专家,《
Hadoop
开源云计算平台》、《
Hadoop
核心技术》作者。
xytlwp
·
2024-08-25 21:27
翟周伟
hadoop
数据挖掘
自然语言处理
hadoop
翟周伟
数据挖掘
自然语言处理
Tair分布式缓存
为什么不能像操作分布式数据库或者
hadoop
那样,增加一个中央节点,让它去代理所有事情。所以就开发了这个tai
kingkyrie
·
2024-08-25 18:38
分布式
Hadoop
入门基础(五):
Hadoop
常用 Shell 命令一网打尽,提升你的大数据技能!
1.
Hadoop
基本命令1.1查看版本信息
hadoop
version用于检查
Hadoop
的版本信息以及编译信息。
william.zhang(张)
·
2024-08-25 15:52
大数据
Hadoop
容器
大数据
hadoop
分布式
SpringBoot 笔记
时代背景:微服务分布式
云原生
:docker、kubernetes自动配置原理依赖管理父项目负责依赖管理导入starter场景启动器无需关注版本号,自动版本仲裁自动配置自动配好Tomcat自动配好SpringMVC
duanmy0687
·
2024-08-25 09:17
springboot
HDFS的编程
一、HDFS原理HDFS(
Hadoop
DistributedFileSystem)是
hadoop
生态系统的一个重要组成部分,是
hadoop
中的的存储组件,在整个
Hadoop
中的地位非同一般,是最基础的一部分
卍king卐然
·
2024-08-25 07:02
hdfs
hadoop
大数据安全
web安全
经验分享
Hadoop
入门基础(二):
Hadoop
集群安装与部署详解(超详细教程)
NameNodemaster192.168.1.101DataNode1slave1192.168.1.102DataNode2slave2192.168.1.1032.软件要求操作系统:CentOS7或Ubuntu20.04JavaJDK:
Hadoop
william.zhang(张)
·
2024-08-25 06:57
hadoop
大数据
分布式
PolarDB for PostgreSQL 内核解读 :HTAP架构介绍
作者:北侠,阿里云高级技术专家,阿里云PolarDBPostgreSQL
云原生
数据库HTAP业务和技术负责人。在PolarDB存储计算
阿里云云栖号
·
2024-08-24 20:56
云栖号技术分享
postgresql
架构
数据库
Ubuntu下部署
Hadoop
集群+Hive(一)
配置主机Host在三台服务器上添加主机名与IP的映射,以方便在局域网内进行主机间的快速访问和后续的文件配置;配置方法:vi/etc/hosts为方便配置:我的三台主机取名为
Hadoop
Master、
Hadoop
Slave01
岩屿
·
2024-08-24 17:41
hadoop
ubuntu
hive
大数据
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他