Hadoop云计算

flink学习记录

flink-conf.yaml配置文件：jobmanager.rpc.address:hadoop1jobmanager.rpc.port:6123jobmanager.heap.size:512mtaskmanager.heap.size
戏 剧·2024-02-06 14:34

Kubernetes实战(二十五)-快速下载k8s.gcr.io，gcr.io，quay.io镜像

1背景在云计算和云原生的环境下，不可避免的会使用很多镜像创建容器，其中有些镜像只有谷歌镜像仓库才有，但是国内不可以直接下载谷歌仓库的镜像，下面推荐几种方法，k8s.gcr.io/gcr.io是谷歌的镜像仓库
alden_ygq·2024-02-06 14:55

Hadoop 命令手册

翻译：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/CommandsManual.html版本：2.9.0
金刚_30bf·2024-02-06 13:29

万界星空科技低代码平台：快速搭建MES系统

万界星空科技AI低代码云MES是一款基于云计算的MES制造协同Sa
万界星空科技·2024-02-06 12:38

梅施CPQ配置报价: 如何提升复杂产品配置与报价效率？

CPQ报价软件是一种基于云计算的工具,它能够帮助企业实现产品配置、定价和报价的自动化流程。梅施CPQ配置报价能够帮助企业灵活管控价格,提高销售报价效率和嬴单率。
梅施科技·2024-02-06 12:07

【收藏】19张最全的架构师技术栈图谱

1、架构师图谱2、微服务架构秘籍3、互联网大流量的方法4、安全秘籍5、阿里巴巴常用小框架6、架构方法论图谱7、设计模式秘籍图谱8、大数据技能图谱9、云计算图谱10、云计算技能图谱11、OpenResty
程序员达芬奇·2024-02-06 12:05

云计算虚拟化基础

1.什么是云计算：云计算是按一种按量付费的模式！云计算的低层技术是通过虚拟化技术来实现的！
Aza_Lxxx·2024-02-06 11:17

热数据存储在HDFS，冷备数据存储于对象存储中

改方案均采用同一套Hadoop架构，使用hive均可以读取到，在降低成本的同时提高数据的利用率。2.准备条件c
tuoluzhe8521·2024-02-06 10:11

决胜大数据时代：Hadoop&Yarn&Spark企业级最佳实践（8天完整版脱产式培训版本）...

Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。
weixin_30273931·2024-02-06 09:08

Spark视频第5期：Spark SQL架构和案例深入实战

4013289088&fid=977951266414309王家林老师(邮箱：[email protected]:1740415547)Spark亚太研究院院长和首席专家，中国目前唯一的移动互联网和云计算大数据集大成者
Rocky_wangjialin·2024-02-06 09:35

亚马逊认证考试系列 - 知识点 - 安全组介绍

第一部分：AWS简介AmazonWebServices（AWS）是全球领先的云计算服务提供商，为个人、企业和政府机构提供广泛的云服务解决方案。
customservice·2024-02-06 09:20

云计算市场分析

目录一、云计算市场概述1.1概述二、国外云计算厂商2.1亚马逊AWS2.2微软AzureAzure2.3AppleiCloud三、国内云计算厂商3.1阿里云3.2腾讯云3.3华为云3.4百度智能云一、云计算市场概述
夜夜流光相皎洁_小宁·2024-02-06 08:16

云计算运营模式介绍

目录一、云计算运营模式概述1.1概述二、云计算服务角色2.1角色划分2.1.1云服务提供商2.1.2云服务消费者2.1.3云服务代理商2.1.4云计算审计员2.1.5云服务承运商三、云计算责任模型3.1
夜夜流光相皎洁_小宁·2024-02-06 08:44

linux安装hadoop详细步骤（伪分布式）

今天重装了下hadoop，特在此记录下！
红烧柯基·2024-02-06 08:28

Hadoop-Yarn-启动篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、脚本部分1、start-yarn.sh如果我们想单独启动
隔着天花板看星星·2024-02-06 07:16

re:Invent 五日谈 | 畅谈 AI 技术浪潮，CXO 们这样说……

这场云计算“春晚”带了一系列产品及服务的重磅发布，在业内引发了广泛关注。AI无疑是re:Invent2023的重磅关键词，而在AI的技术浪潮下，开发者们又将如何把握机遇、迎接挑战？
·2024-02-06 07:49

方案分享：F5怎么样应对混合云网络安全？

伴随着云计算走入落地阶段，企业的云上业务规模增长迅猛。具有部署灵活、成本低、最大化整合现有资产、促进业务创新等优点的混合云逐渐成为企业选择的部署方式。与此同时，安全运营的复杂度进一步提高。
hanniuniu13·2024-02-06 06:29

想学大数据？先看完这几本书再说

除了这些技术领域，还有一些特定的技术和语言需要你继续研究：Hadoop，Spark，Python，和R等等，还有无数实现自动化的工具等等，这些工具几乎每天都会用到，这就需要你不断的学习。
yoku酱·2024-02-06 06:55

SparkSQL on K8s 在网易传媒的落地实践

期间传媒联合杭研Spark内核团队和云计算团队对出现的问题进行了持续的改进，本文将对这些落地优化实践进行初步的梳理总结，希望能给大家带来一些有用的参考。目前，传媒大数据中心的大部分
wangyishufan·2024-02-06 06:02

CentOS 8 安装配置 Hadoop3.3.6 伪分布式安装方式（适用于开发和调试）

1.配置服务器ssh免密登录，否则后面启动会报错：尝试通过SSH连接到主机出现认证错误的提示配置服务器ssh免密登录：1.生成SSH密钥对（如果尚未生成）：执行下面的命令生成密钥对，一直回车即可ssh-keygen-trsa出现下面的提示说明生成成功了：2.第二步，将公钥添加到~/.ssh/authorized_keys文件：cat~/.ssh/id_rsa.pub>>~/.ssh/authori
鱼大虾·2024-02-06 05:39

HDFS入门基础

HDFS命令基础语法：【hadoopfs具体命令、hdfsdfs具体命令】两个是完全相同的。显示文件列表#hdfsdfs-lsURL创建目录#hdfsdfs-mkdir[-p]URL使用-p参数可以
nucty·2024-02-06 05:33

电商推荐系统

一、获取用户对商品的偏好值代码实现packagezb.grms;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.conf.Configured
nucty·2024-02-06 05:31

Apache Hadoop

ApacheHadoop_狭义上说，Hadoop指Apache一款java语言开发的开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度
VincentLeon·2024-02-06 05:28

Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装

Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装1简介Ambari跟Hadoop等开源软件一样，也是ApacheSoftwareFoundation中的一个项目，并且是顶级项目。
WaiSaa·2024-02-06 02:53

关于Spark/Hadoop中Master/Slave IP不正确的问题

在配置SparkStandAloneMode的时候，我遇到了Slave无法向正确的MasterIP发送数据的问题。通常这类问题都来源于没有正确配置./conf/spark_env.sh文件，只要在这个文件里定义好了SPARK_LOCAL_IP和SPARK_MASTER_HOST，就可以解决这个问题。而我设置了configure文件之后问题依然存在。原因在于MasterNode上有多个网卡，每个网卡
ecce·2024-02-06 02:37

邹神云计算HCIE直通车第二期

├─Docke│├─Docker文档││1、Docker原理与安装.pdf││2、Docker容器管理.pdf││3、Docker镜像管理.pdf││4、Docker存储与网络.pdf││5、Docker镜像仓库.pdf││Docker实验手册V6.pdf│││└─视频│01-Docker原理及安装.mp4│02-Docker容器管理-1.mp4│03-Docker容器管理-2.mp4│04-Do
CodeistheLaw·2024-02-06 01:38

hbase基本命令

1、进入hbase的shellhbase提供了一个shell的终端给用户交互[root@hadoop3conf]#hbaseshell退出使用quit或者ctrl+c需要关闭hadoop的安全模式不然进行一些操作
小月半会飞·2024-02-06 01:52

运维人员：技术发展中的不可或缺的光芒

云计算专家：云计算已经成为现代IT基础设施的重要组成部分。作为运维工程师，你可以深入学习云平台（如AWS、Azure、GoogleCloud等）的知识，成为云计算专家。
白鲸ld·2024-02-05 23:53

shell中正则表达式

[atguigu@hadoop101shells]$cat/etc/passwd|grepatguigu1.常用特殊字符^$.*[]\^：匹配一行的开头$：匹配一行的结束.
看山不是山a·2024-02-05 23:07

云计算-Docker Compose部署案例

什么是DockerComposeDocker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。Docker-Compose将所管理的容器分为三层，分别是工程（project），服务（service）以及容器（container）。Docker-Compose运行目录下的所有文件（docker-compose.yml，extends文件或环境变量文件等）组成
高高在吗·2024-02-05 22:49

区块链的未来前景

在政策、技术、市场等多重力量推动下,区块链创新步伐不断加快,与云计算、大数据、物联网等技术深度融合,探索应用的范畴也由数字资产向供应链管理、智能制造、工业互联网、社会公益
清风_c547·2024-02-05 22:01

大数据之 ZooKeeper原理及其在Hadoop和HBase中的应用

链接：https://blog.csdn.net/zhang123456456/article/details/78008626ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeep
yangfhit·2024-02-05 20:29

阿里云服务器租用收费价格表，2023年最新收费标准与优惠价格参考

阿里云将继续加大云计算方面的研发和投入，带动行业的发展。本文将为大家展示阿里云服务器降价之后最新的收费标准及实时的优惠价格。云服务器优势图.png阿里云服务
阿里云最新优惠和活动汇总·2024-02-05 18:05

Hadoop Start(1) ——Google与Hadoop的前世今生

参考文档:《Hadoop权威指南(第4版)》网址:http://hadoop.apache.org/[1]HDFS：HadoopDistributionFileSystemHadoop分布式文件系统[2
bclz·2024-02-05 18:41

python抓包库_python抓包_python 抓包_python 抓包库 - 云+社区 - 腾讯云

广告关闭提供包括云服务器，云数据库在内的50+款云计算产品。打造一站式的云产品试用服务，助力开发者和企业零门槛上云。用python抓包实现知乎的私信发送功能！?...
weixin_39614834·2024-02-05 17:03

麒麟信安登录央视， 深度展现为中国信息安全铸“魂”之路

麒麟信安致力于推进国产化安全应用，主要从事操作系统产品研发及技术服务，并以操作系统为根技术创新发展信息安全和云计算业务，产品已在电力、国防、金融、
麒麟信安·2024-02-05 16:10

如何对HDFS进行节点内(磁盘间)数据平衡

由于Hadoop2.x版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。在这种情况下
格格巫 MMQ!!·2024-02-05 16:39

hadoop调优-HDFS集群数据不均衡处理hdfs balancer

会造成datanode数据存储不均衡，一个datanode使用了70%，而有一个只使用了30%.解决：通过执行hadoop提供的balancer，来进行datanode之间数据balance。
不会吐丝的蜘蛛侠。·2024-02-05 16:08

HDFS BALANCER

介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。
风筝Lee·2024-02-05 16:07

Hadoop-HDFS的DataNode介绍及原理

DataNodeDataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3、心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机
魔笛Love·2024-02-05 16:07

绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结

Hadoop集群Datanode数据倾斜，个别节点hdfs空间使用率达到95%以上，于是新增加了三个Datenode节点，由于任务还在跑，数据在不断增加中，这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88·2024-02-05 16:05

被“窥探”“窃听”的生活

最近应老师要求，一直在看一些关于大数据啊，云计算的东西。确实，现在是网络时代，数据时代，要想去了解一个人太容易了。比如你在某
忘时离·2024-02-05 16:04

一文领悟自学Go语言的秘诀？

Go语言是一种简洁、高效、并发的编程语言，它由Google开发，适用于各种场景，如云计算、微服务、网络编程等。对于零基础的开发者，想要系统地学习Go语言，你需要先知道自己要学哪些内容吧？
所幸你是例外·2024-02-05 16:01

2022年值得关注的7个主要SD-WAN趋势

软件定义WAN仍然是增强用户体验(UX)，提高安全性，以及提供与基于云计算的应用程序的连接的一项关键技术。
企业SDWAN网络@夽谷科技·2024-02-05 15:34

云计算时代操作系统Kubernetes之安全（四）

在Kubernetes平台上，Secret这个对象并不安全，如前边文章所述，并且Kubernetes提供的CLI工具也没有提供原生的工具来对敏感数据进行加密存储，但是由于Kubernetes的开放性，围绕这个问题已经有很多生产ready的成熟工具出现。对于开发和运维人员来说，我们的主要职责就是管理Kubernetes平台上的对象和资源，因此选择什么样的工具和具体要解决的问题有直接的关系，理解有哪些
攀师傅·2024-02-05 15:44

spark学习4：spark安装

1.下载spark安装包2.配置环境1.cd/bigdata/spark-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll
hzp666·2024-02-05 14:58

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive建库建表；4.一半分析指标使用hive_sql完成，一半分析指标使用Spark-Scala完成;5.将分析结果使用sqoop导入mysql数据库；6.使用Flask+echarts构建可视化大
计算机毕业设计大神·2024-02-05 14:48

6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置

Hadoop及相关组件搭建指导WeChat：h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w
学习BigData·2024-02-05 13:01

Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg

hadoop-3.1.3hbase-2.2.2-bin一、问题描述：在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误：Exceptioninthread
学习BigData·2024-02-05 13:01

Hadoop一键启动脚本编写

一、问题描述针对Hadoop集群使用start-dfs.shstart-yarn.sh进程无法全部启动，但是使用单独启动命令可以启动的问题进行解决。
学习BigData·2024-02-05 13:01
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他