【hadoop云计算】

云计算-Docker Compose部署案例

什么是DockerComposeDocker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。Docker-Compose将所管理的容器分为三层，分别是工程（project），服务（service）以及容器（container）。Docker-Compose运行目录下的所有文件（docker-compose.yml，extends文件或环境变量文件等）组成
高高在吗·2024-02-05 22:49

区块链的未来前景

在政策、技术、市场等多重力量推动下,区块链创新步伐不断加快,与云计算、大数据、物联网等技术深度融合,探索应用的范畴也由数字资产向供应链管理、智能制造、工业互联网、社会公益
清风_c547·2024-02-05 22:01

大数据之 ZooKeeper原理及其在Hadoop和HBase中的应用

链接：https://blog.csdn.net/zhang123456456/article/details/78008626ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeep
yangfhit·2024-02-05 20:29

阿里云服务器租用收费价格表，2023年最新收费标准与优惠价格参考

阿里云将继续加大云计算方面的研发和投入，带动行业的发展。本文将为大家展示阿里云服务器降价之后最新的收费标准及实时的优惠价格。云服务器优势图.png阿里云服务
阿里云最新优惠和活动汇总·2024-02-05 18:05

Hadoop Start(1) ——Google与Hadoop的前世今生

参考文档:《Hadoop权威指南(第4版)》网址:http://hadoop.apache.org/[1]HDFS：HadoopDistributionFileSystemHadoop分布式文件系统[2
bclz·2024-02-05 18:41

python抓包库_python抓包_python 抓包_python 抓包库 - 云+社区 - 腾讯云

广告关闭提供包括云服务器，云数据库在内的50+款云计算产品。打造一站式的云产品试用服务，助力开发者和企业零门槛上云。用python抓包实现知乎的私信发送功能！?...
weixin_39614834·2024-02-05 17:03

麒麟信安登录央视， 深度展现为中国信息安全铸“魂”之路

麒麟信安致力于推进国产化安全应用，主要从事操作系统产品研发及技术服务，并以操作系统为根技术创新发展信息安全和云计算业务，产品已在电力、国防、金融、
麒麟信安·2024-02-05 16:10

如何对HDFS进行节点内(磁盘间)数据平衡

由于Hadoop2.x版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。在这种情况下
格格巫 MMQ!!·2024-02-05 16:39

hadoop调优-HDFS集群数据不均衡处理hdfs balancer

会造成datanode数据存储不均衡，一个datanode使用了70%，而有一个只使用了30%.解决：通过执行hadoop提供的balancer，来进行datanode之间数据balance。
不会吐丝的蜘蛛侠。·2024-02-05 16:08

HDFS BALANCER

介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。
风筝Lee·2024-02-05 16:07

Hadoop-HDFS的DataNode介绍及原理

DataNodeDataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3、心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机
魔笛Love·2024-02-05 16:07

绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结

Hadoop集群Datanode数据倾斜，个别节点hdfs空间使用率达到95%以上，于是新增加了三个Datenode节点，由于任务还在跑，数据在不断增加中，这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88·2024-02-05 16:05

被“窥探”“窃听”的生活

最近应老师要求，一直在看一些关于大数据啊，云计算的东西。确实，现在是网络时代，数据时代，要想去了解一个人太容易了。比如你在某
忘时离·2024-02-05 16:04

一文领悟自学Go语言的秘诀？

Go语言是一种简洁、高效、并发的编程语言，它由Google开发，适用于各种场景，如云计算、微服务、网络编程等。对于零基础的开发者，想要系统地学习Go语言，你需要先知道自己要学哪些内容吧？
所幸你是例外·2024-02-05 16:01

2022年值得关注的7个主要SD-WAN趋势

软件定义WAN仍然是增强用户体验(UX)，提高安全性，以及提供与基于云计算的应用程序的连接的一项关键技术。
企业SDWAN网络@夽谷科技·2024-02-05 15:34

云计算时代操作系统Kubernetes之安全（四）

在Kubernetes平台上，Secret这个对象并不安全，如前边文章所述，并且Kubernetes提供的CLI工具也没有提供原生的工具来对敏感数据进行加密存储，但是由于Kubernetes的开放性，围绕这个问题已经有很多生产ready的成熟工具出现。对于开发和运维人员来说，我们的主要职责就是管理Kubernetes平台上的对象和资源，因此选择什么样的工具和具体要解决的问题有直接的关系，理解有哪些
攀师傅·2024-02-05 15:44

spark学习4：spark安装

1.下载spark安装包2.配置环境1.cd/bigdata/spark-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll
hzp666·2024-02-05 14:58

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive建库建表；4.一半分析指标使用hive_sql完成，一半分析指标使用Spark-Scala完成;5.将分析结果使用sqoop导入mysql数据库；6.使用Flask+echarts构建可视化大
计算机毕业设计大神·2024-02-05 14:48

6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置

Hadoop及相关组件搭建指导WeChat：h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w
学习BigData·2024-02-05 13:01

Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg

hadoop-3.1.3hbase-2.2.2-bin一、问题描述：在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误：Exceptioninthread
学习BigData·2024-02-05 13:01

Hadoop一键启动脚本编写

一、问题描述针对Hadoop集群使用start-dfs.shstart-yarn.sh进程无法全部启动，但是使用单独启动命令可以启动的问题进行解决。
学习BigData·2024-02-05 13:01

4.Linux虚拟机下的Hadoop集群搭建之Xshell及Xftp的使用和SSH服务配置

Hadoop及相关组件搭建指导WeChat：h19396218469本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论
学习BigData·2024-02-05 13:31

6.0 MapReduce 服务使用教程

Hadoop中包含了许多经典的MapReduce示例程序，其中就包
二当家的素材网·2024-02-05 13:29

ssm/php/node/python智慧医疗app

智慧医疗是指通过运用现代信息技术，如大数据、云计算、物联网等，对医疗健康领域的各个环节进行深度融合和创新，实现医疗服务的智能化、个性化和高效化。在这个背景下，智慧医
乐乐 程序设计·2024-02-05 11:53

Hive中分区表与分桶表的操作

目录分区表一级分区表知识点示例多级分区知识点示例分区表的操作示例hadoop_hive文档分桶表重要参数基础分桶表知识点示例分桶表排序知识点示例分桶原理分区表和分桶表区别分区表分区表特点/好处:需要产生分区目录
Sisi525693·2024-02-05 10:26

[Hadoop]万字长文Hadoop相关优化和问题排查总结

namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的
王一1995·2024-02-05 10:55

Hive drop 事务表 报错 flushing changes to datastore

-2802:13:01][08S01][1]Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException
AdamShyly·2024-02-05 10:54

Hadoop3.x单机安装教程

为什么要搭建单机环境的Hadoop？
文景大大·2024-02-05 10:06

【5G SA流程】5G SA下终端完整注册流程介绍

博客内容主要围绕：5G/6G协议讲解算力网络讲解（云计算，边缘计算，端计算）高级C语言讲解Rust语言讲解文章目录一、5GSA下终端完整注册流程介绍一、5GSA下终端完整注册流程介绍终
从善若水·2024-02-05 10:09

全云的关键：优化和效率

它还将进一步增长，到2025年，企业在公共云计算上的IT支出将超过传统IT支出。
开源云中文社区·2024-02-05 09:13

企业要怎么做才能减少云计算支出的浪费?

对于许多企业而言，2018年或许优先级最高的计划可能是优化云支出。然而，这说起来容易做起来难。为什么要优化公有云支出，部分原因肯定是希望节省开支，但如果企业没有正确的成本优化措施，就会发现云成本正在失控并大幅增长。在最新发布的RightScale2018云报告中，92%的受访者表示他们正在利用公有云服务，这比2017年的89%有所增加。这表明很多组织不仅仅已经采用云服务，还在采用更多的云服务。71
ctkx13896·2024-02-05 09:12

大数据 - Spark系列《三》- 加载各种数据源创建RDD

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客目录3.1
王哪跑nn·2024-02-05 09:28

大数据原理-Spark

概述：基于内存计算三大分布式计算系统：Hadoop、Spark、Storm特点：采用有向无环图DAG作业调度运行速度快循环数据流容易使用：可以通过SparkShell交互式编程用途：SQL查询、流式计算
monster++·2024-02-05 09:28

大数据 - Spark系列《四》- Spark分布式运行原理

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-05 08:54

【下一代分布式追踪】将Trace扩展到网络设备

下一代分布式追踪—将Trace扩展到网络设备一、技术背景二、研究动机三、方法数据采集：数据整合：路径重建：可视化与分析：Foxhound，Foxhound四、典型案例五、结论一、技术背景随着云计算和微服务的普及
沐风—云端行者·2024-02-05 08:15

Hadoop执行WorldCount出现的问题和解决

failedonconnectionexception:java.net.ConnectException:Connectionrefused;Formoredetailssee:http://wiki.apache.org/hadoop
SZHjy·2024-02-05 08:38

云计算、Docker、K8S问题

1云计算云计算作为一种新兴技术，已经在现代社会中得到了广泛应用。它以其高效、灵活和可扩展特性，成为了许多企业和组织在数据处理和存储方面的首选方案。1.1什么是云计算？它有哪些特点？
一朝风月S·2024-02-05 07:02

2.0 Hadoop 运行环境

由于Hadoop是为集群设计的软件，所以我们在学习它的使用时难免会遇到在多台计算机上配置Hadoop的情况，这对于学习者来说会制造诸多障碍，主要有两个：昂贵的计算机集群。
二当家的素材网·2024-02-05 07:01

移动云ONAIR媒体云全解读!媒体内容数字化融合一站式解决方案

移动云作为数字中国建设的“主力军”，立足于新兴媒体与云计算市场的变化与需求，推出了ONAIR媒体云解决方案，提供内容采集、汇聚、生产、交换、发布、考评、直播、智能助手等解决方案，为媒体机构提供了专属的云服务平台
移动云开发者联盟·2024-02-05 07:45

impala与kudu进行集成

文章目录概要Kudu与Impala整合配置Impala内部表Impala外部表Impalasql操作kuduImpalajdbc操作表如果使用了Hadoop使用了Kerberos认证，可使用如下方式进行连接
shandongwill·2024-02-05 07:44

1.0 Hadoop 教程

Hadoop是一个开源的分布式计算和存储框架，由Apache基金会开发和维护。
二当家的素材网·2024-02-05 06:38

3.0 Hadoop 概念

本章着重介绍Hadoop中的概念和组成部分，属于理论章节。如果你比较着急可以跳过。但作者不建议跳过，因为它与后面的章节息息相关。
二当家的素材网·2024-02-05 06:38

基于hadoop+spark的大规模日志的一种处理方案

而且CDN上的访问日志一般都非常大，需要用大数据处理架构来进行处理，本文描述了一种利用hadoop+spark来处理大量CDN日志的方法，当然本方
码农心语·2024-02-05 06:36

云计算参考架构

目录一、云计算架构概述1.1概述二、云计算功能架构2.1云计算架构中的角色划分2.2功能架构的划分2.2.1功能架构图2.2.2架构内容说明2.2.2.1服务2.2.2.2管理三、云计算层次结构3.1显示层
夜夜流光相皎洁_小宁·2024-02-05 06:57

云计算关键技术

目录一、云计算关键技术概述1.1概述二、关键技术内容2.1虚拟化技术2.2分布式数据存储技术2.3资源管理技术2.4云计算平台管理技术2.5多租户隔离技术2.5.1多租户技术下SaaS特征2.5.2多租户技术面临的技术难题
夜夜流光相皎洁_小宁·2024-02-05 06:51

云上未来：探索云计算的技术变革与应用趋势

一、云计算的起源和演进1.1早期计算模型在探讨云计算的起源和演进之前，理解早期的计算模型对于构建全面的视角至关重要。早期计算模型的发展奠定了云计算的基础，为其演进提供了技术和理念的支撑。
快乐非自愿·2024-02-05 06:21

服务器和云服务器哪个更安全?

随着云计算技术的不断发展，越来越多的企业开始选择使用云服务器来存储和处理数据。然而，对于一些企业来说，他们可能更倾向于使用传统的服务器。在这种情况下，安全性成为了一个重要的考虑因素。
恒创HengHost·2024-02-05 06:44

服务器和云计算之间有什么关系？

云计算与服务器之间的关系是密切而复杂的。首先，我们需要明确一点，云计算并不是一种全新的技术，而是对现有技术的一种整合和改进。在这个基础上，我们可以更好地理解云计算与服务器之间的关系。
恒创HengHost·2024-02-05 05:38

适合大型企业的云计算服务器有哪些？

随着云计算技术的不断发展，越来越多的企业开始采用云计算服务来降低成本、提高效率。对于大型企业而言，选择适合的云计算服务器非常重要，因为它将直接影响企业的业务运营和数据安全。
恒创HengHost·2024-02-05 05:38

城基生态创始人王继能：做智慧公园先行者

以时代先进的物联网、大数据、云计算、AI、GIS等技术，依托20多年的专业园林经验，赋予传统公园科技化、智慧化。
城基生态·2024-02-05 05:20
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他