运维大数据文件系统hadoop

Ubuntu使用Docker部署Nginx并结合内网穿透实现公网远程访问

对于运维人员和开发者来说，能够通过公网远程访问内部的服务和应用，能够极大地提升工作效率和便利性。本文将介绍如何利用Ubun
江城开朗的豌豆·2024-02-05 19:12

Linux--- vim详解

作者简介：RO-BERRY学习方向：致力于C、C++、数据结构、TCP/IP、数据库等等一系列知识日后方向:偏向于CPP开发以及大数据方向，欢迎各位关注，谢谢各位的支持“学如逆水行舟，不进则退”目录1.
RO-BERRY·2024-02-05 19:12

面向小白的Palworld幻兽帕鲁私有服务器保姆级部署教程

欢迎访问极客运维博客：https://www.itwk.cc/post/1045.html环境准备一台电脑
爱写代码的小白.·2024-02-05 18:27

微服务中的容器技术---Docker(二),Docker中的镜像分层

Docker(一),Docker的安装和使用》Docker镜像那么我们应该知道镜像和容器该如何区分了，这里就更形象地说明一下：Docker镜像是一个只读的Docker容器模板，含有启动Docker容器所需的文件系统结构及其内容
singleZhang2010·2024-02-05 18:54

Hadoop Start(1) ——Google与Hadoop的前世今生

参考文档:《Hadoop权威指南(第4版)》网址:http://hadoop.apache.org/[1]HDFS：HadoopDistributionFileSystemHadoop分布式文件系统[2
bclz·2024-02-05 18:41

【Java知识手册】一.Java开发工具和前言

1Java前言1.1简介强类型语言、开源、跨平台、多态、多线程、面向对象完善的异常处理机制，大数据
Fred3D·2024-02-05 17:28

Jenkins任意文件读取【CVE-2024-23897】

这样，攻击者可以利用这个功能来读取Jenkins控制器文件系统上的任意文件。FOFA语句icon_hash="81586312"docker部署do
maxiluo·2024-02-05 17:28

Infinite Cycle无限循环互动平台2.0系统上线

各个国家从增强自身竞争力的目的出发，很多的现代游戏业开始朝区块链技术革新游戏业发展了，与传统游戏相比较，区块链游戏与当前高新技术相结合更具有明显的优势，由于传统游戏受到自身条件的限制，对于大数据和人工智能等技术无法做到很好的融合
熊猫财经·2024-02-05 17:41

day 5 远程连接

联系方式:网站运维QQ交流群：Linux
Linux_淡忘·2024-02-05 17:29

百台旧PC重获新生！麒麟信安云助力海南省社会保险中心实现高效云办公

但长久以来，海南省社会保险中心存在办公PC陈旧、性能体验不佳、运维困难、国产化办公环境下软硬件不适配等诸多问题，给该单位办公效率造成严重影响。
麒麟信安·2024-02-05 16:11

百台旧PC重获新生！麒麟信安云助力海南省社会保险中心实现高效云办公

但长久以来，海南省社会保险中心存在办公PC陈旧、性能体验不佳、运维困难、国产化办公环境下软硬件不适配等诸多问题，给该单位办公效率造成严重影响。
麒麟信安·2024-02-05 16:40

企业级大数据平台应用场景介绍

从业务的角度看，企业级大数据平台功能可细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。
明月说数据·2024-02-05 16:10

国内首个openEuler师训营圆满结营！麒麟信安深化产教融合，助力培养国产操作系统高质量师资人才

本次师训营由长沙市大数据产业链、长沙市新一代自主安全计算系统产业链指导，由湖南欧拉生态创新中心和国家关键领域信创行业产教融合共同体主办。
麒麟信安·2024-02-05 16:10

如何对HDFS进行节点内(磁盘间)数据平衡

由于Hadoop2.x版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。在这种情况下
格格巫 MMQ!!·2024-02-05 16:39

DolphinScheduler数仓任务管理规范

DolphinScheduler调度数仓任务现状分析2.1一个任务流构建数仓所有的逻辑节点2.2每个逻辑节点构建一个任务流二、数仓任务管理调度需求分析三、DolphinScheduler数仓开发任务管理规范四、结语前言：大数据领域对多种任务都有调度需求
i7杨·2024-02-05 16:09

hadoop调优-HDFS集群数据不均衡处理hdfs balancer

会造成datanode数据存储不均衡，一个datanode使用了70%，而有一个只使用了30%.解决：通过执行hadoop提供的balancer，来进行datanode之间数据balance。
不会吐丝的蜘蛛侠。·2024-02-05 16:08

大数据技术应用场景

大数据技术产品大数据技术产品大数据技术分类：存储，计算，资源管理1.存储：(1)最基本的存储技术是HDFS:比如在企业应用中，会把通过各种渠道得到的数据，比如关系数据库的数据、日志数据、应用程序埋点采集的数据
大数据基础入门教程·2024-02-05 16:08

HDFS BALANCER

介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。
风筝Lee·2024-02-05 16:07

Hadoop-HDFS的DataNode介绍及原理

DataNodeDataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3、心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机
魔笛Love·2024-02-05 16:07

大数据平台_大数据应用场景有哪些

大数据时代的出现，简单的讲是海量数据同完美计算能力结合的结果，确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。
思迈特Smartbi·2024-02-05 16:06

大数据企业应用场景分析

目录一、企业分析1.1企业领域维度分析1.2技术服务型维度分析1.3细分领域维度分析二、大数据应用场景2.1数据分析2.2智能推荐2.3产品/流程优化2.4异常监测2.5智能管理2.6人工智能和机器学习三
i7杨·2024-02-05 16:35

绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结

Hadoop集群Datanode数据倾斜，个别节点hdfs空间使用率达到95%以上，于是新增加了三个Datenode节点，由于任务还在跑，数据在不断增加中，这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88·2024-02-05 16:05

被“窥探”“窃听”的生活

最近应老师要求，一直在看一些关于大数据啊，云计算的东西。确实，现在是网络时代，数据时代，要想去了解一个人太容易了。比如你在某
忘时离·2024-02-05 16:04

【EI会议征稿通知】2024年数字化社会与人工智能国际学术会议（DSAI 2024）

数字化社会是以构筑全民畅享的数字生活为目标，以数字化、网络化、大数据、人工智能等当代信息科技的快速发展和广泛应用为支撑，通过数据驱动推动产业发展、公共服
搞科研的小刘选手·2024-02-05 16:46

揭秘高效运维：如何用kubectl top命令实时监控K8s资源使用情况？

往期精彩:提升CKA考试胜算：一文带你全面了解RBAC权限控制！kubectltop是一个用于查看Kubernetes集群中资源使用情况的命令。它可以显示节点或Pod的CPU、内存和存储的使用情况。该命令要求正确配置MetricsServer并在服务器上工作。什么是MetricsServerMetricsServer是Kubernetes内置自动缩放管道的可扩展、高效的容器资源指标来源。Metri
didiplus·2024-02-05 16:14

2020-04-02

我又觉得也就那么一回事，不过如此成功之后我就有了新的想法，弄个网站，就去学了东西，后来渐渐了解到，建网站是一个团队的工作，后来我发现，我似乎，不需要一个团队，我一个人就可以完成一条龙的工作，从设计-＞前端-＞后台-＞运维
老乌尘·2024-02-05 16:21

运维监控系列（1）：在Linux中运用Docker部署Prometheus+Grafana+Alertmanager企业微信机器人以及邮箱的推送。（全面部署）

一.前言这一章节主要是针对那些有Linux以及有Docker基础的小伙伴做的一个比较全面的部署，如果有不会Linux和docker的小伙伴可以先去学一下。花个1周的时间把Linux和docker入门就可以了，不需要精通。部署的步骤也比较简单，我搜索了一些文章，基本都是没有一个全面的部署，要么就是部署了前面监控部分，没有后面的Alertmanager推送机器人或者邮箱。要么就是在Linux中部署，而
好东西要分享啊·2024-02-05 15:55

MongoDB备份恢复

逻辑备份物理备份备份效率低数据库接口读取数据高拷贝物理文件恢复效率低下载备份集+导入数据+建立索引高下载备份集+启动进程备份影响大直接与业务争抢资源小备份集大小比原库小无需备份索引数据与原库相同兼容性兼容绝大部分版本可跨存储引擎依赖存储布局方式一：对服务器进行备份文件系统快照
胡萝卜苗儿·2024-02-05 15:04

超维机器人年终总结大事记回顾

这一年，我们自身经历了诸多里程碑式的事件和突破，同时也为工业安全生产运维带来了全新的可能性。让我们一起回顾过去一年，探寻超维机器人的年度大事，见证超维机器人发展的新篇章。2023年4月超维
超维机器人·2024-02-05 15:12

深拷贝浅拷贝的区别？如何实现一个深拷贝？

concat()拓展运算符三、深拷贝\_.cloneDeep()jQuery.extend()JSON.stringify()循环递归四、区别小结一、数据类型存储前面文章我们讲到，JavaScript中存在两大数据类型
花言儿·2024-02-05 15:27

第12讲新课标视角下的课堂教学转型 （案例解读）

《国土面积》数学眼光找比吉林省面积大、小的、接近的省份应加入估计数学表达活动三是改写应该再多出示生活中的一些利用改写表达万以上的大数据的情境。教师的组织：指导化用还见要加强。
19吉林榆树焦艳丰·2024-02-05 15:21

云计算时代操作系统Kubernetes之安全（四）

对于开发和运维人员来说，我们的主要职责就是管理Kubernetes平台上的对象和资源，因此选择什么样的工具和具体要解决的问题有直接的关系，理解有哪些
攀师傅·2024-02-05 15:44

spark学习4：spark安装

1.下载spark安装包2.配置环境1.cd/bigdata/spark-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll
hzp666·2024-02-05 14:58

论文阅读-CARD：一种针对复制元数据服务器集群的拥塞感知请求调度方案

CARD:ACongestion-AwareRequestDispatchingSchemeforReplicatedMetadataServerCluster摘要复制元数据服务器集群（RMSC）在分布式文件系统中非常高效
向来痴_·2024-02-05 14:54

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive
计算机毕业设计大神·2024-02-05 14:48

『运维备忘录』之 Systemd 命令详解

运维人员不仅要熟悉操作系统、服务器、网络等只是，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-05 14:28

『运维备忘录』之 Cron 命令详解

运维人员不仅要熟悉操作系统、服务器、网络等只是，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-05 14:58

【运维备忘录】之 Curl 命令

运维人员不仅要熟悉操作系统、服务器、网络等只是，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-05 14:57

docker - 常用命令详解

根据自己的理解，总的来说分为以下几种：容器生命周期管理—docker[run|start|stop|restart|kill|rm|pause|unpause]容器操作运维—docker[ps|inspect
小柴林·2024-02-05 14:57

如何进行有效的Shopee新店选品

Com/JU5o知虾是Shopee大数据采集及分析平台，于2020年正式上线，涵盖9个站点分
duoduocanmou·2024-02-05 14:56

『运维备忘录』之 Vim 命令详解

运维人员不仅要熟悉操作系统、服务器、网络等只是，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-05 13:25

【大数据面试题】002 Flink 如何实现 Exactly-Once 语义

一步一个脚印，一天一道大数据面试题。在流式大数据处理框架中，Exactly-Once语义对于确保每条数据精确地只被消费一次（避免重复读取和丢失读取）非常重要。
Jiweilai1·2024-02-05 13:54

如何在Shopee平台上进行手机类目选品？

Com/JU5o知虾是Shopee大数据采集及分析平台，于2020年正式上线，涵盖9个站点分析、行业大盘
duoduocanmou·2024-02-05 13:54

在工业制造方面，如何更好地实现数字化转型？

3.数据分析和大数据：利用先
weixin_50515446·2024-02-05 13:52

【原创文集】+弯道超越

大数据工程学院+18物联本+代跃谁都想走笔直大道，但世上没有永远的笔直大道，只要你一直往前走，你就避免不了遇到坡道和弯路。
无忧_a746·2024-02-05 13:01

6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置

Hadoop及相关组件搭建指导WeChat：h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w
学习BigData·2024-02-05 13:01

Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg

hadoop-3.1.3hbase-2.2.2-bin一、问题描述：在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误：Exceptioninthread
学习BigData·2024-02-05 13:01

Hadoop一键启动脚本编写

一、问题描述针对Hadoop集群使用start-dfs.shstart-yarn.sh进程无法全部启动，但是使用单独启动命令可以启动的问题进行解决。
学习BigData·2024-02-05 13:01

4.Linux虚拟机下的Hadoop集群搭建之Xshell及Xftp的使用和SSH服务配置

Hadoop及相关组件搭建指导WeChat：h19396218469本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论
学习BigData·2024-02-05 13:31

三维可视化助力船舶制造：大数据处理、实时协作更高效！

随着科技的不断发展，船舶制造行业也在不断寻求创新和提高效率的途径。其中，HOOPS技术作为一种先进的三维可视化和工程协作技术，正逐渐成为船舶制造领域的关键工具。本文将深入探讨HOOPS技术在船舶制造行业的应用，探讨其带来的优势和创新。HOOPS中文网http://techsoft3d.evget.com/一、HOOPS技术概述HOOPS技术是一种由TechSoft3D公司开发的三维图形库，具有高性
慧都科技3D·2024-02-05 13:00
上一页 50 51 52 53 54 55 56 57 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他