hadoop数据管理

MySQL入门

简介：MySQL数据库简称MySQL，是一款由瑞典MySQLAB公司开发并且应用广泛的数据管理系统，MySQL数据库因其体积小、速度快、总体拥有成本低受到很多的热捧。
爱笑的三月姑娘·2024-01-26 08:18

Hadoop YARN 在快手的应用实践与技术演进之路

yarn的背景yarn大家都比较熟悉了，是从Hadoop1.0分离到2.0的比较重要的特性，把原来的jobtracker集中式调度变成yarn的二级调度，解决集群扩展性的问题。
yoku酱·2024-01-26 08:32

数据中台的护城河，基于Flink实时构建数据仓

数据中台是一个集成化的数据管理平台和工具，可以整合、处理、存储和分析多种数据来源，为企业决策提供重要支持
UI设计前端开发一线员工·2024-01-26 08:38

数据结构_顺序表-1.19

学习内容线性表这相当于一种数据管理，你通过采集获得了一堆数据，这些数据你该怎么处理，提取出你需要的信息。线性表就是其中的一种管理数据的形式：N个有相同特性的数据元素的有限序列。
雨是叶落下来的·2024-01-26 08:32

喜报｜「云原生数据库PolarDB」、「阿里云瑶池一站式数据管理平台」揽获“2023技术卓越奖”

2023年“技术卓越奖”评选结果，经由行业CIO/CTO大咖、技术专家及IT媒体三方的联合严格评审，阿里云瑶池数据库揽获两项大奖：云原生数据库PolarDB荣获“2023年度技术卓越奖”，阿里云瑶池一站式数据管理平台荣获
阿里云瑶池数据库·2024-01-26 06:22

Java毕业设计基于springboot企业客户管理系统

项目介绍本论文将对企业客户管理系统相关的技术以及网站开发技术进行分析和研究，在深入了解企业客户管理的过程以及合格要求后，结合用户的实际情况，研究企业客户管理系统的设计与实现，期望通过该系统能够将用户的数据管理工作规范化
QQ2083558048·2024-01-26 05:43

通过养猪给女朋友讲解Hadoop(一)

六、规章整治奈何桥程序员老王，阎王爷，黑白无常，牛头马面，孟婆。“铃铃铃~”刚躺下的老王又被电话吵醒了，老王接起电话，习惯性地说：“老板，又是哪个系统挂了啊。”“我不是你老板，我是阎王爷”电话那头传来沧桑的声音。“阎王爷，我上有老，下有小，我知道我这么加班不对，但我都是为了生计啊，恳请阎王爷再宽限我几年吧，我把房贷还完就下去报道。”老王哽咽地说着。“这次找你不是想结束你在人间的进程，只是想让你来地
程序员峰哥·2024-01-26 05:55

Flink1.13集成Hadoop3.x以上版本

文章目录背景说明出现问题问题分析问题解决解决展示参考资料背景说明在搭建Flink的HA高可用集群后，打不开webUI界面出现问题打开log日志查看org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:Couldnotfindafilesystemimplementationforscheme'hdfs'.Theschemeisn
未来影子·2024-01-26 04:22

flink1.13.0 环境搭建

#flink部署1.standalone模式2.yarn模式session-cluster模式job-cluster模式3.k8s模式注：yarn模式需要依赖hadoop环境，搭建请参考：https:/
AinUser·2024-01-26 04:50

橘子皮的实习周记——第一周总结

一周小总结：目前入职上班时间一周，主要内容是对一个项目进行一些基础的添加操作(用领导A的话来说，就是熟悉一下业务)，我最头疼的就是使用kafkahbasehadoop这些技术，对MySQL内的数据进行一个同步
程序员橘子皮·2024-01-26 03:35

别不信❗️你离数据专家只差一个CDMP证书

亲爱的朋友们，如果你在寻找一个能让你在数据管理领域大展拳脚的证书，那么CDMP（CertifiedDataManagementProfessional）证书就是你的不二之选！
IT课程顾问·2024-01-26 02:34

Flink1.13.x+iceberg环境搭建

1.安装hadooptar-zxvfhadoop-2.10.1.tar.gz配置JDK和Hadoop环境变量vi/etc/profileexportJAVA_HOME=/usr/lib/jvm/java
姚贤贤·2024-01-26 02:22

HDFS操作

文章目录主要内容1.编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：一.shell命令行实现1.向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件
K要努力·2024-01-26 02:43

Hbase伪分布式的安装和配置

一、版本信息和环境1、版本信息：jdk1.8.0_112hadoop-2.6.0zookeeper-3.4.6hbase-1.2.6.12、环境hadoop+zookeeper+hbase,hadoop
lukeyan·2024-01-26 00:41

django基于Vue的电商管理系统(程序+开题报告)

然而，传统的电商管理系统在用户管理、商品信息管理等方面存在一些问题，如用户体验不佳、数据管理不便捷等。因此，开发一款基于Vue的电商管理系统具有重要的现实意义。
林文程序设计·2024-01-25 23:31

大数据技术之Spark

1.2SparkandHadoopHadoop的MapReduce是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架Spark呢，这里简单说一下Spark和Hadoop的关系。
严同学正在努力·2024-01-25 21:38

大数据开发之Spark（完整版）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key·2024-01-25 21:05

Hadoop on Yarn 提交job失败：java.net.ConnectException：Connection refused

报错：INFOorg.apache.hadoop.service.AbstractService:ServiceNodeManagerfailedinstateSTARTED;cause:org.apache.hadoop.yarn.exceptions.YarnRuntimeException
Anthons·2024-01-25 20:58

sqoop之hive数据仓库和oracle数据库数据转换

sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres
Summer_1981·2024-01-25 20:37

spakr 提交任务

当前集群支持3中集群管理Standalone（spak框架自身拥有能力）ApacheMesosHadoopYARNKubernetes使用/spark-submit脚本提交任务，脚本后面可以接参数.
新鲜氧气·2024-01-25 19:55

hadoop 问题集

1.org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException:TheauxService:mapreduce_shuffledoesnotexistyarn
Pure_Eyes·2024-01-25 17:18

开源元数据管理平台OpenMetadata开发环境搭建

开源的元数据管理平台很多。开源元数据管理平台是一种用于收集、存储和管理数据的工具，它们提供了一种可扩展的方式来组织和维护数据的元数据信息。
YingCai85·2024-01-25 16:29

大数据之数据血缘采集方案（附代码示例）

数据血缘采集在数据管理和治理中起着重要的作用，可以帮助组织更好地理解和管理其数据资产。方案一手动文档记录：最简单的方法是手动记录数据流动的路径。这可以通过文档、图表或表格等形式进行。
贾斯汀玛尔斯·2024-01-25 16:29

开源元数据管理平台Amundsen安装

Amundsen是一个用于数据发现和元数据管理的开源平台。Amundsen是一个用于提高数据分析师、数据科学家和工程师在与数据交互时的生产力的数据发现和元数据引擎。
贾斯汀玛尔斯·2024-01-25 16:25

2020重新出发，MySql前瞻，数据库管理技术的发展阶段

@[toc]数据管理技术的3个发展阶段在目前阶段，存储和管理数据都离不开数据库。当数据存储到数据库后，数据库管理系统就会对这些数据进行组织和管理。
夜雨流云·2024-01-25 15:35

2023 IoTDB Summit：中核武汉核电运行技术股份有限公司主管工程师方华建《IoTDB在核电数字化转型过程的应用实践》...

位大咖嘉宾带来工业互联网行业、技术、应用方向的精彩议题，多位学术泰斗、企业代表、开发者，深度分享了工业物联网时序数据库IoTDB的技术创新、应用效果，与各行业标杆用户的落地实践、解决方案，并共同探讨时序数据管理领域的行业趋势
Apache IoTDB·2024-01-25 15:00

大数据分析组件Hive-集合数据结构

Hive的数据结构前言一、array数组类型二、map键值对集合类型三、struct结构体类型前言Hive是一个基于Hadoop的数据仓库基础设施，用于处理大规模分布式数据集。
Aimyon_36·2024-01-25 15:15

[AIGC 大数据基础]hive浅谈

Hive作为一个基于Hadoop的数据仓库基础设施，为用户提供了类SQL的查询语言和丰富的功能，使得处理大规模数据变得更加简单和高效。
程序员三木·2024-01-25 14:17

Building an Efficient Key-Value Store in a Flexible Address Space——论文泛读

EuroSys2022Paper论文阅读笔记整理问题数据管理应用程序使用结构化文件存储其数据，其中数据通常经过排序以提供索引和查询服务。
妙BOOK言·2024-01-25 14:01

数据管理平台Splunk Enterprise本地部署并结合内网穿透实现远程访问

SplunkEnterprise服务5.固定远程地址前言本文主要介绍如何简单几步，结合cpolar内网穿透工具实现随时随地在任意浏览器，远程访问在本地Windows系统部署的SplunkEnterprise数据管理平台
kaixin_啊啊·2024-01-25 13:14

hadoop集群部署

hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是一个存储系统+计算框架的软件框架，主要解决海量数据存储与计算的问题，是大数据技术中的基石。
Cat God 007·2024-01-25 12:45

Hadoop集群的部署，安装和管理（头歌）

示例集群信息以下表格为本教程所用示例集群节点信息：我们准备了三台虚拟服务器，连接方式如下：第一步我们需要在evassh服务器初始化虚拟服务器：cd/optwrapdockerulimit-funlimiteddockerload-iubuntu16-ssh.tardocker-composeup-d注意：请不要在各个虚拟服务器之间进行ssh登录，这种操作会导致无法保存配置数据。正确方法是：在虚拟服
小坏蛋儿&·2024-01-25 12:14

hadoop集群规划部署

一、集群规划三台硬件资源，部署hadoop版本，hadoop-3.3.5，部署后配置文件。Hadoop配置文件分两类：默认配置文件和自定义配置文件。
Snower_2022·2024-01-25 12:43

Hbase集群安装部署

安装好对应版本的hadoop集群，并启动安装好对应版本的zookeeper集群，并启动HBase集群安装部署下载安装包并上传到node01服务器安装包下载地址：http://archive.cloudera.com
我还不够强·2024-01-25 12:02

详解Linux运维工程师高级篇（大数据安全方向）.

hadoop安全目录：kerberos（已发布）elasticsearch（已发布）http://blog.51cto.com/chenhao6/2113873knoxoozierangerapachesentry
weixin_30588729·2024-01-25 10:14

大数据Hadoop/Hive学习笔记一（基础概念）

大数据Hadoop/Hive学习笔记一（基础概念）一，概念介绍：大数据：大数据一般用来描述一种数量庞大，复杂的数据集，传统数据处理应用程序难以应对。
lucky_myj·2024-01-25 09:46

arcgis 面要素shp数据处理

首先，打开arcToolbox-数据管理工具-要素，点击要素转面，在弹出的窗口中，输入要素下拉框中选择要转的线要素，在输出要素类选择要保存的面要素位置，点击确认按钮即可。这样就创建出了面要素shp
yongxinzhenxi·2024-01-25 09:39

Hadoop-HDFS写流程（从命令行到完成）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、源码分析源码中写的肯定是最真实的，下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4
隔着天花板看星星·2024-01-25 09:23

Hadoop-HDFS高可用

原理参考官网介绍：ApacheHadoop3.3.6–HDFSHighAvailabilityUsingtheQuorumJournalManager二、背景在Hadoop2.0.0之前，NameNode
隔着天花板看星星·2024-01-25 09:52

Hadoop-MapReduce使用说明

下面让我们跟着官网来学习下吧ApacheHadoop3.3.6–MapReduceTutorial二、运行流程大致描述1、用户通过jo
隔着天花板看星星·2024-01-25 09:52

Hadoop-YARN概览

一、什么是YARNYetAnotherResourceNegotiator，另一种资源协调者，简称YARN。基本思想是将资源管理和作业调度/监视的功能拆分为单独的守护进程。其想法是拥有一个全局ResourceManager（RM）和每个应用程序的ApplicationMaster（AM）。可以支持单个作业，也可以支持多个作业的DAG。被称为另一种资源协调者，那就证明有一种比YARN更早的资源协调者
隔着天花板看星星·2024-01-25 09:52

Hadoop-HDFS读流程（从输入命令到回显）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、静静的思考一会儿爱因斯坦说过：想象力比知识更重要。想象力推动世界，是知识进化的源泉。我们先不看源码，先通过官方架构图和我们对HDFS的了解来想象下读流程是什么样的。我要读HDFS上的一份文件，首先需要知道它在哪台节点上，HDFS上存储的文件都是以块的形式存放在各个DataNode节点上。因此需要知道这
隔着天花板看星星·2024-01-25 09:52

Hadoop-MapReduce-源码跟读-客户端篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、从WordCount进入源码用idea将源码加载进来后
隔着天花板看星星·2024-01-25 09:52

hadoop 三种运行方式

一、本地运行方式1创建在hadoop-3.3.5文件下面创建一个wcinput文件夹[antares@hadoop1hadoop-3.3.5]$mkdirwcinput[antares@hadoop1hadoop
Snower_2022·2024-01-25 09:51

Hadoop-MapReduce-跟着日志理解整体流程

一、数据准备viinput_01.txtviinput_02.txtviinput_03.txt文本内容如下：-----------------input_01.txt----------------javascalapythonc++javajsgogovbaccc++javascalapythonphpcsshtmljsjavajavascalavbac#.netRRRjava--------
隔着天花板看星星·2024-01-25 09:49

HBase学习五：运维排障之备份与恢复

HBase的所有文件都存储在HDFS上，因此只要使用Hadoop提供的文件复制工具distcp将HBASE目录复制到同一HDFS或者其他HDFS的另一个目录中，就可以完成对源HBase集群的备份工作copyTable
Studying！！！·2024-01-25 09:49

【山东大学】web数据管理——复习笔记

写在前面若有图片加载失败，请科学上网。本文为对软件学院连老师的PPT课件总结所得的复习笔记，仅供参考。不保证对考点的全覆盖，以PPT为主。对往年考过的题相关知识点前面都标注了“考过”，并高亮，供参考。写的比较匆忙，有遗漏、错误之处敬请指正。笔记中除了LDA的全称，其他的基本都覆盖到了。不要纠结，好好准备下一科。文章目录二、第二章网络爬虫1、爬虫定义2、爬虫分类三、第三章网页分析1、正则表达式2、D
_Mimming_·2024-01-25 08:56

【Docker】Docker学习⑧ - Docker仓库之分布式Harbor

【Docker】Docker学习⑧-Docker仓库之分布式Harbor一、Docker简介二、Docker安装及基础命令介绍三、Docker镜像管理四、Docker镜像与制作五、Docker数据管理六
洁癖丶·2024-01-25 08:26

大数据平台组件日常运维操作说明（Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat）

Hadoop日常运维操作说明hdfs生产环境hadoop为30台服务器组成的集群，统一安装配置，版本号为2.7.7部署路径：/opt/hadoop启动用户：hadoop配置文件：/opt/hadoop/
love6a6·2024-01-25 07:12

基于CentOS7 Hadoop-2.7.2伪分布式部署

1、基本环境Linux版本：CentOS7.0JDK版本：jdk-7u79-linux-x64.tar.gzHadoop版本：hadoop-2.7.2.tar.gzjdk以及Hadoop安装在/usr目录下
程序员小H·2024-01-25 07:23
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他