数据库运维hdfs云存储

迅雷网盘资源哪里找，迅雷资料库获取方法

随着互联网的发展，迅雷网盘成为了一个备受欢迎的云存储平台。但是，许多用户在寻找迅雷网盘资源时常常感到困惑，不知道该如何快速、准确地获取所需的资料。
全网优惠分享君·2024-02-23 21:51

基于Docker搭建hdfs分布式实验环境

理论知识DockerDocker是一个开源的应用容器引擎，基于Go语言并遵从Apache2.0协议开源。Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口，容器性能开销极低。Docker能够将应用程序与基础架构分开，从而可以快速交付软件。借助Docker，开发者可以与管
dejiedoor·2024-02-20 22:38

docker搭建hadoop hdfs完全分布式集群

这里注意，在做好的镜像里，要安装which工具，否则在执行hdfs命令时会报命令不存在异常。
shangcunshanfu·2024-02-20 22:08

基于docker安装HDFS

1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/hadoop:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau/hadoop-cluster-docker4.创建网桥由于Hadoop的master节点需要与slave节点通信，需要在各个主机节点配置节点IP，为了不用每次启动都因为IP改变了而重新配置
core512·2024-02-20 22:02

Windows系统本地部署HFS并结合内网穿透实现公网访问本地存储文件

下载安装cpolar1.1设置HFS访客1.2虚拟文件系统2.使用cpolar建立一条内网穿透数据隧道2.1保留隧道2.2隧道名称2.3成功使用cpolar创建二级子域名访问本地hfs总结前言在大厂的云存储产品热度下降后
日出等日落·2024-02-20 20:47

HIVE中MAP和REDUCE数量

1、输入就不用说了，数据一般放在HDFS上面就可以了，而且文件是被分块的。关于文件块和文件分片的关系，在输入分片中说明。2、输入分片：在进行Map阶段之前，MapReduce框架会根据输入文件计算输
这孩子谁懂哈·2024-02-20 20:38

Hadoop生态圈

生态圈1.HBase的数据存储在HDFS里2.MapReduce可以计算HBase里的数据，也可以计算HDFS里的数据3.Hive是数据分析数据引擎，也是MapReduce模型，支持SQL4.Pig也是一个数据分析引擎
陈超Terry的技术屋·2024-02-20 19:47

16.用Hadoop命令向CDH集群提交MR作业

OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的，因为使用hadoop命令提交时会加载集群的配置信息（如hdfs
大勇任卷舒·2024-02-20 19:27

记一次 Flink 作业启动缓慢

记一次Flink作业启动缓慢背景应用发现，Hadoop集群的hdfs较之前更加缓慢，且离线ELT任务也以前晚半个多小时才能跑完。
卢说·2024-02-20 18:38

八种常见的云存储安全风险及防护建议

云存储是一个以数据存储和管理为核心的云应用系统，给企业组织提供了一种全新的数据信息存储模式。尽管目前云存储的安全性问题已经有了很大改善，但由于云计算技术自身的特点，决定了
雾岛听风来·2024-02-20 17:57

OSS业务存储适配器模式

流程当我们配置了阿里云，腾讯云，minio等多个云存储厂商的业务代码时，如果我们要修改具体使用哪一种厂商的云存储，那么我们的controller层和service层就会需要改变业务代码；此时我们可以使用适配器模式来进行松耦合
Fairy要carry·2024-02-20 17:33

航班数据预测与分析

数据清洗：数据存储到HDFS：使用pyspark对数据进行分析：//数据导入frompysparkimportSparkContextfrompyspark.sqlimportSQLContextsc=
林坰·2024-02-20 16:15

Excel导出显示服务器,javaexcel导出到远程服务器

不支持直接导出文件到HDFS文件系统。CN只负责任务的规划及下发，把数据导出的工作交给了D需要确保每一
weixin_39946029·2024-02-20 12:50

测试环境搭建整套大数据系统（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）

一：搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二：搭建hadoop，yarn，mapreduce。1.安装hadoop。sudotar-zxvfhadoop-3.2.4.tar.gz-C/opt2.修改java配置路径。cd/opt/hadoop-3.2.4/etc/hadoopvimhadoop-env.
宇智波云·2024-02-20 08:05

Hadoop Streaming原理

Streaming简介•MapReduce和HDFS采用Java实现，默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用•Streaming
可乐加冰丶丶·2024-02-20 07:18

2024.2.19 阿里云Flink

两大问题,乱序和延迟Stateful:有状态Flink的三个部分Source:Transactions,logs,iot,clicksTransformation:事件驱动,ETL,批处理Sink:输出HDFS
白白的wj·2024-02-20 07:05

生产环境下，应用模式部署flink任务，通过hdfs提交

前言  通过通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到hdfs文件管理系统1.实践  （1）生产集群为cdh集群，从cm上下载配置文件，设置环境exportHADOOP_CONF_DIR
但行益事莫问前程·2024-02-20 07:04

白话科普，10s 了解 API

这其中，有很多客户会问：“小拍，请问云存储上传除了使用控制台的文件管理和FTP工具之外，有没有其他的途径进行上传呢？”“有哒，您可以调用API接口来进行上传哦。”“请问，什么是API接口呢？
懂电商API接口的Jennifer·2024-02-20 06:30

以内存为核心的开源分布式存储系统

此外，Tachyon还能够整合众多现有的存储系统（如AmazonS3,ApacheHDFS,RedHatGlusterFS,OpenStackSwift等），为用
这次靠你了·2024-02-20 05:26

UC网盘会员权益有哪些，在哪买UC网盘会员最便宜?

UC网盘是UC浏览器推出的一款云存储服务，用户可以方便地存储、分享和下载文件。对于UC网盘会员来说，他们可以享受更多的特权和优惠。那么，UC网盘会员的权益有哪些呢？在哪里购买UC网盘会员最便宜呢？
全网优惠分享君·2024-02-20 04:20

数据的力量：构筑现代大型网站之数据库基础与应用

★DBMS收费数据库与免费数据库运维和数据库开发与运维的不同阶段数据库类别数据库具体应用场景相亲网友情提醒数据库基础知识--前言大型网站架构特点和传统企业应用系统相比，大型网站系统具备如下特点:高并发，
Srlua·2024-02-20 04:54

HBase——基础概念介绍

HBase底层存储基于HDFS实现，集群的管理基于ZooKeeper实现。
zhanglf1016·2024-02-20 04:43

马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解

分布式计算原则：移动计算，而不是移动数据hadoop默认包含了hdfs、yarn、mapReduce三个组件yarn（YetAnotherResourceNegotiater）是资源调度系统，yarn调配的是内存和
PC_Repair·2024-02-19 20:28

ClickHouse--07--Integration 系列表引擎

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Integration系列表引擎1HDFS1.1语法1.2示例：2MySQL2.1语法2.2示例：3Kafka3.1语法3.2示例
知行合一。。。·2024-02-19 20:33

kerberos 合并keytab文件 ktutil

非交互式：printf"%b""rkt/root/keytab/hdfs.keytab\nrkt/root/keytab/hive.keytab\nwkt/root/keytab/merged.keytab
brandblue·2024-02-19 19:51

文件上传-第三方服务阿里云OSS

阿里云官网地址：对象存储OSS_云存储服务_企业数据管理_存储-阿里云阿里云对象存储OSS是一款海量、安全、低成本、高可靠的云存储服务，提供99.9
sunyunfei1994·2024-02-19 16:54

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。
BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪·2024-02-19 11:58

Thinkphp6+Uniapp+微信小程序上传图片到阿里云OSS

阿里云对象存储OSS（ObjectStorageService）是一款海量、安全、低成本、高可靠的云存储服务。
·2024-02-19 10:05

低代码平台+阿里云存储：让业务开发更简单，数据存储更安全

阿里云作为国内领先的云计算服务提供商，其云存储服务备受用户信赖。然而，对于很多非技术人员来说，如何将低代码平台与阿里云存储对接是一个难题。
·2024-02-19 10:33

魅族宣布：停止传统手机新项目；宝马确认发生数据泄露事件；Sora助推OpenAI估值飙升275% | 极客头条

大厂发开工红包：小米最低10块，腾讯最低400魅族停止传统手机项目，后续将推出AI终端产品宝马确认发生数据泄露事件：宝马云存储服务器配置错误雷军：小米北京昌平智能工厂正式落成投产，年产千万台旗舰手机
极客日报·2024-02-19 10:52

配置hive on spark

配置hiveonspark1、上传Spark纯净版jar包到HDFS：hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改
空白格2519·2024-02-15 10:51

hive on spark配置经验

常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode
小五冲冲冲·2024-02-15 10:21

分布式文件系统 SpringBoot+FastDFS+Vue.js

FastDFS+Vue.js一、分布式文件系统1.1.文件系统1.2.什么是分布式文件系统1.3.分布式文件系统的出现1.3.主流的分布式文件系统1.4.分布式文件服务提供商1.4.1.阿里OSS1.4.2.七牛云存储
良辰美景好时光·2024-02-15 05:20

大数据集群环境启动总结

hadoop启动与停止单个节点逐一启动在主节点上使用以下命令启动HDFSNameNode：hadoop-daemon.shstartnamenode在每个从节点上使用以下命令启动HDFSDataNode
我还不够强·2024-02-14 23:04

HDFS用户及权限配置

HDFS用户及权限配置使用linux用户bruce，格式化hadoop的namenode，那么bruce成为hdfs的超级用户在bruce用户下运行命令：#创建/user/hadoop目录hadoopfs-mkdir-p
wpheternal·2024-02-14 21:42

Hadoop(HDFS)的超级用户

Hadoop(HDFS)的超级用户超级用户超级用户即运行namenode进程的用户。宽泛的讲，如果你启动了namenode，你就是超级用户。超级用户干任何事情，因为超级用户能够通过所有的权限检查。
zinger.wang·2024-02-14 21:12

0564-6.1.0-HDFS超级用户(Superuser)和HDFS管理员(Administrator)的区别

1文档编写目的在前面的文章《0550-6.1-如何将普通用户增加到HDFS的超级用户组supergroup》中Fayson介绍过如何将普通用户设置为HDFS的超级用户，从而可以让普通用户也可以执行如dfsadmin
Hadoop_SC·2024-02-14 21:41

HDFS的超级用户

一.解释原因HDFS(HadoopDistributedFileSystem)和linux文件系统管理一样，也是存在权限控制的。
重剑DS·2024-02-14 21:41

hive中的Load data 和 insert的区别

OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]local关键字：有，表示从本地文件系统中导入没有，表示从HDFS
日写BUG八百行·2024-02-14 19:10

【数据库运维】MYSQL备份恢复管理（下）

目录五，mysql备份策略3，策略三：mydumper备份数据库案例一：备份数据库sc的信息4，策略四：lvm快照从物理角度实现几乎热备的完全备份，配合二进制日志备份实现增量备份案例：lvm备份5，策略五：xtrabackup备份数据库，实现完全热备份与增量热备份案例一：完全备份案例二：增量备份五，mysql备份策略3，策略三：mydumper备份数据库（1）Mydumper安装[root@nod
小胖鲸~·2024-02-14 17:04

学习总结 - swift适配器 为 Hadoop 的存储层增加对 OpenStack Swift 的支持

虽然文档内所涉及的版本有点旧，但内容很精彩，值得推荐背景在Hadoop中有一个抽象文件系统的概念，它有多个不同的子类实现，由DistributedFileSystem类代表的HDFS便是其中之一。
天地不仁以万物为刍狗·2024-02-14 07:37

hadoop HDFS的API封装

FSDataInputStream和FSDataOutputStream：这两个类是HDFS中的输入输出流。
Cynicism_Kevin·2024-02-14 07:37

linux中du的常见用法和查看文件大小并排序

du-s应用在想知道目录具体有多大的时候du-h这样方便看，常常du-s查询的时候也可以加上-h但是有一种情况例外，就是如下这种查看文件大小并排序前两天我想看下有个目录下（HDFS的和linux的用法一样
早点起床晒太阳·2024-02-13 23:18

利用 Docker 安装 Hadoop 集群并通过 Java API 访问 HDFS

前言最近刚好在学习Hadoop，在安装过程中遇到了一些小麻烦，正好将此次过程记录并分享出来，希望能对准备学习本块内容的读者们有所帮助。本次操作在Ubuntu中完成，如何安装Ubuntu本文不再赘述。本文所涉及到的代码及配置文件可在微信公众号「01二进制」后台回复「hadoop」获取。在Ubuntu中安装配置Docker使用官方安装脚本自动安装安装命令如下：curl-fsSLhttps://get.
qq_33419925·2024-02-13 21:38

hadoop 分布式集群安装与原理

我们分享一套能让您轻松完成集群搭建的方法，包括Hadoop的源码编译、企业级环境安装与配置和常用大数据组件的基本原理，请点击下面连接按笔记顺序进行学习服务器基础环境批量操作多台服务器zookeeper编译hadoop源码高可用（HA）HDFS
海牛大数据_青牛老师·2024-02-13 12:44

【重识云原生】第六章容器6.1.7.1节——Docker核心技术cgroups综述

计算虚拟化技术总述第二章计算第2节——主流虚拟化技术之VMareESXi第二章计算第3节——主流虚拟化技术之Xen第二章计算第4节——主流虚拟化技术之KVM第二章计算第5节——商用云主机方案第二章计算第6节——裸金属方案第三章云存储第
江中散人·2024-02-13 12:00

使用LNMP搭建私有云存储

简介LNMP是指一组通常一起使用来运行动态网站或者服务器的自由软件名称首字母缩写。第一步：安装：[root@server/]#yuminstallnginxmariadb-serverphp*-y在nextcloud官网下载nextcloud-25.0.1（PHP对版本有要求），利用xftp上传到linux的根目录下，切记不要放到root用户下，因为权限问题#解压压缩包[root@server/]
隔壁小木在努力冲·2024-02-13 09:36

[AIGC] 上传文件：后端处理还是直接阿里云OSS？

但是，上传文件的方式有很多种，最常见的两种方式是：通过后端处理，或者直接上传至云存储服务，如阿里云OSS。那么，哪种方式更好？本文将为您提供一些思考和建议。
程序员三木·2024-02-13 06:46

分区表

分区表：分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。
incover·2024-02-12 22:34
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他