数据库运维hdfs云存储

C语句的作用和分类，赋值表达式和赋值语句、空语句等

它们分别是：if()...else...for()...循环语句while()...do...while()continuebreakswitchreturngoto2、函数调用语句比如printf（“dhdfsal
qq_263_tohua·2024-01-26 16:04

使用Rclone将阿里云对象存储迁移至雨云对象存储的教程，对象存储数据迁移/搬运教程

它允许在文件系统和云存储服务之间或在多个云存储服务之间访问和同步文件，它具有单向同步功能，使目录完全相同，它具有加密、缓存和联合后端，支持Fuse安装，并且可以通过HTTP、WebDAV
雨云官方·2024-01-26 15:21

135.如何进行离线计算-1

应用场景用户流失预警系统基于用户购买的挽回系统用户特征和规则提取系统数据分析系统用户画像系统流程数据采集数据预处理数据建模ETL数据导出工作流调度135.1数据采集Flume收集服务器日志到hdfstype
大勇任卷舒·2024-01-26 15:03

openGauss学习笔记-207 openGauss 数据库运维-常见故障定位案例-btree 索引故障情况下应对策略

文章目录openGauss学习笔记-207openGauss数据库运维-常见故障定位案例-btree索引故障情况下应对策略207.1btree索引故障情况下应对策略207.1.1问题现象207.1.2原因分析
superman超哥·2024-01-26 13:55

用户画像项目背景

1,用户画像项目介绍大数据平台简介数据仓库+用户画像+推荐系统（1）数据仓库：加快数据的分析和查询数据仓库分层：ODS层(映射HDFS的数据)—DW(数据仓库层)–APP(层)—BI(层)DW:DWD明细数据层
祈愿lucky·2024-01-26 13:20

Redis在生产环境中可能遇到的问题与解决方案（四）

远程备份：将备份文件复制到远程服务器或云存储，以防止本地灾难性故障。监控备份任务：设置监控任务，确保备份任务正常执行，及时发现问题。17.Redis混淆攻击问题问题描述恶意攻击者可能尝试通过发送大
QFN-齐·2024-01-26 13:37

群辉NAS的远程访问

群辉NAS是私有云存储，局域网访问很容易【详见：网上邻居访问设置、其它设备的访问设置】，远程访问相对复杂，涉及很多关键因素，现将过程记录如下：目录1、互联网接入2、绑定MAC与IP地址3、路由器开启5006
beiger·2024-01-26 07:27

Flink1.13集成Hadoop3.x以上版本

org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:Couldnotfindafilesystemimplementationforscheme'hdfs
未来影子·2024-01-26 04:22

HDFS操作

文章目录主要内容1.编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：一.shell命令行实现1.向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件
K要努力·2024-01-26 02:43

Pyspark 读 DataFrame 的使用与基本操作

一、安装基于mac操作系统安装jdkjdk下载地址安装pysparkpipinstallpyspark二、读取HDFS文件读json注意，如果是多行的json，需要用“multiLine”模式，否则会报错
苏学算法·2024-01-26 02:10

pyspark学习-RDD转换和动作

RDDsc.parallelize(param:list)#demosc.parallelize(['tom','jack','black'])#2.textFile方法：读取文件,创建RDD,参数为hdfs
heiqizero·2024-01-26 02:39

2022年阿里云服务器优惠券领取和使用技巧及注意事项

2022年阿里云服务器优惠券最高最高可领取480元，适用于阿里云的各种云产品，包括阿里云ECS服务器、云数据库、云存储、云解析、域名等，其中云服务器使用相对比较多的，阿里云拥有上海、北京、深圳、杭州、青岛
阿里云最新优惠和活动汇总·2024-01-26 02:46

使用CDH的api接口对cdh服务进行滚动重启

写了个py脚本实现此功能importtimeimportrequestsimportjsonimportsys#可操作的服务列表server_list=['hdfs','yarn','zookeeper
Mumunu-·2024-01-26 01:32

HDFS的优缺点、写流架构、访问方式、可靠性策略新特性

HDFS优点高容错性数据自动保存多个副本副本丢失后，自动恢复适合批处理移动计算而非数据数据位置暴露给计算框架适合大数据处理GB、TB、甚至PB级数据百万规模以上的文件数量10K+节点规模流式文件访问一次性写入
木迪_2a4e·2024-01-26 00:49

CDH浏览器安装流程

选择所有得主机列出所有得主机3然后根据自己安装得版本来进行选择选择对应版本4然后等待安装等待配置5出现问题根据提示进行操作进行相关设置（安装得时候，一般做了配置）6然后下一步，然后选择自定义安装，先安装最基本得几个组件：HDFSHbaseZooKeePerYARN7
PunkP·2024-01-25 23:41

Python3.7+Django2.0.4配合vue.js2.0实现又拍云(upyun.cm)存储的异步拖拽文件上传功能

原文转载自「刘悦的技术博客」https://v3u.cn/a_id_140在之前的几篇文章里阐述过关于七牛云云存储文件上传的一些操作：python3.7+Vue.js2.0+Django2.0.4异步前端通过
刘悦的技术博客·2024-01-25 22:02

大数据开发之Spark（spark streaming）

sparkstreaming支持的数据源很多，例如：kafka、flume、hdfs等。数据输入后可以用spark的高度抽象原语如：map、reduce、join、window等进行计算。
Key-Key·2024-01-25 21:07

sqoop之hive数据仓库和oracle数据库数据转换

，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS
Summer_1981·2024-01-25 20:37

java打jar包添加第三方依赖

    org.apache.maven.pluginsmaven-shade-plugin2.4.3packageshadeaddMain-Classtomanifestfilecom.shine.HdfsAPImergeMETA-INF
久生情123·2024-01-25 18:25

HDFS高可用架构涉及常用功能整理

HDFS高可用架构涉及常用功能整理1.hdfs的高可用系统架构和相关组件2.hdfs的核心参数2.1常规配置2.2特殊优化配置2.1.1NN优化2.1.2DN优化3.hdfs常用命令3.1常用基础命令3.2
李姓门徒·2024-01-25 16:31

hadoop集群部署

Hadoop的框架最核心的设计就是：HDFS和Ma
Cat God 007·2024-01-25 12:45

hadoop集群规划部署

hadoop102hadoop103hadoop104HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResourceManagerNodeManagerNodeM
Snower_2022·2024-01-25 12:43

视频汇聚/云存储平台EasyCVR级联上级播放后一直发流是什么原因？

可视化云监控平台/安防视频监控系统EasyCVR视频综合管理平台，采用了开放式的网络结构，可以提供实时远程视频监控、视频录像、录像回放与存储、告警、语音对讲、云台控制、平台级联、磁盘阵列存储、视频集中存储、云存储等丰富的视频能力
EasyCVR·2024-01-25 09:51

上万字详解Spark Core（建议收藏）

虽然MapReduce提供了对数据访问和计算的抽象，但是对于数据的复用就是简单的将中间数据写到一个稳定的文件系统中(例如HDFS)，
废柴程序员·2024-01-25 09:06

Hadoop-HDFS写流程（从命令行到完成）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、源码分析源码中写的肯定是最真实的，下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4
隔着天花板看星星·2024-01-25 09:23

Hadoop-HDFS高可用

一、说明在我的博客中已经包含了HDFS高可用的搭建，这里描述下它的原理。
隔着天花板看星星·2024-01-25 09:52

Hadoop-HDFS读流程（从输入命令到回显）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、静静的思考一会儿爱因斯坦说过：想象力比知识更重要。想象力推动世界，是知识进化的源泉。
隔着天花板看星星·2024-01-25 09:52

HBase学习五：运维排障之备份与恢复

HBase的所有文件都存储在HDFS上，因此只要使用Hadoop提供的文件复制工具distcp将HBASE目录复制到同一HDFS或者其他HDFS的另一个目录中，就可以完成对源HBase集群的备份工作copyTable
Studying！！！·2024-01-25 09:49

大数据平台组件日常运维操作说明（Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat）

Hadoop日常运维操作说明hdfs生产环境hadoop为30台服务器组成的集群，统一安装配置，版本号为2.7.7部署路径：/opt/hadoop启动用户：hadoop配置文件：/opt/hadoop/
love6a6·2024-01-25 07:12

Hadoop HDFS 实现原理图文详解

一、HDFS体系结构1.1HDFS简介Hadoop分布式文件系统(HDFS)是运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
禅与计算机程序设计艺术·2024-01-25 07:49

s3fs挂载minio集群到本地目录

1.前言MinIO是一款高性能的对象存储，与AmazonS3云存储服务兼容，并且号称是世界上最快的对象存储服务器。
SRE成长记·2024-01-24 21:07

大数据小白初探HDFS架构原理：带你揭秘背后的真相（一）

目录1.前言2.HDFS架构2.1架构定义2.2揭秘架构2.3HDFS核心结构3.HDFS的优缺点3.1HDFS的优点3.2HDFS的缺点4.HDFS的应用场景5.总结1.前言前面的文章写了一篇，大数据方面的基础知识
程序员阿奇·2024-01-24 19:38

小白初探架构模式—常用的设计模式

2.4主从架构的示例3.主从架构设计的延伸3.1主备模式3.2主从复制3.3集群分片3.4异地多活4.总结1.前言作为一个架构设计小白，我们通常用了很多种工具，比如Mysql、Redis、Kafka、Hdfs
程序员阿奇·2024-01-24 19:03

微信小程序云开发上传word文档到云存储器

微信程序直接选择上传文件时跳转手机的文件管理往往看到这样的画面这对于大部分用户是很不友好的，经常找不到用户想要上传的文档我所使用的是利用微信自带的两个api实现文件选择和上传，话不多说直接上选择文件界面的效果图代码不长，调用的api可以去官方文档查找//上传文件函数upLoadFile(){lettimestamp=''//用时间戳生成随机码做为图片名称timestamp=(newDate()).
踏踏实实做人，勤勤恳恳做事·2024-01-24 16:45

学习日志2020.7.14 解析Livox点云存储数据结构

点云数据存储方式终于有点眉目了。点云数据率是每秒十万点，每秒有20帧framerate，每一帧包含50个左右数据包pointpacket，这50个数据包组合成一个临时数据包列表pointpacketlisttemp，所有的临时数据包列表组成完整的数据包列表pointpacketlist，写入本地文件。算法层上，数据存储的最小单元是数据包pointpacket，每个数据包大小为1319字节byte，
李4kj5f7jhd4·2024-01-24 15:04

买阿里云服务器上官方云小站领优惠券，最高减300元

阿里云服务器优惠券总金额为590元，此优惠券除了可用于阿里云服务器产品之外，还适用于阿里云其他云产品，包括云数据库、云存储
阿里云最新优惠和活动汇总·2024-01-24 14:55

部署Hadoop集群

在node1节点执行，以root身份1：在VMware虚拟机集群上部署HDFS集群1）准备好hadoop安装包；目前最新3.3.4；了解：2）上传解压hadoop①：上传hadoop到node1节点；②
%HelloWorld%·2024-01-24 13:27

Hive 优化总结

Hive优化本质：HDFS+MapReduce问题原因：倾斜：分区：有的分区没有数据，有的分区数据堆积。(若按天分区，每一天数据差别大就叫倾斜。)
Byyyi耀·2024-01-24 10:25

IDEA报错：No hostname could be resolved for the IP address 127.0.0.1, using IP address as host name.

NohostnamecouldberesolvedfortheIPaddress127.0.0.1,usingIPaddressashostname.Localinputsplitassignment(suchasforHDFSfiles
唯一2333·2024-01-24 09:09

红队视角下的公有云基础组件安全（二）

目录●云存储●云计算●云网络●其他云存储AzureStorageAzureStorage是微软云出品的文件存储功能，他有一个重要的概念，那就是储存账户。首先我们需要明确一下AzureSt
杭州默安科技·2024-01-24 08:33

hbase 总结

HBase什么是HBasehbase是一个基于java、开源、NoSql、非关系型、面向列的、构建与hadoop分布式文件系统（HDFS）上的、仿照谷歌的BigTable的论文开发的分布式数据库。
l靠近一点点l·2024-01-24 08:24

Hbase原理、基本概念、基本架构

概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于GoogleBigTable模型开发的，典型的key/value系统；HBase是ApacheHadoop生态系统中的重要一员，主要用于海量结构化数据存储
wyl9527·2024-01-24 08:24

Hadoop集群（第12期)_HBase简介及安装

可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据
weixin_30451709·2024-01-24 08:23

HBase学习

可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据
mm_bit·2024-01-24 08:20

HBase简易安装和简介

可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据
滑过的板砖·2024-01-24 08:49

Javaweb之SpringBootWeb案例文件上传的详细解析

文件上传技术这块我们主要讲解三个方面：首先我们先对文件上传做一个整体的介绍，接着再学习文件上传的本地存储方式，最后学习云存储方式。接下来我们就先来学习下什么是文件上传。
向着五星的方向·2024-01-24 08:43

HBase学习五：运维排障之宕机恢复

RegionServer主要负责用户的读写服务，进程中包含很多缓存组件以及与HDFS交互的组件，实际生产线上往往会有非常大的压力，进而造成的软件层面故障会比较多。
Studying！！！·2024-01-24 07:27

记一次Flink通过Kafka写入MySQL的过程

->sink,即从source获取相应的数据来源，然后进行数据转换，将数据从比较乱的格式，转换成我们需要的格式，转换处理后，然后进行sink功能，也就是将数据写入的相应的数据库DB中或者写入Hive的HDFS
梦痕长情·2024-01-24 07:17

Hadoop中HBase命令行操作

采用的底层存储为HDFS。使用Hbase客户端操作，执行查看Hbase版本、状态、查看帮助命令。创建表、修改表、插入数据、删除数据、查询数据，清空表、退出Hbase命令行、停止HDFS服务。
m0_69595107·2024-01-24 06:05

Storm和hadoop对比及storm组件

stormhadoop实时流处理批处理无状态有状态使用zk协同的主从架构无主从zk架构每秒处理数万消息HDFS，MR数分钟，数小时不会主动停止终于完成的时候storm优点：跨语言，可伸缩，低延迟，秒级容错核心概念
smartjiang·2024-01-24 02:01
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他