数据库运维hdfs云存储

CDH浏览器安装流程

选择所有得主机列出所有得主机3然后根据自己安装得版本来进行选择选择对应版本4然后等待安装等待配置5出现问题根据提示进行操作进行相关设置（安装得时候，一般做了配置）6然后下一步，然后选择自定义安装，先安装最基本得几个组件：HDFSHbaseZooKeePerYARN7
PunkP·2024-01-25 23:41

Python3.7+Django2.0.4配合vue.js2.0实现又拍云(upyun.cm)存储的异步拖拽文件上传功能

原文转载自「刘悦的技术博客」https://v3u.cn/a_id_140在之前的几篇文章里阐述过关于七牛云云存储文件上传的一些操作：python3.7+Vue.js2.0+Django2.0.4异步前端通过
刘悦的技术博客·2024-01-25 22:02

大数据开发之Spark（spark streaming）

sparkstreaming支持的数据源很多，例如：kafka、flume、hdfs等。数据输入后可以用spark的高度抽象原语如：map、reduce、join、window等进行计算。
Key-Key·2024-01-25 21:07

sqoop之hive数据仓库和oracle数据库数据转换

，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS
Summer_1981·2024-01-25 20:37

java打jar包添加第三方依赖

    org.apache.maven.pluginsmaven-shade-plugin2.4.3packageshadeaddMain-Classtomanifestfilecom.shine.HdfsAPImergeMETA-INF
久生情123·2024-01-25 18:25

HDFS高可用架构涉及常用功能整理

HDFS高可用架构涉及常用功能整理1.hdfs的高可用系统架构和相关组件2.hdfs的核心参数2.1常规配置2.2特殊优化配置2.1.1NN优化2.1.2DN优化3.hdfs常用命令3.1常用基础命令3.2
李姓门徒·2024-01-25 16:31

hadoop集群部署

Hadoop的框架最核心的设计就是：HDFS和Ma
Cat God 007·2024-01-25 12:45

hadoop集群规划部署

hadoop102hadoop103hadoop104HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResourceManagerNodeManagerNodeM
Snower_2022·2024-01-25 12:43

视频汇聚/云存储平台EasyCVR级联上级播放后一直发流是什么原因？

可视化云监控平台/安防视频监控系统EasyCVR视频综合管理平台，采用了开放式的网络结构，可以提供实时远程视频监控、视频录像、录像回放与存储、告警、语音对讲、云台控制、平台级联、磁盘阵列存储、视频集中存储、云存储等丰富的视频能力
EasyCVR·2024-01-25 09:51

上万字详解Spark Core（建议收藏）

虽然MapReduce提供了对数据访问和计算的抽象，但是对于数据的复用就是简单的将中间数据写到一个稳定的文件系统中(例如HDFS)，
废柴程序员·2024-01-25 09:06

Hadoop-HDFS写流程（从命令行到完成）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、源码分析源码中写的肯定是最真实的，下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4
隔着天花板看星星·2024-01-25 09:23

Hadoop-HDFS高可用

一、说明在我的博客中已经包含了HDFS高可用的搭建，这里描述下它的原理。
隔着天花板看星星·2024-01-25 09:52

Hadoop-HDFS读流程（从输入命令到回显）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、静静的思考一会儿爱因斯坦说过：想象力比知识更重要。想象力推动世界，是知识进化的源泉。
隔着天花板看星星·2024-01-25 09:52

HBase学习五：运维排障之备份与恢复

HBase的所有文件都存储在HDFS上，因此只要使用Hadoop提供的文件复制工具distcp将HBASE目录复制到同一HDFS或者其他HDFS的另一个目录中，就可以完成对源HBase集群的备份工作copyTable
Studying！！！·2024-01-25 09:49

大数据平台组件日常运维操作说明（Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat）

Hadoop日常运维操作说明hdfs生产环境hadoop为30台服务器组成的集群，统一安装配置，版本号为2.7.7部署路径：/opt/hadoop启动用户：hadoop配置文件：/opt/hadoop/
love6a6·2024-01-25 07:12

Hadoop HDFS 实现原理图文详解

一、HDFS体系结构1.1HDFS简介Hadoop分布式文件系统(HDFS)是运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
禅与计算机程序设计艺术·2024-01-25 07:49

s3fs挂载minio集群到本地目录

1.前言MinIO是一款高性能的对象存储，与AmazonS3云存储服务兼容，并且号称是世界上最快的对象存储服务器。
SRE成长记·2024-01-24 21:07

大数据小白初探HDFS架构原理：带你揭秘背后的真相（一）

目录1.前言2.HDFS架构2.1架构定义2.2揭秘架构2.3HDFS核心结构3.HDFS的优缺点3.1HDFS的优点3.2HDFS的缺点4.HDFS的应用场景5.总结1.前言前面的文章写了一篇，大数据方面的基础知识
程序员阿奇·2024-01-24 19:38

小白初探架构模式—常用的设计模式

2.4主从架构的示例3.主从架构设计的延伸3.1主备模式3.2主从复制3.3集群分片3.4异地多活4.总结1.前言作为一个架构设计小白，我们通常用了很多种工具，比如Mysql、Redis、Kafka、Hdfs
程序员阿奇·2024-01-24 19:03

微信小程序云开发上传word文档到云存储器

微信程序直接选择上传文件时跳转手机的文件管理往往看到这样的画面这对于大部分用户是很不友好的，经常找不到用户想要上传的文档我所使用的是利用微信自带的两个api实现文件选择和上传，话不多说直接上选择文件界面的效果图代码不长，调用的api可以去官方文档查找//上传文件函数upLoadFile(){lettimestamp=''//用时间戳生成随机码做为图片名称timestamp=(newDate()).
踏踏实实做人，勤勤恳恳做事·2024-01-24 16:45

学习日志2020.7.14 解析Livox点云存储数据结构

点云数据存储方式终于有点眉目了。点云数据率是每秒十万点，每秒有20帧framerate，每一帧包含50个左右数据包pointpacket，这50个数据包组合成一个临时数据包列表pointpacketlisttemp，所有的临时数据包列表组成完整的数据包列表pointpacketlist，写入本地文件。算法层上，数据存储的最小单元是数据包pointpacket，每个数据包大小为1319字节byte，
李4kj5f7jhd4·2024-01-24 15:04

买阿里云服务器上官方云小站领优惠券，最高减300元

阿里云服务器优惠券总金额为590元，此优惠券除了可用于阿里云服务器产品之外，还适用于阿里云其他云产品，包括云数据库、云存储
阿里云最新优惠和活动汇总·2024-01-24 14:55

部署Hadoop集群

在node1节点执行，以root身份1：在VMware虚拟机集群上部署HDFS集群1）准备好hadoop安装包；目前最新3.3.4；了解：2）上传解压hadoop①：上传hadoop到node1节点；②
%HelloWorld%·2024-01-24 13:27

Hive 优化总结

Hive优化本质：HDFS+MapReduce问题原因：倾斜：分区：有的分区没有数据，有的分区数据堆积。(若按天分区，每一天数据差别大就叫倾斜。)
Byyyi耀·2024-01-24 10:25

IDEA报错：No hostname could be resolved for the IP address 127.0.0.1, using IP address as host name.

NohostnamecouldberesolvedfortheIPaddress127.0.0.1,usingIPaddressashostname.Localinputsplitassignment(suchasforHDFSfiles
唯一2333·2024-01-24 09:09

红队视角下的公有云基础组件安全（二）

目录●云存储●云计算●云网络●其他云存储AzureStorageAzureStorage是微软云出品的文件存储功能，他有一个重要的概念，那就是储存账户。首先我们需要明确一下AzureSt
杭州默安科技·2024-01-24 08:33

hbase 总结

HBase什么是HBasehbase是一个基于java、开源、NoSql、非关系型、面向列的、构建与hadoop分布式文件系统（HDFS）上的、仿照谷歌的BigTable的论文开发的分布式数据库。
l靠近一点点l·2024-01-24 08:24

Hbase原理、基本概念、基本架构

概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于GoogleBigTable模型开发的，典型的key/value系统；HBase是ApacheHadoop生态系统中的重要一员，主要用于海量结构化数据存储
wyl9527·2024-01-24 08:24

Hadoop集群（第12期)_HBase简介及安装

可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据
weixin_30451709·2024-01-24 08:23

HBase学习

可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据
mm_bit·2024-01-24 08:20

HBase简易安装和简介

可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据
滑过的板砖·2024-01-24 08:49

Javaweb之SpringBootWeb案例文件上传的详细解析

文件上传技术这块我们主要讲解三个方面：首先我们先对文件上传做一个整体的介绍，接着再学习文件上传的本地存储方式，最后学习云存储方式。接下来我们就先来学习下什么是文件上传。
向着五星的方向·2024-01-24 08:43

HBase学习五：运维排障之宕机恢复

RegionServer主要负责用户的读写服务，进程中包含很多缓存组件以及与HDFS交互的组件，实际生产线上往往会有非常大的压力，进而造成的软件层面故障会比较多。
Studying！！！·2024-01-24 07:27

记一次Flink通过Kafka写入MySQL的过程

->sink,即从source获取相应的数据来源，然后进行数据转换，将数据从比较乱的格式，转换成我们需要的格式，转换处理后，然后进行sink功能，也就是将数据写入的相应的数据库DB中或者写入Hive的HDFS
梦痕长情·2024-01-24 07:17

Hadoop中HBase命令行操作

采用的底层存储为HDFS。使用Hbase客户端操作，执行查看Hbase版本、状态、查看帮助命令。创建表、修改表、插入数据、删除数据、查询数据，清空表、退出Hbase命令行、停止HDFS服务。
m0_69595107·2024-01-24 06:05

Storm和hadoop对比及storm组件

stormhadoop实时流处理批处理无状态有状态使用zk协同的主从架构无主从zk架构每秒处理数万消息HDFS，MR数分钟，数小时不会主动停止终于完成的时候storm优点：跨语言，可伸缩，低延迟，秒级容错核心概念
smartjiang·2024-01-24 02:01

智慧工厂视频监控平台EasyCVR公网收流后内网设备无法播放是什么原因？

安防视频监控平台EasyCVR采用了开放式的网络结构，支持高清视频的接入和传输、分发，平台提供实时远程视频监控、视频录像、录像回放与存储、告警、语音对讲、云台控制、平台级联、磁盘阵列存储、视频集中存储、云存储等丰富的视频能力
EasyCVR·2024-01-23 22:55

openGauss学习笔记-205 openGauss 数据库运维-常见故障定位案例-业务运行时整数转换错

文章目录openGauss学习笔记-205openGauss数据库运维-常见故障定位案例-业务运行时整数转换错205.1业务运行时整数转换错205.1.1问题现象205.1.2原因分析205.1.3处理办法
superman超哥·2024-01-23 21:42

openGauss学习笔记-204 openGauss 数据库运维-常见故障定位案例-重建索引失败

文章目录openGauss学习笔记-204openGauss数据库运维-常见故障定位案例-重建索引失败204.1重建索引失败204.1.1问题现象204.1.2原因分析204.1.3处理办法openGauss
superman超哥·2024-01-23 21:42

CHAPTER 15: 《DESIGN GOOGLE DRIVE》第15章:《设计谷歌驱动器》

近年来，云存储服务如谷歌Drive、Dropbox、MicrosoftOneDrive、苹果的iCloud已经变得非常流行。在本章中，你需要设计谷歌开车。
后端工匠之道·2024-01-23 17:14

白嫖百度网盘超级会员方法教程，百度网盘会员便宜渠道分享

百度网盘作为国内最大的云存储服务提供商之一，向来备受用户的追捧。而对于喜欢分享与下载资料的用户而言，百度网盘超级会员更是享有诸多权益。
小小编007·2024-01-23 17:48

腾讯云优惠券最新领取入口整理分享

腾讯云作为国内知名的云服务提供商，提供了丰富的云产品，包括云服务器、云数据库、云存储、人工智能等。为了让更多的用户能够享受腾讯云的服务，腾讯云经常会提供一些优惠券，帮助用户降低上云门槛。
老王说主机·2024-01-23 16:21

阿里云2023年双十一活动各云产品活动内容及优惠政策汇总

小编看了一下阿里云2023年的双十一活动，活动分为主会场和8个云产品分会场，涉及的云产品涵盖了云服务器、云数据库、云存储、云网络、大数据Al、云原生、云安全等几乎所有阿里云产品，下面是小编整理的各云产品活动内容及新购和续费的主要优惠政策
阿里云最新优惠和活动汇总·2024-01-23 15:39

Hadoop集群配置及测试

配置文件hadoop102hadoop103hadoop104HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNod
YUuuuME_·2024-01-23 11:07

Spark解析JSON文件，写入hdfs

一、用Sparkcontext读入文件，map逐行用Gson解析，输出转成一个caseclass类，填充各字段，输出。解析JSON这里没有什么问题。RDD覆盖写的时候碰到了一些问题：1.直接saveAsTextFile没有覆盖true参数；2.转dataframe时，还得一个一个字段显化才能转成dataframe；3.write时，一开始打算写text，说字段里不能含有long和int，换成str
gegeyanxin·2024-01-23 09:42

Hadoop基本介绍

1、Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem
w蕾丝·2024-01-23 08:53

DATAX的架构和运行原理

一.概念DATAX呢就是把各个不同构的数据库进行同步的过程，具体有hdfshiveOracle等等吧。二.架构1.设计原理显而易见从强连通图到星形图，大大的简化了工作量。
加林so cool·2024-01-23 08:37

Sqoop数据导入到Hive表的最佳实践

Sqoop是一个开源工具，用于在Hadoop生态系统中的数据存储（如HDFS）和关系型数据库之间传输数据。它可以帮助数据工程师和分析师轻松地
晓之以理的喵~~·2024-01-23 07:35

cdh6.3.2的hive配udf

背景大数据平台的租户要使用udf，他们用beeline连接，意味着要通过hs2，但如果有多个hs2，各个hs2之间不能共享，需要先把文件传到hdfs，然后手动在各hs2上createfunction。
zdkdchao·2024-01-23 07:02

flume案例

在构建数仓时，经常会用到flume接收日志数据，通常涉及到的组件为kafka，hdfs等。下面以一个flume接收指定topic数据，并存入hdfs的案例，大致了解下flume相关使用规则。
不加班程序员·2024-01-23 06:48
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他