数据库运维hdfs云存储

部署Hadoop集群

在node1节点执行，以root身份1：在VMware虚拟机集群上部署HDFS集群1）准备好hadoop安装包；目前最新3.3.4；了解：2）上传解压hadoop①：上传hadoop到node1节点；②
%HelloWorld%·2024-01-24 13:27

Hive 优化总结

Hive优化本质：HDFS+MapReduce问题原因：倾斜：分区：有的分区没有数据，有的分区数据堆积。(若按天分区，每一天数据差别大就叫倾斜。)
Byyyi耀·2024-01-24 10:25

IDEA报错：No hostname could be resolved for the IP address 127.0.0.1, using IP address as host name.

NohostnamecouldberesolvedfortheIPaddress127.0.0.1,usingIPaddressashostname.Localinputsplitassignment(suchasforHDFSfiles
唯一2333·2024-01-24 09:09

红队视角下的公有云基础组件安全（二）

目录●云存储●云计算●云网络●其他云存储AzureStorageAzureStorage是微软云出品的文件存储功能，他有一个重要的概念，那就是储存账户。首先我们需要明确一下AzureSt
杭州默安科技·2024-01-24 08:33

hbase 总结

HBase什么是HBasehbase是一个基于java、开源、NoSql、非关系型、面向列的、构建与hadoop分布式文件系统（HDFS）上的、仿照谷歌的BigTable的论文开发的分布式数据库。
l靠近一点点l·2024-01-24 08:24

Hbase原理、基本概念、基本架构

概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于GoogleBigTable模型开发的，典型的key/value系统；HBase是ApacheHadoop生态系统中的重要一员，主要用于海量结构化数据存储
wyl9527·2024-01-24 08:24

Hadoop集群（第12期)_HBase简介及安装

可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据
weixin_30451709·2024-01-24 08:23

HBase学习

可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据
mm_bit·2024-01-24 08:20

HBase简易安装和简介

可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据
滑过的板砖·2024-01-24 08:49

Javaweb之SpringBootWeb案例文件上传的详细解析

文件上传技术这块我们主要讲解三个方面：首先我们先对文件上传做一个整体的介绍，接着再学习文件上传的本地存储方式，最后学习云存储方式。接下来我们就先来学习下什么是文件上传。
向着五星的方向·2024-01-24 08:43

HBase学习五：运维排障之宕机恢复

RegionServer主要负责用户的读写服务，进程中包含很多缓存组件以及与HDFS交互的组件，实际生产线上往往会有非常大的压力，进而造成的软件层面故障会比较多。
Studying！！！·2024-01-24 07:27

记一次Flink通过Kafka写入MySQL的过程

->sink,即从source获取相应的数据来源，然后进行数据转换，将数据从比较乱的格式，转换成我们需要的格式，转换处理后，然后进行sink功能，也就是将数据写入的相应的数据库DB中或者写入Hive的HDFS
梦痕长情·2024-01-24 07:17

Hadoop中HBase命令行操作

采用的底层存储为HDFS。使用Hbase客户端操作，执行查看Hbase版本、状态、查看帮助命令。创建表、修改表、插入数据、删除数据、查询数据，清空表、退出Hbase命令行、停止HDFS服务。
m0_69595107·2024-01-24 06:05

Storm和hadoop对比及storm组件

stormhadoop实时流处理批处理无状态有状态使用zk协同的主从架构无主从zk架构每秒处理数万消息HDFS，MR数分钟，数小时不会主动停止终于完成的时候storm优点：跨语言，可伸缩，低延迟，秒级容错核心概念
smartjiang·2024-01-24 02:01

智慧工厂视频监控平台EasyCVR公网收流后内网设备无法播放是什么原因？

安防视频监控平台EasyCVR采用了开放式的网络结构，支持高清视频的接入和传输、分发，平台提供实时远程视频监控、视频录像、录像回放与存储、告警、语音对讲、云台控制、平台级联、磁盘阵列存储、视频集中存储、云存储等丰富的视频能力
EasyCVR·2024-01-23 22:55

openGauss学习笔记-205 openGauss 数据库运维-常见故障定位案例-业务运行时整数转换错

文章目录openGauss学习笔记-205openGauss数据库运维-常见故障定位案例-业务运行时整数转换错205.1业务运行时整数转换错205.1.1问题现象205.1.2原因分析205.1.3处理办法
superman超哥·2024-01-23 21:42

openGauss学习笔记-204 openGauss 数据库运维-常见故障定位案例-重建索引失败

文章目录openGauss学习笔记-204openGauss数据库运维-常见故障定位案例-重建索引失败204.1重建索引失败204.1.1问题现象204.1.2原因分析204.1.3处理办法openGauss
superman超哥·2024-01-23 21:42

CHAPTER 15: 《DESIGN GOOGLE DRIVE》第15章:《设计谷歌驱动器》

近年来，云存储服务如谷歌Drive、Dropbox、MicrosoftOneDrive、苹果的iCloud已经变得非常流行。在本章中，你需要设计谷歌开车。
后端工匠之道·2024-01-23 17:14

白嫖百度网盘超级会员方法教程，百度网盘会员便宜渠道分享

百度网盘作为国内最大的云存储服务提供商之一，向来备受用户的追捧。而对于喜欢分享与下载资料的用户而言，百度网盘超级会员更是享有诸多权益。
小小编007·2024-01-23 17:48

腾讯云优惠券最新领取入口整理分享

腾讯云作为国内知名的云服务提供商，提供了丰富的云产品，包括云服务器、云数据库、云存储、人工智能等。为了让更多的用户能够享受腾讯云的服务，腾讯云经常会提供一些优惠券，帮助用户降低上云门槛。
老王说主机·2024-01-23 16:21

阿里云2023年双十一活动各云产品活动内容及优惠政策汇总

小编看了一下阿里云2023年的双十一活动，活动分为主会场和8个云产品分会场，涉及的云产品涵盖了云服务器、云数据库、云存储、云网络、大数据Al、云原生、云安全等几乎所有阿里云产品，下面是小编整理的各云产品活动内容及新购和续费的主要优惠政策
阿里云最新优惠和活动汇总·2024-01-23 15:39

Hadoop集群配置及测试

配置文件hadoop102hadoop103hadoop104HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNod
YUuuuME_·2024-01-23 11:07

Spark解析JSON文件，写入hdfs

一、用Sparkcontext读入文件，map逐行用Gson解析，输出转成一个caseclass类，填充各字段，输出。解析JSON这里没有什么问题。RDD覆盖写的时候碰到了一些问题：1.直接saveAsTextFile没有覆盖true参数；2.转dataframe时，还得一个一个字段显化才能转成dataframe；3.write时，一开始打算写text，说字段里不能含有long和int，换成str
gegeyanxin·2024-01-23 09:42

Hadoop基本介绍

1、Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem
w蕾丝·2024-01-23 08:53

DATAX的架构和运行原理

一.概念DATAX呢就是把各个不同构的数据库进行同步的过程，具体有hdfshiveOracle等等吧。二.架构1.设计原理显而易见从强连通图到星形图，大大的简化了工作量。
加林so cool·2024-01-23 08:37

Sqoop数据导入到Hive表的最佳实践

Sqoop是一个开源工具，用于在Hadoop生态系统中的数据存储（如HDFS）和关系型数据库之间传输数据。它可以帮助数据工程师和分析师轻松地
晓之以理的喵~~·2024-01-23 07:35

cdh6.3.2的hive配udf

背景大数据平台的租户要使用udf，他们用beeline连接，意味着要通过hs2，但如果有多个hs2，各个hs2之间不能共享，需要先把文件传到hdfs，然后手动在各hs2上createfunction。
zdkdchao·2024-01-23 07:02

flume案例

在构建数仓时，经常会用到flume接收日志数据，通常涉及到的组件为kafka，hdfs等。下面以一个flume接收指定topic数据，并存入hdfs的案例，大致了解下flume相关使用规则。
不加班程序员·2024-01-23 06:48

【技术预研】starRocks高性价比替换hbase

与hdfs等组件解耦，降低运维压力。starRock通过以下三个优化来提升性能：排序键相当于在存储的时候，选择某一列或者某
偏振万花筒·2024-01-23 03:00

Hbase

等关系型数据库不同，它是一个NoSQL数据库（非关系型数据库）HBASE相比于其他NoSQL数据库(mongodb、redis、cassendra、hazelcast)的特点：Hbase的表数据存储在HDFS
Cool_Pepsi·2024-01-23 02:12

Hadoop -- HDFS

1.什么是Hadoophadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台
Cool_Pepsi·2024-01-23 02:42

springboot集成COS对象存储

1.申请腾讯云存储桶新建密钥（后面配置要用到）2.编写工具类此处使用工具类进行基本属性配置，也可选择在yml中配置packagecom.sfy.util;importcom.qcloud.cos.COSClient
米兰的小铁匠~·2024-01-23 00:25

百度网盘临时超级会员1-7天获得方法，2024最新教程攻略

随着互联网的普及和人们对存储空间的需求不断增加，百度网盘作为一款云存储服务，受到了广泛的欢迎。然而，对于一些用户来说，免费存储空间可能不够用，需要更多的存储空间来备份、分享和存储文件。
全网优惠分享君·2024-01-22 22:18

WordPress七牛云对象存储免费插件WPQiNiu

有些站长喜欢使用七牛云来加速WordPress站点的访问速度，平时需要手工将需要加速的静态文件或图片上传到七牛云存储空间才行。
懿古今·2024-01-22 20:19

大数据之使用Flume监听本地文件采集数据流到HDFS

本文介绍Flume监听本地文件采集数据流到HDFS我还写了一篇文章是Flume监听端口采集数据流到Kafka【点击即可跳转，写的也非常详细】任务一：在Master节点使用Flume采集/data_log
十二点的泡面·2024-01-22 19:54

大数据之使用Flume监听端口采集数据流到Kafka

本文介绍Flume监听端口采集数据流到Kafka我还写了一篇文章是Flume监听本地文件采集数据流到HDFS【点击即可跳转，写的也非常详细】任务一：实时数据采集前摘：Flume是一种分布式、高可靠、高可用的数据收集系统
十二点的泡面·2024-01-22 19:53

Impala：基于内存的MPP查询引擎

1.3、Impala与Hive1、Impala概述1.1、Impala简介Impala是Cloudera公司主导研发的高性能、低延迟的交互式SQL查询引擎，它提供SQL语义，能查询存储在Hadoop的HDFS
对许·2024-01-22 17:26

Hadooop和Hbase是什么关系

HBase通过Hadoop的HDFS(Hadoop分布式文件系统)和MapReduce实现了水平扩展和处理分布式数据。本文将详细介绍hbase和hadoop有什么关系。
wwwyx12138·2024-01-22 17:50

大数据平台软硬件规划

一.大数据集群节点规划1.HDFS集群节点规划假如业务系统数据量每天增量50T，保留周期30天，那么HDFS存储容量为50T*30天*3副本*2倍（数据源+清洗加工）=9000T=8.79P假如每个机器的磁盘是
小枫@码·2024-01-22 17:17

hadoop-hdfs-API

处理hadoop配置文件及系统环境1.将hadoop所有jar包（除了..以外）添进hadoop/lib文件夹备用。2.将linux的hadoop/bin导出覆盖windows的hadoop/bin。并将bin/hadoop.dll添入windows\system32文件夹内。需重启。3.配置windows系统环境变量HADOOP_HOME=hadoop所在包。HADOOP_USER_NAME=r
有七段变化·2024-01-22 15:43

Apache doris Datax DorisWriter扩展使用方法

DataX实现了包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres
张家锋·2024-01-22 15:27

深入Amazon S3：实战指南

AmazonS3（SimpleStorageService）是AWS（AmazonWebServices）提供的一项强大的云存储服务，广泛用于存储和检索各种类型的数据。
ivwdcwso·2024-01-22 15:04

kingbase常用SQL总结之统计大小

概述数据库运维中，我们需要总结一些常用的SQL语句，无论是日常巡检、故障排查或是死锁分析，都可以随时拿来用，提升工作效率，下面是一些常见的经典SQL或者是笔者自己工作过程中用到的常用的SQL,整理记录以备不时之需
我是东山·2024-01-22 15:15

CentOS7下Hadoop2.9.2、Hive 2.3.6安装与实践

操作实录：1、hive中建立数据库后，会在hdfs中出现对象的库名.db的文件夹文章中，我们使用了
流火星空·2024-01-22 14:58

云原生时代 容器持久化存储的最佳方式是什么？

云妹导读：在存储专题的上一篇文章《送你4句口诀云存储选型不再犯难》中，云妹为大家的云存储选型提供了几种方法，只需记住4句口诀，就能选到适合自己应用特点的云存储服务。
京东云开发者·2024-01-22 14:16

关于Hive架构原理，尚硅谷

最近学习hive时候，在做一个实操案例，具体大概是这样子的：我在dataGip里建了一个表，然后在hadoop集群创建一个文本文件里面存储了数据库表的数据信息，然后把他上传到hdfs后，dataGrip
大数据ＳＱＬｂｏｙ·2024-01-22 11:41

Impala

Impala概述Impala是什么Impala是一款针对HDFS和HBASE中的PB级别数据进行交互式实时查询工具。
奋斗的蛐蛐·2024-01-22 10:42

Ranger概述及安装配置

一、前序希望拥有一个框架，可以管理大多数框架的授权，包括：hdfs的目录读写权限各种大数据框架中的标的权限，列级（字段）权限，甚至行级权限，函数权限（UDF）等相关资源的权限是否能帮忙做书库脱敏Ranger
小枫@码·2024-01-22 09:39

【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化

集群搭建、合并文件与数据统计可视化实验目的任务一：任务二：实验平台实验内容及步骤任务一：搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改
汐ya~·2024-01-22 09:35

HDFS 读流程和写流程

读流程1.客户端向namenode请求下载⽂件，namenode通过查询元数据，找到⽂件块所在的datanode地址。2.挑选⼀台datanode（就近原则，然后随机）服务器，请求读取数据。3.datanode开始传输数据给客户端（从磁盘⾥⾯读取数据放⼊流，以packet为单位来做校验）。4.客户端以packet为单位接收，先在本地缓存，然后写⼊⽬标⽂件。写流程1.客户端向namenode请求上传
不良人-程序星·2024-01-22 09:02
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他