数据库运维hdfs云存储

创新S3存储桶检索：Langchain社区S3加载器搭载OpenAI API

在瞬息万变的数据存储和处理领域，将高效的云存储解决方案与先进的AI功能相结合，为处理大量数据提供了一种变革性的方法。
MinIO官方账号·2024-02-12 18:52

SQL Server on Linux入门教程

课程目标掌握SQLServerOnLinux的使用适合人群数据库开发者数据库运维课时列表课时1：在VirtualBox中准备SQLServerOnLinux的运行环境课时2：在Cen
xmvip01·2024-02-12 18:06

Hadoop-MapReduce-Yarn集群搭建

搭建的部署节点图如下：hdfs和yarn是两个不同概念，两者搭建不会冲突。注意一点是DataNode和NodeManager必须要部署在同一台机器，它们的比例是1比1关系的。
qq_2368521029·2024-02-12 07:44

搭建 Hadoop-3.1.3 HA 集群

本文目录1.集群部署分布规划2.Zookeepr集群安装3.HDFS-HAⅠ.配置core-site.xmlⅡ.配置hdfs-site.xmlⅢ.配置分发4.YARN-HAⅠ.配置yarn-site.xmlⅡ
扛麻袋的少年·2024-02-12 07:43

Hadoop-HA高可用集群部署

HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。
魔笛Love·2024-02-12 07:13

org.apache.hadoop.fs.ChecksumException: Checksum error: file:/root/test.txt at 0

上传文件到集群遇到以下异常：org.apache.hadoop.fs.ChecksumException:Checksumerror:file:/root/test.txtat0[root@master~]#hdfsdfs-puttest.txt
橙汁啤酒厂·2024-02-12 05:24

Flume总结

1.概述2.角色（source、Channel、sink、event)3.使用（1）监控端口（2）实时读取本地文件到HDFS（3）实时读取目录文件到HDFS（4）Flume与Flume之间数据传递：单Flume
我是嘻哈大哥·2024-02-12 01:56

clickhouse之表引擎

对于ck来说,目前位置包含了以下部分引擎:1.集成外部系统的表引擎,支持方式有kafka,JDBC,ODBC,HDFS等2.合并树家族(最为常用且重要)3.日志
落花流水i·2024-02-11 22:53

HBase知识点总结

是建立在HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写NoSql的数据库系统。
·2024-02-11 17:17

【面经攒人品】应急中心单位面经&考前复习

云计算其实就是提供基于互联网的软件服务，最重要的理念是用户所使用的软件并不需要在他们自己的电脑里，而是利用互联网、通过浏览器或应用软件界面访问在外部的机器上软件完成全部工作，像Google、腾讯、网易的云存储及在线作业
guancunjie·2024-02-11 13:17

斐讯n1 PHP nginx,斐讯K3刷OPENWRT(LEDE)-学习使用 KodExplorer 搭建私有云存储（nginx+php7)心得...

其实搭建云存储的准备和安装软件相对比较容易些，再加上百度下，很容易解决。因此本篇主要记录配置方面的问题。也是做个留档，之后忘记时容易查找。
PassionWakesMeUp·2024-02-11 09:43

斐讯K3刷OPENWRT(LEDE)-使用 KodExplorer 搭建私有云存储（nginx+php7)学习记录

其实搭建云存储的准备和安装软件相对比较容易些，再加上百度下，很容易解决。所以本篇主要记录配置方面的问题。也是作个留档，以后忘记时容易查找。
greenice897·2024-02-11 09:42

【大数据】Flume-1.9.0安装➕入门案例

目录前言一、Flume概述Flume基础架构二、Flume-1.9.0安装➕入门案例1.下载1.9.0解压2.监控端口数据官方案例3.实时读取本地文件（hive.log）到HDFS案例4.实时读取目录文件到
欧叶冲冲冲·2024-02-11 09:34

大数据入门--Flume（一）安装教程与案例

Flume（一）安装教程与案例安装教程案例监控端口数据官方案例(netcat-logger)实时监控单个追加文件(exec-hdfs)进阶版存在的问题实时监控目录下多个新文件(taildir)实时监控目录下多个新文件
许中宝·2024-02-11 09:34

Hive与ClickHouse的区别

Hive的存储引擎使用HDFS，计算引擎使用MapReduce或Spark。Hive本质上是一个元数据管理平台，通过对存储于HDFS上的数据文件附加元数据，赋予HDFS上的文件以数据库表的语义。
晓之以理的喵~~·2024-02-11 08:18

Hadoop（三）通过C#/python实现Hadoop MapReduce

MapReduceHadoop中将数据切分成块存在HDFS不同的DataNode中，如果想汇总，按照常规想法就是，移动数据到统计程序：先把数据读取到一个程序中，再进行汇总。
dotNET跨平台·2024-02-11 08:17

ClickHouse的特征,性能,优点,缺点,应用场景以及什么是OLAP,Clickhouse的相关优化

可以存储海量数据;因为clickhouse是分布式存储海量数据,所以解决了高并发的问题;clickhouse中的数据底层是列式存储clickhouse不仅可以管理自己的数据,也可以读取别人的数据,比如masql,hdfs
晓晓很可爱·2024-02-11 08:15

Spark编程题

现有100W+条数据存储在hdfs中的userinfo文件夹中的多个文件中,数据格式如下：张三|男|23|未婚|北京|海淀李四|女|25|已婚|河北|石家庄求：1.数据中所有人的平均年龄2.数据中所有男性未婚的人数和女性未婚人数
不愿透露姓名的李某某·2024-02-11 07:09

zotero文献库云存储及多设备同步方法（适用坚果云、onedrive等）

介绍一种不依赖WebDAV协议的zotero文献库同步方法，这种方法的原理是把zotero文献库中的题录和PDF等附件分开存储，利用zotero自带的300MB云空间同步题录数据，然后借助坚果云或者其它网盘来实现PDF等附件的同步。相关步骤用文字描述可分为如下5个步骤（注意这些步骤需要同时在需要同步的多台电脑上操作）：1.Zotero软件及ZotFile插件安装（ZotFile是必须）2.Zote
ccccfys·2024-02-11 04:20

分布式存储系统学习笔记(三)—分布式键值系统(1)—Amazon Dynamo

Dynamo主要用于Amazon购物车和S3云存储服务。
不会算命的赵半仙·2024-02-11 02:34

C#系列-C#访问hadoop API（9）

在C#中访问Hadoop通常涉及到与Hadoop分布式文件系统（HDFS）进行交互，以及可能执行MapReduce作业或其他Hadoop生态系统组件（如HBase或Hive）。
管理大亨·2024-02-10 22:27

大数据测试-Hive DML语句与函数使用2

一、HiveSQLDML语法之加载数据HiveSQL-DML-Load加载数据回顾在Hive中建表成功之后，就会在HDFS上创建一个与之对应的文件夹，且文件夹名字就是表名；文件夹父路径是由参数hive.metastore.warehouse.dir
Yasar.l·2024-02-10 22:55

hadoop-HDFS

架构图在这里插入图片描述2.读写的流程图在这里插入图片描述2.操作1.使用MAVEN集成对应的jar包org.apache.hadoophadoop-common2.7.1org.apache.hadoophadoop-hdfs2.7.12
炽热_3a57·2024-02-10 22:45

注册安全邮箱 - 国内好用的邮箱

在当今时代，人们不再依赖存储在包里或手中的物理数据副本；相反，他们选择云存储和在线平台等数字解决方案。在ZohoMail，我们认识到你的数据的重要性，并完全致力于以最大程度的隐私和安全来保护你的数据。
Zoho_Mail·2024-02-10 16:39

HCIA笔记

DAY1HCIA华为认证的初级网络工程师HCIP高级HCIE专家云技术—1.云计算--分布式计算多台计算机同时处理2.云存储—硬盘空间有限----诞生了百度网盘阿里云服务器大多用的Linux专注于一两种功能服务器和普通电脑没啥区别
Fish_1112·2024-02-10 12:56

报表任务治理计划

先给大家介绍我们我们公司的报表产出组件图：报表产出图底层平台由HDFS、Yarn分别提供存储和计算支持在这之上我们提供了一套支持MR、Spark任务开发、依赖执行的调度系统BI业务同学利用调
liujianhuiouc·2024-02-10 12:46

计算机毕业设计PyFlink+Hadoop+Hive民宿数据分析可视化大屏 民宿推荐系统 民宿爬虫 民宿大数据 知识图谱 机器学习 大数据毕业设计

流程1.selenium自动化爬虫框架采集民宿数据约10万条存入.csv文件作为数据集；2.使用pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；3
计算机毕业设计大神·2024-02-10 10:56

HDFS常用命令

HDFS常用命令hdfs命令最常用的就是：hdfsdfs-[linux的命令]通过查看Hadoop的命令与hdfs的命令并不相同，且不存在包含关系。仅仅是hadoopfs与hdfsdfs可以等价。
昱东i·2024-02-10 06:30

could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running

学习使用Hadoop-3.2.2APIIDEA中使用Java向hdfs写入文件时出现如下错误：couldonlybereplicatedto0nodesinsteadofminReplication(=
昱东i·2024-02-10 06:30

京东面试总结

2hdfs上传文件有哪几种方式？3Hive的优化问题？4Hive的数据倾斜问题？5数据分析？概念和总结6Django源码？7python的浅拷贝和深拷贝？
小小少年Boy·2024-02-09 21:45

hdfs支持lzo压缩配置

1安装linux的lzo库需要在集群的每一个节点都安装lzo库，假定都64位的机器。1）安装lzo操作如下：wgethttp://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz2）解压tar-zxvflzo-2.10.tar.gz3.进入解压后的目录：cdlzo-2.104.编译参数配置：本例lzo安装在/usr/local/lz
机灵鬼鬼·2024-02-09 20:28

「CESS 社区共建者计划」：邀请好友瓜分 10 万空投白名单，奖励上不封顶！

CESS向行业和资方展示了在DePIN赛道下建设去中心化云存储和CDN的坚定力量和创新精神，致力建设一个开发者、创
CESS_Cloud·2024-02-09 12:36

SpringBoot2.x+阿里云oss开通权限配置+ 文件上传代码

对象存储OSS（ObjectStorageService）是阿里云提供的海量、安全、低成本、高持久的云存储服务。
是小王同学啊~·2024-02-09 06:09

Spring Boot + 七牛OSS: 简化云存储集成

引言SpringBoot是一个非常流行的、快速搭建应用的框架，它无需大量的配置即可运行起来，而七牛云OSS提供了稳定高效的云端对象存储服务。利用两者的优势，可以为应用提供强大的文件存储功能。为什么选择七牛云OSS?七牛云OSS提供了高速的文件传输服务。它有完备的安全机制，保障你的数据安全。提供了良好的API支持，让开发者可以方便的集成到自己的应用中。准备工作在开始之前，你需要准备以下内容：JDK1
奇遇少年·2024-02-09 06:33

Spark SQL（十一）：与Spark Core整合

1、筛选出符合查询条件（城市、平台、版本）的数据2、统计出每天搜索uv排名前3的搜索词3、按照每天的top3搜索词的uv搜索总次数，倒序排序4、将数据保存到hive表中3、实现思路：1、针对原始数据（HDFS
雪飘千里·2024-02-09 06:34

自建对象存储服务MINIO在使用NGINX进行反向代理时出现对象无法正常共享的解决办法

它与AmazonS3云存储服务兼容。它最适合存储非结构化数据，如照片，视频，日志文件，备份和容器/VM镜像等。对象的大小可以从几KB到最大5TB。
SY·2024-02-08 13:29

No.2大数据入门 | 环境搭建：jdk1.8安装及环境配置

Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem)，简称HDFS，Hadoop的框架最核心的设计就是:HDFS和MapReduce：HDFS为海量的数据提供了存储
滚滚红尘_8133·2024-02-08 11:43

Hadoop多次格式化后如何解决

产生原因我们在配置hadoop中的hdfs时，会设置元数据的存储位置，如图所示要想解决此问题，先停止所有启动的服务stop-all.sh然后删除上图画出来的配置文件，这里三台机器都要删，最后进入hadoop
(((φ(◎ロ◎;)φ)))牵丝戏安·2024-02-08 11:50

Hadoop生态漏洞修复记录

Hadoop常用端口介绍HDFSNameNode50070dfs.namenode.http-addresshttp服务的端口50470dfs.namenode.https-addresshttps服务的端口
不会吐丝的蜘蛛侠。·2024-02-08 08:30

Hadoop2.7配置

core-site.xmlfs.defaultFShdfs://bigdata/ha.zookeeper.quorum192.168.56.70:2181,192.168.56.71:2181,192.168.56.72
不会吐丝的蜘蛛侠。·2024-02-08 08:59

HDFS执行balance报错：hdfs balance java.io.IOException: Another Balancer is running.. Exiting

现象：1、大数据Hadoop集群，HDFS扩容后，为了使各节点数据均衡，执行balance操作。2、启动hdfsbalance时，一直出现其他的balance在执行中，其实并没有执行。
不会吐丝的蜘蛛侠。·2024-02-08 08:29

hadoop调优-hdfs配置优化

配置文件hdfs-site.xml生产环境建议优化：dfs.permissions.enabledtruedfs.namenode.handler.count90dfs.ha.automatic-failover.enabledtrue
不会吐丝的蜘蛛侠。·2024-02-08 08:28

hive自定义UDF依赖第三方jar包

上传jar包到HDFS上hdfsdfs-putxxxx.jar/tmp/hive/创建永久函数：createfunctionmy_funas'com.test.TestUDF'usingjar'hdfs
不会吐丝的蜘蛛侠。·2024-02-08 08:28

spark运行失败The directory item limit of /spark_dir/spark_eventLogs is exceeded: limit=1048576 items=104

报错：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException
不会吐丝的蜘蛛侠。·2024-02-08 08:58

删除和清空Hive外部表数据

外部表和内部表区别未被external修饰的是内部表（managedtable），被external修饰的为外部表（externaltable）；区别：内部表数据由Hive自身管理，外部表数据由HDFS
SunnyRivers·2024-02-08 08:53

sqoop导入数据到hdfs

Sqoop是apache旗下的一款”Hadoop和关系数据库之间传输数据”的工具导入数据：将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统导出数据：从Hadoop
鲲鹏猿·2024-02-08 06:40

2024-02-07（Sqoop，Flume）

1.Sqoop的增量导入实际工作中，数据的导入很多时候只需要导入增量的数据，并不需要将表中的数据每次都全部导入到hive或者hdfs中，因为这样会造成数据重复问题。
陈xr·2024-02-08 06:35

2023大数据必看面试题

1、请讲述HDFS输入文件的具体步骤？
东方同学·2024-02-08 05:38

【30秒看懂大数据】数据存储

PS:本文属专栏第27篇公众号：知幽科技简单说数据存储是指将数据保存在计算机或其他媒体上，以备将来检索和使用，就像保存文件在电脑硬盘或云存储中一样。
风姑娘数据说·2024-02-08 04:23

大数据到底是干什么用的？

那真正使用大数据技术的地方且比较有代表性的产品有那些：云存储：中国比较好的有百度云，国外比较好的有AWS等。正是因为有这些产品的出现，数据在云端的概念才终于变成现实了，大家都不用踹着U盘到处跑了。
web前端05·2024-02-08 01:46
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他