HDFS基本介绍

Java语法学习IO流

Java语法学习IO流大纲文件IO流具体案例1.文件基本介绍创建文件第一种：publicstaticvoidmain(String[]args){StringfilePathName="d:\\news1
挽天java·2024-02-05 16:32

Hudi学习6：安装和基本操作

目录1编译Hudi1.1第一步、Maven安装1.2第二步、下载源码包1.3第三步、添加Maven镜像1.4第四步、执行编译命令1.5第五步、HudiCLI测试2环境准备2.1安装HDFS2.2安装Spark3
hzp666·2024-02-05 14:59

Hudi学习1：概述

Hudi概念Hudi跟hive很像，不存储数据，只是管理hdfs数据。
hzp666·2024-02-05 14:59

Hudi学习 6：Hudi使用

准备工作：1.安装hdfshttps://mp.csdn.net/mp_blog/creation/editor/1096891432.安装sparkspark学习4：spark安装_hzp666的博客
hzp666·2024-02-05 14:58

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive
计算机毕业设计大神·2024-02-05 14:48

Style - Theme 的 基本介绍

转自:【Android开发基础】应用界面主题Theme使用方法Android应用界面风格与主题（styleandtheme）Theme(主题)用来统一的设置界面UI风格,可以设置整个应用或某个Activity的界面风格,在AndroidSDK中,内置了很多Theme,下面是最基本的几种,可以按照TitleBar(标题栏)和StatusBar(状态栏)是否可见,来分类,状态栏,标题栏均可见状态栏,标
ZHDelete·2024-02-05 12:57

【MySQL进阶】事务原理

文章目录事务机制基本介绍事务管理基本操作提交方式事务ID隔离级别四种级别加锁分析原子特性实现方式实现原理undolog隔离特性实现方式MVCC实现原理隐藏字段undologReadViewRCRR持久特性实现方式
小小Yi学编程·2024-02-05 11:55

[Hadoop]万字长文Hadoop相关优化和问题排查总结

namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的
王一1995·2024-02-05 10:55

2024-02-04（hive）

分区其实就是HDFS上的不同文件夹。分区表可以极大的提高特定场景下Hive的操作性能。
陈xr·2024-02-05 10:54

SpringMVC精简知识点

DatBinder取消某个属性的绑定中文乱码解决处理json和HttpMessageConverter作业布置SpringMVC文件上传自定义拦截器异常处理SpringMVC执行流程-源码分析作业布置数据格式化●基本介绍说明
~ 小团子·2024-02-05 10:22

降本增效利器！趣头条Spark Remote Shuffle Service最佳实践

多个业务线依赖于大数据平台展开业务，大数据系统的高效和稳定成了公司业务发展的基石，在大数据的架构上我们使用了业界成熟的方案，存储构建在HDFS上、计算资源调度依赖Yarn、表元数据使用Hiv
阿里云技术·2024-02-05 09:29

CDH添加新节点小记

免密，jdk，防火墙及时间同步安装配置CM子节点，创建parcels，后续安装的软件都会分发到该文件夹下启动当前节点的CM，转到CDH管理界面，可以看到节点已添加到主机列表中选择该节点，添加角色：例如：hdfs
sx_1706·2024-02-05 09:59

java设计模式之命令模式

命令模式（CommandPattern）基本介绍命令模式：在软件设计中，我们经常需要向某些对象发送请求，但是并不知道请求的接收者是谁，也不知道被请求的操作是那个。
劉鵬杰·2024-02-05 09:13

Java设计模式之迭代器模式

迭代器模式（IteratorPattern）基本介绍这种设计模式属于行为设计模式。
劉鵬杰·2024-02-05 09:13

java设计模式之观察者模式

观察者模式（ObserverPattern）基本介绍观察者模式时一种行为型设计模式。它定义了一种一对多的依赖关系，当一个对象的状态发生改变时，其所有依赖着都会收到通知并自动更新。
劉鵬杰·2024-02-05 09:13

Java设计模式之代理模式

代理模式（ProxyPattern）基本介绍代理模式：为一个对象提供一个替身，以控制对这个对象的访问。
劉鵬杰·2024-02-05 09:42

java设计模式之访问者模式

访问者模式（VisitorPattern）1.基本介绍访问者模式，封装一些用于某种数据结构的各元素的操作，它可以在不改变数据结构的前提下定义作用于这些元素的新的操作。
劉鵬杰·2024-02-05 09:07

大数据 - Spark系列《三》- 加载各种数据源创建RDD

中的一些常用配置-CSDN博客目录3.1加载文件(本地)1.加载本地文件路径使用textFile加载本地txt文件使用textFile加载本地json文件使用sequenceFile加载本地二进制文件HDFS
王哪跑nn·2024-02-05 09:28

JS高级第一天：数据类型、继承、闭包、原型

JS高级第一天JS基本介绍JS的用途：Javascript可以实现浏览器端、服务器端(nodejs)。。。浏览器端JS由以下三个部分组成：ECMAScript：基础语法(数据类型、运算符、函数。。。)
前端酱紫·2024-02-05 08:22

linux ext3 文件系统,浅谈Linux下的EXT3文件系统

【EXT3的基本介绍】1、EXT3文件系统存储单位是“块”，就好比NTFS的“簇”。格式化硬盘或分区时将所有磁盘空间分成若干个大小相同“块”。
Sang星星·2024-02-05 08:51

impala与kudu进行集成

概要Impala是一个开源的高效率的SQL查询引擎，用于查询存储在Hadoop分布式文件系统（HDFS）中的大规模数据集。它提供了一个类似于传统关系型数据库的SQL接口，允许用户使用SQL语言
shandongwill·2024-02-05 07:44

1.0 Hadoop 教程

其核心部件包括分布式文件系统(HadoopDFS，HDFS)和Ma
二当家的素材网·2024-02-05 06:38

3.0 Hadoop 概念

Hadoop主要包含HDFS和MapReduce两大组件，HDFS负责分布储存数据，MapRed
二当家的素材网·2024-02-05 06:38

大数据框架(分区，分桶，分片)

建议收藏目录Hive分区与分桶ES分片Kafka分区HBase分区Kudu分区HiveHive分区是按照数据表的某列或者某些列分为多区，在hive存储上是hdfs文件，也就是文件夹形式。
坨坨的大数据·2024-02-05 06:29

CDH5.X中使用Sqoop导数据报Cannot run program “mysqldump“: error=2, No such file or director

一、背景CHD5.16环境中，使用sqoop从MySQL中进行ETL导数据到hdfs过程中，报了如下错误：20/12/2213:58:48INFOmapreduce.Job:TaskId:attempt
江畔独步·2024-02-05 01:49

使用shell脚本和node命令行工具来自动化部署打包前端项目

将围绕以下几点来展开：shell基本用法（变量，循环，传参，运算符，流程控制等）使用shell脚本自动将项目打包部署到git服务器使用nodeJs编写命令行工具1.shell基本介绍及用法Shell是一个用
徐小夕@趣谈前端·2024-02-05 00:21

Axure详细介绍

1.元件基本介绍2.基础元件的使用3.表单型元件的使用4.菜单与表格元件的使用使用：如果想使用某个元件，我们只需要将它从元件库中拖入画布摆放即可。
柯南01·2024-02-04 23:19

【读红宝书（一）】背景知识

相反，MapReduce市场已经转变为HDFS市场，并且似乎准备成为关系型SQL市场。最近，HDFS领域出现了另一个值得讨论的重点，即“数据湖”。
三半俊秀·2024-02-04 23:41

Flink1.18.0集成Yarn-session模式部署

上次部署了Hadoop集群Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建这次集成下flinkYARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager
china-zhz·2024-02-04 21:34

Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建

目录一、节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、Hadoop部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件5、启动hadoop集群6、集群部署验证一、节点部署角色目录节点ipNNSNNDNRMNMHSnode1192.168.88.11√√node2192.168.88.12√√√√node3192
china-zhz·2024-02-04 21:33

SCI一区级 | Matlab实现CGO-CNN-LSTM-Mutilhead-Attention混沌博弈优化卷积长短期记忆神经网络融合多头注意力机制多变量多步时间序列预测

混沌博弈优化卷积长短期记忆神经网络融合多头注意力机制多变量多步时间序列预测目录SCI一区级|Matlab实现CGO-CNN-LSTM-Mutilhead-Attention混沌博弈优化卷积长短期记忆神经网络融合多头注意力机制多变量多步时间序列预测预测效果基本介绍程序设计参考资料预测效果基本介绍
机器学习之心·2024-02-04 21:23

AutoLeaders 控制组作业——51单片机的笔记（第一阶段）

p=1文章有点长，目录已经不够显示了1.单片机基本介绍1.1什么是单片机单片机是一种可通过编程控制的微型处理器。
控制组——郑伟钞·2024-02-04 21:47

hive小文件合并问题

背景Hivequery将运算好的数据写回hdfs（比如insertinto语句），有时候会产生大量的小文件，如果不采用CombineHiveInputFormat就对这些小文件进行操作的话会产生大量的maptask
DuLaGong·2024-02-04 20:16

PyInstaller库基本介绍

将.py源代码转换成无需源代码的可执行文件.py文件通过PyInstaller转换为Windows系统可以直接运行的(.exe文件），Linux系统，MacOSX系统可以运行的。将py扩展名的任何python的源代码转变成Windows、Linux系统，MacOSX系统的可执行文件。PyInstaller库是第三方库官方网址：http://www.PyInstaller.org标准库指的是在安装p
蕾峰·2024-02-04 19:20

（三）Hive的分桶详解

Hive分桶通俗点来说就是将表（或者分区，也就是hdfs上的目录而真正的数据是存储在该目录下的文件）中文件分成几个文件去存储。
小猪Harry·2024-02-04 19:20

HDFS常用命令

HDFS常用命令在hdfs文件系统上创建一个input文件夹bin/hdfsdfs-mkdir-p/user/anna/input将测试文件内容上传到文件系统上bin/hdfsdfs-putwc.input
须臾之北·2024-02-04 18:41

H.264——H.264的基本介绍

目录背景与基本概念特点H.264的应用场景编码整体架构编码结构H.264对一个宏块编码H.264标准采用的编码工具帧内预测帧间预测MV的亚像素差值整数变换与量化无损熵编码其他技术本文是对H.264编码标准研究系列的开端背景与基本概念发起者：ITU-T的VCEG（VideoCodingExpertsGroup）发起时间：2003最初版本支持8bit/sample，4：2：0色度采样，主要针对大部分通
Spark！·2024-02-04 15:59

MapReduce执行过程

1.JobClient：运行于clientnode，负责将MapReduce程序打成Jar包存储到HDFS，并把Jar包的路径提交到Jobtracker，由Jobtracker进行任务的分配和监控。
HenlyX·2024-02-04 15:12

C++初阶：初识STL、String类接口详细讲解（万字解析）

上次介绍完了模版和泛型编程：C++初阶：入门泛型编程（函数模板和类模板）今天开始stl的内容了文章目录1.STL介绍1.1概念（标准模板库）1.2版本问题（主流有4个）1.3STL六大组件2.string类的基本介绍
是Nero哦·2024-02-04 14:58

Ranger-Yarn插件安装

登陆hdfs安装的用户，garrison/zdh1234(用户组hadoop),获取安装包解压安装scp/home/backup/ranger/ranger-0.6.0-yarn-plugin.tar.gz.tar–zxvfr
木木与呆呆·2024-02-04 10:22

《最新出炉》系列初窥篇-Python+Playwright自动化测试-浏览器的相关操作

1.简介上一篇已经将playwright的元素定位大法基本介绍的差不多了，但是在Web的UI自动化的测试中，我们通常需要使用一些方法来操作浏览器，今天就跟随学习了解一下。
爱吃 香菜·2024-02-04 08:44

SpringCloud Alibaba笔记之Sentinel

安装Sentinel控制台sentinel组件由两部分构成安装步骤初始化演示工程新建module步骤流控规则基本介绍流控模式流控效果降级规则基本介绍降级策略实战热点key限流系统规则@SentinelResource
astudybear·2024-02-04 07:48

Java语法学习集合

Collections工具类练习题具体案例1.集合简介相对于数组，元素个数不限，而且能够存储不同的类型2.集合的框架体系图(基础的)单列集合：补充一个:LinkedHashSet双列集合：3.collection基本介绍常用方法对于第一点直接调用
挽天java·2024-02-04 07:37

Hive 主要内容一览

Hadoop使用HDFS进行存储，使
大数据左右手·2024-02-04 07:13

Servlet:第四篇【Cookie】

会话的好处举例:在我们录入账号密码的时候，勾选自动登录，当我们下次访问的时候就不用输入密码了网上商城，保存我们浏览过的商品2.CookieCookie的基本介绍网页之间的交互是通过http传输协议传输数据的
__y·2024-02-04 06:58

Linux-CentOS7.6安装和基本使用

LinuxLinux基本介绍LInux中内核版和发行版本的关系内核:只提供操作系统的基本功能和特性，如内存管理，进程调度，文件管理等等。
whiteBrocade·2024-02-04 06:47

PHP之数据类型的基本介绍

让我为大家介绍一下PHP中的数据类型吧！数据类型有：字符串、整数、浮点数、布尔、数组、对象、NULL、资源类型我们可以使用gettype去获取数据类型var_jump()会返回变量的数据类型与值，一般用于开发调试时使用字符串字符串是字符序列字符串可以是引号内的任何文本，可以使用单引号或者双引号但单引号与双引号是有区别的单引号与双引号的区别单引号不能解析变量双引号可以";echo'$a'?>整数整数
远近高低各不同·2024-02-04 04:03

List集合接口的介绍和使用

一.关于List集合类的继承关系图List接口继承了Collection接口，而List接口下有三个重要的实现类:ArrayList，LinkedList，Vector二.List接口的基本介绍1.List
hymuuuu·2024-02-04 03:58

【ElasticSearch】概述

文章目录ElasticSearch1.基本介绍2.设计理念3.基本架构与核心概念学习参考资料：ElasticSearch简单整理ES基本概念，设计理念，构建与使用，供回顾。
流转星云·2024-02-03 23:42

Zabbix 介绍及部署：

zabbix基本介绍：zabbix是一个监控软件，其可以监控各种网络参数，保证企业服务架构安全运营，同时支持灵活的告警机制。
努力转型的IT小王·2024-02-03 22:33
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他