HDFS深入浅出

Hive基础知识

2）其本质是将SQL语句转换为MapReduce/Spark程序进行运算，底层数据由HDFS分布式文件系统进行存储。3）可以理解Hive就是MapReduce/SparkSql的客户端。
巷子里的猫X·2024-01-09 13:52

Hive 基础知识

1.Hive和HBase的区别HBase是一个用来处理HDFS上文件的NoSQL数据库，建立于HDFS之上。
辰阳星宇·2024-01-09 13:22

基于hadoop的hive数据仓库基础操作知识整理

Hive本质：将HQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在Yarn上1.2Hive的优
大包丫·2024-01-09 13:51

知识产权进校园，版权意识植童心——记东明学校六年级知识产权教育活动

为推进青少年知识产权教育工作，培养青少年的创新精神和知识产权保护意识，4月30日，值此“4.26知识产权宣传周”之际，潍坊高新区市场监管局、山东省泰山教育创新研究院来到东明学校，开展了一场深入浅出、生动形象
4a8f6401ff16·2024-01-09 12:20

2022-03-29享受安静的生活

作者写的很有意思，对有些的诗的背景和诗词都做了比照，可以有这个诗人的诗照出当时的意境，还可以比对着同一物的诗来深入浅出的写
小猪天堂·2024-01-09 12:39

深入浅出java虚拟机

Java虚拟机：内存模型详解我们都知道，当虚拟机执行Java代码的时候，首先要把字节码文件加载到内存，那么这些类的信息都存放在内存中的哪个区域呢？当我们创建一个对象实例的时候，虚拟机要为对象分配内存，Java虚拟机又是如何配分内存的呢？这些都涉及到Java虚拟机的内存划分机制，今天我们就来探究一下Java虚拟机的内存模型。Java虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干个不同的
AI乔治·2024-01-09 11:40

【保姆级教程】Docker入门到实战教程之一：初识Docker容器

虚拟机了，我们只要几行命令，就能轻松的在终端跑起来，西安SEO优化站长本身是优化出身，由于好奇linux操作系统，因此一学就离不开Docker容器技术了，本系列就开始从最简单的Docker容器入门到实战，深入浅出的讲解容器的神秘之处
酒醉疯子·2024-01-09 11:23

vLLM皇冠上的明珠：深入浅出理解PagedAttention CUDA实现

©作者|方佳瑞单位|腾讯研究方向|机器学习系统当前，在大模型推理框架领域，vLLM以其卓越的高吞吐性能和简洁易读的代码而备受瞩目，已经成为许多团队二次开发的首选。其优雅的设计和高效的实现不仅使其在实际应用中表现出色，也使其成为学习和理解推理框架的理想典范。PagedAttention（PA）技术是vLLM的基石，以它为创新点的论文发表在系统顶会SOSP2023上。论文题目：EfficientMem
PaperWeekly·2024-01-09 11:17

【深入浅出Pytorch-task3】上采样与下采样、神经网络中类的继承，调用父类初始化方法、对网络中间层进行修改

提出问题1.下采样连接与上采样连接是什么?下采样连接和上采样连接也可以叫做池化层以及上采样层1.1下采样（downsampling）在深度学习中，下采样连接也叫下采样层，在视觉领域也称为池化层目的就是用来降低特征的维度并保留有效信息，一定程度上避免过拟合。但是池化的目的不仅仅是这些，还有保持旋转、平移、伸缩不变形等。上采样（upsampling）在深度学习框架中，上采样连接可以简单的理解为任何可以
数据框·2024-01-09 09:33

基于Cesium使用自定义着色器的资源总结

：cesium着色器的介绍及使用cesium添加自己的着色器（我没复现出来）基于3DTile着色器的编写[cesium]|建筑光效|基于3dtileset的建筑物效果插件|支持自定义着色器Cesium深入浅出之
wwx199126·2024-01-09 08:07

PySpark的RDD持久化

是依照血缘关系，使用持久化技术->1.RDD缓存,把某个RDD保留，rdd.cache()缓存到内存，rdd.persist(StorageLevel.DISK_ONLY_2)缓存到本地硬盘上,2个副本，不支持存HDFS
February13·2024-01-09 07:32

hive基本操作与应用

1、通过hadoop上的hive完成WordCount启动hadoop2、Hdfs上创建文件夹/3、上传文件至hdfs4、启动Hive5、创建原始文档表6、导入文件内容到表docs并查看7、用HQL进行词频统计
weixin_34416649·2024-01-09 06:16

Hive基本操作

hive简单认识Hive是建立在HDFS之上的数据仓库，所以Hive的数据全部存储在HDFS上。
X晓·2024-01-09 06:45

大数据开发-某外包公司

1.用过那些组件2.说下HDFS读写流程3.说下varchar和char区别4.说下数据库的事务5.spark的部署模式有哪些6.数据库和数据仓库的区别7.内部表和外部表的区别8.说下数据中台、数据仓库和数据湖的区别
劝学-大数据·2024-01-09 06:10

python虚拟环境可以运行pyspark_pyspark 与 python 环境配置

本篇主要介绍通过anaconda创建虚拟环境，并打包上传到hdfs目录。1.Anaconda安装bash~/Downloads/Anaconda2-5.0.1-Linux-x86_64.sh#如
weixin_39663729·2024-01-09 06:33

『HDFS』伪分布式Hadoop集群

博客引流本文是『Hadoop』MapReduce处理日志log(单机版)的旭文,maybe还有后续在搭建环境的时候发现很难搜到合适的教程，所以这篇应该会有一定受众伪分布式就是假分布式，假在哪里，假就假在他只有一台机器而不是多台机器来完成一个任务,但是他模拟了分布式的这个过程，所以伪分布式下Hadoop也就是你在一个机器上配置了hadoop的所有节点但伪分布式完成了所有分布式所必须的事件伪分布式Ha
gunjianpan·2024-01-09 04:31

VSCode For Web 深入浅出 -- 插件加载机制

最近我在浏览VSCodeforweb的repo，在最近更新的一些commit中发现了一个新的VSCode插件特性支持，名为webOpener，它的作用是什么呢？又是如何影响插件加载的呢？在这一篇中我们结合VSCodeForWeb的插件加载机制来详细分析一下。VSCodeforweb的插件加载机制我们知道，由于VSCodeforweb运行在浏览器上，因此，它的插件加载机制与VSCodefordesk
__Duang__·2024-01-09 02:48

配置日志聚集

所谓日志聚集，就是指应用运行完以后，将程序的运行日志信息上传到HDFS系统上。日志聚集可以方便的查看程序的运行详情，方便开发调试。
Manfestain·2024-01-08 21:30

hadoop命令汇总

启动和关闭hadoop服务一键启动/停止start-hdf.shstop-hdf.sh单进程关闭启动hdfs--daemonstop/start/statusnamenode或者hadoop--daemonstop
你很棒滴·2024-01-08 19:17

HDFS常用命令（方便大家记忆版）

1.文件操作(1)列出HDFS下的文件/usr/local/hadoop$bin/hadoopdfs-ls(2)列出HDFS文件下名为in的文档中的文件/usr/local/hadoop$bin/hadoopdfs-lsin
姚兴泉·2024-01-08 18:01

学以致用 促进教学——东莞市黄美园名师工作室绘本阅读教学培训活动心得

之前我已经听过好几次王琳珊教研员的讲座，都是干货满满，深入浅出，对我的启发很大，所以一到九点半我就马上坐在电脑前准备好听讲座了。
CathyL·2024-01-08 16:52

python3使用pyhdfs向hdfs中上传文件示例

1概述本文为使用pyhdfs包向hdfs中上传文件。主要用来测试hdfs当前服务的状态。同时，脚本支持namenodeha的方式。2包安装pip3installhdfs3脚本示例#!
杨航的技术博客·2024-01-08 16:11

Hadoop学习之路（四）HDFS 读写流程详解

1.HDFS写操作1.1图解HDFS读过程hdfs写操作流程图.pngimage.png1.2数据写入过程详解1、使用HDFS提供的客户端Client,向远程的NameNode发起RPC请求；2、NameNode
shine_rainbow·2024-01-08 12:21

实战Flink Java api消费kafka实时数据落盘HDFS

启动kafka生产3JavaAPI开发3.1依赖3.2代码部分4实验验证STEP1STEP2STEP35时间窗口1需求分析在Javaapi中，使用flink本地模式，消费kafka主题，并直接将数据存入hdfs
大数据程序终结者·2024-01-08 11:13

大数据 Yarn - 资源调度框架

Hadoop主要是由三部分组成，除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce，还有一个是分布式集群资源调度框架Yarn。
善守的大龙猫·2024-01-08 10:48

【技术分享】Hbase列式存储入门

分布式是因为HBase底层使用HDFS存储数据，可扩展也是基于HDFS的横向扩展能力，作为大数据的存储当然支持海量数据的存储，NoSQL非关系型数据库表结构和关系型数据库（如Mysql）的逻辑结构、物理结构很不一样
yestolife123·2024-01-08 08:44

初学者的正念书

卡巴金用通俗易懂、简练生动的文字，深入浅出地向我们阐述了正念是什么，如何进入正念的世界，正念练习的方法以及在生活中的实际应用。
益西康卓_0baf·2024-01-08 08:10

Spark基础二

一.Spark入门案例总结1.读取文件:textFile(path):读取外部数据源,支持本地文件系统和hdfs文件系统.2.将结果数据输出文件上:saveAsTextFile(path):将数据输出到外部存储系统
MSJ3917·2024-01-08 07:52

Hadoop精选18道面试题(附回答思路)

1.简述Hadoop1和Hadoop2的架构异同HDFSHA(HighAvailablity)一旦Active节点出现故障，就可以立即切换到Standby节点，避免了单点故障问题。
Byyyi耀·2024-01-08 06:00

深度解读《Java编程思想》：面向对象导论

这本由BruceEckel所著的书籍深入浅出，为Java编程提供了一系列深刻的思考和实践经验。
码农阿豪·2024-01-08 05:26

Mysql实战45讲学习笔记（四）

深入浅出索引索引的出现是为了提高数据查询的效率，就像书的目录一样。#常见的索引类型哈希表但是哈希表的情况会出现多个key值经过哈希换算，出现值相同的情况。
瞿恩·2024-01-08 02:37

C++设计模式由浅入深（四）——swap抽丝剥茧

四、深入浅出剖析swap1STL与swapswap操作被广泛应用与C++标准库中。所有的标准模板库（STL）容器都提供了swap函数，并且同时支持非成员版本的函数模板std::swap。
wbvalid·2024-01-08 00:44

深入浅出XTTS：Oracle数据库迁移升级利器

演讲大纲：1.什么是XTTS2.适用场景3.XTTS的基本操作步骤4.XTTS案例分享今天主要跟大家分享一下XTTS,在网上曾看过相关讨论,但发现按网上讲的那些去实际操作的话,还是会遇到一些坑,并不能实际落下来,所以今天想跟大家分享一些实战干货.一、什么是XTTSXTTS其实是从TTS来的,TTS大家做过吗？TTS其实也是传输数据的一种手段,传输数据的时候可能用过EXP的方式,再往后可能用数据泵导
Running Sun丶·2024-01-08 00:01

《孔子的故事》

本书深入浅出地讲述了孔子上下求索的坎坷的一生：幼年、青年期学习成长、开展政治工作、周游列国、专心从事教育事业等，截取了他一生中最精彩的生活片段，以故事的形式娓娓道来。
秘密花园wan·2024-01-08 00:55

25、Spark核心编程之RDD持久化详解

不使用RDD持久化的问题首先看一段代码JavaRDDlinesRDD=javaSparkContext.textFile("hdfs://hadoop-100:9000/testdate/1.txt")
ZFH__ZJ·2024-01-07 23:21

hadoop调优

hadoop调优1HDFS核心参数1.1NameNode内存生产配置1.1.1NameNode内存计算每个文件块大概占用150byte，如果一台服务器128G，能存储的文件块如下128(G)*1024(
健鑫.·2024-01-07 18:25

hadoop调优(二)

hadoop调优(二)1HDFS故障排除1.1NameNode故障处理NameNode进程挂了并且存储数据丢失了，如何恢复NameNode？
健鑫.·2024-01-07 18:25

熟悉HDFS常用操作

1.利用Hadoop提供的Shell命令完成下列任务（1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件。#检查文件是否存在.
cwn_·2024-01-07 17:11

Hive入门

Hive产生的原因：非Java编程者可通过sql语句对HDFS的数据做mapreduce操作。
爱过java·2024-01-07 17:04

HIve技术详解（一）

第1章Hive基本概念1.1Hive1.1.1Hive的产生背景在那一年的大数据开源社区，我们有了HDFS来存储海量数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度
molecule_jp·2024-01-07 17:34

Hive实战：网址去重

文章目录一、实战概述二、提出任务三、完成任务（一）准备数据1、在虚拟机上创建文本文件2、上传文件到HDFS指定目录（二）实现步骤1、启动HiveMetastore服务2、启动Hive客户端3、基于HDFS
howard2005·2024-01-07 17:03

数仓工具—Hive进阶之常见的StorageHandler(24)

以下是一些常见的存储处理程序：HDFSStorageHa
不二人生·2024-01-07 15:07

学习笔记-日志采集和实时分析简单实例

一个出口直接写到ElasticSearch，提供Kibana进行日志分析可视化处理；一个出口直接写到HDFS,提供后期离线统计分析处理；一个出口写入Kafka中，提供SparkStreaming进行近实时日志统计分析处理
人生偌只如初见·2024-01-07 13:27

Pandas数据分析15——pandas数据透视表和交叉表

参考书目：《深入浅出Pandas：利用Python进行数据处理与分析》pandas对数据框也可以像excel一样进行数据透视表整合之类的操作。
阡之尘埃·2024-01-07 13:31

Hadoop分布式文件系统(二)

目录一、Hadoop1、文件系统1.1、文件系统定义1.2、传统常见的文件系统1.3、文件系统中的重要概念1.4、海量数据存储遇到的问题1.5、分布式存储系统的核心属性及功能含义2、HDFS2.1、HDFS
杀神lwz·2024-01-07 11:19

被标记为事务的方法互相调用的坑（上）

如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring，MyBatis，Netty源码分析的朋友可以加我的Java高
程序员日常填坑·2024-01-07 10:54

深入浅出之中央空调体系架构及楼宇自控系统

一、关于建筑节能1、建筑能耗在中国，建筑能耗占社会总能耗45.5%。来源：《中国建筑能耗研究报告（2022）》2、空调、采暖、照明占比最高建筑节能是指在保证、提高建筑舒适性和生活质量的条件下，在建筑物使用的全过程中合理的、有效的使用能源，即降低能耗，提高能效。这里所说的建筑用能包括采暖、空调、热水供应、照明、电梯、炊事、家用电器等方面的能耗。其中采暖、空调和照明能耗占50%~70%，因此建筑节能的
田攀·2024-01-07 08:46

数仓工具—Hive内部表和外部表(5)

managedtable），被external修饰的为外部表（externaltable）；因为默认情况下我们不加external关键字修饰，所以默认情况下是内部表区别：内部表数据由Hive自身管理，外部表数据由HDFS
不二人生·2024-01-07 07:42

Spark大数据分析与实战笔记（第二章 Spark基础-05）

文章目录每日一句正能量前言2.5启动Spark-Shell2.5.1运行Spark-Shell命令2.5.2运行Spark-Shell读取HDFS文件后记每日一句正能量成长是一条必走的路路上我们伤痛在所难免
想你依然心痛·2024-01-07 06:33

大数据编程期末大作业

大数据编程期末大作业文章目录大数据编程期末大作业一、Hadoop基础操作二、RDD编程三、SparkSQL编程四、SparkStreaming编程一、Hadoop基础操作在HDFS中创建目录/user/
-北天-·2024-01-07 05:20
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他