HDFS深入浅出

大模型(LLM)微调并不复杂，数据才是关键：3个实例详解数据准备

在这篇文章里，我们不仅会深入浅出地介绍什么是微调，还会通过三个具体的实例，教你们如何准备高质量的数据集，让你们的模型表现出色。准备好了吗？让我们一
程序员二飞·2025-02-08 01:21

深入浅出 Javax.Validation：校验注解全解析与实战指南

深入浅出Javax.Validation：校验注解全解析与实战指南javax.validation是Java提供的一套验证框架，基于BeanValidation规范（如JSR303和JSR380）。
Dolphin_Home·2025-02-07 19:17

2024-JAVA-大数据-面试汇总_大数据java部门面试(1)

内部表的数据是由Hive自身管理的，外部表的数据是由HDFS管理的；删除内部表会删除元数据和存储的数据；删除外部表只删除元数据不删除存储的数据34,你知道UDF吗？UDF就是H
2401_84141419·2025-02-07 19:15

计划任务线程池ScheduledThreadPoolExecutor原理

Preview部分内容来源：《深入浅出Java多线程》-计划任务前置知识：Java线程池原理，不了解的同学可以看这个：Java线程池执行与线程复用的原理JDK版本：OpenJDK16.0.2使用样例将消息
萧离x1aolone·2025-02-07 18:12

深入浅出DeepSeek V3 技术报告

深入浅出DeepSeekV3技术报告今天咱们要来聊聊一个高大上的人工智能模型——DeepSeek-V3。
fertiland·2025-02-07 17:04

深入浅出 DeepSeek-Coder-V2 是如何打破闭源模型封锁的

大家好！今天我们来聊聊DeepSeek-Coder-V2是如何打破闭源模型封锁的！在AI编程助手领域，GPT-4Turbo、Claude3、Gemini1.5Pro这样的闭源模型一直占据主导地位，开源模型很难与之匹敌。但DeepSeek-Coder-V2作为最新的开源代码大模型，不仅迎头赶上，甚至在某些指标上超越了这些闭源AI！它到底是如何做到的呢？今天，我们就从模型架构、训练数据、强化学习优化三
fertiland·2025-02-07 17:33

计算机导论的学科知识体,计算机导论..ppt

《计算机导论》——从学科整体出发，综述性地、深入浅出地介绍计算机学科的有关知识与技能，起导向的作用
weixin_39861255·2025-02-07 16:00

大数据-267 实时数仓 - ODS Lambda架构 Kappa架构 核心思想

MyBatis更新完毕目前开始更新Spring，一起深入浅出！
m0_74823336·2025-02-07 16:57

深入浅出 NRM：加速你的 npm 包管理之旅

文章目录前言一、NRM是什么？二、为什么需要NRM？三、NRM的优势四、NRM的安装与使用4.1安装NRM4.2查看可用的npm源4.3切换npm源4.4测试npm源速度4.5添加自定义npm源4.6删除npm源五、NRM的进阶使用六、总结前言作为一名JavaScript开发者，你是否曾为npm包下载速度慢而烦恼？是否曾被复杂的npm源切换所困扰？今天，我将带你认识一个强大的工具——NRM，它将彻
Microi风闲·2025-02-07 14:39

Hbase基础

HBase是基于Google的Bigtable技术实现的，GoogleBigtable利用GFS作为其文件存储系统，HBase利用Hadoop的HDFS作为其文件存储系统；Google运行MapReduce
yandao·2025-02-07 13:38

HIVE常见面试题

1.简述hiveHive‌是一个构建在Hadoop之上的数据仓库工具，主要用于处理和查询存储在HDFS上的大规模数据。
兔子宇航员0301·2025-02-06 18:59

【starrocks学习】之将starrocks表同步到hive

目录方法1：通过HDFS导出数据1.将StarRocks表数据导出到HDFS2.在Hive中创建外部表3.验证数据方法2：使用ApacheSpark同步1.添加StarRocks和Hive的依赖2.使用
chimchim66·2025-02-06 12:52

使用python实现Hadoop中MapReduce

Hadoop包含HDFS(分布式文件系统)、YARN（资源管理器）、MapReduce（编程模型）。
qq_44801116·2025-02-06 06:10

深入浅出之Convolutional Block Attention Module（YOLO）

ConvolutionalBlockAttentionModule（CBAM）是一种用于增强卷积神经网络（CNN）特征表示能力的注意力机制模块。以下是对CBAM的详细解释：一、CBAM的基本结构CBAM由两个子模块组成：通道注意力模块（ChannelAttentionModule,CAM）和空间注意力模块（SpatialAttentionModule,SAM）。这两个模块可以串联使用，以增强CNN
浩瀚之水_csdn·2025-02-06 04:46

保姆级教程！RAID 级别：0、1、5、6、10 和 50

本文将深入浅出地介绍六种常见的RAID级别：0、1、5、6、10和50，帮助读者理解它们的工作原理、
wljslmz·2025-02-06 03:44

Hadoop1.0和2.0的主要区别

Hadoop1.0指的是版本为ApacheHadoop0.20.x、1.x或者CDH3系列的Hadoop，组件主要由HDFS和MapReduce两个系统组成，HDFS是一个分布式文件存储系统，MapReduce
web_15534274656·2025-02-06 03:43

Hadoop1.0-HDFS介绍

最核心的模块包括HadoopCommon、HDFS与MapReduce。
szjianzr·2025-02-06 03:13

SQL on Hadoop

SQL引擎通常运行在Hadoop系统外部，作为一个桥梁查询HDFS
Lostgreen·2025-02-06 03:42

物联网架构之Hadoop

其核心架构包括以下几个关键组件：1.HadoopDistributedFileSystem(HDFS)HDFS是Hadoop的分布式文件系统，用于存储大数据集。
moluxiangfenglo·2025-02-06 01:54

面试官：Node文件查找的优先级与Require方法的文件查找策略

大厂学习资料这是我整理的学习资料，非常系统和完善，欢迎一起学习现代JavaScript高级小册深入浅出Dart现代TypeScript高级小册linwu的算法笔记面试官：Node文件查找的优先级与Require
linwu-hi·2025-02-06 00:17

深入浅出JSON.parse

前言众所周知，JSON.parse方法用于将一个json字符串转换成由字符串描述的JavaScript值或对象，该方法支持传入2个参数，第一个参数就是需要被转换的json字符串，第二个参数则是一个转换器函数(reviver,也叫还原函数)，这个函数会针对每个键/值对都调用一次,这个转换器函数又接受2个参数,第一个参数为转换的每一个属性名，第二个参数则为转换的每一个属性值，并且该函数需要返回一个值，
·2025-02-05 21:13

开源项目推荐：基于Lambda架构的大数据管道

基于Lambda架构的大数据管道big-data-pipeline-lambda-archAfullbigdatapipeline(LambdaArchitecture)withSpark,Kafka,HDFSandCassandra
柳旖岭·2025-02-05 16:53

【知识分享】HDFS基础操作以及修改配置文件命令

HDFS基本操作命令查看文件常用命令命令格式hdfsdfs-lspath--查看文件列表hdfsdfs-ls-Rpath--递归查看文件列表hdfsdfs-dupath--查看path下磁盘情况，单位字节使用示例
星环科技TDH社区版·2025-02-05 09:27

CDH角色迁移和硬盘扩容

1.概述生产CDH集群硬盘不足，HDFSdatanode节点数据不平衡，历史管理角色安装混乱，全部节点需要硬盘扩容。
专注大数据的Lyer·2025-02-05 09:56

Hadoop HDFS 安装详细步骤

Hadoop安装详细步骤安装前分别在master、slave1、slave2三台机器的root用户下的主目录下创建目录bigdata，即执行下面的命令：mkdir~/bigdataHadoop安装包下载检查Hadopp和java版本是否对应，在官网中查hadoop-3.1.3JDK1.8hadoop-2.10.2JDK1.7or1.8hadoop-2.9.2JDK1.7or1.8hadoop-2.
碟中碟山·2025-02-05 07:16

Hadoop框架及HDFS详细概述

文章目录Hadoop概述一、Hadoop1、分布式和集群2、Hadoop框架2.1概述2.2版本更新2.3Hadoop架构详解2.4官方示例2.4.1圆周率练习2.4.2词频统计3、Hadoop的HDFS3.1
搬砖人_li·2025-02-05 07:14

Hadoop3.2.1安装-单机模式和伪分布式模式

主要包括HDFS和MapReduce两个组件。
花菜回锅肉·2025-02-04 07:13

Spark3.1.2单机安装部署

类似Hadoop，但对Hadoop做了优化，计算任务的中间结果可以存储在内存中，不需要每次都写入HDFS，更适用于需要迭代运算的算法场景中。
花菜回锅肉·2025-02-04 07:43

前端导出Excel实践：探索xlsl的实现方式

点击在线阅读，体验更好链接现代JavaScript高级小册链接深入浅出Dart链接现代TypeScript高级小册链接linwu的算法笔记链接前言最近写管理端的需求，发现有一个excel导出的需求，本来是后端同学负责
linwu-hi·2025-02-04 06:05

Python结合pyhdfs模块操作HDFS分布式文件系统

使用python操作hdfs本身并不难，只不过是把对应的shell功能“翻译”成高级语言，我这里选用的是hdfs，下边的实例都是基于hdfs包进行的。
唐僧不爱八戒·2025-02-04 00:50

spring mysql jdbc insert 占位符_深入浅出JDBC(三) - Spring JdbcTemplate

上一次我们讨论了Dbutils的用法，其实现原理很简单，就是对JDBC的原始操作进行封装。但是无论什么操作，首先得创建Connection或者DataSource对象。在业务项目的开发中，手动地创建和销毁Connection比较繁琐，且不能充分地利用资源。于是有了连接池DBCP和C3P0两个框架的出现，但是业务开发过程中，对连接资源的获取和释放同业务是完全无关的，那能不能就不关心连接的获取和释放，
weixin_39943000·2025-02-03 19:34

如何在Java中调用Python

DataX是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
梦想画家·2025-02-03 17:17

Hive修复分区

通常用于那些已在HDFS中存在，但尚未在Hive元数据中注册的分区。当你在HDFS文件系统中手动添加或删除分区目录，Hive并不会自动识别这些更改。
码农小旋风·2025-02-03 14:27

hive分区和分桶详解

1、分区表分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。
CodeShelby·2025-02-03 14:56

Hive 分区和分桶总结

分区表实际上就是对应一个在HDFS(或者是其他分布式文件系统)文
Stray_Lambs·2025-02-03 14:23

【博学谷学习记录】超强总结，用心分享 | Hive分区表和分桶表

所谓的分区表，指的就是将数据按照表中的某一个字段进行统一归类，并存储在表中的不同的位置，也就是说，一个分区就是一类，这一类的数据对应到hdfs存储上就是对应一个目录。当我们需要进行处
Onzswhite·2025-02-03 14:52

Hive分区和分桶

每个分区对应一个特定值，并映射到HDFS的不同目录。为大幅减少数据量，基本必须要做！常用于经常查询的列，如日期、区域等。
码农小旋风·2025-02-03 14:51

sqoop导出orc数据至mysql,将Sqoop导入为OrC文件

IsthereanyoptioninsqooptoimportdatafromRDMSandstoreitasORCfileformatinHDFS?
终有尽头·2025-02-02 15:28

sqoop从orc文件到oracle,Sqoop import as OrC file

问题IsthereanyoptioninsqooptoimportdatafromRDMSandstoreitasORCfileformatinHDFS?
余革革·2025-02-02 15:58

【产品经理修炼之道】-一文搞懂微服务架构

对于软件开发者、架构师和IT管理者来说，这是一篇深入浅出
xiaoli8748_软件开发·2025-02-02 11:30

《深入浅出HTTPS》读书笔记（7）：安全的密码学Hash算法

密码学Hash算法除了常规Hash算法的特性，还应该具备下面三个特性。1）强抗碰撞性（CollisionResistance）如果两个不相同的值能够得到同样的摘要值，表示产生了Hash碰撞。密码学中，Hash算法必须具备强抗碰撞性，否则不应该使用。2）弱抗碰撞性（Secondpre-imageResistance）给定一个消息和这个消息对应的摘要值，很难找到一条不同的消息也具有相同的摘要值。如果某
earthzhang2021·2025-02-02 06:24

《深入浅出HTTPS》读书笔记（5）：随机数

密码学中随机数的用途非常大，其他密码学算法内部都会用到随机数。1）效率在软件或者密码学应用中需要大量的随机数，必须在很短的时间内生成随机数。2）随机性生成的随机数只要不存在统计学偏差，那么这个随机数就具备随机性（randomness）。3）不可预测性密码学中的随机数必须具备不可预测性，否则就会存在安全问题，当然非密码学应用使用具备随机性的随机数就足够了。4）不可重现性所谓不可重现性（unrepea
earthzhang2021·2025-02-02 06:23

＜深入浅出图神经网络＞ 读书笔记

文章目录笔记GNN代码chapter5|GCN分析TODO改代码得到的结论chapter6|GraphSage分析TODO去今年刚出就买了.一查豆瓣评分比我想的还低(我这种小白都能看出一些错误),有1说1对于入门还是可以的,至少能知道GNN大概的发展路线,如图卷积→\rightarrow→GCN→\rightarrow→GNN等.如果小白直接上手GNN啥的,连图滤波,空域频域等概念都不知道,也只能
数学工具构造器·2025-02-02 06:22

《深入浅出HTTPS》读书笔记（31）：HTTPS和TLS/SSL

《深入浅出HTTPS》读书笔记（31）：HTTPS和TLS/SSLTLS/SSL协议和应用层协议无关，它只是加密应用层协议（比如HTTP）并传递给下层的TCP。
earthzhang2021·2025-02-02 06:51

【Python深入浅出】Python：从诞生到闪耀，代码世界的传奇进化

目录引言：代码宇宙的璀璨之星Python一、前世：萌芽与成长1.起源故事：吉多的圣诞礼物2.初露锋芒：早期版本的诞生3.成长之路：功能扩充与社区形成二、今生：辉煌与拓展1.版本更迭：Python3的变革与发展2.应用领域：无处不在的Python3.生态系统：丰富的库与框架三、未来：趋势与展望1.技术趋势：持续优化与创新2.应用拓展：新兴领域的机遇四、结语：Python的无限可能引言：代码宇宙的璀璨
奔跑吧邓邓子·2025-02-02 06:47

java.io.FileNotFoundException: /tmp/log/flume-ng/flume.log (Permission denied)

文章目录问题描述：原因分析：解决方案：问题描述：使用Flume将本地文件监控上传到HDFS上时出现log4j:ERRORsetFile(null,true)callfailed.java.io.FileNotFoundException
海洋 之心·2025-02-02 04:05

HDFS分布式文件系统3-2 shell定期采集数据到HDFS

1、准备工作创建目录：/export/data/logs/log/export/data/logs/toupload2、在/export/data/logs目录下创建upload2HDFS.sh内容如下
诺特兰德·2025-02-02 03:38

Hive 整合 Spark 全教程 （Hive on Spark）

hadoop.proxyuser.luanhao.groups*hadoop.proxyuser.luanhao.groups*2）HDFS配置文件配置hdfs-site.xmldfs.namenode.http-addressBigdata00
字节全栈_rJF·2025-02-02 02:56

高赞口碑！侯捷C++系列精品课

侯捷老师拥有丰富的教学经验和深厚的技术功底，他的课程讲解深入浅出、生动有趣，能够帮助学习者快速掌握C++的核
盼达思文体科创·2025-02-01 20:48

HBase Shell基本操作

一、进入HbaseShell客户端先在LinuxShell命令行终端执行start-dfs.sh脚本启动HDFS，再执行start-hbase.sh脚本启动HBase。
wanglingli95·2025-02-01 17:20
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他