Hadoop源码解读

java面试题/认证答辩 ---主流框架(springboot)

springboot源码解读:springboot2.4.4#https://blog.csdn.net/qq_32828253/article/details/109496848#https://zhuanlan.zhihu.com
Fuly1024·2024-02-14 05:01

大数据开发之Sqoop详细介绍

备注:测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。
只是甲·2024-02-14 01:17

Ubuntu16.04下HBase安装笔记

基础准备JDKHadoopSSHServer下载HBasehttps://hbase.apache.org/tar-zxvfhbase-1.4.2-bin.tar.gzsudomvhbase-1.4.2
bluexiii·2024-02-13 22:48

利用 Docker 安装 Hadoop 集群并通过 Java API 访问 HDFS

前言最近刚好在学习Hadoop，在安装过程中遇到了一些小麻烦，正好将此次过程记录并分享出来，希望能对准备学习本块内容的读者们有所帮助。本次操作在Ubuntu中完成，如何安装Ubuntu本文不再赘述。
qq_33419925·2024-02-13 21:38

hadoop(十三)—自定义排序

这节课我们一起学习Hadoop的自定义排序，Hadoop是有一套默认的排序规则的，但是这往往不能满足我们多样化的需求，为了让排序更多样化，这就需要用到我们本节课所要学习的自定义排序功能。
文子轩·2024-02-13 20:13

YARN体系结构指南

1.简介hadoop-0.23引入的新体系结构将JobTracker的两个主要功能：资源管理和作业生命周期管理分为不同的组件。
盗梦者_56f2·2024-02-13 16:45

大数据处理为何选择Spark，而不是Hadoop

Spark的各个组件2.HadoopHad
嘿嘿海海·2024-02-13 14:00

hadoop 分布式集群安装与原理

对很多人来说，学习大数据都止步于集群搭建，即使是那些工作过很多年的JAVA程序员也不例外，我们分享一套能让您轻松完成集群搭建的方法，包括Hadoop的源码编译、企业级环境安装与配置和常用大数据组件的基本原理
海牛大数据_青牛老师·2024-02-13 12:44

Transformer实战-系列教程17：DETR 源码解读4（Joiner类/PositionEmbeddingSine类/位置编码/backbone）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-13 12:03

Transformer实战-系列教程16：DETR 源码解读3（DETR类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-13 12:32

Transformer实战-系列教程15：DETR 源码解读2（ConvertCocoPolysToMask类）

Transformer实战-系列教程总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在Pycharm中进行本篇文章配套的代码资源已经上传点我下载源码DETR算法解读DETR源码解读1（项目配置/CocoDetection
机器学习杨卓越·2024-02-13 12:02

小猿圈之Hadoop优化

Hadoop框架是现在最主流的的框架之一，越来越多的人去学习，那么你对hadoop的理解是什么？hadoop一定要会优化，那怎么优化呢，小猿圈今天说一下，感兴趣的朋友可以看看小猿圈写的这篇文章。
小猿圈加加·2024-02-13 05:38

vue3源码解读--effect

目录vue2源码vue3源码示例源码其实，在不看源码之前，就已经能想到其大概实现逻辑了：每一个effect在执行过程中如果遇到设置了响应式的值那么就会执行依赖收集，那么此时如果打一个标记，并根据此标记将存在依赖的effect放到某个队列中。当依赖改变后从队列中挑选判断并执行即可接下来就来验证下是不是这样将代码定位到effect函数可以看到这里获取了ReactiveEffect实例，紧接着又调用了.
习惯水文的前端苏·2024-02-13 02:11

Java从入门到精通

JavaSE，掌握Java语言本身、Java核心开发技术以及Java标准库的使用；2、如果继续学习JavaEE，那么Spring框架、数据库开发、分布式架构就是需要学习的；3、如果要学习大数据开发，那么Hadoop
nightluo·2024-02-13 01:52

Datax ETL工具源码研究

Kittle优点：与大数据Hadoop结合比较好，功能比较齐全，强大，支持数据库，文件数据读写，界面拖拽方式操作；缺点：
Spring1985·2024-02-13 01:57

2018-07-19 sqoop

sqoop:数据从传统数据库到到hadoop的导入,导出安装：1.解压2.修改配置文件cdSQOOP_HOME/conf$mvsqoop-env-template.shsqoop-env.sh打开sqoop-env.sh
江江江123·2024-02-12 20:10

Android AsyncTask源码解读

屡思路1.初始AsyncTaskAsyncTask这个类的声明如下：publicabstractclassAsyncTask{.....}是一个抽象类Params表示输入参数的类型Progress表示后台任务的执行进度Result表示返回结果的类型2.使用在AsyncTask这个类的顶部有一些代码注释，里面讲述了如何使用一个AsyncTask,如下：*Hereisanexampleofsubcla
糖葫芦_倩倩·2024-02-12 20:24

【解决方案】pyspark 初次连接mongo 时报错Class not found exception:com.mongodb.spark.sql.DefaultSource

=spark.read.format("com.mongodb.spark.sql.DefaultSource").load()   File"/home/cisco/spark-2.4.1-bin-hadoop2
能白话的程序员♫·2024-02-12 19:33

Hadoop分布式系统架构-MapReduce-02

1、MapReduce介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce负责“合”，即对map阶段的结果进行全局汇总。MapRedu
一直上上签X·2024-02-12 16:41

（一）Docker 在线部署和离线部署

环境：CentOS7.31.在线部署[root@hadoop004~]#yuminstall-yhttpd[root@hadoop004~]#servicehttpdstartRedirectingto
白面葫芦娃92·2024-02-12 15:51

zk01

zookeeper基础ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。提供的功能包括：命名服务、配置管理、集群管理、分布式锁、队列管理。
矮肥·2024-02-12 11:41

2018-11-16 hadoop3.1完全分布式部署

Hadoop3.1.0完全分布式集群部署，三台服务器部署结构如下github配置文件源码地址Pdsh使用方法http://kumu-linux.github.io/blog/2013/06/19/pdsh
Albert陈凯·2024-02-12 08:20

hadoop-YARN

ApacheHadoopYARN百度百科：https://baike.baidu.com/item/yarn/16075826?
weixin_33736649·2024-02-12 07:44

Hadoop-MapReduce-Yarn集群搭建

通过官网搭建：hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.ht
qq_2368521029·2024-02-12 07:44

搭建 Hadoop-3.1.3 HA 集群

本文目录1.集群部署分布规划2.Zookeepr集群安装3.HDFS-HAⅠ.配置core-site.xmlⅡ.配置hdfs-site.xmlⅢ.配置分发4.YARN-HAⅠ.配置yarn-site.xmlⅡ.配置分发4.启动前的配置5.启动HA集群Ⅰ.单独启动Ⅱ.脚本方式启动HA集群6.HA集群测试
扛麻袋的少年·2024-02-12 07:43

Hadoop-HA高可用集群部署

HadoopHAHA概述(1)所谓HA(HighAvailablity),即高可用(7*24小时不中断服务)。(2)实现高可用最关键的策略是消除单点故障。
魔笛Love·2024-02-12 07:13

Hadoop-Yarn-ResourceManagerHA

一、介绍在Hadoop2.4之前，ResourceManager是YARN集群中的单点故障ResourceManagerHA是通过Active/Standby体系结构实现的，在任何时候其中一个RM都是活动的
隔着天花板看星星·2024-02-12 07:42

Hadoop：认识MapReduce

MapReduce是一个用于处理大数据集的编程模型和算法框架。其优势在于能够处理大量的数据，通过并行化来加速计算过程。它适用于那些可以分解为多个独立子任务的计算密集型作业，如文本处理、数据分析和大规模数据集的聚合等。然而，MapReduce也有其局限性，比如对于需要快速迭代的任务或者实时数据处理，MapReduce可能不是最佳选择。总的来说，MapReduce是大数据技术中的一个重要概念，它在Ha
爱写代码的July·2024-02-12 06:41

org.apache.hadoop.fs.ChecksumException: Checksum error: file:/root/test.txt at 0

上传文件到集群遇到以下异常：org.apache.hadoop.fs.ChecksumException:Checksumerror:file:/root/test.txtat0[root@master
橙汁啤酒厂·2024-02-12 05:24

-bash: export: =‘: 不是有效的标识符 -bash: export:

:/opt/hadoop-2.7.3//bin:/opt/jdk1.8.0_131
橙汁啤酒厂·2024-02-12 05:24

HBase集群部署

1.HBase安装相关版本：Hadoop：2.7.3hbase：1.3.1hbase相关版本下载安装HBase需要安装hbase-1.3.1-bin.tar.gz软件包，下载并解压到/opt目录下2.HBase
橙汁啤酒厂·2024-02-12 05:23

Pytorch底层源码解读（一）概览

前言作为最受欢迎的深度学习框架，Pytorch如今已拥有极大的用户群体以及开发者。但对于开发者而言，针对日益臃肿的pytorch框架进一步更新迭代已经成为了较大的问题，特别是对刚想要上手对pytorch底层框架进行理解的初学者而言。因此本系列主要针对于pytorch底层框架中的核心部分进行解读，为读者展现其背后工作机理的同时也能使得读者在阅读完本系列的文章后，能够对pytorch框架有个基本的了解
firework_97df·2024-02-12 04:08

Hadoop运行环境搭建

模板虚拟机环境准备1）准备一台模板虚拟机hadoop100，虚拟机配置要求如下：模板虚拟机：内存4G，硬盘50G，安装必要环境，为安装hadoop做准备[root@hadoop100~]#yuminstall-yepel-release
nucty·2024-02-11 18:53

HBase知识点总结

一、HBase基础HBase是一种建立在Hadoop文件系统之上的分布式、可扩展、支持海量数据存储的NoSQL数据库。HBase是BigTable的开源Java版本。
·2024-02-11 17:17

离线数仓（一）【数仓概念、需求架构】

前言今天开始学习数仓的内容，之前花费一年半的时间已经学完了Hadoop、Hive、Zookeeper、Spark、HBase、Flume、Sqoop、Kafka、Flink等基础组件。
让线程再跑一会·2024-02-11 11:58

Hive与ClickHouse的区别

Hive是Hadoop生态系统中事实上的数据仓库标准。Hive是建立在Hadoop生态中的数据仓库中间件，其本身并不提供存储与计算能力。
晓之以理的喵~~·2024-02-11 08:18

Hadoop（三）通过C#/python实现Hadoop MapReduce

MapReduceHadoop中将数据切分成块存在HDFS不同的DataNode中，如果想汇总，按照常规想法就是，移动数据到统计程序：先把数据读取到一个程序中，再进行汇总。
dotNET跨平台·2024-02-11 08:17

flink启动找不到yarn-session.sh命令

主要还是因为自己当初安装flink的几种模式时，是分开复制安装，导致自己以为配置了环境变量，还有一个需要注意：yarn-sisson.sh是flink/bin/的命令，并不是hadoop的yarn的命令
故乡的花又开了吗·2024-02-11 07:57

RabbitMQ详解以及spring对RabbitMQ的集成(附带部分源码解读)

一·简介1丶为什么要使用消息队列https://wenku.baidu.com/view/e297236f83c4bb4cf7ecd193.html①异步处理(高并发)②系统解耦③流量削锋2丶为什么使用RabbitMQ①给予AMQP协议②高并发③高可用④强大的社区支持，以及很多公司都在使用⑤高性能⑥支持插件(监控管理界面的插件，安装插件支持jms)⑦支持多语言(PHP,Python,.net)3丶
HAKUNA·MATATA·2024-02-11 06:04

vue3源码解读--组件更新

目录vue2源码vue3源码示例源码组件更新的前提是依赖能被正确收集到，经过上一节分析，我们知道trackEffects正是来做这件事情的，故将代码定位于此。核心看其收集的对象是谁。该方法的入参如下其中的activeEffect是在setupRenderEffect中使用newReactiveEffect后执行run创建的，核心是向其挂载了更新函数即componentUpdateFn接着将dep的
习惯水文的前端苏·2024-02-11 01:15

MapReduce的uber运行模式

背景在有些情况下，运行于Hadoop集群上的一些mapreduce作业本身的数据量并不是很大，如果此时的任务分片很多，那么为每个map任务或者reduce任务频繁创建Container，势必会增加Hadoop
盗梦者_56f2·2024-02-11 01:42

C#系列-C#访问hadoop API（9）

在C#中访问Hadoop通常涉及到与Hadoop分布式文件系统（HDFS）进行交互，以及可能执行MapReduce作业或其他Hadoop生态系统组件（如HBase或Hive）。
管理大亨·2024-02-10 22:27

hadoop-HDFS

1.详情1.架构图在这里插入图片描述2.读写的流程图在这里插入图片描述2.操作1.使用MAVEN集成对应的jar包org.apache.hadoophadoop-common2.7.1org.apache.hadoophadoop-hdfs2.7.12
炽热_3a57·2024-02-10 22:45

大数据毕业设计django+vue.js+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop spark 58同城租房爬虫 房源推荐系统 计算机毕业设计

博主介绍：✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久，选择我们就是选择放心、选择安心毕业✌由于篇幅限制，想要获取完整文章或者源码，或者代做，可以给我留言或者找我聊天。感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多的人。文章包含：项目选题+项目展示图片（必看）计算机毕业设计吊
B站计算机毕业设计超人·2024-02-10 20:52

Hive安装部署

pwd=6666通过XFTP将安装包上传到hadoop102的/opt/software目录下安装部署1、解压hive-3.1.3.tar.gz到/opt/module/目录下面进入安装包所在目录cd/
在下区区俗物·2024-02-10 20:30

CentOS7虚拟机 enss33没有ip地址

参考链接：CentOS7虚拟机enss33没有ip地址的解决方法_ens33没有ip地址_weixin_45307968的博客-CSDN博客在搭建Hadoop集群时，需要修改ip地址，但是当我查看时发现并没有显示
我想吃新疆炒米粉！·2024-02-10 18:31

计算机毕业设计PyFlink+Hadoop+Hive民宿数据分析可视化大屏 民宿推荐系统 民宿爬虫 民宿大数据 知识图谱 机器学习 大数据毕业设计

流程1.selenium自动化爬虫框架采集民宿数据约10万条存入.csv文件作为数据集；2.使用pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；3.使用hive数仓技术建表建库，导入.csv数据集；4.离线分析采用hive_sql完成，实时分析利用Flink之Scala、FlinkSQL完成;5.统计指标使用sqoop导入mysql数据库；6
计算机毕业设计大神·2024-02-10 10:56

Hadoop fs命令

目录前言命令及含义fs-lsfs-rmvfs-mkvfs-getfs-putfs-metatest;前言调用文件系统(FS)Shell命令应使用bin/hadoopfs的形式。
November丶Chopin·2024-02-10 08:02

HDFS常用命令

HDFS常用命令hdfs命令最常用的就是：hdfsdfs-[linux的命令]通过查看Hadoop的命令与hdfs的命令并不相同，且不存在包含关系。仅仅是hadoopfs与hdfsdfs可以等价。
昱东i·2024-02-10 06:30

could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running

学习使用Hadoop-3.2.2APIIDEA中使用Java向hdfs写入文件时出现如下错误：couldonlybereplicatedto0nodesinsteadofminReplication(=
昱东i·2024-02-10 06:30
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他