Hadoop学习记录

Sqoop 入门基础

简介Sqoop（SQLtoHadoop）是一个开源工具，用于在关系型数据库和Hadoop之间传输数据。
香菜的开发日记·2024-02-19 13:17

学习记录691@spring面试之bean的作用域

Spring为Bean定义了5种作用域，分别为Singleton（单例）、Prototype（原型）、Request（请求级别）、Session（会话级别）和GlobalSession（全局会话）。SingletonSingleton是单例模式，当实例类型为单例模式时，SpringIoC容器中只会存在一个共享的Bean实例，无论有多少个Bean引用它，都始终指向同一个Bean对象。该模式在多线程下
教练 我想学编程·2024-02-19 13:43

hadoop硬件配置 高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。500字节一个块假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小（64MB）同时副本因子为3，5000*20GB=102400000M=97T那么NameNode需要保存5千万个分块的信息，这些分块的大小加上文件系统的开销总共需要1.5GB的内存。但是一
xcagy·2024-02-19 13:07

【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解

在NodeManager中，有三种运行Container的方式，它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中，我们就能看得出来，默认情况下，一定使用的是DefaultContainerExecutor。而一般情况下，DefaultContainerExecutor也确实能够满足我
笑起来贼好看·2024-02-19 11:38

学习篇-Hadoop-YARN-环境搭建

文章目录一、Hadoop-YARN-环境搭建一、Hadoop-YARN-环境搭建官网参考：https://hadoop.apache.org/docs/stable/hadoop-project-dist
东东爱编码·2024-02-19 11:08

【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）

目录首页（Cluster）节点信息SchedulerMetrics：集群调度信息节点信息详解（Nodes）应用列表信息（applications）队列详情页（Scheduler）指标详细说明（非常重要）首页（Cluster）集群监控信息指标详解AppsSubmitted：已提交的应用AppsCompleted：已完成的应用AppsRunning：正在运行的应用ContainersRunning：正
笑起来贼好看·2024-02-19 11:08

Hadoop-Yarn-NodeManager都做了什么

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中已经简要的分析了NodeManager
隔着天花板看星星·2024-02-19 11:00

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。
BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪·2024-02-19 11:58

hadoop-2.7.4-nodemanager无法启动问题解决方案

近期新配了hadoop-274版本的集群，发现有一个小问题，DataNode无法顺利启动。
半肉哥·2024-02-19 11:27

hadoop-yarn资源分配介绍-以及推荐常用优化参数

如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为Hadoop2.x的一部分，YARN采用MapReduce中的资源管理功能并对其进行打包，以便新引擎可以使用它们。
Winhole·2024-02-19 11:26

Hadoop-Yarn-NodeManager如何计算Linux系统上的资源信息

NodeResourceMonitorImpl）时只是提了下SysInfoLinux，下面我们展开讲下SysInfoLinux是用于计算Linux系统上的资源信息的插件二、SysInfoLinux源码packageorg.apache.hadoop.util
隔着天花板看星星·2024-02-19 11:48

node命令yarn --version指向了java

问题描述本地安装了java、hadoop和nodejs，并配置了环境变量，但是hadoop的bin目录下存在yarn命令，所以使用nodejs的yarn命令启动项目会出现找不到类，此时键入yarn-version
码学弟·2024-02-19 11:43

企业级大数据安全架构（一）平台安全隐患

1缺乏统一的访问控制机制大数据平台由Hadoop生态体系众多组件组成，而每个组件都会提供相应的WebUI界面和RESTful接口，例如Nam
·2024-02-19 11:48

20. Qt 表格控件tableWidget的使用（1）

目录前言：内容：1.界面2.代码参考：前言：学习表格控件tableWidget的学习记录1，主要是用代码实现表格本身的设计（上篇）内容：1.界面ui文件添加tableWidget控件，想要名字的话另外用
都是报错快CV吧·2024-02-19 10:32

20.Qt 表格控件tableWidget的使用（2）-单元格操作

目录前言：技能：内容：1.界面2.pushbutton的槽函数参考：前言：学习记录那位博主表格使用，尤其是单元格的基本操作，他讲的很好，详细看参考链接！！
都是报错快CV吧·2024-02-19 10:32

MapReduce

MapReduce定义mapReduce是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架。
诺冰1314·2024-02-19 10:46

Hive入门，Hive是什么？

它是建立在Hadoop生态系统之上的，利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy·2024-02-19 10:31

Hive on Spark配置

pwd=66663、将Spark安装包通过xftp上传到/opt/software安装部署Spark1、解压spark-3.3.1-bin-without-hadoop.tgz进入安装包所在目录cd/opt
在下区区俗物·2024-02-15 10:51

配置hive on spark

hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改hive-site.xml文件，添加如下配置：spark.yarn.jarshdfs://hadoop
空白格2519·2024-02-15 10:51

hive on spark配置经验

常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode
小五冲冲冲·2024-02-15 10:21

（三十八）大数据实战——Atlas元数据管理平台的部署安装

本节内容是关于ApacheAtlas的部署安装，在开始安装Atlas之前我们需要提前安装好Atlas需要集成的组件，如hadoop、zo
厉害哥哥吖·2024-02-15 09:09

Attention +Transformer学习记录（二）

目录a.注意力机制和自注意力机制的区别b.引入自注意力机制的原因c.计算公式d.代码实现二、Multi-HeadAttention1.Multi-HeadAttention的计算2.位置编码三、Transformer模型1.Transformer整体结构2.Transformer的input输入2.1如何获得位置编码？3.Transformer的Encoder3.1Add＆Normalize3.2
LLC74·2024-02-15 08:41

2020暑假八月学习记录- 8.15

数学：自从9号完成了因式分解后，到现在，一共自学了11.20，11.21两节，问题还挺多的，还是老毛病，看题目抄题计算中不是丢掉一些数据，就是看错了数据，另外，再次遇到x的平方不等于1，只回答了x≠1，也就是对于负数，还是没有在脑海里留下什么印象，不自觉就给舍弃了。这个我不打算给他强调了，留着开学后，老师去讲吧。今天在我的监督下看11.22，多项式除以多项式，发现他没有能够究根结底，只是依葫芦画瓢
icymath·2024-02-15 08:44

三分钟教你如何把不要钱的ChatGPT3.5用出花钱4.0的效果！

关注微信公众号DeepGoAI计算机杂谈及深度学习记录&分享上一期我们聊到ChatGPT4.0确实在各方面都优于3.5花了钱的就是不一样但我们有没有办法去弥补这一差距呢？
Longlongaaago·2024-02-15 07:07

三分钟教你如何把不要钱的ChatGPT3.5用出花钱4.0的效果！

关注微信公众号DeepGoAI计算机杂谈及深度学习记录&分享上一期我们聊到ChatGPT4.0确实在各方面都优于3.5花了钱的就是不一样但我们有没有办法去弥补这一差距呢？
Longlongaaago·2024-02-15 07:05

中科大计网学习记录笔记（十一）：CDN

前言：学习视频：中科大郑烇、杨坚全套《计算机网络（自顶向下方法第7版，JamesF.Kurose，KeithW.Ross）》课程该视频是B站非常著名的计网学习视频，但相信很多朋友和我一样在听完前面的部分发现信息量过大，有太多无法理解的地方，在我第一次点开的时候也有相同的感受，但经过了一段时间项目的学习，对计网有了更多的了解，所以我准备在这次学习的时候做一些记录并且加入一些我的理解，希望能够帮助到大
*Soo_Young*·2024-02-15 05:28

cuBLAS Level-1 Function

仅为学习记录，具体内容请以nvidia官方文档为准：https://docs.nvidia.com/cuda/cublas/index.html#cublas-level-1-function-reference
Junr_0926·2024-02-15 04:17

Hadoop手把手逐级搭建 第二阶段: Hadoop完全分布式(full)

前置步骤:1).第一阶段：Hadoop单机伪分布(single)0.步骤概述1).克隆4台虚拟机2).为完全分布式配置ssh免密3).将hadoop配置修改为完全分布式4).启动完全分布式集群5).在完全分布式集群上测试
郑大能·2024-02-15 04:07

一面数据： Hadoop 迁移云上架构设计与实践

背景一面数据创立于2014年，是一家领先的数据智能解决方案提供商，通过解读来自电商平台和社交媒体渠道的海量数据，提供实时、全面的数据洞察。长期服务全球快消巨头（宝洁、联合利华、玛氏等），获得行业广泛认可。公司与阿里、京东、字节合作共建多个项目，旗下知乎数据专栏“数据冰山”拥有超30万粉丝。一面所属艾盛集团（Ascential）在伦敦证券交易所上市，在120多个国家为客户提供本地化专业服务。公司在2
JuiceFS·2024-02-15 01:48

Unity类银河恶魔城学习记录7-3 P69 Setting up sword‘s aim源代码

Alex教程每一P的教程原代码加上我自己的理解初步理解写的注释，可供学习Alex教程的人参考此代码仅为较上一P有所改变的代码【Unity教程】从0编程制作类银河恶魔城游戏_哔哩哔哩_bilibiliPlayerAimSwordState.csusingSystem.Collections;usingSystem.Collections.Generic;usingUnityEngine;//从地面状
SuKacZev·2024-02-15 01:27

Unity类银河恶魔城学习记录7-1 P67 Sword Throw Skill State源代码

Alex教程每一P的教程原代码加上我自己的理解初步理解写的注释，可供学习Alex教程的人参考此代码仅为较上一P有所改变的代码【Unity教程】从0编程制作类银河恶魔城游戏_哔哩哔哩_bilibiliSword_Skill.csusingSystem.Collections;usingSystem.Collections.Generic;usingUnityEngine;publicclassSwo
SuKacZev·2024-02-15 01:26

Unity类银河恶魔城学习记录7-2 P68 Setting up details of sword源代码

Alex教程每一P的教程原代码加上我自己的理解初步理解写的注释，可供学习Alex教程的人参考此代码仅为较上一P有所改变的代码【Unity教程】从0编程制作类银河恶魔城游戏_哔哩哔哩_bilibiliSword_Skill.csusingSystem.Collections;usingSystem.Collections.Generic;usingUnityEngine;publicclassSwo
SuKacZev·2024-02-15 01:26

Unity类银河恶魔城学习记录7-4 P70 Improving sword‘s behaviour源代码

Alex教程每一P的教程原代码加上我自己的理解初步理解写的注释，可供学习Alex教程的人参考此代码仅为较上一P有所改变的代码【Unity教程】从0编程制作类银河恶魔城游戏_哔哩哔哩_bilibiliSword_Skill_Controller.csusingSystem.Collections;usingSystem.Collections.Generic;usingUnityEngine;pub
SuKacZev·2024-02-15 00:56

（免费领源码）Java#MySql#hadoop高校固定资产管理系统74965-计算机毕业设计项目选题推荐

摘要在信息飞速发展的今天，网络已成为人们重要的信息交流平台。高校部门每天都有大量的信息需要通过网络发布，为此，高校固定资产管理系统开发的必然性，所以本人开发了一个基于Tomcat（服务器）模式的高校固定资产管理系统，该系统以B/S/Java语言、MySql数据库等为开发技术，实现了添加、修改、查看、删除系统数据。本系统采取组件化的方式对系统进行拆分，并对数据库中各个表的增删查改、表与表之间的约束关
2301_3224142804·2024-02-15 00:42

大数据集群环境启动总结

hadoop启动与停止单个节点逐一启动在主节点上使用以下命令启动HDFSNameNode：hadoop-daemon.shstartnamenode在每个从节点上使用以下命令启动HDFSDataNode
我还不够强·2024-02-14 23:04

Hadoop-3.0.3 安装

Hadoop-3.0.3安装一下载安装包二配置Hadoop环境变量/etc/profile后面追加exportHADOOP_HOME=/data/hadoop-3.0.3exportPATH=$HADOOP_HOME
火星机遇号·2024-02-14 23:52

HDFS用户及权限配置

HDFS用户及权限配置使用linux用户bruce，格式化hadoop的namenode，那么bruce成为hdfs的超级用户在bruce用户下运行命令：#创建/user/hadoop目录hadoopfs-mkdir-p
wpheternal·2024-02-14 21:42

Hadoop(HDFS)的超级用户

Hadoop(HDFS)的超级用户超级用户超级用户即运行namenode进程的用户。宽泛的讲，如果你启动了namenode，你就是超级用户。超级用户干任何事情，因为超级用户能够通过所有的权限检查。
zinger.wang·2024-02-14 21:12

HDFS的超级用户

一.解释原因HDFS(HadoopDistributedFileSystem)和linux文件系统管理一样，也是存在权限控制的。
重剑DS·2024-02-14 21:41

px4无人机编队学习记录-单机控制接口

笔者使用的源码及学习的内容来自https://www.bilibili.com/video/BV1rh4y1K7No/?share_source=copy_web&vd_source=be33b1553b08cc7b94afdd6c8a50dc5a源码下载链接在这个视频的简介里。这位up在csdn有同名账号，超维空间科技，大佬还有很多其他精彩的博文，欢迎大家去关注学习笔者是直接下载的源码，过程跟着
写点什么呢·2024-02-14 17:31

通讯的基本概念理解

#纯属个人笔记作为学习记录用途#较多个人比较好理解的说法可能不太准确若发现错误欢迎评论区指正通讯的基本概念一、串行通讯与并行通讯按数据传送的方式，通讯可分为串行通讯与并行通讯，串行通讯是指设备之间通过少量数据信号线
懈 & CJ·2024-02-14 16:14

设置系统时钟深度理解

#纯属个人笔记作为学习记录用途#较多个人比较好理解的说法可能不太准确若发现错误欢迎评论区指正使用HSE时，设置系统时钟的步骤1、开启HSE，并等待HSE稳定2、设置AHB、APB2、APB1的预分频因子
懈 & CJ·2024-02-14 16:44

2021.12.19｜学习记录与积累｜巧言，令色，足恭，左丘明耻之，丘亦耻之

WelcometoFirry'slearninglog.Thisisthe_86thdayofmyrecord.——————————欢迎来每日外语朗读小组打卡哦！指路→灯塔打卡→公开小组→外语每日朗读隐私友好，形式多样，21天点亮一座灯塔，记录点滴进步，监督持续练习————————————————➽今日小记➽✍今天收拾家，收拾鸟舍，换了土，贴了墙。吃了粉丝。看了纪录片《文学的故乡》莫言，毕飞宇，刘
SciPsyLearning·2024-02-14 08:20

学习记录(自用)

Java学习路径及记录，纯粹个人自用，请多指教JavaJava基础常用类常用类8种基础数据类型的包装类自动打包/解包序列化深入理解Java序列化深度解析JAVA序列化异常处理JavaSE基础:异常处理六个例子彻底理解finally语句块JVM原理Java高级特性泛型Java泛型详解细说Java泛型及其应用细说Java泛型及其应用反射注解Java注解完全解析Java网络编程Java多线程编程线程基础
weixin_33962621·2024-02-14 07:12

Hadoop+Spark+MongoDB+MySQL+C#大数据开发项目最佳实践

一、前言随着IT技术的飞速发展，各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务。目前，医疗IT系统收集了大量极具价值的数据，但这些历史医疗数据并没有发挥出其应有的价值。为此，本文拟利用医院现有的历史数据，挖掘出有价值的基于统计学的医学规则、知识，并基于这些信息构建专业的临床知识库，提供诊断、处方、用药推荐功能，基于强大的关联推荐能力，极大地提高医疗服务质量，减轻医疗人员的工作强度。二、
yiyidsj·2024-02-14 07:08

学习总结 - swift适配器 为 Hadoop 的存储层增加对 OpenStack Swift 的支持

虽然文档内所涉及的版本有点旧，但内容很精彩，值得推荐背景在Hadoop中有一个抽象文件系统的概念，它有多个不同的子类实现，由DistributedFileSystem类代表的HDFS便是其中之一。
天地不仁以万物为刍狗·2024-02-14 07:37

C# Hadoop学习笔记

记录一下学习地址http://www.360doc.com/content/14/0607/22/3218170_384675141.shtml转载于:https://www.cnblogs.com/TF12138/p/4170558.html
第八个猴子·2024-02-14 07:37

hadoop HDFS的API封装

Configuration类：该类的对象封装了客户端或者服务端的配置。FileSystem类：该类的对象是一个文件系统对象，可以用该队想的一些方法来对文件进行操作。FSDataInputStream和FSDataOutputStream：这两个类是HDFS中的输入输出流。基本流程：得到Configuration对象得到FileSystem对象进行文件操作（读写、删除、改名）所需引入的库import
Cynicism_Kevin·2024-02-14 07:37

Java代码精简之道

作者常意内容来自微信公众号天池大数据科研平台此处仅供本人学习记录之用，侵删前言古语有云：道为术之灵，术为道之体；以道统术，以术得道。其中：“道”指“规律、道理、理论”，“术”指“方法、技巧、技术”。
longLiveData·2024-02-14 07:56
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他