Hadoop学习总结

无依赖单机尝鲜 Nebula Exchange 的 SST 导入

无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式（单机、容器化Spark、Hadoop、NebulaGraph），快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph·2024-02-19 23:51

kotlin协程学习总结

1.协程是什么？kotlin中的协程是基于协程框架Coroutine实现的轻量级线程，提供一种简化处理异步任务的方式。2.怎么使用协程？使用协程框架中的launch方法包裹的代码块就是协程的内容，常规的代码如下：valcoroutineScope=CoroutineScope(context)coroutineScope.launch{getImage(imageId)}在实际的项目中，我们通常使
天花板之恋·2024-02-19 22:12

2.15学习总结

2.151.聪明的质监员（二分+前缀和）2.村村通（并查集）3.玉蟾宫(悬线法DP)4.随机排列（树状数组逆序对问题）5.增进感情（DFS）6.医院设置（floyd）聪明的质监员https://www.luogu.com.cn/problem/P1314题目描述小T是一名质量监督员，最近负责检验一批矿产的质量。这批矿产共有�n个矿石，从11到�n逐一编号，每个矿石都有自己的重量��wi以及价值��
啊这泪目了·2024-02-19 21:40

2.16学习总结

1.邮递员送信（dijkstra不只是从起到到目标点，还要走回去）2.炸铁路(并查集)3.统计方形（数据加强版）（排列组合）4.滑雪（记忆化）5.小车问题（数学问题）6.ACM（记忆化，搜索）7.奶牛的耳语（二分）8.计算器的改良（模拟）9.L-shapes(遍历)10.AlternatingHeights（拓扑排序+二分）邮递员送信https://www.luogu.com.cn/problem
啊这泪目了·2024-02-19 21:40

2.18学习总结

链式前向星的处理和建立tarjan对割点和缩点的使用拓扑排序链式前向星：预处理：structedge{intfrom;intto;intnext;}e[N];intn,m,head[N],dfn[N],low[N],tot,color[N],num[N],out[N],s,instack[N],id;处理：voidadd(intu,intv){e[++tot].from=u;e[tot].to=v
啊这泪目了·2024-02-19 21:40

2.17学习总结

tarjan【模板】缩点https://www.luogu.com.cn/problem/P3387题目描述给定一个�n个点�m条边有向图，每个点有一个权值，求一条路径，使路径经过的点权值之和最大。你只需要求出这个权值和。允许多次经过一条边或者一个点，但是，重复经过的点，权值只计算一次。输入格式第一行两个正整数�,�n,m第二行�n个整数，其中第�i个数��ai表示点�i的点权。第三至�+2m+2
啊这泪目了·2024-02-19 21:37

mv: 无法获取“/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102.out.1“ 的文件状态(stat): 没有那个文件或目录

最近在回顾之前做过的离线数仓项目，在启动hadoop时出现了如下错误：hadoop102:mv:无法获取"/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102
时代新人0-0·2024-02-19 21:53

马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解

分布式计算原则：移动计算，而不是移动数据hadoop默认包含了hdfs、yarn、mapReduce三个组件yarn（YetAnotherResourceNegotiater）是资源调度系统，yarn调配的是内存和
PC_Repair·2024-02-19 20:28

幸福家第七届幸福家庭种子师资培养计划（2020年郑州班、合肥班）第二天学习总结

心若向阳，春暖花开两天的学习时光非常短暂！还没有一个缓冲的机会，已经到了课程的结束。回顾课程的点点滴滴，似乎没有记起什么，又似乎一切都在心中。因为我们的种子师资心中笃定一个方向——心若向阳，春暖花开。两件小事传爱心——因为今天上午请假半天，在返回郑州途中“偶遇”两件幸福小事:在通向站台的台阶处，一位不到20的姑娘手提笨重的皮箱，与其说是手提，还不如说是用身体在“扛”，我见到这种情况，就主动上前表示
月明风清_鸦岭镇西窑小学任振华·2024-02-19 20:01

Flink-部署实践

1)修改flink/conf/flink-conf.yaml文件:jobmanager.rpc.address:hadoop1132)修改/conf/masters文件:hadoop1133)修改/conf
魔笛Love·2024-02-19 20:52

主流开发语言和开发环境?

Java被广泛应用于企业级应用开发、移动应用（特别是Android应用）、游戏开发、大数据处理（如Hadoop生态系统）、云计算服务端开发等场景。C++简介：C+
dami_king·2024-02-19 20:50

Quick introduction to Apache Spark

Spark使用Hadoop的客户端库来
Liam_ml·2024-02-19 13:29

Hadoop Shuffle

Whentherearemultiplereducers,themaptaskspartitiontheiroutput,eachcreatingonepartitionforeachreducetask.Therecanbemanykeys(andtheirassociatedvalues)ineachpartition,buttherecordsforeverykeyareallinasing
SharlotteZZZ·2024-02-19 13:22

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

【大数据面试题】006介绍一下Parquet存储格式的优势

同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python
Jiweilai1·2024-02-19 13:34

Sqoop 入门基础

简介Sqoop（SQLtoHadoop）是一个开源工具，用于在关系型数据库和Hadoop之间传输数据。
香菜的开发日记·2024-02-19 13:17

stable diffusion webui学习总结（1）：准备工作

1、下载启动器：B站搜索绘世启动器（感谢赛博菩萨秋叶大佬）【AI绘画】SD-WebUI整合包/绘世启动器/训练器下载导航（长期有效）-哔哩哔哩(bilibili.com)2、下载模型（checkpoint）：模型影响画风，如写实、卡通、3D等国内：LiblibAI·哩布哩布AI-中国领先的AI创作平台国外：Civitai:TheHomeofOpen-SourceGenerativeAI推荐模型：G
shanesu·2024-02-19 13:39

hadoop硬件配置 高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。500字节一个块假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小（64MB）同时副本因子为3，5000*20GB=102400000M=97T那么NameNode需要保存5千万个分块的信息，这些分块的大小加上文件系统的开销总共需要1.5GB的内存。但是一
xcagy·2024-02-19 13:07

个人简历补充

3.1.1mPaaS（移动领域）3.1.2普通前端项目框架3.1.3微前端3.2后端持续更新1.对工作的认识2.八股文和知识面前端（基础知识/开发能力/总结输出能力）：前端技术知识（含八股）总结-持续更新中Vue基础学习总结
Xiaobaiforgod·2024-02-19 12:02

【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解

在NodeManager中，有三种运行Container的方式，它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中，我们就能看得出来，默认情况下，一定使用的是DefaultContainerExecutor。而一般情况下，DefaultContainerExecutor也确实能够满足我
笑起来贼好看·2024-02-19 11:38

学习篇-Hadoop-YARN-环境搭建

文章目录一、Hadoop-YARN-环境搭建一、Hadoop-YARN-环境搭建官网参考：https://hadoop.apache.org/docs/stable/hadoop-project-dist
东东爱编码·2024-02-19 11:08

【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）

目录首页（Cluster）节点信息SchedulerMetrics：集群调度信息节点信息详解（Nodes）应用列表信息（applications）队列详情页（Scheduler）指标详细说明（非常重要）首页（Cluster）集群监控信息指标详解AppsSubmitted：已提交的应用AppsCompleted：已完成的应用AppsRunning：正在运行的应用ContainersRunning：正
笑起来贼好看·2024-02-19 11:08

Hadoop-Yarn-NodeManager都做了什么

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中已经简要的分析了NodeManager
隔着天花板看星星·2024-02-19 11:00

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。
BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪·2024-02-19 11:58

hadoop-2.7.4-nodemanager无法启动问题解决方案

近期新配了hadoop-274版本的集群，发现有一个小问题，DataNode无法顺利启动。
半肉哥·2024-02-19 11:27

hadoop-yarn资源分配介绍-以及推荐常用优化参数

如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为Hadoop2.x的一部分，YARN采用MapReduce中的资源管理功能并对其进行打包，以便新引擎可以使用它们。
Winhole·2024-02-19 11:26

Hadoop-Yarn-NodeManager如何计算Linux系统上的资源信息

NodeResourceMonitorImpl）时只是提了下SysInfoLinux，下面我们展开讲下SysInfoLinux是用于计算Linux系统上的资源信息的插件二、SysInfoLinux源码packageorg.apache.hadoop.util
隔着天花板看星星·2024-02-19 11:48

node命令yarn --version指向了java

问题描述本地安装了java、hadoop和nodejs，并配置了环境变量，但是hadoop的bin目录下存在yarn命令，所以使用nodejs的yarn命令启动项目会出现找不到类，此时键入yarn-version
码学弟·2024-02-19 11:43

企业级大数据安全架构（一）平台安全隐患

1缺乏统一的访问控制机制大数据平台由Hadoop生态体系众多组件组成，而每个组件都会提供相应的WebUI界面和RESTful接口，例如Nam
·2024-02-19 11:48

第四周铁人战队学习总结

TC264的RAM分配RAM的具体分配CPU0有16KB的程序RAM（cpu0_psram）72KB的数据RAM（cpu0_dsram）还有8KB的程序缓存。CPU1有32KB程序RAM（cpu1_psram）120KB数据RAM（cpu1_dsram）16KB程序缓存，还有8KB数据缓存。可以由用户支配的RAM主要有程序RAM和数据RAM。程序RAM是用来存放代码的，代码存放在RAM中比存放在f
zhochiba·2024-02-19 11:04

Python基础语法学习总结

本文整理了定义变量、字符串、运算符、if语句、循环语句、列表、字典、元组、函数、文件操作等等Python基础语法知识点，希望下面的学习总结可以帮助大家快速掌握Python编程，现在我们一起来梳理一遍吧！
Python栈机·2024-02-19 11:54

MapReduce

MapReduce定义mapReduce是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架。
诺冰1314·2024-02-19 10:46

Hive入门，Hive是什么？

它是建立在Hadoop生态系统之上的，利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy·2024-02-19 10:31

学习总结16

#【模板】最小生成树##题目描述如题，给出一个无向图，求出最小生成树，如果该图不连通，则输出`orz`。##输入格式第一行包含两个整数N,M，表示该图共有N个结点和M条无向边。接下来M行每行包含三个整数Xi,Yi,Zi，表示有一条长度为Zi的无向边连接结点Xi,Yi。##输出格式如果该图连通，则输出一个整数表示最小生成树的各边的长度之和。如果该图不连通则输出`orz`。##样例#1###样例输入#
GGJJM·2024-02-19 10:28

Hive on Spark配置

pwd=66663、将Spark安装包通过xftp上传到/opt/software安装部署Spark1、解压spark-3.3.1-bin-without-hadoop.tgz进入安装包所在目录cd/opt
在下区区俗物·2024-02-15 10:51

配置hive on spark

hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改hive-site.xml文件，添加如下配置：spark.yarn.jarshdfs://hadoop
空白格2519·2024-02-15 10:51

hive on spark配置经验

常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode
小五冲冲冲·2024-02-15 10:21

【PyTorch】PyTorch中张量(Tensor)统计操作

PyTorch深度学习总结第五章PyTorch中张量(Tensor)统计操作文章目录PyTorch深度学习总结前言一、最值查找二、特殊值查询前言上文介绍了PyTorch中张量(Tensor)的计算操作，
咸鱼鲸·2024-02-15 09:41

（三十八）大数据实战——Atlas元数据管理平台的部署安装

本节内容是关于ApacheAtlas的部署安装，在开始安装Atlas之前我们需要提前安装好Atlas需要集成的组件，如hadoop、zo
厉害哥哥吖·2024-02-15 09:09

Hadoop手把手逐级搭建 第二阶段: Hadoop完全分布式(full)

前置步骤:1).第一阶段：Hadoop单机伪分布(single)0.步骤概述1).克隆4台虚拟机2).为完全分布式配置ssh免密3).将hadoop配置修改为完全分布式4).启动完全分布式集群5).在完全分布式集群上测试
郑大能·2024-02-15 04:07

每日总结学习总结反思与规划

2020-05-18分享人：05TBE演讲高级班胡慧中今日总结：6：00起床6：00-7：00背单词7：10-7：45练声+走圈运动8：00-10：00市场营销10：00-12：00经济学12：15-12：45头脑风暴14：30-16：00阅读《拆掉思维里的墙》+感悟打卡17：10-18：20小故事视频录制+剪辑18：00-19：00帮妈妈做事19：15-21：00演讲高级班上课21：30-21：
零散三·2024-02-15 04:06

2.13学习总结

1.出差（Bleeman—ford）（spfa）（dijkstra）2.最小生成树（prim）（Kruskal）最短路问题：出差https://www.luogu.com.cn/problem/P8802题目描述AA国有�N个城市，编号为1…�1…N小明是编号为11的城市中一家公司的员工，今天突然接到了上级通知需要去编号为�N的城市出差。由于疫情原因，很多直达的交通方式暂时关闭，小明无法乘坐飞机直
啊这泪目了·2024-02-15 01:21

2.12学习总结

https://leetcode.cn/problems/remove-linked-list-elements/description/classSolution{public:ListNode*removeElements(ListNode*head,intval){while(head!=NULL&&head->val==val){head=head->next;}ListNode*now=
啊这泪目了·2024-02-15 01:20

2.14学习总结

1.区间嵌套https://www.acwing.com/problem/content/description/5462/2.卡片https://www.lanqiao.cn/problems/1443/learning/?page=1&first_category_id=1&second_category_id=3&name=%E5%8D%A1%E7%89%873.逆序对https://www
啊这泪目了·2024-02-15 01:50

一面数据： Hadoop 迁移云上架构设计与实践

背景一面数据创立于2014年，是一家领先的数据智能解决方案提供商，通过解读来自电商平台和社交媒体渠道的海量数据，提供实时、全面的数据洞察。长期服务全球快消巨头（宝洁、联合利华、玛氏等），获得行业广泛认可。公司与阿里、京东、字节合作共建多个项目，旗下知乎数据专栏“数据冰山”拥有超30万粉丝。一面所属艾盛集团（Ascential）在伦敦证券交易所上市，在120多个国家为客户提供本地化专业服务。公司在2
JuiceFS·2024-02-15 01:48

（免费领源码）Java#MySql#hadoop高校固定资产管理系统74965-计算机毕业设计项目选题推荐

摘要在信息飞速发展的今天，网络已成为人们重要的信息交流平台。高校部门每天都有大量的信息需要通过网络发布，为此，高校固定资产管理系统开发的必然性，所以本人开发了一个基于Tomcat（服务器）模式的高校固定资产管理系统，该系统以B/S/Java语言、MySql数据库等为开发技术，实现了添加、修改、查看、删除系统数据。本系统采取组件化的方式对系统进行拆分，并对数据库中各个表的增删查改、表与表之间的约束关
2301_3224142804·2024-02-15 00:42

大数据集群环境启动总结

hadoop启动与停止单个节点逐一启动在主节点上使用以下命令启动HDFSNameNode：hadoop-daemon.shstartnamenode在每个从节点上使用以下命令启动HDFSDataNode
我还不够强·2024-02-14 23:04

Hadoop-3.0.3 安装

Hadoop-3.0.3安装一下载安装包二配置Hadoop环境变量/etc/profile后面追加exportHADOOP_HOME=/data/hadoop-3.0.3exportPATH=$HADOOP_HOME
火星机遇号·2024-02-14 23:52

HDFS用户及权限配置

HDFS用户及权限配置使用linux用户bruce，格式化hadoop的namenode，那么bruce成为hdfs的超级用户在bruce用户下运行命令：#创建/user/hadoop目录hadoopfs-mkdir-p
wpheternal·2024-02-14 21:42
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他