Hadoop学习分享

2021-03-17

【学霸好妈妈初级班】王晓燕第8期学习分享第40天第104篇【学习收获】1.感谢自己有勇气报名挑战，为将来做储备。为自己加油！2.感谢孩子主动参加今天中午的静心训练，感觉精神不错。
4717487bfff3·2024-01-26 23:30

八.压缩和存储

8.1Hadoop源码编译支持Snappy压缩(了解)8.1.1资源准备1）CentOS联网配置CentOS能连接外网。
临时_01e2·2024-01-26 21:13

大数据开发必备工具——Hadoop及整体架构介绍

Hadoop是一个由Apache软件基金会开发的开源Java软件框架，专为大数据处理设计，支持在大量计算机组成的集群上进行数据存储和分布式计算。
love6a6·2024-01-26 21:03

hadoop-MR

1.MR执行原理1.MAP阶段在这里插入图片描述2.Reducer在这里插入图片描述3.shuffle阶段在这里插入图片描述2.实操1.导入maven配置org.apache.hadoophadoop-mapreduce-client-common2.7.1org.apache.hadoophadoop-mapreduce-client-core2.7.12
炽热_3a57·2024-01-26 19:06

Hadoop 3.1.1 HDFS 集群部署

Hadoop3.1.1HDFS集群部署依赖服务系统优化查看ZooKeeper集群状态创建路径配置/etc/profile配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh配置
JP.Hu·2024-01-26 19:37

hadoop安装遇到的一些障碍

一.start-dfs.sh（开启不成功）原因：1.dadoop文件所属者与执行时登陆者不一致（权限不足）报错：WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER.Startingnamenodeson
GetIdea·2024-01-26 18:30

指导手册05：MapReduce编程入门

指导手册05：MapReduce编程入门Part1:使用Eclipse创建MapReduce工程操作系统：Centos6.8,hadoop2.6.4情景描述：因为Hadoop本身就是由Java开发的，所以通常也选用
weixin_30655219·2024-01-26 17:56

美好清晨20220716——育儿育己：朝着阳光明亮的地方肆意向上

凝飞早练晨读20220716家庭教育心理学习分享——《孤勇者》为何成为了儿歌：那些带刺的孩子才是最孤独的勇士“他们说，要戒了你的狂，就像擦掉了污垢。他们说，要顺台阶而上，而代价是低头。
凝飞呀·2024-01-26 16:10

Spark3学习笔记

文章目录一、Spark基础1、Spark概述1.1Spark简介1.2SparkVSHadoop1.3Spark特点1.4Spark入门Demo2、Spark运行模式2.1概述2.2Local模式2.3Standalone
魅Lemon·2024-01-26 15:38

【新时代父母养育力】 学习分享

2021年11月16日周二晴感悟分享：很多时候我们的担忧是多余的，每个人只要想学习，她自己就是解决问题的高手。发现孩子的一个优点：我的孩子有一颗“感恩的心”
洛阳艳子姐·2024-01-26 14:19

Apache 辅助系统工具

一丶ApacheSqoop1.Sqoop的介绍：Sqoop的工作机制是将导入或者导出的命令翻译成MapReduce实现，Sqoop可以理解为：SQL到Hadoop或者Hadoop到SQL2.Sqoop的安装配置文件修改
月初，·2024-01-26 11:16

centos同步服务器时间

不同步互联网查看所有节点ntpd服务状态sudosystemctlstatusntpdsudosystemctlstartntpdsudosystemctlis-enabledntpd查询自己的网段ipaddr修改hadoop102
热爱技术的小陈·2024-01-26 10:39

Hadoop3.x源码解析

文章目录一、RPC通信原理解析1、概要2、代码demo二、NameNode启动源码解析1、概述2、启动9870端口服务3、加载镜像文件和编辑日志4、初始化NN的RPC服务端5、NN启动资源检查6、NN对心跳超时判断7、安全模式三、DataNode启动源码解析1、概述2、初始化DataXceiverServer3、初始化HTTP服务4、初始化DN的RPC服务端5、DN向NN注册6、向NN发送心跳四、
魅Lemon·2024-01-26 09:54

Hadoop3.x学习笔记

文章目录一、Hadoop入门1、Hadoop概述1.1简介1.2hadoop优势1.3hadoop组成1.4大数据技术生态体系2、环境准备(重点)2.1模板机配置2.2模板创建3、本地运行模式（官方WordCount
魅Lemon·2024-01-26 09:24

林浩然与Hadoop的奇幻数据之旅

林浩然与Hadoop的奇幻数据之旅LinHaoranandtheEnchantingDataJourneywithHadoop在一个名为“比特村”的地方，住着一位名叫林浩然的程序员大侠。
howard2005·2024-01-26 09:20

Hadoop YARN 在快手的应用实践与技术演进之路

yarn的背景yarn大家都比较熟悉了，是从Hadoop1.0分离到2.0的比较重要的特性，把原来的jobtracker集中式调度变成yarn的二级调度，解决集群扩展性的问题。
yoku酱·2024-01-26 08:32

20221021（学习分享181天）《建构解决之道》P25形塑之摘要

1、摘要：即为摘录要点，一般以原文内容为基础，摘录其中心意思，不加以任何评判和解释。在咨询中，来访者的发言可能并没有清晰的头绪和章法，想到哪说到，对此，咨询师需要将来访者的原话内容（来访者的想法、行动、知觉等）做一番整理和归纳，以达到以下目的：①澄清自己的理解是否正确，提供来访者修改的机会；②来访者在接受到咨询师反馈的摘要内容时，会先进行自我觉察和反思，比如：这是我想说的重点吗？我所要的是什么？然
杨晓艳17·2024-01-26 07:52

websocket初探学习分享

本文主要是使用的心得，参考的网址是websocket，本例中使用的是Websocket-Node服务器模式，本地全局安装node即可服务端文件，本文命名为socketserver.js，代码如下：varWebSocketServer=require('websocket').server;varhttp=require('http');varserver=http.createServer(fun
一支桨·2024-01-26 06:16

通过养猪给女朋友讲解Hadoop(一)

六、规章整治奈何桥程序员老王，阎王爷，黑白无常，牛头马面，孟婆。“铃铃铃~”刚躺下的老王又被电话吵醒了，老王接起电话，习惯性地说：“老板，又是哪个系统挂了啊。”“我不是你老板，我是阎王爷”电话那头传来沧桑的声音。“阎王爷，我上有老，下有小，我知道我这么加班不对，但我都是为了生计啊，恳请阎王爷再宽限我几年吧，我把房贷还完就下去报道。”老王哽咽地说着。“这次找你不是想结束你在人间的进程，只是想让你来地
程序员峰哥·2024-01-26 05:55

Flink1.13集成Hadoop3.x以上版本

文章目录背景说明出现问题问题分析问题解决解决展示参考资料背景说明在搭建Flink的HA高可用集群后，打不开webUI界面出现问题打开log日志查看org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:Couldnotfindafilesystemimplementationforscheme'hdfs'.Theschemeisn
未来影子·2024-01-26 04:22

flink1.13.0 环境搭建

#flink部署1.standalone模式2.yarn模式session-cluster模式job-cluster模式3.k8s模式注：yarn模式需要依赖hadoop环境，搭建请参考：https:/
AinUser·2024-01-26 04:50

美好清晨20220430——育儿育己：学会做自己的皮格马利翁

凝飞早练晨读20220430家庭教育心理学习分享——100个心理学效应：皮格马利翁效应（65/100）皮格马利翁效应，又称罗
凝飞呀·2024-01-26 03:58

橘子皮的实习周记——第一周总结

一周小总结：目前入职上班时间一周，主要内容是对一个项目进行一些基础的添加操作(用领导A的话来说，就是熟悉一下业务)，我最头疼的就是使用kafkahbasehadoop这些技术，对MySQL内的数据进行一个同步
程序员橘子皮·2024-01-26 03:35

Flink1.13.x+iceberg环境搭建

1.安装hadooptar-zxvfhadoop-2.10.1.tar.gz配置JDK和Hadoop环境变量vi/etc/profileexportJAVA_HOME=/usr/lib/jvm/java
姚贤贤·2024-01-26 02:22

3.18学习分享【关键词：信托，并购】

【新闻事件】迪斯尼将于3月20号以710亿美元收购20世纪福克斯公司，媒体大亨默多克的家族信托控制着20世纪福克斯公司17%的股权。交易最大受益者，当属默多克及其6个子女。据悉，默多克的6个子女当中，每人最多将有20亿。【相关法条】信托法第二条本法所称信托是指委托人基于受托人的信任，将其财产委托给受托人，由受托人按委托人的意愿以自己的名义为受益人的利益或者特定目的，进行管理或者处分的行为。第五条信
詹明璐·2024-01-26 02:14

HDFS操作

文章目录主要内容1.编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：一.shell命令行实现1.向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件
K要努力·2024-01-26 02:43

Hbase伪分布式的安装和配置

一、版本信息和环境1、版本信息：jdk1.8.0_112hadoop-2.6.0zookeeper-3.4.6hbase-1.2.6.12、环境hadoop+zookeeper+hbase,hadoop
lukeyan·2024-01-26 00:41

大数据技术之Spark

1.2SparkandHadoopHadoop的MapReduce是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架Spark呢，这里简单说一下Spark和Hadoop的关系。
严同学正在努力·2024-01-25 21:38

大数据开发之Spark（完整版）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key·2024-01-25 21:05

美好清晨20210309——育儿育己：选择重要，选择后的努力更重要。

凝飞早练晨读2021020309家庭教育学习分享——管教孩子4C法则1.沟通communication家长和孩子沟通的时候表达要简短、具体和简单。把诸如“你要听话”、“你给我老实一点儿”的话换成“去洗
凝飞呀·2024-01-25 21:59

【学习分享】战略分析（8）——用SWOT分析法认识企业自身优势和短板

【学习分享】战略分析（8）——用SWOT分析法认识企业自身优势和短板【课程】圈外商学院SWOT分析法是一个经典的认识企业自身的工具。
简乐l·2024-01-25 21:27

学习简快《与父母的关系》第二天学习分享

学习简快《与父母的关系》第二天学习分享：一，早上白静老师答疑时，老师说了这样一句话“问题本身不是问题，你怎么看待问题才是问题”二，思维方式很重要，往往困扰我们的，使我们深陷不能自拔的是我们自己。
木目一心知·2024-01-25 21:12

Hadoop on Yarn 提交job失败：java.net.ConnectException：Connection refused

报错：INFOorg.apache.hadoop.service.AbstractService:ServiceNodeManagerfailedinstateSTARTED;cause:org.apache.hadoop.yarn.exceptions.YarnRuntimeException
Anthons·2024-01-25 20:58

sqoop之hive数据仓库和oracle数据库数据转换

sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres
Summer_1981·2024-01-25 20:37

spakr 提交任务

当前集群支持3中集群管理Standalone（spak框架自身拥有能力）ApacheMesosHadoopYARNKubernetes使用/spark-submit脚本提交任务，脚本后面可以接参数.
新鲜氧气·2024-01-25 19:55

《生活这个副业虽然要要，但我们不要忘了佛弟子和一切众生的正业正务主业是修行学佛，除此而外都叫不务正业!》

以下个人学佛闻法学习分享仅供参考，并敬请恭闻南无羌佛亲说的法音《密法注重原则和规矩》、《重要之宝:牵涉我们成就的法音》、《修行要靠自己纯正知见闻正法》等诸法音，并以南无羌佛亲说的法音、佛经及义理为准!
心伟·2024-01-25 19:20

【学习分享】激励下属（6）——通过“自主”增强下属的内部驱动

【学习分享】激励下属（6）——通过“自主”增强下属的内部驱动【课程】圈外商学院追求独立自主是人类与生俱来的强大的驱动力。
简乐l·2024-01-25 19:39

2018-04-17

【任绿梅20180417】运用“扫除力”-以成功召唤成功-学习分享：很多时候人都会出现负面情绪，有的来源于自己，有的是来源于周围环境，环境是很重要的，所以都不希望自己成为环境的污染者。
忆昔rlm·2024-01-25 18:33

78届学习分享：

图片发自App第一天学习分享：感谢助教老师，群里的小伙伴们，大家一天的努力学习的状态，很感动，能坐到一起都是一群热忱＂爱＂的行动者，很高兴遇见大爱的你们，学习成长的路上我们一起加油[拥抱][拥抱]。
粉刷人生·2024-01-25 17:53

hadoop 问题集

1.org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException:TheauxService:mapreduce_shuffledoesnotexistyarn
Pure_Eyes·2024-01-25 17:18

一起学习分享黄帝内经

《内经》如何认识“疼痛”一、《内经》如何认识疼痛的病因：1六淫2淤血3虫积4跌仆损伤5寒邪《素问调经论》：血气者喜温而恶寒，寒则泣不能流，温则消而去之。《素问痹论》：痛者寒气多也，有寒故痛也。《素问举痛论》：寒气入经而稽迟（留），泣而不行。客于脉外则血少，客于脉中则气不通，故卒然而痛。疼痛的原因有以上5种。所以大家在日常生活中有疼痛的时候，可以自行找原因。血气喜欢温暖的温度，而不喜欢寒凉的温度。痛
2b024a6716e2·2024-01-25 16:32

大数据分析组件Hive-集合数据结构

Hive的数据结构前言一、array数组类型二、map键值对集合类型三、struct结构体类型前言Hive是一个基于Hadoop的数据仓库基础设施，用于处理大规模分布式数据集。
Aimyon_36·2024-01-25 15:15

[AIGC 大数据基础]hive浅谈

Hive作为一个基于Hadoop的数据仓库基础设施，为用户提供了类SQL的查询语言和丰富的功能，使得处理大规模数据变得更加简单和高效。
程序员三木·2024-01-25 14:17

hadoop集群部署

hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是一个存储系统+计算框架的软件框架，主要解决海量数据存储与计算的问题，是大数据技术中的基石。
Cat God 007·2024-01-25 12:45

Hadoop集群的部署，安装和管理（头歌）

示例集群信息以下表格为本教程所用示例集群节点信息：我们准备了三台虚拟服务器，连接方式如下：第一步我们需要在evassh服务器初始化虚拟服务器：cd/optwrapdockerulimit-funlimiteddockerload-iubuntu16-ssh.tardocker-composeup-d注意：请不要在各个虚拟服务器之间进行ssh登录，这种操作会导致无法保存配置数据。正确方法是：在虚拟服
小坏蛋儿&·2024-01-25 12:14

hadoop集群规划部署

一、集群规划三台硬件资源，部署hadoop版本，hadoop-3.3.5，部署后配置文件。Hadoop配置文件分两类：默认配置文件和自定义配置文件。
Snower_2022·2024-01-25 12:43

Hbase集群安装部署

安装好对应版本的hadoop集群，并启动安装好对应版本的zookeeper集群，并启动HBase集群安装部署下载安装包并上传到node01服务器安装包下载地址：http://archive.cloudera.com
我还不够强·2024-01-25 12:02

详解Linux运维工程师高级篇（大数据安全方向）.

hadoop安全目录：kerberos（已发布）elasticsearch（已发布）http://blog.51cto.com/chenhao6/2113873knoxoozierangerapachesentry
weixin_30588729·2024-01-25 10:14

大数据Hadoop/Hive学习笔记一（基础概念）

大数据Hadoop/Hive学习笔记一（基础概念）一，概念介绍：大数据：大数据一般用来描述一种数量庞大，复杂的数据集，传统数据处理应用程序难以应对。
lucky_myj·2024-01-25 09:46

2019-04-09 杂

以后我会在掘金上进行一些技术和学习分享(后端开发为主，iOS闲时会继续学习)，那里好像干净些吧。
程序员钙片吃多了·2024-01-25 09:16
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他