Hadoop学习分享

大数据调度框架Oozie，这个学习网站让你事半功倍！

它主要用于管理和调度ApacheHadoop作业，支持的任务类型包括HadoopMapReduce、PigJobs等。Oozie的核心概念包括workflowjobs和coordinatorjobs。
知识分享小能手·2024-01-14 01:59

基于Spark2.x新闻网大数据实时分析可视化系统项目

全套课程内容概述2.案例需求分析3.系统架构设计4.系统数据流程设计5.集群资源规划设计第二章：linux环境准备与设置1.Linux系统常规设置2.克隆虚拟机并进行相关的配置3.对集群中的机器进行基本配置第三章：Hadoop2
飞雪雪团队·2024-01-13 23:30

疫情期间，学习成长记录篇。

我故意放慢学习速度，停下来总结一下，我不想把学习分享当做完成任务。有时没有太深的感触或没写作灵感，停下来沉淀，重新吸收，也是一件好事。我坚持每周学习写分享，已经有半年时间，这是
LynnNu·2024-01-13 20:05

大数据

image.pnghadoop主要解决海量数据的存储和海量数据的分析计算问题。
哈斯勒·2024-01-13 19:30

美好清晨20210826——育儿育己：你只管努力，其他的都交给时间。

凝飞早练晨读20210826家庭教育学习分享——对孩子来说什么才是最好的？在孩子面前，我们似乎都是上帝。在一个幼小的孩子面前，我们总是在无意识中扮演上帝：我们知道什么东西对他最好，我们知道什么样的道路
凝飞呀·2024-01-13 18:15

HBase 四种数据迁移方案

http://ballwql.cnblogs.com/一、前言HBase数据迁移是很常见的操作，目前业界主要的迁移方式主要分为以下几类：图1.HBase数据迁移方案从上面图中可看出，目前的方案主要有四类，Hadoop
过往记忆·2024-01-13 18:21

视频号学习分享

视频号是微信上的抖音。是微信发起的短视频平台，短视频平台给了人们展示自己的机会。除了可具有同其他短视频平台一样的作用之外，还可以与自己的公众号做链接，为自己的公众号引流，微信本身具有11亿的活跃用户，所以视频号的潜力很大，现在还处于视频号内测阶段，还在蓝海期，所以如果有自己的一技之长想要打造个人IP，就可以从现在开始下手喽。一、视频号的基本设置我在上一期的文章中有详细的讲过视频号的基本设置的作用以
阳光撒在脸上·2024-01-13 17:02

六项精进--第85天

幸福精进》学习营第60期努力二组志工【日精进打卡第85天】【今日经典诵读】1）阅读《思维方式》2）背诵《六项精进》大纲、大学各1遍3）朗读《经营与会计》【今日反省改过】1）反省：班组人员不能积极主动参与学习分享
d94b51782f34·2024-01-13 17:51

3.hadoop HA-QJM 安装

目录概述实践一主两从解压配置文件hadoop-env.shcore-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlworkers分发环境变量格式化启动
流月up·2024-01-13 16:32

五维学习分享

两天一夜的五维教练领导力课程，陈序老师说这是一把解锁世界的钥匙，一开始我觉得把这话题讲的太大了，但是现在想想，好像确实是这么回事。因相信而看见这次印象最深的还是劈断铅笔的环节，老师说用一根手指能把一根铅笔劈断，大家相不相信？谁想上来尝试？我第一个自告奋勇，因为我不相信。结果是我成功的用一根手指头把一根铅笔活活的给劈断了。如果不是在这个课堂上，我肯定做不到，也肯定劈不断，因为我不相信我能做到。这让我
况况KK·2024-01-13 16:31

开源大数据集群部署（四）Freeipa部署（kerberos+ldap）

将它与Hadoop服务进行集成便能够很好地解决安全性不足的问题。除了需要安装MITKerberos之外，我们还需要安装LDAP。
云掣YUNCHE·2024-01-13 14:15

Hive安装部署

安装好对应版本的hadoop集群，并启动hadoop的HDFS以及YARN服务安装了MySQL服务，并启动MySQL的服务Hive的安装部署注意hive就是==一个构建数据仓库的工具==，只需要在==一台服务器上
我还不够强·2024-01-13 13:35

Flume命令

它将数据从各种源（例如日志文件、消息队列、网络流等）采集到目标位置（例如Hadoop、HBase、Kafka等）。
思旭�·2024-01-13 13:02

Hive及各组件功能介绍

Hive是一个开源的数据仓库基础设施，是构建在Hadoop之上的。它提供了一种类似于SQL的查询语言，称为HiveQL，用于查询和分析存储在Hadoop中的大规模数据集。
思旭�·2024-01-13 12:32

HDFS及各组件功能介绍

Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）是Hadoop生态系统的核心组件之一，它是设计用于存储和处理大规模数据集的分布式文件系统。
思旭�·2024-01-13 12:32

《千峰逆战“记录蜕变、见证奇迹”学习分享活动》2020-03-13

#千峰逆战班，SZ201刘峻#在千峰“逆战”学习第33天今天学习了MySQL，DQL查询语句，DCL控制语句，MySQL用户管理，MySQL权限管理，MySQL日志。今日事，今日毕。
Mask_o·2024-01-13 12:08

zookeeper未授权访问漏洞修复方式

:https://www.cnblogs.com/linuxbug/p/5023677.html图片中的解决方式都是通过设置认证用户,但是仅仅设置用户和密码的话集群(ApacheActivemq集群，Hadoop
xiexiaoming052·2024-01-13 12:39

Yarn的安装与使用详细介绍

什么是yarnApacheHadoopYARN（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度
知数SEO·2024-01-13 11:36

hadoop historyserver启动，无法访问，查看报错等问题

hadoophistoryserver启动，无法访问，查看报错等问题1、historyserver无法启动2、historyserver已启动，可以看到进程，web无法访问url3、historyserver
这都不是事er·2024-01-13 10:07

按照官网步骤sbin/start-yarn.sh失败

按照官网步骤sbin/start-yarn.sh失败环境sbin/start-yarn.sh启动失败sbin/stop-yarn.sh执行失败环境Centos7-1台虚拟机hadoop-3.2.1OpenJDK1.8.0
这都不是事er·2024-01-13 10:06

大数据系列 | CDH6.3.2（Cloudera Distribution Hadoop）部署、原理和使用介绍

大数据系列|CDH6.3.2（ClouderaDistributionHadoop）部署、原理和使用介绍1.大数据技术生态中Hadoop、Hive、Spark的关系介绍2.CDN（ClouderaDistributionHadoop
降世神童·2024-01-13 10:50

Flink CDC 实时抽取 Oracle 数据-排错&调优

使用环境Oracle：11.2.0.4.0（RAC部署）Flink：1.13.1Hadoop：3.2.1问题1、无法连接数据库根据官方文档说明，在FlinkS
Denny辉·2024-01-13 09:48

Spark原理——逻辑执行图

"local[6]").setAppName("wordCount_source")valsc=newSparkContext(conf)valtextRDD=sc.parallelize(Seq("HadoopSpa
我像影子一样·2024-01-13 09:17

Spark原理——运行过程

运行过程逻辑图是什么怎么生成具体怎么生成valtextRDD=sc.parallelize(Seq("HadoopSpark","HadoopFlume","SparkSqoop"))valsplitRDD
我像影子一样·2024-01-13 09:44

2022-02-01大数据学习日志——Hadoop离线阶段——数据仓库、Apache Hive

学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解ApacheHive远程模式部署安装内容大纲#数据仓库基础核心知识1、数据仓库是什么为何而来？为了分析数据而来数据分析的平台2、数据仓库的特性3、数据仓库和数据库的区别OLTP系统OLAP系统注意：这里要解决一个核心的误区：数仓绝不是大型数据库。这么理解就凉凉4、
王络不稳定·2024-01-13 09:28

闻玫瑰花香 赏钻石光芒

闻玫瑰花香赏钻石光芒——参加共读张文质老师的《教师的使命》小组学习分享徐立华亲爱的各位老师，晚上好！感谢主持人彬彬和平辉老师、瀛霞老师、美霞校长、庆功校长和传伦老师的领读。
徐立华·2024-01-13 07:29

《危机使我创造美丽人生》学习分享(1)——让每一刻的自己都喜悦自在

昨天晚上8点，我参加了安妮老师为期八周，每周一次的线上课程——危机使我创造美丽人生。报这个课程之前，我还是犹豫了几下的，主要是刚刚还完了房贷尾款，目前家里的经济还是处在拮据的状态，后来还是跟随内心的直觉，报了课。老师一开始的冥想带领，没几分钟便让我把最近潜意识里隐藏的负面情绪与压力带回到了意识层面，最近一年多因为疫情的影响，很多人的生活受到影响，我也不例外，因为一个朋友的钱无法按时还我，而我又急需
Wendy_33a1·2024-01-13 07:30

使用Sqoop将数据导入Hadoop的详细教程

在大数据处理中，Sqoop是一个强大的工具，它可以将关系型数据库中的数据导入到Hadoop生态系统中，以便进行进一步的分析和处理。
晓之以理的喵~~·2024-01-13 07:43

Sqoop入门指南：安装和配置

Sqoop是一个强大的工具，用于在Hadoop和关系型数据库之间高效传输数据。在本篇文章中，将深入探讨如何安装和配置Sqoop，以及提供详细的示例代码。
晓之以理的喵~~·2024-01-13 07:13

Hadoop分布式集群安装

上一篇大数据文章讲解了在单机上搭建Hadoop-Yarn伪分布式集群的安装方法，方便大家学习，真实环境不可能只有一台机器，肯定是多节点的集群，大单位还会建设很多Hadoop集群，比如各个大部门有自己的集群
鬓戈·2024-01-13 07:28

基于Hadoop的网上购物行为大数据分析及预测系统【flask+echarts+机器学习】前后端交互

有需要本项目或者部署的系统可以私信博主，提供远程部署和讲解本研究基于淘宝用户行为的开源数据展开大数据分析研究，通过Hadoop大数据分析平台对阿里天池公开的开源数据集进行多维度的用户行为分析，为电商销售提供可行性决策
王小王-123·2024-01-13 06:53

使用Sqoop将数据从Hadoop导出到关系型数据库

当将数据从Hadoop导出到关系型数据库时，ApacheSqoop是一个非常有用的工具。
晓之以理的喵~~·2024-01-13 06:23

【成长营】今日学习分享（食物养生）-Day8

文/归尘俗话说“民以食为天”，吃是一件大事。作为一个女性来说，不是一个吃货，是很难理解的。而我自己都不太能理解自己，为什么不是一个吃货，对食物的兴趣几乎是几乎是没有。即便是是在学习的过程中，引导老师提出的这些问题，每日一答，还有学习心得，都能够真实的体现出我对这件事情的兴趣。大多数时候别人在做饭时的香味会让人感觉很有食欲，但是当菜摆在自己面前的时候，反而不会有什么大的反应。这或许跟小时候的经历有关
青禾吖·2024-01-13 06:31

NameNode瞬时高并发导致短暂不可用，Hadoop2.7二次开发

版本hadoop2.7分段锁优化Namenode的FSNamesystem类中主要有三块。
邵红晓·2024-01-13 06:24

【学习分享】战略分析（12）——SWOT的分析工具

【学习分享】战略分析（12）——SWOT的分析工具【课程】圈外商学院SWOT分析法并不是简单的头脑风暴，如果想到什么就填进格子里，那么最终的结果一定会缺乏逻辑和指导意义。
简乐l·2024-01-13 05:03

实验二 ：HIve数据定义操作实验

二、实验环境要首先自行搭建由3台虚拟机构成的Hadoop环境及Hive环境。
又是被bug折磨的一天·2024-01-13 04:55

2018-07-19

孙小猛～河北惠友集团【日精进打卡第128天】【知～学习】《六项精进》3遍共384遍《大学》3遍共384遍【经典名句分享】优秀的团队一定是会学习的团队【行～实践】一、修身：（对自己个人）读书学习分享《管理者应具备的素质
亮亮sxm·2024-01-13 04:04

Hadoop/Spark安装

单机安装Hadoop安装Javasudoapt-getinstalldefault-jdkjava-version2.设置Hadoop用户和组sudoaddgrouphadoopsudoadduser-
周倜吉·2024-01-13 03:40

2022字节跳动【数据仓库工程师】日常实习面经-----一面

都还没学扎实）一，自我介绍二，问答阶段shuffle阶段详细介绍回答环形缓冲区，分区排序，溢写磁盘，reduce再抽取归并等等计算单元和实际block存储单元不在一个机器节点上，这样会带来大量的IO操作，Hadoop
dyson不只是吹风机·2024-01-13 03:34

Flink

GoogleFileSystemBigTableMapReduceHDFSHBaseHadoopHadoop基于硬盘，可以处理海量数据；Spark基于内存，性能提高百倍，微批（500ms）；Flink基于
三半俊秀·2024-01-13 01:53

设置5台SSH互免的虚拟机服务器配置

步骤如下——1、准备五台机器服务器名字服务器IPhadoop1192.168.31.130hadoop2192.168.31.131hadoop3192.168.31.132hadoop4192.168.31.133hadoop5192.168.31.134
朱季谦·2024-01-12 23:24

hadoop(4)--NameNode元数据管理

这是分享的第四篇文章了，可能有些小伙伴看到标题后，很纳闷，完全是跳跃式的，NameNode是什么呢？NameNode是管理元数据的，这个和大数据有什么关系呢？对了，就爱带着问题去探索，NameNode是HDFS的一个组件，可以说一个进程，HDFS中共有三个组件NameNode,DataNode,SecondNameNode。这三个都是做什么的呢？NameNode:管理元数据的DataNode:保存
ROCK_杰哥·2024-01-12 22:41

如何进行大数据系统测试

大数据系统常见的架构形式有如下几种：Hadoop架构：HadoopDistributedFileSystem(HDFS)：这是一种分布式文件系统，设计用于存储海量数据并允许跨多台机器进行高效访问。
Feng.Lee·2024-01-12 21:41

廊坊崔益维（第四组 0403）学习感受

廊坊崔益维学习分享第四组（0403）一些参会的馆长认为，目前学馆是刚刚建立或还在筹建的过程中，自己事必躬亲，实在疲劳。这在体系内确实是一种常态。
52093e1dd606·2024-01-12 19:58

ZooKeeper 安装与部署

1.1认识Zookeeper介绍Zookeeper前，看下面这个图：在这张图片里，我们可以看到Hadoop是一只大象，HIVE是一只蜜蜂，Bigtop是马戏团，Pig是一只猪，HAMA是一只河马…只有Zookeeper
Destiny_-Sky·2024-01-12 18:48

Linux学习笔记——ZooKeeper集群安装部署

5.8、ZooKeeper集群安装部署5.8.1、简介Zookeeper是一个分布式的、开放源码的分布式应用程序协调服务，是Hadoop和HBase的重要组件。
kxttmx·2024-01-12 18:16

Zookeeper安装与部署

由于ZooKeeper便捷的使用方式、卓越的性能和良好的稳定性，被广泛地应用于诸如Hadoop、HBase、Kafka和Dubbo等大型分布式系统中。一个分布式系统最多只能同时满足一致性
HRX98·2024-01-12 18:12

zookeeper下载安装部署

zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目的一个子项目，并根据google发表的一篇论文来实现的。
倚-天-照-海·2024-01-12 18:38

Hadoop常用命令

启动Hadoop所有进程：start-all.sh关闭Hadoop所有进程：stop-all.sh单进程启动：start-dfs.sh和start-yarn.sh分别启动HDFS和YARNhdfsdfs-xxx
在努力的Jie·2024-01-12 16:16

Hadoop 的核心 —— HDFS（1）

首先来看看Hadoop是什么？
土冥王·2024-01-12 16:13
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他