hadoop学习过程

全面解析基于Hadoop模型的数据分析平台框架

本文主要讲解以下两个方面：♦HadoopMapReduce与Hive技术研究♦数据分析平台框架设计与环境配置HadoopMapReduce与Hive技术研究一、Hadoop框架工作机制Hadoop框架定义
丨程序之道丨·2024-01-29 17:04

陆柏宇《原子物理》教学反思

柏宇同学在学习过程中，感觉到难度很大，无法理解，这些其实都是正常的。高考对这一部分的要求其实并不高，只需要记住相关结论会做题就行。在我不断的鼓励下，柏宇同学终于把这一块硬
自律的人生才自由·2024-01-29 17:43

深度强化学习（王树森版）学习笔记（一）——机器学习基础

所以开个坑记录一下这本书的学习过程。
向南而行灬·2024-01-29 12:35

【若泽大数据第一天】--在vmware workstation上安装CentOS6.5系统

一、下载并安装vmwareworkstationpro12二、下载CentOS6.5镜像文件三、创建虚拟机并命名为hadoop0011、在VM12中选择创建新虚拟机2、自定义高级3、默认下一步4、选择稍后安装操作系统
naroutofan·2024-01-29 11:25

Elasticsearch集群部署及Head插件安装

由于ES比较吃内存，所以每台服务器的配置要求为：CPU：2核内存：2G我的三个节点分别是HadoopNode01、HadoopNode02、HadoopNode03，以下操作全部基于HadoopNode01
景鹏虎晓·2024-01-29 11:54

spark快速入门java_Spark 快速入门

既然本教程中我们不使用HDFS,你可以随便下载一个适配任何Hadoop的版本的Spark。
陈兰香·2024-01-29 11:54

基于大数据平台的kylin安装部署手册

目录一.单例Kylin部署1.环境准备1.1软件要求1.2硬件要求1.3Hadoop环境1.4安装前环境检查1.4.1开启时钟同步1.4.2安装net-tools1.4.3检查hbase是否可用1.4.4
猿来孺词·2024-01-29 10:26

MR和Spark的比较

二、hadoop和spark的shuffle相同和差异？三、Spark与Hadoop差异一、Spark为什么比MR快？
猿来孺词·2024-01-29 10:55

学习共同体的方法是快还是慢？

如何倾听别人在生活自己的观点，如何去倾听观照他人，这正是语文学习过程中，需要不断去培育的核心素养，一位注重教师的讲解，而减少或抹杀了学生自身真实的学习历程，他们
喜乐之泉·2024-01-29 10:19

Elk运维-Elastic7.6.1集群安装部署

集群安装结果说明实例配置安装软件安装账号hadoop12C4G磁盘：50G云服务器elasticsearchkibanardhadoop22C4G磁盘：50G云服务器elasticsearchrdhadoop32C4G
消逝的bug·2024-01-29 10:11

Hadoop学习之路（七） MapReduce框架Partitioner分区

Partitioner分区的作用是什么？在进行MapReduce计算时，有时候需要把最终输出数据分到不同的文件中，比如按照省份划分的话，需要把同一省份的数据放到一个文件中；按照性别划分的话，需要把同一性别的数据放到一个文件中。我们知道最终的输出数据是来自于Reducer任务。那么如果要得到多个文件，意味着有相同数量的Reducer任务在运行。Reducer任务的数据来自于Mapper任务，也就是M
shine_rainbow·2024-01-29 10:26

学习工程与管理-学习理论

学习过程不是渐进的尝试与试错的过程，而是突然领悟和理解的过程。强化并不是学习产生的必要因素。③建构主义学习理论：强调学生在学习过程
wxy1994123·2024-01-29 10:26

利用芒格逆向思维法复盘英语学习过程

芒格先生有一句著名的话：如果我知道自己会死在哪里，我不去那里就行了。这个就是芒格先生取得成功的的制胜法宝之一---逆向思维法。因为他清楚的知道，想要成功，最好的方法不是跟着成功人士学习，而是看那些失败的人是如何失败的，然后反其道而行之就可以了。毕竟成功人士的成功各有各的不同，但是失败的原因无外乎就那几个，把造成失败的原因剔除掉，自己肯定就更容易走上通往罗马之门的那条路，这才是真正的大智慧。虽然自己
考拉的财富之路·2024-01-29 10:31

学习周刊-2021年第25周

0，前言这里记录我们每周工作学习过程中遇到学到的优秀开源项目，优秀文章，以及优秀博客。
eryajf·2024-01-29 09:16

2022年4月29日《儿童纪律教育》培训感悟-程瑞+春蕾一幼

二、收获1、关系与教学技巧同样重要的是，孩子在学习过程中和老师，同学以及家人的关系如何，这直接影响到孩子在学习时的心情。
简单_9e60·2024-01-29 09:04

HDFS

HDFS入门1.1.HDFS介绍HDFS是HadoopDistributeFileSystem的简称，意为：Hadoop分布式文件系统。是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。
VincentLeon·2024-01-29 08:44

算法学习记录：有关树的基础

前言：算法学习记录不是算法介绍，本文记录的是从零开始的学习过程（见到的例题，代码的理解……），所有内容按学习顺序更新，而且不保证正确，如有错误，请帮助指出。
D.Thrive·2024-01-29 07:26

算法学习记录：位运算

前言：算法学习记录不是算法介绍，本文记录的是从零开始的学习过程（见到的例题，代码的理解……），所有内容按学习顺序更新，而且不保证正确，如有错误，请帮助指出。
D.Thrive·2024-01-29 07:55

算法学习记录：动态规划

前言：算法学习记录不是算法介绍，本文记录的是从零开始的学习过程（见到的例题，代码的理解……），所有内容按学习顺序更新，而且不保证正确，如有错误，请帮助指出。
D.Thrive·2024-01-29 07:23

《精进》读书笔记

看完之后觉得这本书其实满满的都是学习过程中经验感悟的总结分享。  其实，也有看不懂的部分。但原因极有可能是没有亲自熬过鸡汤，无法理解熬制过程的曲折、经验教训与总结，无法感同身受。下面是一些书
公众号：网瘾少年之路·2024-01-29 07:08

Hadoop, HIve, Spark关系简述

大数据∈数据管理系统的范畴数据管理系统：数据怎么存？数据怎么算？单机数据管理时代下，数据处理的任务：IO密集型；数据存不下？HDFS用于存放多机器的数据并提供相关Api接口。HDFS中引入了一个模块：MapReduce（基于磁盘计算）。MapReduce：提供了一个任务并行的框架，通过它的Api抽象让用户把这个并行程序分成两个阶段，即Map阶段（分工），Reduce阶段（汇总）。Hive：在Had
小白兔奶糖ovo·2024-01-29 07:22

记一次Flink自带jar包与第三方jar包依赖冲突解决

flink版本1.14.5hadoop2.6.0为了实现flink读取hive数据写入第三方的数据库，写入数据库需要调用数据库的SDK，当前SDK依赖的protobuf-java-3.11.0.jar，
一枚小刺猬·2024-01-29 06:10

Hadoop面试题及参考答案

目录1、什么是Hadoop及其组件2、Hadoop的守护进程3、Hadoop的YARN/HDFS/MapReduce分别包含哪些组件，每个组件的职能是什么？
zuolixiangfisher·2024-01-29 06:02

hadoop面试题

0.思维导图1.HDFS1.HDFS的架构♥♥  HDFS主要包括三个部分，namenode,datanode以及secondarynamenode。这里主要讲一下他们的作用：namenode主要负责存储数据的元数据信息，不存储实际的数据块，而datanode就是存储实际的数据块，secondarynamenode主要是定期合并FsImage和edits文件（这里可以进行扩展，讲一下为什么有他们的
韩顺平的小迷弟·2024-01-29 06:27

谈习惯

第二个就是每天早起学习英语，虽然进步很慢，但真的有所成长，在不断地学习过程中发现以前认为很难的语
穆建园·2024-01-29 05:17

大数据之Hadoop-MapReduce（1）

第1章MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
jackyan163·2024-01-29 04:18

Hive初体验

首先，确保启动了Metastore服务{runjar就是metastore；hadoop要先启动}可以执行：bin/hive进入到HiveShell环境中，可以直接执行SQL的语句；·创建表（hive里面的字符串就是
%HelloWorld%·2024-01-29 03:09

z3 C++学习笔记

Python，而我本人是C++的忠实信徒，在知道C++也可以使用z3库以后我毫不犹豫地着手用C++使用z3，但是我很快发现，网上基本没有关于C++使用z3的教程（中文社区一点都没有），因此我记录一下我自己的学习过程希望能够帮助到其他学习的人
王江奎·2024-01-29 03:34

[m1pro ] ssh: connect to host localhost port 22: Connection refused

在学习Hadoop的时候，使用sshlocalhost遇到以下问题原因：本地没有打开远程登录解决办法：打开远程登录成功结果
程序员三木·2024-01-29 03:33

2018-03-05焦点父母课堂洛阳第二期分享第23天

8、成长过程中是一个学习过程。9、应该帮助孩子成长而不是替代孩子成长。10、“爱”不可以作
快乐至上_8a48·2024-01-29 03:17

RabbitMQ的安装以及使用（Windows环境)

本人，新人菜鸟，表示网上的教程专业术语太多，错误情况不知道怎么处理，小白看着太累，为了方便自己记录学习过程和帮助其他小白快速入门而写。文中会有借鉴其他教程，侵删。大神多多指点，轻喷。
lun_hui·2024-01-29 03:16

spark shuffle

这个就是spark和hadoop的主要区别，基于内存进行运算。
流砂月歌·2024-01-29 01:13

数据分析面试【机器学习】总结之-----logistic回归常见面试题整理

阅读之前看这里：博主是正在学习数据分析的一员，博客记录的是在学习过程中一些总结，也希望和大家一起进步，在记录之时，未免存在很多疏漏和不全，如有问题，还请私聊博主指正。
TIYI.DOT·2024-01-29 00:16

Spark运行原理

无论是性能，还是方案的统一性，对比传统的Hadoop，优势都非常明显。
hellozhxy·2024-01-28 23:41

蛙泳腿部-----常见6个错误动作！

在学习过程中收小腿不收大腿，常造成双脚露出
森屿海巷_8af7·2024-01-28 23:58

SpringIoc讲解

由于作者水平有限只是对学习过程中遇到的资料进行总结一下，中间可能会有部分错误，如若发现，请在评论区指正，万分感谢。
screamn·2024-01-28 23:52

数仓治理-小文件治理

希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark|Hive]HDFS小文件处理-腾讯云开发者社区-腾讯云HDFS小文件过多会对hadoop
爱吃辣条byte·2024-01-28 23:40

2021-08-10 HDFS Web报错Couldn‘t preview the file.

添加配置信息dfs.webhdfs.enabledtrue第二步：配置浏览器所在系统的hosts文件windows：在C:\Windows\System32\drivers\etc\hosts末尾增加内容（Hadoop
学习是一种信仰_zdy·2024-01-28 21:28

HDFS文件系统的根目录和用户主目录解析

HDFS文件系统的根目录是/，用户主目录是/user/[hadoop用户名]根据上面的截图，所有的文件都放在根目录及其子目录下。
问君何能尔？心远地自偏·2024-01-28 21:57

Name node is in safe mode

相信hadoop用户经常为安全模式头痛，但是又是难以避免的。安全模式开启通常是由于hdfs文件系统数据完整性缺失造成。所以核心就是想办法让hdfs文件系统数据变得完整，相对没有损坏。
大数据东哥(Aidon)·2024-01-28 21:27

记一次HDFS Web报错Couldn‘t preview the file. NetworkError: Failed to execute ‘send‘ on ‘XMLHttpRequest‘

tpreviewthefile.NetworkError:Failedtoexecute‘send’on‘XMLHttpRequest’:Failedtoload‘http://slave1:9864/webhdfs/v1/HelloHadoop.txt
一花一世界~·2024-01-28 21:55

Java技术栈 —— Hadoop入门（二）

Java技术栈——Hadoop入门（二）一、用MapReduce对统计单词个数1.1项目流程1.2可能遇到的问题1.3代码勘误1.4总结一、用MapReduce对统计单词个数1.1项目流程(1)上传jar
键盘国治理专家·2024-01-28 21:51

一文深度解读模型评估方法

一、评估预测误差情况机器学习模型预测误差情况通常是评估的重点，它不仅仅是学习过程中对训练数据有良好的学习预测能力，根本上在于要对新数据能有很
算法进阶·2024-01-28 20:21

flink架构

它集成了使用所有常见的群集资源管理器，例如HadoopYARN和Kubernetes，但也可以设置为作为独立集群，甚至作为库。
m0_66520412·2024-01-28 20:29

数据湖技术之发展现状篇

首先是随着Hadoop生态相关技术的大量应用，批处理架构应运而生，借助离线计算引擎的能力很好的满足了业务对大规模数据分析处理场景的需求。
风筝Lee·2024-01-28 18:56

C++项目实战——机房预约管理系统

本专栏记录C++学习过程包括C++基础以及数据结构和算法，其中第一部分计划时间一个月(2024.1.4-2024.1.27已完结），主要跟着黑马视频教程，学习路线如下，不定时更新，欢迎关注。
爱睡觉的咋·2024-01-28 17:34

《教育就是培养习惯》09|学用结合的养成教育20210620今日复盘-928-875

上篇养成教育的理论和内容第二章养成教育的14项内容及操作第八节学用结合001内涵阐述学习过程是培养自己、开发自己的智慧潜能为未来投资的过程。学习有两种途径，一是书本，二是从实践中学习。学用
黄花儿香·2024-01-28 17:13

大数据处理系统的架构

Lambda架构的主要组成部分包括：批处理层（BatchLayer）：存储：使用分布式存储系统（如ApacheHadoopHDFS）
demo123567·2024-01-28 14:58

如何让一年级的学生提出有质量的数学问题

在课堂教学中，要营造和谐、平等的数学课堂气氛，能让学生在学习过程中变得更灵动、更自主、更轻松，使课堂气氛变得轻松、愉快，使课堂教学变得有效、有趣。
七乡杏坛·2024-01-28 14:12

小白学python，都需要准备什么？有什么好的学习规划么？

确定目标后，你可以针对性地去学习，避免在学习过程中迷失方向。安装Python环境：在开始学习Python之前，你需要安装Python解释器。你可以从Python官网下载
@小码农·2024-01-28 14:09
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他