MapReduce学习之路

Clojure 实战(4)：编写 Hadoop MapReduce 脚本

它是Apache基金会下的开源项目，受Google两篇论文的启发，采用分布式的文件系统HDFS，以及通用的MapReduce解决方案，能够在数千台物理节点上进行分布式并行计算。
张吉Jerry·2024-01-03 07:35

本周很重要

由于自身的学历、见识、成就和影响力不足以带动孩子，榜样的力量不足，想要引领孩子踏上终身学习之路，光靠苦口婆心地说是没有太大用处的，甚至还会招来各种怼。
梅桂之约·2024-01-03 06:34

hive 与mapreduce

hive不触发mapreduce的操作：hive.fetch.task.conversion这个参数与sql触发mr操作有关：取值一共有三个noneminimalmore默认的设置的值是more配置参数为
流砂月歌·2024-01-03 02:08

气场

感觉自己的不同，从开启学习之路后，我就像开了挂似的，整个人发生了很大的变化。由内而外，用爸妈的话，就是去参加洗脑培训班了。
AnnaFan·2024-01-03 02:06

vue3学习之路

reactive,ref响应式数据letnum=reactive(0)//reactive中是简单数据类型，不会自动响应到页面中，除非有对象类型要响应才会跟着响应到页面constobj=reactive({num:0,name:'malinshu'})constadd=()=>{num++;obj.num++;obj.name=obj.name+'--'}letactiveNum=ref(0)//
码林鼠·2024-01-02 17:30

Hbase介绍以及Hive优势

因为HBase基于Hadoop的HDFS完成分布式存储，以及MapReduce完成分布式并行计算，所以它的一些特点与Hadoop相同，依靠横向扩展，通过不断增加性价比高的商业服务器来增加计算和存储能力。
毛毛虫同学·2024-01-02 14:38

【Linux学习之路】—— 快速搭建一个FTP服务器

1.FTP是什么？FTP（FileTransferProtocol，文件传输协议）是TCP/IP协议组中的协议之一。FTP协议包括两个组成部分，其一为FTP服务器，其二为FTP客户端。其中FTP服务器用来存储文件，用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源。在开发网站的时候，通常利用FTP协议把网页或程序传到Web服务器上。此外，由于FTP传输效率非常高，在网络上传输大的文
VinkoK·2024-01-02 14:52

10.Hadoop框架下MapReduce中的map个数如何控制

一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为：一、将待处理的文件进行逻辑切片（根据处理数据文件的大小，划分多个split），然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下：1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
__元昊__·2024-01-02 13:45

Couchdb 垂直权限绕过漏洞(CVE-2017-12635)

它是一个使用JSON作为存储格式，JavaScript作为查询语言，MapReduce和HTTP作为API的NoSQL数据库。
黄公子学安全·2024-01-02 10:51

【2023】hadoop基础介绍

目录Hadoop组成HDFSHDFS操作HDFS分布式文件存储NameNode元数据数据读写流程YARN和MapReduceMapReduce：分布式计算YARN：资源管控调度YARN架构提交任务到**
方渐鸿·2024-01-02 03:26

我和DISC的结缘之路

初知之印痕我是2018年4月才开始线上学习之路的，第一次听说DISC源于一次美丽的会面。得知社群中一个小伙伴到我所在的城市出差，于是积极主动地勾搭了一如，请她和妈妈吃饭。
第七片雪·2024-01-01 23:31

C++内存管理

个人名片：作者简介：一名乐于分享在学习道路上收获的大二在校生‍❄个人主页：GOTXX个人WeChat：ILXOXVJE本文由GOTXX原创，首发CSDN系列专栏：零基础学习C语言-----数据结构的学习之路每日一句
GOTXX·2024-01-01 21:43

python 实现hadoop的mapreduce

为了用python实现mapreduce，我们先引入下面两个个知识sys.stdin()itertools之groupbysys模块的简单学习sys.stdin是一个文件描述符，代表标准输入，不需使用open
数据蛙datafrog·2024-01-01 15:42

详解大数据数据仓库分层架构

大数据数据仓库是基于HIVE构建的数据仓库，分布文件系统为HDFS，资源管理为Yarn，计算引擎主要包括MapReduce/Tez/Spark等，分层架构如下：1、数据来源层：日志或者关系型数据库，并通过
Alukar·2024-01-01 14:47

Spark内容分享(三)：Spark - 介绍及使用 Scala、Java、Python 三种语言演示

.Spark运行模式二、SparkWordCount演示1.Scala语言2.Java语言3.Python语言一、SparkApacheSpark是一个快速的，多用途的集群计算系统，相对于HadoopMapReduce
之乎者也··2024-01-01 13:19

一起走的学习之路(260)

这两天到苏州，天津出差，由于行程比较赶，几乎每天晚上，说晚上回到酒店都是十点过11点，今天刚好十点半回到酒店，就来记录一下，这两天的行程。说实话，以前到一个城市，不会去看这个城市的建设，只会去那些知名的景点，走走，看看就行，也仅仅是凭借自己的印象来判断一个城市的好坏。这次记着出差的机会，好好看了一下，苏州和天津两个城市的建设和发展。这两个城市都算得上市发展的比较好，比较出名的城市，苏州市文明的园林
小米雨路·2024-01-01 12:31

《精力管理》DAY2

一、将有关睡眠内容讲给妈妈听二、1.我在本讲中的收获：（1）成人的学习之路：初级学习者--高级学习者--拆书家初级学习者：以书本中的知识为学习中心高级学习者：对自己的能力提升负责，并且自己设计刻意实践的内容进入社会后
小草莓_Ariel·2024-01-01 11:31

【2023Hadoop大数据技术应用期末复习】填空题题型整理

大数据的4V特征包含（）（）（）（）答案：大量、多样、高速、价值Hadoop三大组件包含（）（）（）答案：HDFS、MapReduce、YarnHadoop2.x版本中的HDFS是由（）（）（）组成答案
Lacszer·2024-01-01 10:23

UniswapV2合约学习之路（一） 【ExampleFlashSwap】2020-12-29

记得朋友圈看到过一句话，如果Defi是以太坊的皇冠，那么Uniswap就是这顶皇冠中的明珠。Uniswap目前已经是V2版本，相对V1，它的功能更加全面优化，然而其合约源码却并不复杂。本文为个人学习UniswapV2源码的系列记录文章。本学习过程引用自博客pragmasolidity=0.6.6;//导入UniswapV1版本的factory合约接口和交易对接口import'./interface
滕王阁配黑马打火机·2024-01-01 07:42

Hive生产调优介绍

1.Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。
tuoluzhe8521·2024-01-01 07:58

计算机毕业设计hadoop+spark+hive知识图谱酒店推荐系统 酒店数据分析可视化大屏 酒店爬虫 高德地图API 酒店预测系统 大数据毕业设计

流程：1.Python爬取去哪儿网全站旅游数据约10万+，存入mysql;2.使用pandas+numpy/hadoop+mapreduce对mysql中旅游数据进行数据清洗，使用高德API计算地理信息
计算机毕业设计大神·2024-01-01 06:52

海量数据处理面试题

1、常见海量数据处理方法hash、bit-map（位图法）、bllomfilter、数据库优化、倒排索引、外排序、Trie树、堆、双层桶、mapReduce法、分治2、hash法在海量数据处理中，Hash
Alukar·2024-01-01 05:10

缘起：BigTable

Google的三篇论文，GoogleFileSystem，MapReduce以及BigTable可以说是整个大数据领域的三驾马车，这里，我们简单介绍下这三驾马车基本都是干哈的，重点解读下Bigtable
一纸微言·2024-01-01 03:22

【日更挑战DAY-33】冷静，反思，归零

我想提高口语水平，于是就立刻报班，然后就能得到大家的一致表扬，还顺便入了字幕组；我想学UI，于是立刻就报班，然后就开启学习之路，幻想着学会一项技能，或是转行，或者做个斜杆青
beautyzhao·2024-01-01 02:52

大数据 - Hadoop系列《二》- Hadoop组成

目录3.1hadoop组成3.1HDFS架构概述1.NameNode（nn）：编辑2.DataNode(dn)：3.SecondaryNameNode(2nn)：3.2YARN架构概述3.3MapReduce
王哪跑nn·2023-12-31 22:50

学Python可少不了项目练手，这8个小项目有趣又实用，小白也能做出来！

学习之路比较科学的学习方法是理解了之后把知识点进行运用，找一些开源的小项目做是最好的，站在岸上是学不会游泳的，光看健身视频是减不了肥的，不自己动手敲代码是学不会编程的。
程序猿汤姆·2023-12-31 18:13

JavaScript运算符

JavaScript的学习之路运算符也叫操作符，通过运算符可以对一个或多个值进行运算或操作。
hi武林高手·2023-12-31 15:42

ETL数据清洗

ETL一词较常用在数据仓库，但其对象并不限于数据仓库在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。
栈溢出了·2023-12-31 09:26

小白开始学理财

最近在《读者》、《十点读书》找不到好的文章听书，于是就看了商业思维，阴差阳错，点击一个理财课程学习，于是开始了自己的理财学习之路。上周的时候我有意让自己信用卡有消费记录，免年费嘛！
风铃的笑声·2023-12-31 05:38

MapReduce基础介绍

一.MapReduce1.MapReduce定义Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。
Movle·2023-12-31 01:41

黑猴子的家：MapReduce 开发总结

在编写mapreduce程序时，需要考虑的几个方面1）输入数据接口：InputFormat默认使用的实现类是：TextInputFormatTextInputFormat的功能逻辑是：一次读一行文本，然后将该行的起始偏移量作为
黑猴子的家·2023-12-30 18:50

【Redis】深入理解 Redis 常用数据类型源码及底层实现（1.结构与源码概述）

在文章【Redis】不卡壳的Redis学习之路：从十大数据类型开始入手中我们介绍了Redis常用的10大数据类型，这10大数据类型可并不是直接在底层通过代码实现的，而是通过不同的底层数据结构组合起来的，
AQin1012·2023-12-30 16:02

JavaScript 学习之路-语法篇(下)

这段时间一直在期末复习，这几天考完试末，轻松了许多，终于放假啦。上篇文章（很久了）说的是JavaScript的操作符，有相等操作符、条件操作符、赋值操作符等等，这篇文章写的是语法篇的最后两个内容：语句和函数。语句语句由一个或多个词组成，可以完成某些任务和操作。if语句最常用也很熟悉的语句了，它的语法如下：if(condition){block1}else{block2}其中condition会被转
一个学前端的码农·2023-12-30 14:15

mongodb聚合操作

聚合操作包含三类：单一作用聚合、聚合管道、MapReduce。单一作用聚合：提供了对常见聚合过程的简单访问，操作都从单个集合聚合文档。聚合管道是一个数据聚合的框架，模型基于数据处理流水线的概念。
高过蓝天的云·2023-12-30 14:18

《极简学习法》：学习上最细腻的引导师

十二年的学习长跑，十二年的寒窗苦读，一生的学习根基，一生的学习之路的指引。学习方法对于渴求知识的人至关重要，就像黑暗中的一束光，就像饥饿的人眼前的面包。
轻点拂尘而去·2023-12-30 12:51

js 高阶函数

filtermapreducefilter高阶函数的用法filter中的回调函数有一个要求:必须返回一个boolean值当,返回true时的,内部会将这次遍历的元素放入一个新的数组汇总当,返回false
Rui哥·2023-12-30 12:07

uniapp学习之路

uniapp学习之路1.下载HBuilderX2.下载uView初始框架3.开始学习1.更改页面背景色，渐变色1.下载HBuilderXhttps://www.dcloud.io/hbuilderx.html
liudehua_187·2023-12-30 11:20

Qt学习之路（二）：创建对话框(QDialog)及深入信号和槽

对于一个图形界面来说，对话框是必不可少的，因为它是为用户和应用程序之间提供一种可以相互“交谈”的交互方式。下面具体分享编写对话框的过程。First：确定对话框程序的源码结构 对于一般的程序来说都需要自己定义头文件和源文件，头文件中包括对控件类的声明定义，而对应就应该有一个同名的源文件来定义编写对应类中的函数，最后需要一个入口函数来执行相应程序的源文件，所以定义如下文件：文件名finddialog.
一只往上爬的小白·2023-12-30 10:40

Hadoop之Yarn 详细教程

1、yarn的基本介绍和产生背景YARN是Hadoop2引入的通用的资源管理和任务调度的平台，可以在YARN上运行MapReduce、Tez、Spark等多种计算框架，只要计算框架实现了YARN所定义的接口
白鸽呀·2023-12-30 08:57

一起走的学习之路（388）

最近许久没有在闲鱼上卖东西了。因为觉得在这上面卖东西很耗费自己的注意力很浪费时间，而且有的人给你砍价简直是往死里砍。感觉你和他多说一句话都是在无限的那回时间。最近由于方同学想卖她之前的那块电子手表，所以自己又把这个信息发不到网上说实话，有尾标的价格比较便宜，从发布到现在很多人留言，但是大多数都是问一问，其实真正表达购买意愿的是少数。而且自己不想由于这个咸鱼浪费自己的注意力，所以把消息设为了不提醒，
小米雨路·2023-12-30 08:24

大数据竞赛MR培训与题型

MapReduce编程模板1.自定义Mapper类继承类并重写map方法：importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable
背帆·2023-12-30 08:52

共享单车之数据分析

统计共享单车在指定地点的每天平均次数第3关：统计共享单车指定车辆每次使用的空闲平均时间第4关：统计指定时间共享单车使用次数第5关：统计共享单车线路流量第1关：统计共享单车每天的平均使用时间任务描述本关任务：使用Hbase的MapReduce
柔雾·2023-12-30 07:10

在CentOS7上安装Hadoop分布式系统

Hadoop由分布式存储HDFS和分布式计算MapReduce两部分组成。HDFS是一个master/slave的结构，就通常的部署来说，在master上只运行一个Namenode
栗子艾李子·2023-12-30 07:26

Hbase详解

HDFS为Hbase提供可靠的底层数据存储服务，MapReduce为Hbase提供高性能的计算能力，Zookeeper为Hbase提供稳定服务和Failover机制，因此我们说Hbase是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案
武昌库里写JAVA·2023-12-30 05:41

前端学习之路---CSS

CSS学习内容下一篇javascript基础（1）1.学会使用CSS选择器2.熟记CSS样式和外观属性3.熟练掌握CSS各种选择器4.熟练掌握CSS各种选择器5.熟练掌握CSS三种显示模式6.熟练掌握CSS背景属性7.熟练掌握CSS三大特性8.熟练掌握CSS盒子模型9.熟练掌握CSS浮动10.熟练掌握CSS定位11.熟练掌握CSS高级技巧强化CSSCSS的发展历程从HTML被发明开始，样式就以各种
胡哥居士·2023-12-30 03:21

我的iOS内存管理学习之路

背景进入这行也有段时间了，回想当初为什么选择iOS开发？大概是因为当时我拥有了我的第一台iPhone手机（iPhone4s），对比在那之前用过的Android手机以及更早的Nokia手机，确实带给我不少冲击以及满足感。从步入职场，到现在，已经转战了4家创业公司，职位当然都是iOS开发工程师。还记得当我向苹果公司提交第一个App审核的时候，心里还有些激动。回想这一路上开发并发布的App，就现在我自己
DinoGuy·2023-12-30 02:52

Python学习之路001-我和python的第一次亲密接触

注：内容源于学习小甲鱼《零基础入门学Python》，这些都是我自己写的作业，学习地址：https://www.bilibili.com/video/BV1Fs411A7HZ?p=10.Python是什么类型的语言？A：python是脚本语言1.IDLE是什么？A:IDLE是python的shell，可通过编辑文本与程序交互2.print()的作用是什么？A：在输出窗口中显示一些文本3.Python
阿花去哪里啦·2023-12-29 18:03

【Java】之反射总结

CSDN话题挑战赛第2期参赛话题：学习笔记学习之路，长路漫漫，写学习笔记的过程就是把知识讲给自己听的过程。这个过程中，我们去记录思考的过程，便于日后复习，梳理自己的思路。
天寒雨落·2023-12-29 15:48

分布式技术之分布式计算MR模式

分治法的原理抽象模型MapReduce工作原理什么是分而治之？分而治之（Divide-and-Conquer），是计算机处理问题的一个很重要的思想，简称为分治法。
carroll18·2023-12-29 11:02

不懂物理的前端不是好的游戏开发者（二）—— 物理引擎的学习之路

在这样的基础上，我们展开了第二篇，探索物理引擎的学习之路。
凹凸实验室·2023-12-29 10:15
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他