MapReduce学习之路

转载： 8天学通MongoDB——第三天 细说高级操作

一：聚合常见的聚合操作跟sqlserver一样，有：count，distinct，group，mapReduce。
LGQ943592312·2024-01-11 13:25

Python学习之路-注释

Python学习之路-注释将注释放在Python语法前面足以提现它的重要性。注释的作用一个好的程序中注释是不可缺失的一环。在程序中对某些代码进行标注说明，可以增强程序的可读性。
geobuins·2024-01-11 13:46

Python学习之路-语法

Python学习之路-语法简介Python的设计目标之一是让代码具备高度的可阅读性。在设计时尽量使用经常使用的标点符号和英文单字，让代码看起来整洁美观。
geobuins·2024-01-11 13:46

Python学习之路-常量与变量

Python学习之路-常量与变量程序就是用来处理数据的，而常量和变量就是最简单用来存储数据的常量定义声明在文件的顶部命名规范全部大写单词间用下划线分隔变量定义变量在使用前都必须要要进行赋值，只有被赋值后变量才会被创建命名规范一般情况当变量名需要由二个或多个单词组成时
geobuins·2024-01-11 13:46

Python学习之路-运算符

Python学习之路-运算符简介上一篇讲到Python中的语句提到很多运算符，本篇来总结一下各类运算符的作用与用法。
geobuins·2024-01-11 13:44

【Java8新特性】- Optional应用

Java8新特性-Optional应用生命不息，写作不止继续踏上学习之路，学之分享笔记总有一天我也能像各位大佬一样一个有梦有戏的人@怒放吧德德分享学习心得，欢迎指正，大家一起学习成长！
一个有梦有戏的人·2024-01-11 09:06

spark基础--学习笔记

1spark介绍1.1spark概念ApacheSpark是专为大规模数据处理而设计的快速通用的分布式计算引擎，是开源的类HadoopMapReduce的通用分布式计算框架。
祈愿lucky·2024-01-11 07:58

Hadoop之mapreduce参数大全-5

101.指定任务启动过程中允许的最大跳过尝试次数mapreduce.task.skip.start.attempts是HadoopMapReduce框架中的一个配置属性，用于指定任务启动过程中允许的最大跳过尝试次数
OnePandas·2024-01-11 07:45

hive sql 和 spark sql的区别

HiveSQL和SparkSQL都是用于在大数据环境中处理结构化数据的工具，但它们有一些关键的区别：底层计算引擎：HiveSQL：Hive是建立在Hadoop生态系统之上的，使用MapReduce作为底层计算引擎
深度学习研究员·2024-01-11 07:08

Python学习之路——文件部分【书接上回】

一、书接上回上个博客我说过，为什么最开始的时候一定要将文件内的中文的逗号替换为英文的逗号，接下来，请看（其实想一想，感觉没必要，不过也是好的，总要练练手的嘛）deffunc03(str):#先拿到文件的内容fr=open(str,'r',encoding='utf-8')fr_content=fr.read()print(fr_content)fr_now_content=fr_content.r
墨白001·2024-01-11 05:01

Python学习之路——文件操作【综合案例】

创建employeeData文件，文件内容包含现要求如下：对正式工以及实习生的信息分别创建文件和intern进行备份具体操作如下：由于文档内存在中文的逗号，先将其替换为英文的逗号deffunc01(str):fr=open(str,'r',encoding='utf-8')file_str=fr.read()print(file_str)new_file_str=file_str.replace(
墨白001·2024-01-11 05:00

Python学习之路——数据容器部分【列表（list）】

一、什么是数据容器呢（一）分类二、列表（一）定义（二）嵌套列表的定义（三）列表的下表索引（四）反向列表（五）嵌套列表（六）列表的常用操作1、方法总览（七）遍历列表1、while循环和for循环的区别2、练习案例三、总的来说一、什么是数据容器呢一种可以容纳多份数据的数据容器，容纳的每一份数据称之为一个元素，每一个元素，可以是任意类型的数据，如：字符串，数字，布尔等等。（一）分类数据容器根据特点的不同
墨白001·2024-01-11 05:30

Python学习之路——数据容器部分【字典（dict）】

目录一、定义（一）代码示例二、字典数据的获取三、嵌套字典的定义（一）需求（二）框架（三）代码四、字典的常用操作（一）功能总览（二）代码示例（三）练习案例1、创建商品信息字典2、遍历判断是否符合条件3、整体代码五、总的来说（一）字典的创建：（二）字典的访问：（三）字典的修改：（四）字典的遍历：一、定义Python字典是一种键值对集合，用于存储和检索数据。他是一个无序的键值对集合，其中键是唯一的，值可
墨白001·2024-01-11 05:30

Python学习之路——函数进阶

目录一、函数的多返回值（一）如何操作（二）代码示例二、函数的多种传参方式（一）位置参数（二）关键字参数（三）缺省参数1、定义2、作用3、代码示例4、注意（四）不定长参数1、不定长参数的类型①位置传递②关键字传递三、匿名函数（一）函数作为参数传递1、举例2、解释3、举例练习4、总结（二）lambda匿名函数1、函数定义中2、匿名函数定义语法3、注意一、函数的多返回值（一）如何操作按照返回值的顺序，写
墨白001·2024-01-11 05:30

Python学习之路——文件部分【文件的读取】

目录先解释一下引文的答案一、open()打开函数二、mode常用的三种基础访问模式三、读-操作相关方法（一）read方法（二）readlines方法（三）withopen语法（四）操作汇总（五）注意（六）代码示例1、打开文件2、read读取文件3、readlines读取文件4、readline读取文件5、文件关闭四、练习案例先解释一下引文的答案read返回的是字符串类型，可以指定读取的字节数，不指
墨白001·2024-01-11 05:30

Python学习之路——文件部分【写入与追加】

一、写入文件初始内容为进行如下操作之后#1、打开文件f=open('D:/python.txt','w',encoding='utf-8')#2、文件写入f.write('helloworldandhellopython')#3、内容刷新f.flush()print('内容写入成功，请检查')#4、关闭文件f.close()结果为，可见当文件存在的时候，write会将原始内容进行覆盖之后进行写入并
墨白001·2024-01-11 05:28

Phoenix基本使用

1.2Phoenix特点容易集成：如Spark，Hive，Pig，Flume和MapReduce。
有语忆语·2024-01-10 22:30

Linux学习之系统编程6(线程）

写在前面：我的Linux的学习之路非常坎坷。第一次学习Linux是在大一下的开学没多久，结果因为不会安装VMware就无疾而终了，可以说是没开始就失败了。
_snowstorm_·2024-01-10 19:04

Linux学习之系统编程5(信号）

写在前面：我的Linux的学习之路非常坎坷。第一次学习Linux是在大一下的开学没多久，结果因为不会安装VMware就无疾而终了，可以说是没开始就失败了。
_snowstorm_·2024-01-10 19:04

Linux学习之系统编程1（关于读写系统函数）

写在前面：我的Linux的学习之路非常坎坷。第一次学习Linux是在大一下的开学没多久，结果因为不会安装VMware就无疾而终了，可以说是没开始就失败了。
_snowstorm_·2024-01-10 19:03

Linux学习之系统编程2（关于进程及其相关的函数）

写在前面：我的Linux的学习之路非常坎坷。第一次学习Linux是在大一下的开学没多久，结果因为不会安装VMware就无疾而终了，可以说是没开始就失败了。
_snowstorm_·2024-01-10 19:33

Linux学习之系统编程3（进程及wait函数）

写在前面：我的Linux的学习之路非常坎坷。第一次学习Linux是在大一下的开学没多久，结果因为不会安装VMware就无疾而终了，可以说是没开始就失败了。
_snowstorm_·2024-01-10 19:33

Linux学习之系统编程4(进程间通信）

写在前面：我的Linux的学习之路非常坎坷。第一次学习Linux是在大一下的开学没多久，结果因为不会安装VMware就无疾而终了，可以说是没开始就失败了。
_snowstorm_·2024-01-10 19:33

Linux学习之makefile

写在前面：我的Linux的学习之路非常坎坷。第一次学习Linux是在大一下的开学没多久，结果因为不会安装VMware就无疾而终了，可以说是没开始就失败了。
_snowstorm_·2024-01-10 19:03

Linux学习之权限管理和用户管理

写在前面：我的Linux的学习之路非常坎坷。第一次学习Linux是在大一下的开学没多久，结果因为不会安装VMware就无疾而终了，可以说是没开始就失败了。
_snowstorm_·2024-01-10 19:02

Linux学习之制作静态库和动态库

写在前面：我的Linux的学习之路非常坎坷。第一次学习Linux是在大一下的开学没多久，结果因为不会安装VMware就无疾而终了，可以说是没开始就失败了。
_snowstorm_·2024-01-10 19:02

Linux学习之基础命令（适合小白）

写在前面：我的Linux的学习之路非常坎坷。第一次学习Linux是在大一下的开学没多久，结果因为不会安装VMware就无疾而终了，可以说是没开始就失败了。
_snowstorm_·2024-01-10 19:32

Linux学习之系统编程7(线程同步/互斥锁/信号量/条件变量）

写在前面：我的Linux的学习之路非常坎坷。第一次学习Linux是在大一下的开学没多久，结果因为不会安装VMware就无疾而终了，可以说是没开始就失败了。
_snowstorm_·2024-01-10 19:22

-DM数据库学习之路(四）DM8数据库SQL基础及SQL语句测试

DM8_SQL概述DM_SQL简介DM_SQL语言符合结构化查询语言SQL标准，是标准SQL的扩充。它集数据定义、数据查询、数据操纵和数据控制于一体，是一种统一的、综合的关系数据库语言。它功能强大，使用简单方便、容易为用户掌握。DM_SQL语言具有如下特点：功能一体化DM_SQL支持多媒体数据类型，用户在建表时可直接使用。DM系统在处理常规数据与多媒体数据时达到了四个一体化：一体化定义、一体化存储
花开花落别来无恙·2024-01-10 16:32

DM数据库学习之路(三）DM8数据库单机图形化部署&命令行部署&脚本部署

概述1DM8简介达梦数据库管理系统(以下简称DM）是基于客户/服务器方式的数据库管理系统，可以安装在多种计算机操作系统平台上，典型的操作系统有：Windows(Windows2000/2003/XP/Vista/7/8/10/Server等)、Linux、HP-UNIX、Solaris、FreeBSD和AIX等。对于不同的系统平台，有不同的安装步骤。以下以麒麟v10SP3操作系统安装为例。2版本说
花开花落别来无恙·2024-01-10 16:31

DM数据库学习之路(一）Linux命令及DM数据库操作系统配置

Linux命令前言最近几年，无论是商业、开源、分布式、云原生等越来越多的国产数据库如雨后春笋般悄然出现在公众的视野。面对这么多种国产数据库，无论对客户还是我们数据库从业人员，难免会产生一种眼花缭乱的现象。根据国产数据库流行度排行榜及市场占有率热度，个人认为数据库在市场上存在二条赛道，近10年可能会并行运行。第一条赛道是传统数据库，国产达梦数据库是唯一一个可以跟国外Oracle抗衡的。经过近段时间的
花开花落别来无恙·2024-01-10 16:31

DM数据库学习之路(二）DM8数据库产品架构及体系结构

DM8产品架构1前言达梦数据库管理系统DM8,100%自主研发的大型通用关系型数据库，具备极致兼容性、高可用性、高可靠性和高安全性，是解决我国基础软件领域“卡脖子”痛点的数据库产品，目前已助力50+重点行业实现核心系统升级。DM8采用了独特的双存储引擎架构，行存储引擎和列存储引擎可相互配合、协同工作。同时实现了计算层和存储层的分离，同一内核既支持共享存储式集群，也支持分布式事务集群。相较于目前主流
花开花落别来无恙·2024-01-10 16:56

5.MapReduce之Combiner-预聚合

目录概述本地预计算Combiner意义实践前提代码日志观察结束概述在MR、Spark、Flink中，常用的减少网络传输的手段。通常在Reducer端合并，shuffle的数据量比在Mapper端要大，根据业务情况及数据量极大时，将大幅度降低效率；且预聚合这种方式也是有其缺点，不能改变业务最终的逻辑，否则会出现，计算结果不正确的情况。本地预计算Combiner意义如下图，可以清晰看出，预聚合和在Re
流月up·2024-01-10 12:49

3.MapReduce实践-单词统计

目录概述MapReduce核心进程MapReduce编程规范单词统计案例源码结束概述官网文档速递MapReduce：分布式计算框架通常情况下，一个MR作业是有2个部分构成：MapTaskReduceTask
流月up·2024-01-10 12:48

4.MapReduce 序列化

目录概述序列化序列化反序例化java自带的两种Serializable非Serializablehadoop序例化实践分片/InputFormat&InputSplit日志结束概述序列化是分布式计算中很重要的一环境，好的序列化方式，可以大大减少分布式计算中，网络传输的数据量。序列化序列化对象-->字节序例：存储到磁盘或者网络传输MR、Spark、Flink：分布式的执行框架必然会涉及到网络传输ja
流月up·2024-01-10 12:46

【雷达成像】BP成像方式模拟飞机雷达正侧视或斜视模式下对地面目标成像【含Matlab源码 2965期】

个人主页：海神之光代码获取方式：海神之光Matlab王者学习之路—代码获取方式⛳️座右铭：行百里者，半于九十。
Matlab武动乾坤·2024-01-10 10:28

深入理解 Flink（一）Flink 架构设计原理

大数据分布式计算引擎设计实现剖析MapReduceMapReduce执行引擎解析MapReduce的组件设计实现图Spark执行引擎解析Spark相比于RM的真正优势的地方在哪里：（Simple、Fast
我很ruo·2024-01-10 08:57

iOS RAC学习之路2之RACCommand

上一篇我们已经对RACSignal的大部分用法都概括了一遍,我们把它理解为一个信号,可以比较清晰的在脑海里想象出来,但是RACCommand相对就要难上一些了!RACCommand创建有两个方法可以创建,而且一般使用懒加载:第一种[RACCommandalloc]initWithSignalBlock:第二种,带开关信号[RACCommandalloc]initWithEnabled:signal
brave_wu·2024-01-10 06:40

Hadoop之mapreduce参数大全-4

76.指定在MapReduce作业中，哪些输出文件应该在任务失败时保留mapreduce.task.files.preserve.filepattern是HadoopMapReduce框架中的一个配置属性
OnePandas·2024-01-10 06:01

Hadoop之mapreduce参数大全-1

1.设置Map/Reduce任务允许使用的最大虚拟内存大小mapred.task.maxvmem是MapReduce的一个配置参数，用于指定每个Map/Reduce任务允许使用的最大虚拟内存大小（以字节为单位
OnePandas·2024-01-10 06:00

Hadoop之mapreduce参数大全-2

25.指定在Reduce任务在shuffle阶段的fetch操作中重试的超时时间mapreduce.reduce.shuffle.fetch.retry.timeout-ms是ApacheHadoopMapReduce
OnePandas·2024-01-10 06:00

Hadoop之mapreduce参数大全-3

51.指定Shuffle传输过程中可以同时连接的节点数mapreduce.shuffle.max.connections是HadoopMapReduce中的一个配置参数，用于指定Shuffle传输过程中可以同时连接的节点数
OnePandas·2024-01-10 05:57

Java大数据学习~Hadoop初识三Yarn模式

一个HDFS,一个MapReduce,还有就是我们今天要看的YARN。2.0以前的Hadoop在2.0以前的hadoop中是没有Yarn这个模式管理的。大部分都是独自作战。
胖琪的升级之路·2024-01-10 05:55

1.2.2.5MapReduce实例

总目录:https://www.jianshu.com/p/e406a9bc93a9Hadoop-子目录：https://www.jianshu.com/p/9428e443b7fd天气案例经典案例myclient.java:客户端packagecom.SL.tq;importjava.io.IOException;importorg.apache.hadoop.conf.Configuratio
寒暄_HX·2024-01-10 00:53

大数据 MapReduce如何让数据完成一次旅行？

专栏上一期我们聊到MapReduce编程模型将大数据计算过程切分为Map和Reduce两个阶段，先复习一下，在Map阶段为每个数据块分配一个Map计算任务，然后将所有map输出的Key进行合并，相同的Key
善守的大龙猫·2024-01-10 00:31

笔记：分布式大数据技术原理（一）Hadoop 框架

Hadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MapReduce
WeeeicheN·2024-01-09 22:17

笔记：分布式大数据技术原理（三）Spark

ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce
WeeeicheN·2024-01-09 22:17

大数据技术原理与应用学习笔记（八）

再探讨Hadoop的优化与发展Hadoop1.0到Hadoop2.0不断完善的Hadoop生态系统HDFS2.0新特性HDFSHA（高可用性）HDFSFederationYARN——新一代资源管理调度框架MapReduce1.0
Ragnaros the Firelord·2024-01-09 22:46

Python学习之路-Hello Python

Python学习之路-HelloPythonPython解释器简介前面说到Python是解释型语言，Python解释器的作用就是用于"翻译"Python程序。
geobuins·2024-01-09 21:21

Python学习之路-编码风格

Python学习之路-编码风格设计哲学Python的设计哲学是“优雅”、“明确”、“简单”。它的重要准则被称为“Python之禅”。
geobuins·2024-01-09 21:21
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他