mapreduce运行日志

Hadoop+Spark+Hive

Hadoop简介Hadoop采用MapReduce分布式计算框架，根据GFS原理开发了HDFS（分布式文件系统），并根据BigTable原理开发了HBase数据存储系统。
呆鸡.·2022-11-20 10:45

大数据学习路线

大数据学习路线文章目录大数据学习路线前言零、学习路线图一、基础部分1.Java2.Mysql3.Linux二、Hadoop生态1.Hadoop基础2.Zookeeper3.HDFS4.YARN5.MapReduce6
传超数工·2022-11-20 04:08

大数据学习路线（完整详细版）

storm五、Spark六、Python七、云计算平台大数据学习路线java(Javase,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce
岁月的眸·2022-11-20 04:22

Spark RDD案例（一）分组TopN

SparkRDD案例（一）分组TopN1.背景作为分布式数据处理引擎，Spark抽象出了很多算子，使得编程对比mapreduce更加遍历，实现需求时，也可以更加灵活，但也更容易出错。
闻香识代码·2022-11-20 01:37

【机器学习并行计算】1 MapReduce

1MapReduce每个节点计算梯度，然后汇聚到一台机子上，再进行梯度下降。时间还需要考虑通信时间。通信的方式有两种：共享内存和消息传递；在这里存在多机的情况都是消息传递的方式。
风可。·2022-11-20 00:31

【分布式计算】MapReduce的替代者-Parameter Server

衍生了很多牛逼的分布式计算的计算模型，比较著名的就是MapReduce、MPI、BSP等。后来也产生了一些分布式计算系
Garvin Li·2022-11-20 00:50

大数据之 Hadoop 教程

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
种麦南山下·2022-11-19 08:44

hadoop教程

大数据1、概念2、特点3、应用场景目录一、大数据1、概念2、特点3、应用场景二、Hadoop1、概述2、优势3、Hadoop1.x、2.x、3.x区别4、组成①HDFS架构概述编辑②YARN架构概述③MapReduce
ONLYYD·2022-11-19 08:09

HIVE和HBASE的区别和联系

HBase两者的区别，我们必须要知道两者的作用和在大数据中扮演的角色概念Hive1.Hive是hadoop数据仓库管理工具，严格来说，不是数据库，本身是不存储数据和处理数据的，其依赖于HDFS存储数据，依赖于MapReducer
kiritobryant·2022-11-19 05:56

使用MapReduce求ncdc气象数据中的最低温度

一实验内容与完成情况：一、下载、解压、合并与上传数据首先启动集群，然后在进行数据处理前首先需要获得所需要的数据，并且下载数据。使用脚本启动hadoop集群，并且启动zookeeper，使用jpsall查看。然后创建文件夹，使用wget命令下载数据。cd/opt/modul/hadoopmkdirtemp#创建文件夹用于存放数据cdtempsudowgetftp://ftp.ncdc.noaa.go
kiritobryant·2022-11-19 05:25

Hive—— 1.hive架构及原理

Facebook实现并开源，是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能，底层数据是存储在HDFS上，Hive的本质是将SQL语句转换为MapReduce
blueicex2020·2022-11-18 09:18

Hadoop------hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar进程无法向下运行

hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar进程无法向下运行1.错误描述2.问题说明:3.解决方法1.错误描述执行
deng_den·2022-11-16 08:07

Flink 本地运行日志配置

方法一:使用log4j.properties在src/main/resources中添加log4j.properties文件：#################################################################################LicensedtotheApacheSoftwareFoundation(ASF)underone#ormor
隔壁寝室老吴·2022-11-15 18:15

Hbuilder中导入[uni_modules]插件失败

3、菜单【帮助】【查看运行日志】查看日志中存在什么错误。
也•简·2022-11-15 18:10

吐血整理的Hadoop最全开发指南【Hadoop集群搭建篇】

用实打实的经验来帮你少走弯路⭐️文章目录一、Hadoop为何物1.1Hadoop的整体认识1.2Hadoop的架构1.2.1HDFS架构简介1.2.2YARN架构简介1.2.3MapReduce架构简介
陶人超有料·2022-11-15 09:51

数据导入导出工具Sqoop入门

一、Sqoop是什么ApacheSqoop是Hadoop生态体系和RDBMS体系之间相互传输数据的一种工具，其工作机制是将导入、导出命令翻译为MapReduce程序运行，使得HDFS、Hive、Hbase
文景大大·2022-11-14 17:33

分布式数据库HBase

页面的搜索阶段：1先建立整个网页的搜引，然后设计网页的爬虫，不断爬取数据，将爬好的数据保持到BigTable中，在BigTable上运行MapReduce生成网页的搜引，方便我们访问2.用户通过搜索引擎发生请求
小马哥不马虎·2022-11-13 21:39

大数据处理架构Hadoop

Hadoop两大核心：HDFS和MapReduceHadoop的特性：1.高可靠性：多台机器构成集群，部分机器故障，剩余机器可以继续对外提供服务2.高效率：成百上千台机器一起计算3.高扩展性：可以不断地向集群中加入机器
小马哥不马虎·2022-11-13 21:09

HDFS学习笔记（四）：MapReduce原理

文章目录1、MapReduce基本概念1.1、MapReduce基本定义1.2、MapReduce的模型简介1.3、MapReduce的特点1.4、MapReduce与传统并行计算框架的对比1.5、小结
leo825...·2022-11-13 19:23

Hbase：实验三-HBase多种客户端的使用

掌握MapReduce批量操作HBase。2实验内容本实验将使用2种客户端对HBase进行操作。
写报告的小菜鸟·2022-11-13 09:27

Hadoop 调优之Linux操作系统调优篇

本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系姊妹篇Hadoop调优之HDFS调优篇Hadoop调优之MapReduce调优篇Hadoop调优之YARN调优篇Hive如何进行企业级调优？
Shockang·2022-11-12 04:59

Hadoop的完全分布部署

目录（文件夹）和output目录（文件夹命令：mkdirinputmkdiroutput2.用hadoop去执行这个文件切换到/opt/module/hadoop-3.1.3/share/hadoop/mapreduce
Sandra'·2022-11-10 14:45

【大数据处理技术】实验6

目录1.安装pig大数据分析工具1.1pig介绍1.1.1Pig简介1.1.2ApachePig与MapReduce1.1.3ApachePig与SQL1.1.4ApachePig与Hive1.1.5ApachePig
小手の冰凉·2022-11-09 09:03

hiveSQL执行，转化为MR过程

hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
寒枫__梦·2022-11-08 10:40

hive sql 基本命令总结

hive可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称HiveSQL。
maligebilaowang·2022-11-08 10:39

Hadoop核心之MapReduce案例总结Ⅱ

案例总结目录1.ReduceJoin案例2.MapJoin案例3.数据清洗（ETL）1.ReduceJoin案例需求：将下列两个表进行合并，订单中的pid经过合并之后编程pname订单数据表t_orderidpidamount100101110020221003033100401410050251006036商品表：pidpname01小米02华为03格力合并后：idpnameamount1001
努力往前的阿磊·2022-11-06 12:35

国科大大数据系统与大规模数据分析课程第二次作业(Graph Coloring)

国科大大数据系统与大规模数据分析第二次作业(GraphColoring)一、Part1作业内容WordCount的变体，主要考察对HadoopMapReduce框架编程的熟练度，几乎无坑点。
程哥哥吖·2022-11-04 17:04

【数据库05】玩转SQL的高阶特性

专栏简介：相当硬核，黑皮书《数据库系统概念》读书笔记，讲解：1.数据库系统的基本概念(数据库设计过程、关系型数据库理论、数据库应用的设计与开发…)2.大数据分析(大数据存储系统，键值存储，Nosql系统，MapReduce
半旧518·2022-11-03 22:17

【数据库04】中级开发需要掌握哪些SQL进阶玩法

专栏简介：相当硬核，黑皮书《数据库系统概念》读书笔记，讲解：1.数据库系统的基本概念(数据库设计过程、关系型数据库理论、数据库应用的设计与开发…)2.大数据分析(大数据存储系统，键值存储，Nosql系统，MapReduce
半旧518·2022-11-03 22:43

Springboot MongoTemplate 常用操作

目录测试实体类核心对象QueryCriteriaUpdate插入saveinsertinsertsave区别删除更新查询数据查询并修改查询并替换查询并删除判断对象是否存在统计mapReduce分组操作聚合操作
御剑长歌·2022-11-03 15:40

Hadoop、Hive、Spark 之间的区别和关系

由两部分组成，分布式存储（HDFS）和分布式计算（MapReduce）HD
吳名氏·2022-11-02 19:29

Hadoop核心之MapReduce框架总结Ⅰ

MapReduce框架总结目录1.MapReduce概述1.1MapReduce定义1.2MapReduce优缺点1.3MapReduce核心思想1.4MapReduce进程1.5MapReduce编程规范
努力往前的阿磊·2022-11-02 11:55

Spark SQL与Hive on Spark的比较

简要介绍了SparkSQL与HiveonSpark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。
weixin_42073629·2022-11-01 10:14

HIve数据倾斜原理以及治理方案

1.数据倾斜原理1.1MapReduce原理MapReduce分为Map、Shuffle、Reduce三个阶段：1，Map阶段完成数据分割(Split)和单Map内数合并与排序：经过map方法后，map
我爱大芬·2022-11-01 10:14

Yarn-高可用集群

修改配置文件yarn-site.xml:yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.ha.enabledtrueyarn.resourcemanager.cluster-idcluster-yarn1yarn.resourcemanager.ha.rm-idsrm1
·2022-10-30 22:11

hadoop-配置history server

historyserver配置:mapred-site.xmlmapreduce.framework.nameyarnmapreduce.jobhistory.addresshadoop-4:10020mapreduce.jobhistory.webapp.addresshadoop
·2022-10-30 22:11

Java API操作 HBase

（Shell）使用HBase提供的TableOutputFormat，原理是通过一个Mapreduce作业将数据导入HBase。
noobiee·2022-10-30 02:01

Windows本地IDEA运行mapreduce报错java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.

先确保Hadoop是否安装：ApacheHadoop官网下载地址注意对应版本号配置环境变量HADOOP_HOME后cmd检查版本和是否配置成功：Hadoopversion此外，windows本地运行需要winutils.exewinutils：由于hadoop主要基于linux编写，winutil.exe主要用于模拟linux下的目录环境。当Hadoop在windows下运行或调用远程Hadoop
noobiee·2022-10-30 02:00

Hadoop 3.x（生产调优手册）----【Hadoop综合调优】

Hadoop3.x（生产调优手册）----【Hadoop综合调优】1.Hadoop小文件优化方法1.Hadoop小文件弊端2.Hadoop小文件解决方法2.测试MapReduce计算性能3.企业开发场景案例
在人间负债^·2022-10-28 20:00

Hadoop 3.x（生产调优手册）----【MapReduce、Hadoop-Yarn生产经验】

Hadoop3.x（生产调优手册）----【MapReduce、Hadoop-Yarn生产经验】1.MapReduce跑的慢的原因2.MapReduce常用调优参数3.MapReduce数据倾斜问题4.
在人间负债^·2022-10-28 20:59

【数据库】02——关系模型是什么东东

专栏简介：相当硬核，黑皮书《数据库系统概念》读书笔记，讲解：1.数据库系统的基本概念(数据库设计过程、关系型数据库理论、数据库应用的设计与开发…)2.大数据分析(大数据存储系统，键值存储，Nosql系统，MapReduce
半旧518·2022-10-27 14:43

【数据库】03——初级开发需要掌握哪些SQL语句

专栏简介：相当硬核，黑皮书《数据库系统概念》读书笔记，讲解：1.数据库系统的基本概念(数据库设计过程、关系型数据库理论、数据库应用的设计与开发…)2.大数据分析(大数据存储系统，键值存储，Nosql系统，MapReduce
半旧518·2022-10-27 14:06

【硬刚大数据】Hive计算引擎大PK，万字长文解析MapRuce、Tez、Spark三大引擎

本文我们将从原理、应用、调优分别讲解Hive所支持的MapReduce、Tez、Spark引擎。MapReduce引擎我们在之前的文章中：《硬刚Hive|4万字基础调优面试小总
王知无(import_bigdata)·2022-10-27 07:25

可视化神经网络实验报告,可视化神经网络工具

关于Hadoop-MapReduce和Spar
普通网友·2022-10-25 20:00

大数据技术入门之分布式处理、并行处理和MapReduce

什么是大数据？百度百科解释为：“是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。”有点高级有点绕。简化一下，大数据就是拥有很高价值不能轻易被推倒(咳)处理的数据集合。就像你要去打一个数据究极体的boss，你需要带上最好的剑，翻过最高的山，闯进深的森林。boss挂了，自然你获得的经
Go_Data__·2022-10-24 18:41

集群时间同步

如果时间差异较大，执行MapReduce程序的时候会存在问题。
Mr李小四·2022-10-24 18:49

c++ VS2019中使用Log4cplus打印日志最新介绍、详细编译过程及使用

下载三、log4cplus配置3.1对log4cplus文件借助vs2019进行编译对目标程序进行配置四、测试五、扩展知识补充----vs2019附加库、包含目录等配置简述为了帮助友人弄一个作业查看c++运行日志
落春只在无意间·2022-10-23 12:49

【Hive---02】hive概述『 what | 优缺点 | 架构 | Hivevs MySQL』

hive包含了SQL解析引擎，它会将HQL转换为MapReduceJob，然后在Hadoop
别闹'·2022-10-22 14:39

Apache Spark：大数据处理统一引擎

例如支持批处理的MapReduce，支持迭代图算法的Dreme。在开源ApacheHadoop堆栈中，类似Storm和Impala的系统也是特有的。即使在关系数据库世界中，“一刀切”系
仲培艺·2022-10-22 07:08

云扩研习社 | RPA流程开发最佳实践（下）

安全性RPA机器人在执行任务过程中，将不可避免的接触到用户的敏感信息（例如登录系统的账号密码等）和业务敏感数据（例如财务报表等），以及在运行过程中记录的运行日志等。
·2022-10-21 10:39
上一页 65 66 67 68 69 70 71 72 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他