大数据编程hadoop系列

Hadoop系列文章SpringBoot编程实现HDFS读写文件、MapReduce程序

Hadoop系列文章SpringBoot编程实现HDFS读写文件、MapReduce程序实现HDFS操作引入依赖winutils码代码读取HDFS中的文件写内容到文件中MapReduce操作MapReduce
wangxudongx·2020-08-02 21:59

SpringBoot集成Hadoop系列二 ---- MapReduce一年最高气温统计

代码:packagecom.hadoop.reduce.mapper;importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.T
潇潇雨歇_·2020-08-02 20:44

SpringBoot集成Hadoop系列一 ---- 对HDFS的文件操作

一.对HDFS操作设计以下几个主要的类：Configuration：封装了客户端或者服务器的配置信息FileSystem：此类的对象是一个文件系统对象，可以用该对象的一些方法来对文件进行操作通过FileSystem的静态方法get获得该对象，例：FileSystemhdfs=FileSystem.get(conf);FSDataInputStream：这是HDFS中的输入流，通过由FileSyst
潇潇雨歇_·2020-08-02 20:43

Hadoop系列（六）Hadoop三大核心之MapReduce 基础

文章目录MapReduce背景MapReduce是什么MapReduce的架构简单介绍MapReduce背景在程序由单机版扩成分布式版时，会引入大量的复杂工作。为了提高开发效率，可以将分布式程序中的公共功能封装成框架，让开发人员可以将精力集中于业务逻辑。Hadoop当中的MapReduce就是这样的一个分布式程序运算框架。MapReduce是什么MapReduce是一个分布式运算程序的编程框架，是
南山饱虎·2020-08-01 12:09

深入浅出介绍Hadoop

深入浅出介绍Hadoop一、Hadoop的由来二、Hadoop介绍三、Hadoop的优势我的Hadoop系列框架一、Hadoop的由来1998年9月4日，一个影响世界的搜索引擎诞生于美国硅谷，就是家喻户晓的
渌玦Leo_J·2020-08-01 10:30

一、Hadoop框架介绍

OK~从今天开始，我们就开始我们的fromzerotohero大数据系列的博客编写，今天是第一篇，开篇为《Hadoop框架介绍》，Hadoop系列将会收录在《fromzerotohero（Hadoop篇
象在舞·2020-08-01 09:21

Hadoop系列(5):MapReduce实现PageRank

1、PageRank原理(1)算法定义：PageRank算法输入：所有节点的初始权重值；节点邻接矩阵；迭代次数n输出：节点权重值whileix),C(t)表示t节点的出度。（2）算法示例（注：为简单起见，示例中省去了常量a和系数1-a）PR(n2）=PR(n5)/C(n5)+PR(n1)/C(n1)=0.2/3+0.2/0.1=0.166在计算节点n3时，仍使用PR(n2)=0.2。在图中所有节点
顾大静·2020-08-01 01:07

怎样进行Java大数据入门知识学习

分享之前我要推荐下我自己建的大数据开发学习群：119599574，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享都是学大数据开发的，如果你正在学习大数据，欢迎初学和进阶中的小伙伴
大数据开发交流·2020-07-31 23:00

大数据与Hadoop系列之序列化（一）

传统的计算机系统通过I/O操作与外界进行交流，Hadoop的I/O由传统的I/O系统发展而来，但又有些不同，Hadoop需要处理P、T级别的数据，所以在org.apache.hadoop.io包中包含了一些面向海量数据处理的基本输人输出工具．本文会对其中的序列化进行研究。序列化对象的序列化(Serialization)用于将对象编码成一个字节流，以及从字节流中重新构建对象。"将一个对象编码成一个字
有梦想的人不睡觉121·2020-07-30 16:00

Hadoop系列-MapReduce自定义数据类型（序列化、反序列化机制）（十二）

Github代码下载地址：1，JAVA工程代码大家都知道，Hadoop中为Key的数据类型必须实现WritableComparable接口，而Value的数据类型只需要实现Writable接口即可；能做Key的一定可以做Value，能做Value的未必能做Key。但是具体应该怎么应用呢？本篇文章将结合手机上网流量业务进行分析。先介绍一下业务场景：统计每个用户的上行流量和，下行流量和，以及总流量和。
贺敏Minbo·2020-07-30 15:49

前端输入框键盘键入字符，提示选择功能（例如百度搜索提示）

:5px0;font-size:13px;text-align:center;}.nav_Element_List{cursor:pointer;}仿百度输入框，提示选择功能:新闻头条新闻娱乐头条全网大数据编程语言
qaakd·2020-07-29 10:46

Hadoop系列之mysql集群版安装（十）

图文链接详细操作链接http://note.youdao.com/noteshare?id=ae0237fdeb6e7f16471d095f6edce4c0集群整体架构搭建链接：https://blog.csdn.net/qq_40402685/article/details/84173830实验目的要求☛完成mysql的集群版的安装☛MySQL集群的相关服务进程能够正常启动☛MySQL集群的SQ
初心cc·2020-07-29 05:08

hadoop系列之使用jar命令提交任务

文章目录环境启动haoop,并配置远程调试代码解析runJar自定义mapreduce程序环境hadoop:1.0.0java:1.8.0_171启动haoop,并配置远程调试指定远程调试监听端口8888exportHADOOP_CLIENT_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y"利用had
齐梦星空·2020-07-28 20:00

最实用的黑科技手机APP合集

UZER.ME这是一款免费的手机办公软件，你可以通过这款软件，就可以在手机上做表格，做CAD，PS修图，做PPT，甚至可以进行大数据编程。
clf5288·2020-07-27 20:40

大数据Hadoop系列之Hadoop分布式集群部署

一、部署规划1、部署环境各部署单元的软件部署情况如下：二、环境准备1、修改主机名[root@VM1~]#vim/etc/sysconfig/networkNETWORKING=yesHOSTNAME=master60[root@VM2~]#vim/etc/sysconfig/networkNETWORKING=yesHOSTNAME=slave61[root@VM3~]#vim/etc/sysco
王者的路注定孤独·2020-07-15 02:47

hadoop系列文档5-对官方MapReduce 过程的翻译（一）

MapReduce教程MapReduce教程目的环境条件总览输入输出Example:WordCountv1.0源码用法Walk-throughMapReduce-UserInterfacesPayloadMapperReducerPartitionerCounterJobConfigurationTaskExecution&EnvironmentMemoryManagementMapParamet
u010237107·2020-07-15 00:16

Hadoop系列之Zookeeper完全分布模式安装（三）

详细配置截图笔记链接：http://note.youdao.com/noteshare?id=b071910d980ec4819dd8a67596bdf35a实验目的要求：Zookeeper的完全分布模式的安装Zookeeper服务能够正常启动和连接Zookeeper控制台能够正常进入Zookeeper控制台命令能够正常使用实验环境：★五台独立虚拟机★主机之间有效的网络连接★每台主机内存2G以上，
初心cc·2020-07-14 19:28

测试眼里的Hadoop系列 之Terasort

TeraSort是Hadoop的测试中很有用的一个工具，但以前只是粗略的知道它的功能和用法，简单的用它做了几个测试用例。实际上，对于这种比较通用的工具，如果能够了解它更多一些的话，对于理解Hadoop是很有帮助的，同时也可以更好的利用它来帮助测试。最近有点时间，就了解了一些它的背景，代码实现原理等等，就先记录下来吧。1.Hadoop与SortBenchmarksSortBenchmark(http
leafy1980·2020-07-14 13:16

Hadoop系列-MapReduce源码案例分析和编码规范（十）

Github代码下载地址：1，JAVA工程代码2，Maven工程代码转载内容如下：首先让我们来重温一下hadoop的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN：hadoop的资源调度系统Common：以上三大组件的底层支撑组件，主要提供基础工具包和RPC框架等Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架M
贺敏Minbo·2020-07-14 11:47

hadoop系列：zookeeper（1）——zookeeper单点和集群安装

1、概述8月份的第一周，忙得晕头转向，为了解决OSGI-Felix下hibernateJPA的ClassLoader问题，就耽误了至少两天时间，还好在周五系统成功在servicemix上运行了。已经几天时间没有碰博客了，刚好下周有安排给实验室的几个大神讨论zookeeper相关技术。我这么一想，咦~~刚好这周末准备PPT的时候，还不如就预先做几篇关于zookeeper的文章，这样既可以两件工作合成
seableble·2020-07-14 02:58

常用的几种大数据架构剖析

随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统
小红牛·2020-07-13 19:33

大数据Hadoop系列之Hadoop Web控制台添加身份验证

1.背景介绍本文档介绍如何配置HadoopHTTPWeb控制台以要求用户身份验证。默认情况下，HadoopHTTPWeb控制台（ResourceManager，NameNode，NodeManagers和DataNodes）允许访问而无需任何形式的身份验证。可以将HadoopHTTPWeb控制台配置为使用HTTPSPNEGO协议（Firefox和InternetExplorer等浏览器支持）进行K
王者的路注定孤独·2020-07-13 16:16

Hadoop系列之hbase数据库基础操作练习（七）

笔记链接详细图文链接：http://note.youdao.com/noteshare?id=c43e8a4d9e0bd68534357261e58df4a4Hbase整套部署教程：https://blog.csdn.net/qq_40402685/article/details/84173830准备工作主机名IP地址服务名称cgt-01192.168.10.111Hbase主控节点cgt-021
初心cc·2020-07-11 19:41

怎样进行大数据的入门级学习？

推荐一个大数据学习群119599574每天晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，我认为从事DataAnalytics
weixin_34279246·2020-07-10 19:28

hadoop系列四:mapreduce的使用(二)

当前使用的hadoop版本为2.6.4此为mapreducer的第二章节这一章节中有着计算共同好友，推荐可能认识的人上一篇:hadoop系列三:mapreduce的使用(一)一：说明二：在开发工具在运行
weixin_30828379·2020-07-08 14:50

Hadoop系列文章 Hadoop架构、原理、特性简述

Hadoop系列文章Hadoop架构、原理、特性简述HadoopHDFSHDFS介绍HDFS架构图HDFS写入数据流程图HDFS读取数据流程图数据块的副本集HadoopYARNYARN工作流程图YARN
wangxudongx·2020-07-08 12:51

hadoop系列：zookeeper（2）——zookeeper核心原理（选举）

1、前述上篇文章《hadoop系列：zookeeper（1）——zookeeper单点和集群安装》（http://blog.csdn.net/yinwenjie/article/details/47361419
seableble·2020-07-08 04:48

tree触宝科技2017秋季校招笔试后端大数据编程题

题目描述   给定一棵节点数为n的有根树,根节点编号为0.给出1~n-1的每个节点的父亲节点以及其所拥有的value值.对每个节点下的子树(包含该节点)的最大的value值与子树外其他节点最大的value值的差的绝对值进行求和(无须对根节点0求)。输入描述第一行输入n表示有n个节点(0val以及该子树以外的子树的最大值比较得到，因此，为避免该子树的最大值是所有子树中最大的那一个，还需要记录一个次最
qq_41922018·2020-07-08 02:53

Hadoop系列之原理与架构

一、Hadoop项目架构Hadoop框架是用来解决数据离线批处理问题的框架，其中最核心的是HDFS和MapReduce，HDFS是架构在Hadoop之上的分布式文件系统，MapReduce是架构在Hadoop之上用来做计算的框架。hadoop两个核心：HDFS和MapReduce用途：解决分布式存储和分布式存储。特点：高可靠性、高效性、可扩展性、成本低（普通PC机都能构建集群）应用：Google、
black_hnu·2020-07-07 23:45

Hadoop系列(5)之容量调度器Capacity Scheduler配置

1.应用场景本文只关注配置，关于调度器的算法以及核心内容将在下一篇介绍。CapacityScheduler是YARN中默认的资源调度器，但是在默认情况下只有root.default一个queue。而当不同用户提交任务时，任务都会在这个队里里面按优先级先进先出，大大影响了多用户的资源使用率。现在公司的任务主要分为三种：每天晚上进行的日常任务dailyTask，这些任务需要在尽可能短的时间内完成，且由
蓝天的IT生涯·2020-07-07 13:12

大数据开发都需要掌握哪些编程语言

大数据编程语言的选择要根据具体的工作岗位来进行，目前大数据领域的工作岗位包括大数据平台研发、大数据应用开发、大数据分析和大数据运维，除了大数据平台研发之外，其他岗位的人才需求量还是比较大的，尤其是大数据分析岗位
程序员老金·2020-07-06 06:54

hadoop+spark+hive+mysql集群搭建过程

之前一直在localmode或伪分布式下学习spark大数据编程，一直没有尝试分布式集群。最近新分了机器，配置不错，想玩一下。
爱无碍平台技术创始人·2020-07-05 11:08

hadoop学习笔记

前言hadoop系列下的HDFSArchitecture,本文主要介绍了hadoop的整体架构，包括但不限于节点概念、命名空间、数据容错机制、数据管理方式、简单的脚本命令和垃圾回收概念。
遇见百分百·2020-07-05 05:15

Hadoop系列二：启动HDFS和YARN过程日志

以下记录为启动HDFS和YARN环境时的过程中的中间过程输出，节点注册和HDFS文件系统的数据变化日志等。(1)执行HDFS文件系统格式化[bruce@iRobothadoop]$$HADOOP_PREFIX/bin/hdfsnamenode-format15/11/1913:55:39INFOnamenode.NameNode:STARTUP_MSG:/*********************
魔方泥瓦匠·2020-07-04 20:06

Hadoop系列三：运行job过程日志

[bruce@iRobothadoop]$$HADOOP_PREFIX/bin/hdfsdfs-mkdir/user[bruce@iRobothadoop]$$HADOOP_PREFIX/bin/hdfsdfs-mkdir/user/bruce[bruce@iRobothadoop]$tail-flogs/*-namenode*.log2015-11-1915:01:20,442INFOorg.a
魔方泥瓦匠·2020-07-04 20:06

常用的几种大数据架构剖析

随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统
铁拳虎·2020-07-02 06:30

Htrace on Hadoop, Hbase and HbaseClient

Hadoop2.6的新特性包含了Trace功能，一个类似于GoogleDapper的分布式跟踪工具，为Hadoop系列应用提供请求跟踪和性能分析。
hustsselbj·2020-07-02 03:17

Hadoop系列（二 ) HDFS原理分析史上最详细，能和面试官吹半个小时

@[TOC]HDFS架构：NameNode（NN）：管理文件系统的namespace/元数据一个HDFS集群只有一个Active的NN说白了就是管理文件的目录它保存了两个核心的数据结构:Fslmage和EditLogFsImage负责维护文件系统树和树中所有文件和文件夹的元数据。———维护文件结构和文件元信息的镜像EditLog操作日志文件中记录了所有针对文件的创建，删除，重命名操作。———记录对
NICEDAYSS·2020-07-01 03:44

基于hdp3.0.1安装kylin2.6.5

文章目录环境与说明下载安装包添加kylin的环境变量检查env环境启动kylin页面访问环境与说明本次测试的环境已提前装好ambari2.7.3和hdp3.0.1操作系统为Centos7.4-1708提前安装好的依赖组件有hadoop
再看我把你吃掉·2020-06-30 20:22

hadoop（一）入门、hadoop架构、集群环境搭建

hadoop系列笔记hadoop（一）入门、hadoop架构、集群环境搭建.hadoop（二）HDFS概述、shell操作、客户端操作（各种API操作）以及hdfs读写流程.hadoop（三）hdfs的
复姓独孤·2020-06-29 23:38

零基础学好大数据需要具备哪些条件

推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，你愿意来学习吗？
weixin_41780944·2020-06-29 02:25

用大白话综述“人工智能、数据科学、机器学习”

推荐一个大数据学习交流群119599574每天晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，你愿意来学习吗？
weixin_41780944·2020-06-29 02:25

学好大数据与机器学习需要有怎样的数学基础？

推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，你愿意来学习吗？
weixin_41780944·2020-06-29 02:25

零基础怎么学习大数据

推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，但从狭义上来看，我认为数据科学就是解决三个问题
weixin_41780944·2020-06-29 02:52

【Hadoop系列】linux下 root用户免密码登录远程主机 ssh

SSH原理：【Hadoop系列】linuxSSH原理解析操作环境：CentOS6.5操作对象：用户A主机和远程主机B正文部分：斜体加粗代表linux指令。
weixin_34255793·2020-06-28 15:28

大数据编程专业书籍推荐

1、《漫画算法：小灰的算法之旅》：全网阅读量近1000万次的算法故事，通过虚拟的主人公小灰的心路历程，用漫画的形式讲述了算法和数据结构的基础知识、复杂多变的算法面试题目及算法的实际应用场景。2、《跟老齐学Python：Django实战(第2版)》：以Python为基础进行Web应用开发的进阶读物，以一个实例项目为主线，使用Django2开发框架，在实践中边学边做，理论联系实际。每节都配有思维导图，
weixin_34198797·2020-06-28 13:40

常用的几种大数据架构剖析

随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统
ThoughtWorks·2020-06-28 10:39

Hadoop 生态系列之 1.0 和 2.0 架构

趁着还没有入职，给大家争取先把Hadoop系列的文章总结完毕，可以当做科普文，也可以当做笔记收藏。经过查阅各种资料，保证我的理解没有偏差。但是也难免会有疏漏，欢迎朋友们留言给我进行交流。
weixin_33772645·2020-06-28 05:09

大数据系列全套学习路线图

ClouderaManagerClouderaManager平台部署说明书Hadoop大数据Hadoop系列之Hadoop分布式集群部署大数据Hadoop系列之Hadoop机架感知配置大数据Hadoop
王者的路注定孤独·2020-06-27 11:04

大数据日志分析系统-缓存组件kafka

zookeeper简介是一个分布式的，开放源码的分布式应用程序协调服务,很多地方用到,最常见的是为集群提供基础的、高可用HA(HighAvailability)服务是kafka集群的基础依赖，同时也是hadoop
朋好友5·2020-06-27 08:15
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他