大数据编程hadoop系列

分布式离线计算—HiveSQL

MapReduce的出现大大简化了大数据编程的难度，
测试狗一枚·2021-01-26 09:01

大数据入门：Java和Scala编程对比

在学习大数据之初，很多人都会对编程语言的学习有疑问，比如说大数据编程主要用什么语言，在实际运用当中，大数据主流编程是Java，但是涉及到Spark、Kafka框架，还需要懂Scala。
加米谷大数据张老师·2020-12-10 17:45

二十三、Hadoop的HA（高可用）

今天来给Hadoop的部分收收尾，这是Hadoop系列的最后一篇文章了，因为HA需要用到Zookeeper，所以在讲解了Zookeeper的部分内容后，才重新回过头来看Hadoop的HA部分，关注专栏《
象在舞·2020-12-06 17:41

java冒泡排序_使用Java数组实现冒泡排序法

《大数据和人工智能交流》头条号向广大初学者新增C、Java、Python、Scala、javascript等目前流行的计算机、大数据编程语言，希望大家以后关注本头条号更多的内容。
weixin_39657300·2020-11-14 05:19

Hadoop系列006-HDFS概念及命令行操作

本人微信公众号，欢迎扫码关注！HDFS概念及命令行操作一、HDFS概念1.1概念HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。1.2组成1）HDFS集群包括，NameNode和DataNode以
云端笑猿·2020-09-15 16:14

Win10下安装Hadoop3.1.2

即使再小的帆也能远航Hadoop：Win10下安装Hadoop3.1.2西部开源-秦疆老师：Hadoop系列博客，秦老师交流Q群号：664386224,未授权禁止转载！编辑不易，转发请注明出处！
星夜小筑·2020-09-15 03:44

大数据新手的0基础学习路线，从菜鸟到高手的成长之路

推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享
weixin_41780944·2020-09-15 03:50

Hadoop(六)Hadoop-HA模式(超详细，剑指第一)

写在前面  本文为hadoop系列博客最后一篇博客，下篇博客开启Hive篇章，敬请期待。那这篇博客讲了个什么事呢？
我是余傲:)·2020-09-15 01:23

大数据Hadoop系列之Hadoop服务开机自启动配置

1.编写运行脚本$sudocd/etc/init.d$sudovihadoop#!/bin/bash#chkconfig:35951#description:scripttostart/stophadoopsu-hadoop<
王者的路注定孤独·2020-09-14 11:12

hadoop系列之一问题锦集

1、启动过程中出现Configurationhasmultipleaddressesthatmatchlocalnode'saddress.Pleaseconfigurethesystemwithdfs.nameservice.idanddfs.ha.namenode.id解决办法：1）确保每台机器的/etc/hosts文件内容一致，最好不要127.0.0.1的信息，只需要类似如下信息即可2)在格
qq_29534155·2020-09-14 10:06

hadoop系列之一服务启动以及结果查看

1、服务启动完全由脚本实现，可根据实际情况，修改hadoop和zookeeper的路径即可说明：第二次启动，需要将格式化的代码注释掉即可#!/bin/bashHADOOP_PATH=/opt/hadoop/hadoop-2.8.1ZOOKEEPER_INSTALL_PATH=/opt/hadoop/zookeeper-3.4.10HADOOP_TMP=/opt/hadoop/tmprm-rf/op
qq_29534155·2020-09-14 09:21

【hadoop系列】Hadoop HDFS命令

格式：hadoopfs-命令主要有如下的命令：命令说明hadoopfs-mkdir创建HDFS目录hadoopfs-ls列出HDFS目录hadoopfs-copyFromLocal使用-copyFromLocal复制本地文件（local）到HDFShadoopfs-put使用-put复制本地（local）文件到HDFShadoopfs-copyToLocal将HDFS上的文件复制到本地（local
我去图书馆了·2020-09-13 23:10

hadoop编译

学习Hadoop系列，必不可少的就是自己编译一次Hadoop，同时也为后期学习支持文件压缩做好准备。
冬瓜螺旋雪碧·2020-09-13 12:05

菜鸟学习Hadoop系列一----安装Hadoop

一前期准备安装linux系统。这地方就不具体介绍了。网络上的博文很多。我一直使用的是Fedora12（32bit）.我的实验采用的系统就是这个了。以下的操作也都是基于该系统的。下载jdk，这个在官网（http://www.oracle.com/technetwork/java/javase/downloads/index.html）上很容易就可以找到。目前提供的是1.7.0.9版本。下载hadoo
W170532934·2020-09-13 11:14

hadoop系列之HDFS 原理与实战

HDFS文件系统HDFS简介HDFS是HadoopDistributedFileSystem的简称，即Hadoop分布式文件系统。它起源于谷歌发表的GFS论文，是该论文的开源实现，也是整个大数据的基础。HDFS专门为解决大数据的存储问题而产生的，具有如下特点：可存储超大文件：HDFS可存储PB级的数据流式数据访问：一次写入，多次读取。数据集通常从数据源复制而来，每次分析都涉及该数据集的商用硬件：H
搬砖学习·2020-09-13 07:25

hadoop系列之yarn

YARNYARN概述YARN，即YetAnotherResourceNegotiator的缩写，它是Hadoop资源管理系统，是在Hadoop2以后引入的。它在整个Hadoop中的位置如下：YARN与MapReduce1MapReduce1指Hadoop1.x中的MapReduce分布式执行框架，用以区别使用了YARN的MapReduce2。MapReduce1的机制MapReduce1由两类守护
搬砖学习·2020-09-13 07:25

hadoop系列之伪分布式环境搭建及测试验证

Hadoop2.x伪分布式环境搭建及测试验证作者：Dennis日期：2018-08-09前置条件：Linux虚拟机一台，版本为CentOS7.4，假设IP地址为192.168.159.181，并修改如下：修改/etc/hostname的内容为hadoop01说明：修改了主机名之后需要重启才能生效。修改/etc/hosts的内容为备注：配置这里主要是想通过域名或者IP地址找到相应的机器127.0.0
搬砖学习·2020-09-13 07:53

Hadoop系列：在Linux下部署hadoop 0.20.1

两台测试虚机，系统为REHL5.3x64，正常安装最新版本的JDK，正确设置SSH无密码登录。服务器一：192.168.56.101dev1服务器二：192.168.56.102dev2从http://apache.freelamp.com/hadoop/core/hadoop-0.20.1/下载hadoop-0.20.1.tar.gz，把hadoop-0.20.1.tar.gz拷贝到dev1的“
dayun·2020-09-12 02:43

大数据hadoop系列：Hive的安装与配置

下载地址https://mirrors.tuna.tsinghua.edu.cn/apache/hive/这边已我安装的1.2.2版本为例，可自行选择稳定版本或最新版本解压hive包tar-zxvfapache-hive-1.2.2-bin.tar.gz-C/usr/local/srccd/usr/local/src#创建软连接ln-sapache-hive-2.1.1-bin/hive修改配置文
兰波万·2020-08-26 13:10

Hadoop系列之 job运行机制

本人是hadoop入门级小白，一边学习Hadoop权威指南英文版，一边翻译相关内容，希望达到加深理解的效果，发布博客上，希望能和大家一起分享和交流。1.MapReducejob提交提交过程比较简单，submit()onaJobobject，通过waitForCompletion()等待job结束。waitForCompletion不断轮询当前job运行的进度。2.MapReducejob运行流程运
wujustin·2020-08-25 06:13

欢迎使用CSDN-markdown编辑器

Hadoop系列–Ubuntu搭建JDK及环境变量本文主要讲的是在VM中通过Ubuntu搭建JDK的开发环境。
樱木乐·2020-08-24 14:22

文章标题

Hadoop系列学习-MapReduce的排序与自定义排序默认排序由于Hadoop默认是根据key去排序的。
樱木乐·2020-08-24 14:51

Hadoop系列学习–Partitioner内置分区与Partitioner自定义分区

Hadoop系列学习–Partitioner内置分区与Partitioner自定义分区MapReduce的编程灵活性很高，其中Partitioner分区函数的作用也很重要。
樱木乐·2020-08-24 12:55

hadoop系列：zookeeper（3）——zookeeper核心原理（事件）

1、概述上一篇文章，我们对zookeeper中的数据组织结构、Leader选举原理进行了讲述（http://blog.csdn.net/yinwenjie/article/details/47613309）。这篇文章我们紧接上文讲解zookeeper中的事件机制。并通过示例代码告诉读者怎么使用zookeeper中的事件通知器：watcher。2、zookeeper中的监听机制按照上文中的讲解，我们
说好不能打脸·2020-08-23 04:39

数据仓库实践-阿里云环境

上一篇文章大致讲了数据仓库构建的理论部分，这一篇以实际工作为例，大致的整理下数据仓库的构建，也算是工作的总结；同时由于使用的是云平台，所以很多hadoop系列的技术问题基本都没有。
huobumingbai1234·2020-08-18 11:26

HBase: 看上去很美

缘起随着hadoop系列的兴起，基于HDFS的大规模KV存储系统HBase也进入“大规模使用阶段”。网上的Hbase资料很多，学习成本正在下降。
weixin_34233618·2020-08-18 10:28

Hadoop系列之Spark安装和使用（四）

spark简介Spark的主要抽象是分布式的元素集合（distributedcollectionofitems），称为RDD（ResilientDistributedDataset，弹性分布式数据集），它可被分发到集群各个节点上，进行并行操作。RDDs可以通过HadoopInputFormats创建（如HDFS），或者从其他RDDs转化而来。Spark安装步骤Spark官网下载地址：http://
梦Dreamer·2020-08-17 02:23

Hadoop系列之Storm安装和使用（五）

zookeeper单机模式的安装使用下载zookeeper地址：https://mirrors.cnnic.cn/apache/zookeeper/stable/tar-zxfapache-zookeeper-3.5.6-bin.tar.gz#解压mvapache-zookeeper-3.5.6-binzookeeper#修改名称chown-Rhadoopzookeeper#赋予hadoop用户权
梦Dreamer·2020-08-17 02:23

Hadoop系列(一)Docker部署Hadoop集群

搭建一个Hadoop集群环境时需要多台服务器，对于我们个人，这通常是个门槛，需要使用虚拟机，安装操作系统，然后运行起来多个虚机。安装操作系统是个不太轻松的任务，并且运行多个虚机对个人电脑性能也有一定要求，这些门槛影响了很多小伙伴的实践积极性使用Docker的话就简单了，不用安装操作系统，直接下载一个镜像，如centos，这样操作系统就有了，基于这个系统镜像运行多个容器，就相当于起了多个虚机，而且系
淡淡的倔强·2020-08-16 21:19

尝试大数据和数据挖掘，该怎么规划学习？

目前大数据炒的一直非常火爆，可如何进入大数据行业呢，怎么进行学习呢，推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例
weixin_41780944·2020-08-16 09:39

小丸子学Hadoop系列之——部署Hbase集群

0.集群规划主机名ip地址安装的软件运行的进程AI-OPT-HBS0110.46.52.30hadoop,hbasenamenode,zkfc,resourcemanagerAI-OPT-HBS0210.46.52.31hadoopnamenode,zkfc,resourcemanagerAI-OPT-HBS0310.46.52.32hadoop,hbasedatanodeAI-OPT-HBS04
ckml77559·2020-08-14 02:07

hadoop安装环境准备和关联知识解析

奈何还有常见的如穿透、雪崩、击穿、分布式锁、redis并发原理、linux多路复用、redis集群等都还没梳理清楚，而项目就需要先学习一下hadoop等大数据相关技术，于是不得不暂停redis，转而进入hadoop
涂宗勋·2020-08-14 01:03

hadoop（二）HDFS概述、shell操作、客户端操作（各种API操作）以及hdfs读写流程

hadoop系列笔记hadoop（一）入门、hadoop架构、集群环境搭建.hadoop（二）HDFS概述、shell操作、客户端操作（各种API操作）以及hdfs读写流程.hadoop（三）hdfs的
复姓独孤·2020-08-12 13:28

怎样进行大数据入门级学习

推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，一、整体了解数据分析——5
weixin_41780944·2020-08-12 00:54

免费的计算机编程类中文书籍(超全）

free-programming-books-zh_CN语言无关类操作系统智能系统分布式系统编译原理函数式概念计算机图形学WEB服务器版本控制编辑器NoSQLPostgreSQLMySQL管理和监控项目相关设计模式Web大数据编程艺术其它语言相关类
burt_yu·2020-08-11 21:33

hadoop系列：zookeeper（2）——zookeeper核心原理（选举）

1、前述上篇文章《hadoop系列：zookeeper（1）——zookeeper单点和集群安装》（http://blog.csdn.net/yinwenjie/article/details/47361419
说好不能打脸·2020-08-11 19:03

Hadoop系列 mapreduce 原理分析

以wordcount为例https://blog.csdn.net/weixin_43291055/article/details/106488839步骤一：split步骤二：map阶段步骤三：combine阶段(可选)---将同一台机器上的相同的数据进行合并，减少网络传输combiner其实也是一种reduce操作，因此我们看见WordCount类里是用reduce进行加载的。Combiner是
诸葛子房_·2020-08-11 19:32

Hadoop系列-开发中常见问题处理（十一）

问题三.Exceptioninthread"main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z在运行WordCount.java代码时，出现这样的问题[html]viewplaincopylog4j:WARNNoappende
贺敏Minbo·2020-08-10 16:51

Hadoop系列之-Hadoop2.7.2的Eclipse插件编译

提供下编译好的jar包：http://download.csdn.net/detail/suzhi921/9594598配置Eclipse：将jar包拷贝到Eclipse目录下的plugins里windows--preferences--HadoopMap/Reduce指向Hadoop安装路径windows-showview-MapreduceTools-Map/ReduceLocations--
suzhi921·2020-08-10 10:22

校招准备-大数据工具

学习计划1:spark,spark数据处理,预处理,机器学习,分布式机器学习算法等相关学习计划2:hadoop系列hbase,pig,yarn,HDFS流计算学习学习计划3:ETL相关知识学习未完待续-
weixin_30888413·2020-08-10 07:18

高可用 Elasticsearch 集群 21 讲

相比Hadoop系列的大数据平台，Elasticsearch使用起来要简单得多，你只要修改很少的几个配置
蔚1·2020-08-09 13:13

ubuntu 18.04LTS hadoop 3.0.3安装

ubuntu18.04LTS安装后，更新hadoop系列安装。这次针对hadoop，系统和安装环境如下:ubuntu18.04LTS和hadoop3.0.3、jdk1.8.0_172。
Mr_哲·2020-08-06 12:00

大数据学习需要哪些课程？

推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，1、学科知识：从数据分析涉及到的专业知识点上看
weixin_41780944·2020-08-04 20:47

Hadoop系列——SpringBoot集成Hadoop、实现hdfs上传下载文件（1）

pom.xmlorg.apache.hadoophadoop-client2.7.6org.apache.hadoophadoop-hdfs2.7.6HadoopConfig.javapackagecom.hahashujia.hadoop.config;importlombok.extern.slf4j.Slf4j;importorg.apache.hadoop.fs.FileSystem;im
哈哈书架·2020-08-03 04:21

Hadoop系列——SpringBoot集成Hadoop、实现hdfs上传下载文件（2）

在Hadoop系列——SpringBoot集成Hadoop、实现hdfs上传下载文件（1）基础上做变动yml文件配置hadoop.name-node:hdfs://localhost:9000HadoopConfig.java
哈哈书架·2020-08-03 04:20

SpringBoot集成Hadoop系列二 ---- MapReduce数据的分组统计,排序

代码:packagecom.hadoop.reduce.model;importorg.apache.hadoop.io.WritableComparable;importjava.io.DataInput;importjava.io.DataOutput;importjava.io.IOException;/***分组排序model类*@authorlinhaiy*@date2019.05.18
潇潇雨歇_·2020-08-03 01:56

SpringBoot集成Hadoop系列二 ---- MapReduce对表的join操作

代码:packagecom.hadoop.reduce.model;importorg.apache.hadoop.io.Writable;importjava.io.DataInput;importjava.io.DataOutput;importjava.io.IOException;/***订单商品对象*@authorlinhaiy*@date2019.05.18*/publicclassO
潇潇雨歇_·2020-08-03 01:56

SpringBoot集成Hadoop系列二 ---- MapReduce明星微博统计

代码:packagecom.hadoop.reduce.model;importorg.apache.hadoop.io.WritableComparable;importjava.io.DataInput;importjava.io.DataOutput;importjava.io.IOException;/***统计明星微博数据实体*@authorlinhaiy*@date2019.05.18
潇潇雨歇_·2020-08-03 01:55

SpringBoot集成Hadoop系列二 ---- MapReduce词频统计

继上篇SpringBoot集成Hadoop系列一----对HDFS的文件操作建的工程,接下来使用MapReduce进行一些数据文件的统计开发.这里做一个很经典的统计功能,词频统计.代码:packagecom.hadoop.reduce.mapper
潇潇雨歇_·2020-08-03 01:55

SpringBoot集成Hadoop系列二 ---- MapReduce统计数据文件的共同好友

代码:packagecom.hadoop.reduce.mapper;importjava.io.IOException;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Mapper;/***查找共同的好友*@authorlinhaiy
潇潇雨歇_·2020-08-03 01:55
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他