大数据编程hadoop系列

hadoop系列文档4-配置Yarn高可用HA

背景之前有一篇高可用HDFSHA的配置文档，此文档类似上次，介绍如何配置高可用Yarn’sResourceManager,在hadoop中默认只有一个ResourceManger,现在增加一个节点，类似我们的NameNode的active/stangdby状态。参考文章http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-sit
u010237107·2020-06-26 21:21

hadoop系列文档3-配置Hdfs高可用HA

背景早在Hadoop2.0.0之前，在一个HDFS集群中，只有一个NameNode,如何这个NameNode因为某种原因挂掉了（SPOF），那么整个集群将不可用。参考文章http://www.cnblogs.com/meiyuanbao/p/hadoop2.htmlhttp://blog.csdn.net/skywalker_only/article/details/40300839http://
u010237107·2020-06-26 21:21

常用的几种大数据架构剖析

随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统
John_like521·2020-06-26 07:12

大数据包含哪些知识点

推荐一个大数据学习群142973723每天晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享
qq_44682761·2020-06-26 03:44

对比解读五种主流大数据架构的数据分析能力

随着大数据技术的发展，数据挖掘、数据探索等专有名词的曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统
linghujing·2020-06-26 00:50

大数据平台有什么功能作用

典型的包括Hadoop系列、Spark、Storm、Flink以及Flu
中琛源科技·2020-06-25 04:42

hive(01)、基于hadoop集群的数据仓库Hive搭建实践

以及可以搭建完整的集群和开发简单的MapReduce项目，下面我们开始学习基于Hadoop的数据仓库ApacheHive，将结构化的数据文件映射为一张数据库表，将sql语句转换为MapReduce任务进行运行的实践，hadoop
青春浪子·2020-06-25 04:42

大数据hadoop系列：python实现MapReduce 词频统计

map代码：map_t.pyimportsysimportrep=re.compile(r'\w+')forlineinsys.stdin:ss=line.strip().split('')forsinss:iflen(p.findall(s))<1:continues_low=p.findall(s)[0].lower()prints_low+','+'1'reduce代码：red_t.pyim
兰波万·2020-06-25 02:49

Hadoop系列之大数据启蒙

1大数据启蒙1.1分治思想在认识分治思想之前，让我们先来看这样一个需求：我有一万个元素（比如数字或单词）需要存储，如果查找某一个元素，最简单的遍历方式复杂度是多少呢？更进一步，如果我期望的复杂度是O(4)呢？对于第一个需求，我们很容易就能想到可以用数组或者是链表来存储，这样查找某一个元素的时间复杂度分别是O(logn)和O(n)：数组存储链表存储那么对于第二个需求，我们应该如何实现呢？如果你有学过
l1fe1·2020-06-24 21:04

R、Python、Scala 和 Java，到底该使用哪一种大数据编程语言？

有一个大数据项目，你知道问题领域(problemdomain)，也知道使用什么基础设施，甚至可能已决定使用哪种框架来处理所有这些数据，但是有一个决定迟迟未能做出：我该选择哪种语言?(或者可能更有针对性的问题是，我该迫使我的所有开发人员和数据科学家非要用哪种语言?)这个问题不会推迟太久，迟早要定夺。当然，没有什么阻止得了你使用其他机制(比如XSLT转换)来处理大数据工作。但通常来说，如今大数据方面有
iteye_4271·2020-06-23 19:51

Hadoop系列004-Hadoop运行模式（上）

本人微信公众号，欢迎扫码关注！Hadoop运行模式1、概述1）官方网址官方网站：http://hadoop.apache.org/各个版本归档库地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop2.7.2版本详情介绍：http://hadoop.apache.org/docs/r2.7.2/2）Hadoop运行模
云端笑猿·2020-06-23 18:57

Hadoop系列001-大数据概论

本人微信公众号，欢迎扫码关注！大数据概论1、大数据概念大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1Byte=8bit1K=
云端笑猿·2020-06-23 18:57

Hadoop系列003-Hadoop运行环境搭建

本人微信公众号，欢迎扫码关注！Hadoop运行环境搭建1、虚拟机网络模式设置为NAT2、克隆虚拟机3、修改为静态ip4、修改主机名5、关闭防火墙1）查看防火墙开机启动状态chkconfigiptables--list2）关闭防火墙chkconfigiptablesoff6、在opt目录下创建文件7、安装JDK1）卸载现有jdk查询是否安装java软件：rpm–qa|grepjava如果安装的版本低
云端笑猿·2020-06-23 18:57

hadoop系列十八——案例 App数据统计与报表统计

项目背景网站、app的运营者需要知道自己的产品或服务的运营状况，就需要对使用自己产品的用户进行各种角度的数据分析，比如：用户数量新增用户留存用户活跃用户地域分析渠道分析…要做这样的分析，数据来源应该是用户的产品使用的行为日志，行为日志是由app或者网站的页面获取用户相关信息后，发送给后台服务器记录下来的：项目步骤1.采集数据（待完善）从服务器通过flumeagent采集日志，将数据采集到HDFS，
heartless_killer·2020-06-23 13:48

常用的几种大数据架构剖析

随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统
haboop·2020-06-23 12:13

Hadoop系列之（三）：使用Cloudera部署，管理Hadoop集群

1.Cloudera介绍Hadoop是一个开源项目，Cloudera对Hadoop进行了商业化，简化了安装过程，并对hadoop做了一些封装。根据使用的需要，Hadoop集群要安装很多的组件，一个一个安装配置起来比较麻烦，还要考虑HA，监控等。使用Cloudera可以很简单的部署集群，安装需要的组件，并且可以监控和管理集群。CDH是Cloudera公司的发行版，包含Hadoop，Spark，Hiv
dianxisu8222·2020-06-23 04:55

Android App开发之埋点大数据收集、收藏吧~

推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，你愿意来学习吗项目需求是大数据的收集
chongliang6973·2020-06-22 22:23

常用的几种大数据架构剖析

随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其
aebdm757009·2020-06-22 12:12

【Hadoop】（六）详解 HDFS 的数据流 （面试重点）

文章目录一、HDFS写数据流程1.剖析文件写入2.网络拓扑-节点距离计算3.机架感知（副本存储节点选择）二、HDFS读数据流程前言：在《Hadoop系列》的第一篇博文里，就已经提到了【hadoop】（一
云 祁·2020-06-21 17:01

【Hadoop系列】linux SSH原理解析

本文中斜体加粗代表shell指令，操作环境CentOS6.5linuxroot免密码登录链接：【Hadoop系列】linux下root用户免密码登录远程主机ssh。
weixin_34240520·2020-06-21 11:18

Django项目uwsgi+Nginx保姆级部署教程实现

写在最前：非常抱歉的是，因为突如其来的疫情，我的hadoop系列断更了，很难受，因为我的分布式环境在学校，我的笔记本配置带不起来，代码跑不起来我是不敢写博客的，然后寒假在家写代码也没啥意思，看了非常多的书
韩数·2020-04-19 08:29

Hadoop完全分布式模式安装部署

在Linux上搭建Hadoop系列：1.Hadoop环境搭建流程图2.搭建Hadoop单机模式3.搭建Hadoop伪分布式模式4.搭建Hadoop完全分布式模式注：此教程皆是以范例讲述的，当然你可以按照教程搭建一个与教程一样的
主神·2020-04-07 01:28

Hadoop安装（单机模式和伪分布模式）和spark安装，运行wordcount程序

Hadoop系列产品安装（单机模式和伪分布模式）：使用Ubuntu系统1.安装jdk，配置环境;（.bashrc中配置）2.安装ssh；（单机模式不用）3.下载hadoop安装包，解压；4.hadoop
MountSong·2020-03-30 05:56

Hadoop实战（8）_CDH添加Hive服务及Hive基础

CDHHadoop系列目录：Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战（4）_Hadoop的集群管理和资源分配Hadoop实战（5）_Hadoop的运维经验Hive体系结构Hive
padluo·2020-02-18 12:16

如何构建一个高可用、低延迟的 Elasticsearch 集群？

相比Hadoop系列的大数据平台，Elasticsearch使用起来要简单得多，你只要修改很少的几个配置就可以让集群运行起来，而且Elasticsearch拥有丰富的REST接口，
大尚DS·2020-02-09 11:48

linux定时任务执行hadoop脚本问题

最近在写一个Hadoop系列操作的调度脚本，由crontab调度执行。脚本单独执行没有任何问题，但是一旦执行hadoop相关操作，如hive、Hadoop相关命令，就莫名其妙的失败。
故里良田·2020-01-07 10:36

Hadoop 生态系列之 MapReduce

目前Hadoop系列文章的规划就是这样，持续补充完善中...同时可以访问https://data.cuteximi.comHadoop生态系列之1.0和2.0架构Hadoop生态系列之HDFSHadoop
cuteximi_1995·2020-01-07 05:02

Hadoop 之 小象诞生

既然这年头“不说大数据都不好意思和人打招呼”，那就以Hadoop系列开始。提及Hadoop这一大数据存储和处理工具，自然要从它的爸爸DougCutting说起。
彤庆·2019-12-17 08:11

Hadoop系列之yarn架构与流程浅析

Yarn介绍MapReduce早期的JobTracker/TaskTracker机制在可扩展性，内存消耗，线程模型，可靠性和性能存在较大的缺陷，为从根本上解决框架的性能瓶颈，从0.23.0版本开始，Hadoop的MapReduce框架完全重构，新的HadoopMapReduce框架命名为Yarn。yarn架构入下图（引用自官网）yarn架构.pngyarn架构由client代理、ResourceM
wujustin·2019-12-12 12:56

Hadoop系列002-从Hadoop框架讨论大数据生态

从Hadoop框架讨论大数据生态1、Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构2）主要解决，海量数据的存储和海量数据的分析计算问题。3）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈2、Hadoop发展历史我这里给大家推荐下我自己创建的大数据资料分享群834325294，这是大数据学习交流的地方，不管你是小白还是大牛，小编都欢迎，
大数据首席数据师·2019-11-07 03:21

Hadoop系列（一）HDFS架构

前言本篇文章翻译了hadoop系列下的HDFSArchitecture，原文最初经过笔者翻译后大概有6000字，之后笔者对内容进行了精简化压缩，从而使笔者自己和其他读者们阅读本文时能够更加高效快速的完成对
Alukar·2019-11-05 17:14

hadoop系列-hadoop版本选择

引言Hadoop自从出现到现在被广泛应用，经理了很多个版本的衍化，甚至各个公司都在原生apachehadoop的基础上进行了一些改造以及特性优化，有些是完善了一整套的集群部署工具，在这衍化的过程中出现了Apachehadoop官方版本，还有很多第三方版本，例如Cloudera,Hortonworks,IBM，华为等提供的版本。那么这么多的版本，我们在进行学习开发或者生产环境部署的时候应该如何选择呢
codingway·2019-10-23 23:36

Hadoop系列（六）Hadoop三大核心之MapReduce 基础

目录MapReduce背景MapReduce是什么MapReduce的架构简单介绍MapReduce背景在程序由单机版扩成分布式版时，会引入大量的复杂工作。为了提高开发效率，可以将分布式程序中的公共功能封装成框架，让开发人员可以将精力集中于业务逻辑。Hadoop当中的MapReduce就是这样的一个分布式程序运算框架。MapReduce是什么MapReduce是一个分布式运算程序的编程框架，是用户
ID喵·2019-10-12 09:00

第十二期:常用的几种大数据架构剖析

常用的几种大数据架构剖析随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析
你知道歌谣吗？·2019-10-10 12:25

大数据hadoop系列：Hive HQL常用操作

1.hiveHQL的表操作：1.1创建数据库hive>createdatabasezhanzhy;OKTimetaken:0.073secondshive>showdatabases;OKdefaultzhanzhyTimetaken:0.012seconds,Fetched:2row(s)hive>--查看数据库详情hive>descdatabasezhanzhy;OKzhanzhyhdfs:/
兰波万·2019-09-13 17:48

大数据行业薪资实在太诱人

很多人想转行从事大数据，但却很少成功，看了招聘信息后，才有所了解，大数据编程，要掌握的知识要点还是蛮多的。刚在某招聘平台浏览到
爱开发V·2019-08-30 21:02

二级Python词云包安装问题

但是，从实际应用开发角度讲，这个库是学习时下Python大数据编程必须要掌握的——当然也是比较简单的。安装问题在安装WordCloud过程中遇到失败与成功，特别记录于下。家中机
googlingman·2019-08-25 11:40

大数据平台是什么？有哪些功能？如何搭建大数据平台？

典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。既可以采用开源平台，也可以采用华为、星环等商业级解决方案，既可以部署在私有云上，也可以部署在公有云上。
a大数据·2019-08-08 15:53

啃掉Hadoop系列笔记(04)-Hadoop运行模式之伪分布式模式

伪分布式模式等同于完全分布式，只是她只有一个节点。一）HDFS上运行MapReduce程序（1）配置集群（a）配置：hadoop-env.shLinux系统中获取jdk的安装路径：修改JAVA_HOME路径：（b）配置：core-site.xml原始该文件内容配置后该文件内容（c）配置：hdfs-site.xml该文件原始内容配置后该文件内容（2）启动集群（a）格式化namenode（第一次启动时
传奇的博客·2019-06-26 10:00

啃掉Hadoop系列笔记(03)-Hadoop运行模式之本地模式

在《啃掉Hadoop系列笔记(02)-Hadoop运行环境搭建》中若环境搭建成功，则直接可以使用本地模式。
传奇的博客·2019-06-26 07:00

啃掉Hadoop系列笔记(02)-Hadoop运行环境搭建

一、新增一个普通用户bigdata设置bigdata用户具有root权限二、配置静态ip若机器为克隆的则该文件下存在多个物理地址，删除eth0该行；将eth1修改为eth0，同时记住物理ip地址三、修改主机名四、关闭防火墙1）查看防火墙开机启动状态2）关闭防火墙五、在opt目录下创建文件夹修改module、software文件夹的所有者六、安装jdk使用远程工具将jdk安装包上传到/opt/sof
传奇的博客·2019-06-23 21:00

啃掉Hadoop系列笔记(01)-Hadoop框架的大数据生态

一、Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构2）主要解决，海量数据的存储和海量数据的分析计算问题。3）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈二、Hadoop发展历史1）Lucene--DougCutting开创的开源软件，用java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询
传奇的博客·2019-06-23 18:00

常用的几种大数据架构剖析

随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统
生活的探路者·2019-06-20 11:54

常用的几种大数据架构剖析

随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统
生活的探路者·2019-06-20 11:54

大数据平台系列：使用ambari安装hadoop（二）

ambari项目的出现使得hadoop系列的组件可以在webUI中定制安装，并提供管理功能。
Gordon_luo2008·2019-06-18 09:38

大数据平台系列：使用ambari安装hadoop（一）

ambari项目的出现使得hadoop系列的组件可以在webUI中定制安装，并提供管理功能。本文转自我个人的公众号：天目星，请大家多多关注。
Gordon_luo2008·2019-06-18 09:33

如何构建一个高可用、低延迟的 Elasticsearch 集群？

相比Hadoop系列的大数据平台，Elasticsearch使用起来要简单得多，你只要修改很少的几个配置就可以让集群运行起来，而且Elasticsearch拥有丰富的REST接口，
GitChat技术杂谈·2019-06-11 16:21

大数据编程专业书籍推荐

1、《漫画算法：小灰的算法之旅》：全网阅读量近1000万次的算法故事，通过虚拟的主人公小灰的心路历程，用漫画的形式讲述了算法和数据结构的基础知识、复杂多变的算法面试题目及算法的实际应用场景。2、《跟老齐学Python：Django实战(第2版)》：以Python为基础进行Web应用开发的进阶读物，以一个实例项目为主线，使用Django2开发框架，在实践中边学边做，理论联系实际。每节都配有思维导图，
qianfeng_dashuju·2019-05-23 16:44

大数据入门，到底要怎么学习大数据？

推荐一个大数据学习qq群：606859705每天晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能
大数据开发学习·2019-05-22 00:57

大数据编程语言培训前景,怎么样?

想要加入到互联网行业就要会编程语言，那么大数据编程语言培训前景如何？
duozhishidai·2019-05-15 21:57
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他