ML&DL-大数据学习

大数据学习笔记（十七）-MapReduce

1.在MapReduce中被分成了两类，map操作和reduce操作，1个job是由若干次map操作和1次reduce操作组成的。在MapReduce中，最重要的就是理解数据在处理时都是以Key/Value形式输入输出的（在数据初始读入时，也是以Key/Value形式读入的）2.对map、reduce操作的理解①map是映射：简单理解的话可以理解成遍历原有数据集中的所有数据，针对每一条数据都用相同
狂暴棕熊·2018-01-04 18:56

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

引言在之前的大数据学习系列中，搭建了Hadoop+Spark+HBase+Hive环境以及一些测试。其实要说的话，我开始学习大数据的时候，搭建的就是集群，并不是单机模式和伪分布式。
虚无境·2017-12-30 15:03

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

目录引言目录一、环境选择1，集群机器安装图2，配置说明3，下载地址二、集群的相关配置1，主机名更改以及主机和IP做相关映射2，ssh免登录3，防火墙关闭4，时间配置5，快捷键设置(可选)6，整体环境变量设置二、Hadoop的环境搭建1，JDK配置2，hadoop配置3，hadoop启动四、Spark的环境配置1，Scala配置2，Spark配置3，spark启动五、Zookeeper的环境配置1，
虚无境·2017-12-30 15:00

大数据学习教程分享

阅读更多前面给大家分享了很多学习资料，但是比较零散，直到12月份开始才有了上面链接里列出来的计划，截至目前已经分享了Java系列、人工智能系列、微信小程序完整教程，发现后台消息有人回复我分享过了的学习资料，所以今天说说，如有需要以上学习资料的同学，请看看我的个人主页菜单。大数据基础教程了解过大数据的同学都知道，在学大数据之前，Java是必备的，所以学大数据的基础就是先掌握好JavaEE的内容，分享
code小生·2017-12-21 23:00

大数据学习教程分享

阅读更多前面给大家分享了很多学习资料，但是比较零散，直到12月份开始才有了上面链接里列出来的计划，截至目前已经分享了Java系列、人工智能系列、微信小程序完整教程，发现后台消息有人回复我分享过了的学习资料，所以今天说说，如有需要以上学习资料的同学，请看看我的个人主页菜单。大数据基础教程了解过大数据的同学都知道，在学大数据之前，Java是必备的，所以学大数据的基础就是先掌握好JavaEE的内容，分享
code小生·2017-12-21 23:00

大数据学习教程分享

阅读更多前面给大家分享了很多学习资料，但是比较零散，直到12月份开始才有了上面链接里列出来的计划，截至目前已经分享了Java系列、人工智能系列、微信小程序完整教程，发现后台消息有人回复我分享过了的学习资料，所以今天说说，如有需要以上学习资料的同学，请看看我的个人主页菜单。大数据基础教程了解过大数据的同学都知道，在学大数据之前，Java是必备的，所以学大数据的基础就是先掌握好JavaEE的内容，分享
code小生·2017-12-21 23:00

大数据学习之kafka集群安装手册

集群搭建192.168.200.7kafka01192.168.200.8kafka02192.168.200.9kafka03三台主机配置免密ssh-keygen-trsassh-copy-id-i~/.ssh/id_rsa.pub地址配置hosts-->分发到不同的主机上scp/etc/hostsroot@kafka03:/etc/hosts安装JDK安装zk1、修改配置文件名称mvzoo_s
大数据在说话·2017-12-20 18:48

大数据学习之kafka集群安装手册

集群搭建192.168.200.7kafka01192.168.200.8kafka02192.168.200.9kafka03三台主机配置免密ssh-keygen-trsassh-copy-id-i~/.ssh/id_rsa.pub地址配置hosts-->分发到不同的主机上scp/etc/hostsroot@kafka03:/etc/hosts安装JDK安装zk1、修改配置文件名称mvzoo_s
大数据在说话·2017-12-20 18:48

大数据学习系列之六 ----- Hadoop+Spark环境搭建

引言在上一篇中大数据学习系列之五-----Hive整合HBase图文详解：http://www.panchengming.com/2017/12/18/pancm62/中使用Hive整合HBase，并且测试成功了
虚无境·2017-12-19 19:00

大数据学习系列之六 ----- Hadoop+Spark环境搭建

引言在上一篇中大数据学习系列之五—–Hive整合HBase图文详解：http://www.panchengming.com/2017/12/18/pancm62/中使用Hive整合HBase，并且测试成功了
虚无境·2017-12-19 19:05

大数据学习系列之五 ----- Hive整合HBase图文详解

引言在上一篇大数据学习系列之四—–Hadoop+Hive环境搭建图文详解(单机)和之前的大数据学习系列之二—–HBase环境搭建(单机)中成功搭建了Hive和HBase的环境，并进行了相应的测试。
虚无境·2017-12-18 18:41

大数据学习系列之五 ----- Hive整合HBase图文详解

引言在上一篇大数据学习系列之四-----Hadoop+Hive环境搭建图文详解(单机)和之前的大数据学习系列之二-----HBase环境搭建(单机)中成功搭建了Hive和HBase的环境，并进行了相应的测试
虚无境·2017-12-18 18:00

大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)

引言在大数据学习系列之一-----Hadoop环境搭建(单机)成功的搭建了Hadoop的环境，在大数据学习系列之二-----HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用介绍。
虚无境·2017-12-16 09:00

大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)

引言在大数据学习系列之一—–Hadoop环境搭建(单机)成功的搭建了Hadoop的环境，在大数据学习系列之二—–HBase环境搭建
虚无境·2017-12-16 09:36

大数据学习系列之三 ----- HBase Java Api 图文详解

引言在上一篇中大数据学习系列之二-----HBase环境搭建(单机)中，成功搭建了Hadoop+HBase的环境，本文则主要讲述使用Java对HBase的一些操作。
虚无境·2017-12-14 18:00

大数据学习系列之三 ----- HBase Java Api 图文详解

引言在上一篇中大数据学习系列之二—–HBase环境搭建(单机)中，成功搭建了Hadoop+HBase的环境，本文则主要讲述使用Java对HBase的一些操作。
虚无境·2017-12-14 18:39

大数据学习笔记（十）-Hive中的Storage format

1.Storageformat行存储：SEQUENCEFILE、TEXTFILE列存储：ORC、PARQUET、AVRO行列混合存储：RCFILE、2.行存储VS列存储行式存储：①一行数据一定在一个block里②一行数据类型混杂，不容易获得很好的压缩比③不能支持快速查询列式存储：①一行数据不一定在一个block里②查询时能够避免读取不必要的列③每一列存储数据类型相同，可以针对列选择压缩方式，能够达
狂暴棕熊·2017-12-13 21:03

大数据学习笔记（九）-大数据中的压缩

1.常见压缩格式：gzip，bizp2，LZO，Snappy2.压缩技术使用原则：缩小体积则需要更多的CPU计算量，存储数据倾向于大压缩比的压缩技术，根据实际情况选择合适的压缩技术。3.压缩在大数据计算中的一个重要考量是压缩技术是否支持分割（split）bzip2支持，LZO创建索引后支持4.要让Hadoop支持压缩，需要对Hadoop源码进行编译查看是否支持压缩：hadoopchecknativ
狂暴棕熊·2017-12-13 14:09

大数据学习系列之二 ----- HBase环境搭建(单机)

引言在上一篇中搭建了Hadoop的单机环境，这一篇则搭建HBase的单机环境环境准备1，服务器选择阿里云服务器:入门型(按量付费)操作系统:linuxCentOS6.8Cpu：1核内存：1G硬盘:40G2，配置选择JDK:1.8（jdk-8u144-linux-x64.tar.gz）Hadoop:2.8.2(hadoop-2.8.2.tar.gz)HBase:1.6.2(hbase-1.2.6-b
虚无境·2017-12-10 15:00

大数据学习系列之一 ----- Hadoop环境搭建(单机)

一、环境选择1，服务器选择阿里云服务器:入门型(按量付费)操作系统:linuxCentOS6.8Cpu：1核内存：1G硬盘:40Gip:39.108.77.2502，配置选择JDK:1.8（jdk-8u144-linux-x64.tar.gz）Hadoop:2.8.2(hadoop-2.8.2.tar.gz)3，下载地址官网地址:JDK：http://www.oracle.com/technetw
虚无境·2017-12-10 15:00

大数据学习系列之二 ----- HBase环境搭建(单机)

引言在上一篇中搭建了Hadoop的单机环境，这一篇则搭建HBase的单机环境环境准备1，服务器选择阿里云服务器:入门型(按量付费)操作系统:linuxCentOS6.8Cpu：1核内存：1G硬盘:40G2，配置选择JDK:1.8（jdk-8u144-linux-x64.tar.gz）Hadoop:2.8.2(hadoop-2.8.2.tar.gz)HBase:1.6.2(hbase-1.2.6-b
虚无境·2017-12-09 16:01

大数据学习4——伪分布式hadoop的配置和启动

一、伪分布式Hadoop的配置Hadoop的配置文件位于/usr/local/hadoop/etc/hadoop/中，伪分布式需要修改2个配置文件core-site.xml和hdfs-site.xml。如果需要从伪分布式模式切换回非分布式模式，需要删除core-site.xml中的配置项。1.修改core-site.xml文件hadoop.tmp.dirfile:/usr/local/hadoop
csdn950212·2017-12-06 21:58

大数据学习(机器学习)初学者常犯的9个错误

原文：9MistakestoAvoidWhenStartingYourCareerinDataScience如果你想从事大数据行业（包含机器学习，下同），那么你一定要避免以下9个错误，否则你会走很多弯路，花费没有必要的时间。甚至因为遇到很多挫折而失去学习的热情和动力，所以以下9个错误，是新手开始学习大数据之前必须了解的。这些错误分布在3个阶段：*大数据技术学习阶段*应聘工作阶段*面试阶段大数据技术
悦凡-·2017-12-04 10:33

大数据学习34：grafana 安装 和 Nginx 、EL 联调

1、grafana安装wgethttps://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.6.2-1.x86_64.rpm为了使用yum方便，直接下载阿里的yum源[[email protected]]#wget-O/etc/yum.repos.d/CentOS-Base.repohttp://mirr
月魂_123123·2017-12-03 17:00

大数据学习32：Nginx 的 安装

Nginx的安装1.安装PCRE库[root@hadoop001~]#cd/usr/local/[root@hadoop001local]#tar-zxvfpcre-8.36.tar.gz[root@hadoop001local]#chown-Rroot.rootpcre-8.36[root@hadoop001local]#cdpcre-8.36[[email protected]]#
月魂_123123·2017-12-02 23:06

大数据学习2——大数据处理架构Hadoop概述

一、Hadoop简介（转自百度百科）Hadoop是Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适
csdn950212·2017-11-30 16:14

大数据学习1——大数据概述

一、三次信息化浪潮的标志第一次：PC第二次：互联网第三次：大数据、云计算、物联网二、大数据关键技术大数据特点：4V，数据量大（Volume）、数据类型多（Variety）、处理速度快（Velocity）、价值密度低（Value）。大数据的关键技术包括：数据采集、数据存储和管理、数据的分析和处理、数据的隐私和安全。其中，分布式存储和分布式处理是大数据技术的核心。大数据计算模式：批处理计算（大规模数据
csdn950212·2017-11-30 15:38

大数据学习第二章 hadoop集群的部署

本机情况：这里选择用三台centos6.5的虚拟机部署集群做测试使用，台数不限制，原理相同。1.配置三台独立的可上网的虚拟机做集群部署准备如果不会配置则参考我的上一篇文章看怎么部署的master和ip配置等操作http://blog.csdn.net/liujun122/article/details/786660621.1三台虚拟机的分工如下：主机（多内存，需要额外的内存消耗）masterip:
别信我在说谎·2017-11-29 15:42

大数据学习第一章 linux环境的安装配置

1.使用VMware12进行虚拟机安装，系统为centos6.564位，内存分配10G，安装过程不再赘述。2.安装完成后对网络环境的配置--2.1首先设置网络连接方式为NAT模式，在VM软件编辑里点击虚拟网络编辑，查看里面VMnet8的子网地址，如果没有或者即使有也可以移除了重新添加VMnet8的网络，改为NAT模式，记住这个子网ip（我这里是192.168.61.0）--2.2设置成功后重置一下
别信我在说谎·2017-11-29 15:18

大数据学习一： 需要理解的基础概念

什么是大数据一般指大到使用当前的软件，技术无法在特定的时间内实现数据的读取，存储，计算等相关操作对大数据的处理方式1采用分布式的思想解决办法来处理大数据2使用分布式的文件系统来解决大数据的快速，准确存储和读取的挑战3使用分布式的框架来解决大数据的分析hadoop1主要的组件（1）common：底层核心模块（2）HDFS：分布式文件系统，负责文件的分布式存储（3）YARN：资源分配和调度的平台，资源
凡人在世·2017-11-26 22:17

大数据学习系列之一 ----- Hadoop环境搭建(单机)

一、环境选择1，服务器选择阿里云服务器:入门型(按量付费)操作系统:linuxCentOS6.8Cpu：1核内存：1G硬盘:40Gip:39.108.77.2502，配置选择JDK:1.8（jdk-8u144-linux-x64.tar.gz）Hadoop:2.8.2(hadoop-2.8.2.tar.gz)3，下载地址官网地址:JDK：http://www.oracle.com/technetw
虚无境·2017-11-26 16:38

当我说要做大数据工程师时他们都笑我，直到三个月后……

前言：一、背景介绍二、大数据介绍正文：一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习规划四、持续学习资源推荐（书籍，博客，网站）五、项目案例分析（批处理+实时处理）前言一、背景介绍本人目前是一名大数据工程师
dufufd·2017-11-21 16:27

程序员必须要掌握WebView性能、体验分析与优化，开发才能做好

分享之前我还是要推荐下我自己创建的大数据学习资料分享群232840209，这是全国最大的大数据学习交流的地方，2000人聚集，不管你是小白还是大牛，小编我都挺欢迎，今天的源码已经上传到群文件，不定期分享干货
沙滩的流沙·2017-11-17 16:03

[学习路线及资源]-大数据篇

大数据学习路线1.Linux基础和分布式集群技术学完此阶段可掌握的核心能力：熟练使用linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；学完此阶段可解决的现实问题
AI李俊超·2017-11-14 15:16

一个非常好的大数据学习网站

http://www.apachecn.org/各种开源大数据文档的中文翻译，storm，spark，es等等。值得一看。
Eric-L90·2017-11-13 22:36

Java之大数据学习路线

阅读更多三个月大数据研发学习计划实战解析http://blog.csdn.net/GitChat/article/details/78341484第一阶段（基础阶段）1）Linux学习（跟鸟哥学就ok了）—–20小时Linux操作系统介绍与安装。Linux常用命令。Linux常用软件安装。Linux网络。防火墙。Shell编程等。官网：https://www.centos.org/download
Lixh1986·2017-11-03 10:00

大数据学习路线

大数据学习路线1435最近有很多人问我如何学习大数据？我也是思考了很多时日才动笔写下此文。
AngelicaA·2017-10-30 22:30

大数据学习26：关于HBase zookeeper 启动过程的一次剖析：

关于hbasezookeeper启动过程的一次剖析：在做完一些配置后[root@hadoop002conf]#vihbase-site.xmlhbase.rootdirhdfs://hadoop002:8020/hbasehbase.zookeeper.property.dataDir/home/hbase/zookeeperhbase.cluster.distributedtrue启动hbase
月魂_123123·2017-10-29 14:33

当我说要做大数据工程师时他们都笑我，直到三个月后……

前言：一、背景介绍二、大数据介绍正文：一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习
GitChat技术杂谈·2017-10-25 14:16

大数据学习25：Hive 中 distribute by 的测试

目标：测试distributeby的作用，希望针对user列，将不同的用户分配在不同的reduce中，方便后期计算。======================测试1：reduce4个，按length(user)分配测试2：reduce4个，按substr(user,0,2)分配测试3：reduce4个，按user分配测试4：reduce5个，按user分配测试5：reduce5个，按length
月魂_123123·2017-10-25 10:32

当我说要做大数据工程师时他们都笑我，直到三个月后……

前言：一、背景介绍二、大数据介绍正文：一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习
GitChat技术杂谈·2017-10-25 00:00

大数据学习24：hive_sql_累计求和小案例

环境：hive需求：输入数据，每天用户的流量分隔符\tuserdateaccesspanda2017-1-015tgifshow2017-1-013tyy2017-1-012tlaifeng2017-1-012tpanda2017-1-025tgifshow2017-1-023tyy2017-1-022tlaifeng2017-1-022tpanda2017-2-014tgifshow2017-2
月魂_123123·2017-10-23 11:24

大数据学习21：sqoop 语法和常用命令和小案例

1.1.0sqoop语法和常用命令2.1.0sqoop典型用法3.1.0sqoop的一个小案例4.1.0sqoop的分区表导入导出=======================================1.1.0sqoop语法和常用命令hive导入参数--hive-home重写$HIVE_HOME--hive-import插入数据到hive当中，使用hive的默认分隔符--hive-over
月魂_123123·2017-10-11 17:58

大数据学习18：Hive在mysql的元数据表的关系和含义

在大数据中，很多情况下是将hive的元数据存放在mysql数据库中，通过hive配置的连接字符串：javax.jdo.option.ConnectionURLjdbc:mysql://localhost:3306/hive3?createDatabaseIfNotExist=true能确认连接的mysql的哪个库。现在分析下常用元数据中表有什么关联关系1、hive版本的元数据表(version)字
月魂_123123·2017-10-05 19:33

大数据学习[11]:JAVA连接elasticsearch5.6.1操作|问题|分析

摘要：通过JAVAAPI操作elasticsearch5.6.1的连接及连接过程中所遇到的问题，问题分析，问题解决。作为一个ES的JAVA操作的新生参考与记录。0.官方文档JAVA操作ES的文档：https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/index.html如果安装了xpack一定要查看这个：http
happyprince·2017-09-29 17:14

大数据领域三个大的技术方向资料

大数据领域三个大的技术方向：1、Hadoop大数据开发方向2、数据挖掘、数据分析&机器学习方向3、大数据运维&云计算方向大数据学习什么Python：Python的排名从去年开始就借助人工智能持续上升，现在它已经成为了语言排行第一名
ejinxian·2017-09-27 09:12

资源 | AI、神经网络、机器学习、深度学习以及大数据学习备忘单

向AI转型的程序员都关注了这个号☝☝☝以下是关于神经网络、机器学习、深度学习以及大数据学习的备忘单，其中部分内容和此前发布的《资源|值得收藏的27个机器学习的小抄》有所重复，大家可以两篇综合起来看。
AI科技大本营·2017-09-27 00:00

大数据学习，涉及的知识点

大数据技术都包括哪些，如何学习大数据技术。首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。Java：只要了解一些基础即可，做大数据不需要很深的Java技术，即使不懂Java也可以学习大数据。Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解ha
宇珄·2017-09-25 19:19

大数据学习15：报错 FAILED: SemanticException Unable to determine if

大数据学习15：报错FAILED:SemanticExceptionUnabletodetermineif报错：由于修改了hdfs的端口，导致报错，这里是因为使用UDF自定义函数，hive要将hfds上的
月魂_123123·2017-09-22 23:43

Flume读取日志数据并写入到Kafka，ConsoleConsumer进行实时消费

最近大数据学习使用了Flume、Kafka等，今天就实现一下Flume实时读取日志数据并写入到Kafka中，同时，让Kafka的ConsoleConsumer对日志数据进行消费。
buildupchao·2017-09-14 00:45
上一页 39 40 41 42 43 44 45 46 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他