ML&DL-大数据学习

[大数据学习研究]2.利用VirtualBox模拟Linux集群

1.在主机Macbook上设置HOST前文书已经把虚拟机的静态IP地址设置好，以后可以通过ip地址登录了。不过为了方便，还是设置一下，首先在Mac下修改hosts文件，这样在ssh时就不用输入ip地址了。sudovim/etc/hosts或者sudovim/private/etc/hosts这两个文件其实是一个，是通过link做的链接。注意要加上sudo,以管理员运行,否则不能存盘。###Host
峻祁连·2019-09-16 10:00

[大数据学习研究]1.在Mac上利用VirtualBox搭建本地虚拟机环境

1.大数据和Hadoop研究学习大数据，自然要从Hadoop开始。Hadoop不是一个简单的软件，而是有一些列软件形成的生态，其核心思想来自Google当初发布的三篇论文，后来做了开源的实现，谷歌的实现和Hadoop的实现大致可以做这样的对应：GoogleMap/ReduceHadoopMapReduceGoogleGFSHadoopHDFSGoogleBigTableHadoopHBaseHad
峻祁连·2019-09-15 19:00

剑谱总纲 | 大数据方向学习面试知识图谱

file大纲本系列主题是大数据开发面试指南，旨在为大家提供一个大数据学习的基本路线
大数据技术与架构·2019-09-15 14:26

Spark大数据学习（1）--Spark连接HIVE进行SQL查询

1.Spark可以连接Hive进行SQL查询，目前我了解的有如下两种（1）构建SparkContext,创建HiveContext对象，连接hive进行查询（2）直接采用SparkSession方式，enableHive2.使用第二种方式，直接使用SparkSession.sql()方法进行sql查询，返回一个DataFrame对象。3.maven的使用：（1）mavencompile(2)mav
gezigezao·2019-09-13 21:57

剑谱总纲 | 大数据方向学习面试知识图谱

大纲本系列主题是大数据开发面试指南，旨在为大家提供一个大数据学习的基本路线，完善数
王知无·2019-09-13 16:00

好程序员大数据学习路线分享Scala系列之集合操作函数

好程序员大数据学习路线继续为大家分享Scala系列之集合操作函数4.6集合的重要函数4.6.1sum/max/min/count在序列中查找最大或最小值是一个极常见的需求，如下：valnumbers=Seq
wx5d42865f47214·2019-09-10 16:47

适合低学历的大数据学习方法：大数据采集，大数据分析，大数据存储就该这样学！

大数据采集01—概览02—相关延展系统日志数据的采集Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它够从各种日志源上收集日志，存储到一个中央存储系统上，以便于进行集中的统计分析处理。Scribe为日志的“分布式收集，统一处理”提供了一个可扩展的、高容错的方案。（老师收学生信息表，需要班长代理收集的例子）。Chukwa提供了一个对大数据量日志类数据采集、
wwdede·2019-09-09 21:01

免费的大数据学习资料及学习路线、这一份就足够了

一份专业的大数据学习资料才是学习大数据的利刃。
a大数据·2019-09-06 15:46

免费的大数据学习资料及学习路线、这一份就足够了

一份专业的大数据学习资料才是学习大数据的利刃。
大数据学习中·2019-09-06 15:54

好程序员大数据学习路线分享Scala系列之映射Map

好程序员大数据学习路线分享Scala系列之映射Map首先我们先来看一下什么是映射（map）在Scala中，把哈希表这种数据结构叫做映射。
wx5d42865f47214·2019-09-04 14:59

好程序员大数据学习路线分享Scala系列之映射Map

原文链接：https://my.oschina.net/u/4177969/blog/3101812好程序员大数据学习路线分享Scala系列之映射Map首先我们先来看一下什么是映射（map）在Scala
chuochengjiao5054·2019-09-04 14:00

好程序员大数据学习路线分享Scala分支和循环

好程序员大数据学习路线分享Scala分支和循环3.3.条件表达式表达式：一个具有执行结果的代码块。
wx5d42865f47214·2019-09-02 17:28

大数据学习笔记——基于 Linux CentOS 7 的 Hadoop 3.1.2 环境搭建（五）

集群(全分布)模式配置和部署安装的总体思路:icss在master完成配置,并将相关的配置文件复制到其他集群中的机器上00.概述：0.所有的操作都是icss用户，切换icss用户命令：su-icss1.每个节点Hadoop配置基本相同在HadoopMaster节点操作，然后复制到其他节点上。2.Hadoop3需要配置的文件有:hadoop-env.sh、yarn-env.sh、core-site.
孤儿院-院长·2019-09-02 08:22

大数据学习笔记——基于 Linux CentOS 7 的 Hadoop 3.1.2 环境搭建（四）

伪分布式模式配置和部署所有操作用户均为:icss所有操作均在master上执行，只启动master即可。下载,上传,解压,配置,运行,验证.0.验证环境准备sshlocalhost下载\上传\解压移动mv~/software/hadoop-3.1.2.tar.gz~/解压tar-xzvf~/hadoop-3.1.2.tar.gz目录改名mv~/hadoop-3.1.2~/hadoop3配置&运行伪
孤儿院-院长·2019-09-02 08:50

没有编程基础，大数据学习步骤是怎么样的？

很多初学者在萌生向大数据方向发展的想法之后，不免产生一些疑问，应该怎样入门？应该学习哪些技术？学习路线又是什么？所有萌生入行的想法与想要学习Java的同学的初衷是一样的。岗位非常火，就业薪资比较高,，前景非常可观。基本都是这个原因而向往大数据，但是对大数据却不甚了解。如果你想学习，那么首先你需要学会编程，其次你需要掌握数学，统计学的知识，最后融合应用，就可以想在数据方向发展，笼统来说，就是这样的。
wwdede·2019-08-30 21:38

好程序员大数据学习路线分享Scala系列之基础篇

好程序员大数据学习路线分享Scala系列之基础篇了解Scala1.1什么是ScalaScala是ScalableLanguage的简写，是一门多范式的编程语言。
wx5d42865f47214·2019-08-30 16:34

好程序员大数据学习路线分享Scala系列之基础篇

好程序员大数据学习路线分享Scala系列之基础篇先了解Scala1.1什么是ScalaScala是ScalableLanguage的简写，是一门多范式的编程语言。
好程序员IT·2019-08-30 16:35

好程序员大数据学习路线分享MapReduce全流程总结

好程序员大数据学习路线分享MapReduce全流程总结，首先，MapReduce是什么？干什么用的？
wx5d42865f47214·2019-08-29 15:55

好程序员大数据学习路线分享HDFS读流程

1.客户端或者用户通过调用FileSystem对象的Open()方法打开需要读取的文件，这时就是HDSF分布式系统所获取的一个对象2.FileSystem通过远程协议调用NameNode确定文件的前几个Block的位置，对于每一个block,NameNode返回一个含有Block的元数据信息，接下来DataNode按照上面定义的距离(offSet偏移量)进行排序,如果Client本身即是一个Dat
wx5d42865f47214·2019-08-28 16:18

好程序员大数据学习路线分享Hadoop阶段的高可用配置

大数据学习路线分享Hadoop阶段的高可用配置，什么是Hadoop的HA机制Ha机制即Hadoop的高可用（7*24小时不中断服务）正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制hadoop-ha
wx5d42865f47214·2019-08-28 15:15

好程序员大数据学习路线之zookeeper干货

好程序员大数据学习路线之zookeeper干货，上周学习了zookeeper，一开始感觉不容易理解，后来随着学习的深入，渐渐地明白了很多知识，下面慢慢来介绍zookeeper。
wx5d42865f47214·2019-08-28 15:05

好程序员大数据学习路线之zookeeper干货

原文链接：https://my.oschina.net/u/4177969/blog/3098810好程序员大数据学习路线之zookeeper干货，上周学习了zookeeper，一开始感觉不容易理解，后来随着学习的深入
chuochengjiao5054·2019-08-28 15:00

好程序员大数据学习路线分享MapReduce全过程解析

好程序员大数据学习路线分享MapReduce全过程解析，移动数据与移动计算在学习大数据的时候接触了移动数据和移动计算这两种联系紧密而又有很大不同的概念，其中移动计算也叫做本地计算。
wx5d42865f47214·2019-08-27 16:57

好程序员大数据学习路线分享MapReduce全过程解析

原文链接：https://my.oschina.net/u/4177969/blog/3098333好程序员大数据学习路线分享MapReduce全过程解析，移动数据与移动计算在学习大数据的时候接触了移动数据和移动计算这两种联系紧密而又有很大不同的概念
chuochengjiao5054·2019-08-27 16:00

好程序员大数据学习路线分享AWK详解

好程序员大数据学习路线分享AWK怎详解，awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。
wx5d42865f47214·2019-08-27 16:31

好程序员大数据学习路线分享hadoop常用四大模块文件

1.1.1core-site.xml(工具模块)包括Hadoop常用的工具类，由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提供了所需的API。1.1.2hdfs-site.xml(数据存储模块)分布
wx5d42865f47214·2019-08-27 15:19

好程序员大数据学习路线Hadoop学习干货分享

好程序员大数据学习路线Hadoop学习干货分享，ApacheHadoop为可靠的，可扩展的分布式计算开发开源软件。
wx5d42865f47214·2019-08-27 15:12

基于大数据学习在Linux上环境的搭建（持续更新中）

1.准备阶段虚拟机、CRT/Xshell（终端模拟软件）、WinSCP（两个不同系统之间传输文件）2.基础环境搭建创建新的虚拟机自定义安装程序光盘映像文件（iso）（需要网上下载）一直下一步，等待选英文，日期shanghai，系统的网络与主机名，点开查看配置环境需要的信息，在关闭，开始安装安装完成后，重启，输入账号密码Linux配置网卡命令：vi/etc/sysconfig/network-scr
crazy_monsters·2019-08-26 20:00

基于大数据学习在Linux上环境的搭建（持续更新中）

1.准备阶段虚拟机、CRT/Xshell（终端模拟软件）、WinSCP（两个不同系统之间传输文件）2.基础环境搭建创建新的虚拟机自定义安装程序光盘映像文件（iso）（需要网上下载）一直下一步，等待选英文，日期shanghai，系统的网络与主机名，点开查看配置环境需要的信息，在关闭，开始安装安装完成后，重启，输入账号密码Linux配置网卡命令：vi/etc/sysconfig/network-scr
crazy_monsters·2019-08-26 20:00

大数据学习笔记 - hadoop day06 - Yarn & Zookeeper 基本概念 选举机制

大数据学习笔记-hadoopday06-Yarn&Zookeeper基本概念选举机制
Logan_Yang·2019-08-23 13:38

这份总结的大数据学习路线希望你用得着

1、为什么要学习大数据？1.1，门槛它比Java高一点，因为除了对数据库的操作之外，要学习大数据生态的东西，需要会分布式、数仓、中间件等知识。它比机器学习低一些，不需要你会很多的机器学习算法和数学知识，而像机器学习算法和数学知识是需要长时间的磨练和沉淀，所以做这块的研究生和博士居多。无论是哪个学校的计算机专业，Java、数据、C、C++什么的都会接触到，但是大数据呢？第一批大数据专业的学生现在大二
安靜@忧伤·2019-08-22 17:33

好程序员大数据学习路线分享分布式文件系统HDFS

好程序员大数据学习路线分享分布式文件系统HDFS，设计目标：1、存储量大2、自动快速检测应对硬件错误3、流式访问数据4、移动计算比移动数据本身更划算5、简单一致性模型6、异构平台可移植特点优点：高可靠性
cique2620·2019-08-22 16:02

好程序员大数据学习路线分享分布式文件系统HDFS

好程序员大数据学习路线分享分布式文件系统HDFS，设计目标：1、存储量大2、自动快速检测应对硬件错误3、流式访问数据4、移动计算比移动数据本身更划算5、简单一致性模型6、异构平台可移植特点优点：高可靠性
wx5d42865f47214·2019-08-22 16:59

好程序员大数据学习路线分享HDFS学习总结

好程序员大数据学习路线分享HDFS学习总结，HDFS介绍HDFS(HadoopDistributedFileSystem)是分布式文件系统,是Hadoop项目的核心子项目.设计思想:将大文件、大批量文件
wx5d42865f47214·2019-08-20 16:18

好程序员大数据学习路线分享hive分区和分桶

好程序员大数据学习路线分享hive分区和分桶，hive分区1.为什么要分区？？当单个表数据量越来越大的时候，hive查询通常会全表扫描，这将会浪费我们不关心数据的扫描，浪费大量时间。
wx5d42865f47214·2019-08-20 15:20

好程序员大数据学习路线分享Actor学习笔记

好程序员大数据学习路线分享Actor学习笔记，在scala中她能实现很强大的功能,他是基于并发机制的一个事件模型我们现在学的scala2.10.x版本就是之前的Actor同步:在主程序上排队执行的任务,
wx5d42865f47214·2019-08-19 15:23

大数据学习笔记之Spark（八）：Spark机器学习解析

文章目录第1章机器学习概述第2章机器学习的相关概念2.1数据集2.2泛化能力2.3过拟合和欠拟合2.4维度、特征2.5模型2.6学习第3章算法常用指标3.1精确率和召回率3.2TPR、FPR&TNR3.3综合评价指标F-measure3.4ROC曲线、AUC3.4.1为什么引入ROC曲线？3.4.2什么是ROC曲线？3.4.3什么是AUC？3.4.4怎样计算AUC？4.1梯度下降4.2牛顿法4.3
Leesin Dong·2019-08-19 13:16

好程序员大数据学习路线分享spark之Scala

好程序员大数据学习路线分享spark之Scala，基本语法：变量变量的定义：不可变：vala=2或者vala:Int=2(指定了数据类型)lazyvala:Int=2可变：vara=2或者vara:Int
wx5d42865f47214·2019-08-16 16:24

大数据学习之旅2——从零开始搭hadoop完全分布式集群

前言本文从零开始搭hadoop完全分布式集群，大概花费了一天的时间边搭边写博客，一步一步完成完成集群配置，相信大家按照本文一步一步来完全可以搭建成功。需要注意的是本文限于篇幅和时间的限制，也是为了突出重点，一些很基础的操作就不再详细介绍，如果是完全不懂linux，建议先看一下Linux的基础教程，再进行hadoop配置。同时建议，hadoop安装版本不宜很高。第一次写这么长的博客，希望对大家有所帮
萌新瑟瑟发抖·2019-08-15 13:00

大数据学习笔记之Spark（三）：SparkSQL应用解析

文章目录第1章SparkSQL概述1.1什么是SparkSQL1.2RDDvsDataFramesvsDataSet1.2.1RDD1.2.2Dataframe1.2.3Dataset1.2.4三者的共性1.2.5三者的区别第2章执行SparkSQL查询小试牛刀2.1命令行查询流程2.2IDEA创建SparkSQL程序第3章SparkSQL解析3.1新的起始点SparkSession3.2创建Da
Leesin Dong·2019-08-15 08:46

好程序员大数据学习路线分享SparkSQl

好程序员大数据学习路线分享SparkSQl，SparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。
好程序员IT·2019-08-14 17:51

好程序员大数据学习路线之Logstach与flume对比

原文链接：https://my.oschina.net/u/4177969/blog/3089710好程序员大数据学习路线之Logstach与flume对比，没有集群的概念,logstach与flume
chuochengjiao5054·2019-08-13 16:00

大数据学习笔记之Spark（一）：Spark基础解析

文章目录第1章Spark概述spark的产生背景1.1什么是Spark1.2Spark特点1.3Spark的用户和用途第2章Spark集群安装2.1集群角色2.2机器准备2.3下载Spark安装包2.4配置Spark2.5配置JobHistoryServer2.6配置SparkHA第3章执行Spark程序3.1执行第一个spark程序3.2Spark应用提交3.3启动SparkShell3.3.1
Leesin Dong·2019-08-13 08:06

好程序员大数据学习路线分享ELK技术

好程序员大数据学习路线分享ELK技术，bin存放elasticSearch运行命令config存放配置文件lib存放elasticSearch运行依赖jar包modules存放elasticSearch
wx5d42865f47214·2019-08-12 17:54

好程序员大数据学习路线分享ELK技术

好程序员大数据学习路线分享ELK技术，bin存放elasticSearch运行命令config存放配置文件lib存放elasticSearch运行依赖jar包modules存放elasticSearch
wx5d42865f47214·2019-08-12 17:37

大数据平台最常用的30款开源工具

本文整理出了大数据平台常见的一些开源工具，并且依据其主要功能进行分类，以便大数据学习者及应用
GE12·2019-08-12 17:28

好程序员大数据学习路线hive内部函数

好程序员大数据学习路线hive内部函数，持续为大家更新了大数据学习路线，希望对正在学习大数据的小伙伴有所帮助。
wx5d42865f47214·2019-08-12 16:56

好程序员大数据学习路线分享hive的运行方式

好程序员大数据学习路线分享hive的运行方式，hive的属性设置：1、在cli端设置(只针对当前的session)3、在java代码中设置(当前连接)2、在配置文件中设置(所有session有效)设置属性的优先级依次降低
wx5d42865f47214·2019-08-07 16:48

大数据课程适合那些基础的人学习呢？适合学习大数据课程的四类人

大数据到底适合哪类人学习，大数据学习究竟如何，下面和加米谷学院一起来了解。大数据课程适合哪些人学习呢？1、即将或现已毕业的计算机专业学生现在许多大学毕业生毕业求职时空有一纸文凭
加米谷谷·2019-08-05 16:44

好程序员大数据学习路线之hive表的查询

原文链接：https://my.oschina.net/u/4177969/blog/30836991.join查询1、永远是小结果集驱动大结果集(小表驱动大表，小表放在左表)。2、尽量不要使用join，但是join是难以避免的。leftjoin、leftouterjoin、leftsemijoin(左半开连接，只显示左表信息)hive在0.8版本以后开始支持leftjoinleftjoin和le
chuochengjiao5054·2019-08-05 16:00
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他