ML&DL-大数据学习

好程序员大数据学习路线之hive表的查询

好程序员大数据学习路线之hive表的查询1.join查询1、永远是小结果集驱动大结果集(小表驱动大表，小表放在左表)。2、尽量不要使用join，但是join是难以避免的。
wx5d42865f47214·2019-08-05 16:41

后台程序员如何进阶大数据学习？

一、大数据处理流程上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解：1.1数据收集大数据处理的第一步是数据的收集。现在的中大型项目通常采用微服务架构进行分布式部署，所以数据的采集需要在多台服务器上进行，且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种日志收集工具，如Flume、Log
黑白影·2019-08-02 11:00

大数据学习笔记之MyBatis（三）：MyBatis

文章目录一、缓存机制二、逆向工程三、分页插件四、SSM整合步骤:一、缓存机制1.一级缓存一级缓存（本地缓存）SqlSession级别的缓存,本质上就是SqlSession级别的一个map。每一个SqlSession对象都自己的一级缓存.互不共享.一级缓存是默认开启的工作机制:与数据库的一次会话期间（通过一个SqlSession,查询到的数据会放在一级缓存中.以后如果需要获取相同的数据,直接从缓存中
Leesin Dong·2019-08-01 08:08

大数据学习笔记之MyBatis（二）：MyBatis

文章目录一、select查询返回List/Map二、resultMap自定义映射三、动态sql四、内置参数五、抽取可重用的sql一、select查询返回List/Map1.查询多条数据返回List如果使用的是自动映射，resultType指定的是集合中元素的类型。或者说理解为想让Mybatis将一条数据封装成哪种类型的java对象。就指定哪种类型2.查询返回Mapa.查询一条数据返回Map,MyB
Leesin Dong·2019-08-01 08:48

大数据学习笔记之MyBatis（一）：MyBatis

文章目录一、MyBatis的HelloWorld二、全局配置文件三、sql映射文件一、MyBatis的HelloWorld使用底层的selectOne()方法/***helloWorld的小结:**1.导入Mybatis的jar包*2.创建一个全局配置文件mybatis-config.xml,根据全局配置文件，创建了一个SqlSessionFactory对象.*3.创建一个sql映射文件,Empl
Leesin Dong·2019-08-01 08:09

大数据学习笔记之Spring（二）：Spring

文章目录一、基于注解的方式配置bean/bean的装配二、AOP三、SpringJdbc一、基于注解的方式配置bean/bean的装配1.常用的注解@Component:标识为一个组件@Repository:标识为一个持久层的组件@Service:标识为一个业务层的组件@Controller:标识为一个表现层的组件@AutoWired:自动装配@Qualifier:具体的指定要装配的bean的id
Leesin Dong·2019-08-01 08:17

大数据学习路线2019版（附全套视频教程及网盘下载）

大数据学习路线2019版学习资源整理合集——（附全套视频教程及网盘下载）！！！！什么是大数据？
千锋教育官方博客·2019-07-31 16:15

大数据学习路线2019版（附全套视频教程及网盘下载）

什么是大数据？大数据（BIGDATA）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点：VOLUME（大量）、VELOCITY（高速）、VARIETY（多样）、VALUE（低价值密度）、VERACITY（真实性）。为什么要学习大数据？目前，全球数据呈现爆发增长、海
千锋程序员日记·2019-07-31 16:00

大数据学习笔记【一】：Hadoop-3.1.2完全分布式环境搭建（Windows 10）

一、前言Hadoop原理架构本人就不在此赘述了，可以自行百度，本文仅介绍Hadoop-3.1.2完全分布式环境搭建（本人使用三个虚拟机搭建）。首先，步骤：①准备安装包和工具：hadoop-3.1.2.tar.gzjdk-8u221-linux-x64.tar.gz（Linux环境下的JDK）CertOS-7-x86_64-DVD-1810.iso（CentOS镜像）工具：WinSCP（用于上传文件
weixin_30267785·2019-07-30 15:00

在大数据学习中Hadoop和Spark哪个更好就业？大数据就业前景展望

一提到大数据，人们就会想到Hadoop，然而，最近又有个Spark似乎成了后起之秀，也变得很火，似乎比Hadoop更具优势，更有前景，那么，想要学习大数据的学员就要问了，在大数据学习中Hadoop和Spark
web前端开发交流·2019-07-30 14:42

大数据学习笔记之项目（三）：离线项目拓展youtube

文章目录一、需求描述二、知识储备梳理2.1、orderby，sortby，distributeby，clusterby背景表结构2.1.1、orderby2.1.2、sortby2.1.3、distributeby2.1.4、clusterby2.2、行转列、列转行（UDAF与UDTF）2.2.1、行转列2.2.2、列转行在这里插入图片描述2.3、数组操作2.4、orc存储2.5、Hive分桶2.
Leesin Dong·2019-07-30 08:48

大数据学习笔记之项目（一）：离线平台项目测试

1、将项目软件工具包导入2、项目思路：2.1、读取HDFS数据进行ETL清洗操作，并将最终结果写入到HBase中2.2、从HBase中读取数据，进行新增用户统计分析操作，并将结果写入到Mysql3、细节实现数据清洗：如果把数据清洗全部都写到Maper的map方法里，那这个map方法太冗余了，所以把比较公共的清洗放在LoggerUtil里面3.1、LoggerUtil.java3.1.1、主要作用：
Leesin Dong·2019-07-28 23:50

大数据学习笔记之azkaban（一）：azkaban

文章目录一概述1.1为什么需要工作流调度系统1.2常见工作流调度系统1.3各种调度工具特性对比1.4Azkaban与Oozie对比二Azkaban介绍三Azkaban安装部署3.1安装前准备3.2安装azkaban3.2创建SSL配置3.3时间同步配置3.4配置文件3.4.1Web服务器配置3.4.2执行服务器配置3.4启动web服务器3.5启动执行服务器四Azkaban实战4.1Command类
Leesin Dong·2019-07-28 23:22

大数据平台最常用的30款开源工具

本文整理出了大数据平台常见的一些开源工具，并且依据其主要功能进行分类，以便大数据学习者及应用
a大数据·2019-07-25 11:22

大数据平台最常用的30款开源工具

本文整理出了大数据平台常见的一些开源工具，并且依据其主要功能进行分类，以便大数据学习者及应用
一起学习大数据·2019-07-25 11:47

大数据学习之 Linux安装Mysql

一环境搭建//本地上传mysql安装包到虚拟机中//解压安装包到/usr/local/目录下，并构建软连接tar-xzvfmysql-5.6.23-linux-glibc2.5-x86.tar.gz-C/usr/local///构建软链接ln-smysql-5.6.23-linux-glibc2.5-x86_64mysql创建用户和用户组//指定组的gid为101gruopadd-g101dba/
「已注销」·2019-07-24 04:36

学习大数据需要具备四种条件？你具备几种？

1、学习大数据首先要学习Java根底怎样进行大数据学习的快速入门？学大数据课程之前要先学习一种核算机编程言语。Java是大数据学
a大数据·2019-07-22 16:33

大数据学习零基础能够学会不？

零基础学习大数据课程能学懂嘛？零基础学习大数据课程现实吗？这是不少从未接触过编程，想要进入IT行业相关人员必问的问题，今天加米谷大数据就来和大家分析下。零基础大数据培训班课程大纲内容学什么？零基础大数据培训课程分为十个阶段主要的学习内容：Java基础、JavaWeb、主流框架、流行框架、大数据基础增强、大数据Hadoop离线分布式系统、大数据Storm实时计算系统、大数据Spark内存计算系统、大
加米谷谷·2019-07-22 15:06

大数据学习之旅1——HDFS版本演化

最近开始学习大数据，发现大数据有很多很多组件，我现在负责的是HDFS（Hadoop分布式储存系统）的学习，整理了一下HDFS的版本情况。因为HDFS是Hadoop的重要组成部分，所以有关HDFS的版本信息我也是通过查看Hadoop官网的每一个版本的Hadoop中HDFS的变化情况得到的，我尽可能的翻看了所有的信息，但是也可能有所疏漏，大家如果发现有不恰当的地方，可以在评论区留言，我有空的时候会做出
萌新瑟瑟发抖·2019-07-22 11:00

大数据学习之Linux day1

大数据学习之Linuxday1Linux基本语法Linux基本语法//返回root命令cdcd~//返回上一级cd..
「已注销」·2019-07-21 17:06

大数据学习——win环境下hadoop安装教程

程序开发往往在win环境下完成，对于需要linux环境的技术栈学习往往借助于虚拟机。但是在学习和测试hadoop生态技术组件时，这东西是真的很吃内存，本地安装的虚拟机很难提供足够的资源让hadoop平稳运行。以下记录在windows下安装hadoop的过程。hadoop在windows下运行需要对bin和etc路径下的可执行文件和配置文件进行调整，来兼容win运行环境。下载一个合适的兼容win的h
祁峰sunny·2019-07-19 14:11

0基础大数据学习路线及各阶段学习书籍推荐

要学习大数据，你至少应该知道大数据是什么，大数据将被用在什么领域。通过对大数据的一般理解，你可以了解你是否对大数据感兴趣。![```在这里插入代码片01大数据的零基础学习有以下步骤：1、理解大数据理论2、计算机程序设计语言学习3、主要数据相关课程4、实战项目02阶段学习推荐书籍：阶段一、0基础学习打基础：java语言、Linuxjava可以说是大数据最基础的编程语言，我接触的很大一部分的大数据开发
大数据学习中·2019-07-17 12:34

Java Spark 简单示例（七） RDD分区 分区划分器

大数据学习交流微信群更多RDD的信息参考：https://www.cnblogs.com/qingyunzong/p/8899715.html分区在Spark程序中，RDD是由SparkContext上下文生成的
憨人Zoe·2019-07-12 18:48

大数据学习方法，学习大数据需要的基础和路线

大数据基础学习大数据基础入门为什么要学习大数据1、目的：要份很好工作（钱）2、对比：Java开发和大数据开发什么是大数据？举例：1、商品推荐：问题：（1）大量的订单如何存储？（2）大量的订单如何计算？2、天气预报：问题：（1）大量的天气数据如何存储？（2）大量的天气数据如何计算？如果你想要学好大数据最好加入一个好的学习环境，可以来这个Q群251956502这样大家学习的话就比较方便，还能够共同交流
大数据学习中·2019-07-11 12:50

【基础篇】大数据学习笔记（2）大数据发展历史

最初大数据由Google在搜索引擎中大规模使用，那时候大数据是曲高和寡，处于论文研究阶段，没几个公司用的了，Google是大数据鼻祖，因为它几乎存储着世界上全部可访问的网页。这个数据实在是太大太大了，可能需要数以万计的超大磁盘才能存储。为了将这些文件存储起来，Goole开发了GFS(Goole文件系统)，将数以千万计的磁盘统一管理起来，当作是一个文件系统，统一存储这些文件。存储起来后，Google
风也醉·2019-07-10 15:45

大数据学习路线图 让你精准掌握大数据技术学习

大数据指不用随机分析法这样捷径，而采用所有数据进行分析处理的方法。互联网时代每个企业每天都要产生庞大的数据，对数据进行储存，对有效的数据进行挖掘分析并应用需要依赖于大数据开发，大数据开发课程采用真实商业数据源并融合云计算+机器学习，让学员有实力入职一线互联网企业。今天小编的技术分享详细学习大数据的精准路线图，学好大数据就还得靠专业的工具。阶段一、Java语言基础Java开发介绍、熟悉Eclipse
大数据学习中·2019-07-08 11:41

大数据学习---scala语言的元组表示

scala语言的元组表示定义元组并对其进行赋值：valt=(“scala”,100L,3.14,(“spark”,1))//第一种方法vals,(a,b,c,d)=(“scala”,100L,3.14,(“spark”,1))//第二种方法元组的连接使用zip方法valarr2=Array(“ting”,“yue”,“hang”)valarr3=Array(24,23,27)arr2ziparr3
多年生草本植物·2019-07-05 10:50

大数据学习路线

一、大数据处理流程上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解：1.1数据收集大数据处理的第一步是数据的收集。现在的中大型项目通常采用微服务架构进行分布式部署，所以数据的采集需要在多台服务器上进行，且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种日志收集工具，如Flume、Log
hei bai ying·2019-07-05 07:08

大数据学习--scala语言的数组表示

scala语言的数组表示1.数组的表示方法valarr=newArray[Int](8)//调用普通类valarr2=Array("java","scala","python")//（没有使用new）调用静态类println(arr(2))//数组下标采用小括号valarr3=ArrayBuffer[Int]()//设置一个动态的数组2.对数组进行赋值arr3+=1//直接添加元素arr3+=(2
多年生草本植物·2019-07-04 21:24

大数据学习路线

一、大数据处理流程上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解：1.1数据收集大数据处理的第一步是数据的收集。现在的中大型项目通常采用微服务架构进行分布式部署，所以数据的采集需要在多台服务器上进行，且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种日志收集工具，如Flume、Log
黑白影·2019-07-04 00:00

零基础如何快速学好大数据？

一、在开始学习大数据前应该掌握哪些基础知识怎样进行大数据学习的快速入门？需要什么基础1、Java语言基础学大数据课程之前要先学习一种计算机编程语言。Java是大数据学习必要的编程语言基础。因为
白金大数据·2019-07-02 23:17

4个步骤带你搞定大数据，Linux到大数据学习路线资料（绝对必看）

Linux学习路线图运维学习需要分为四个阶段：①linux初级入门②linux中级进阶③linux高级提升④资深方向细化。第一阶段：初级入门Linux基础知识、基本命令（起源、组成、常用命令如cp、ls、file、mkdir等常见操作命令）Linux用户及权限基础Linux系统进程管理进阶Linux高效文本、文件处理命令（vim、grep、sed、awk、find等命令）第二阶段：中级进阶（基础运
a大数据·2019-07-02 12:12

4个步骤带你搞定大数据，Linux到大数据学习路线资料（绝对必看）

Linux学习路线图运维学习需要分为四个阶段：①linux初级入门②linux中级进阶③linux高级提升④资深方向细化。第一阶段：初级入门Linux基础知识、基本命令（起源、组成、常用命令如cp、ls、file、mkdir等常见操作命令）Linux用户及权限基础Linux系统进程管理进阶Linux高效文本、文件处理命令（vim、grep、sed、awk、find等命令）第二阶段：中级进阶（基础运
大数据学习中·2019-07-02 12:39

4个步骤带你搞定大数据，Linux到大数据学习

大数据学习群：8688==47735一起讨论进步学习第一阶段：初级入门Linux基础知识、基本命令（起源、组成、常用命令如cp、ls、file、mkdir等常见操作命令）Linux用户及权
qq_43958076·2019-07-02 11:05

大数据、云计算系统顶级架构师课程学习路线图

戳我阅读年薪50W的Java程序员转大数据学习路线戳
乐姐·2019-06-30 22:14

大数据学习笔记八（数据可视化）

数据可视化即为将数据进行分析后用图形的方式直观展示出信息的统计情况，这对于大数据的处理结果展示有非常重要的作用，具体事例如下：百度地图交通情况人物关系数据可视化常用工具Office系列Excel是微软公司的办公软件Office家族的系列软件之一，可以进行各种数据的处理、统计分析和辅助决策操作，已经广泛地应用于管理、统计、金融等领域，这也是最常见的数据可视化的工具D3D3是最流行的可视化库之一，是一
绿洲守望者·2019-06-30 11:49

如何进行大数据入门的学习

大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，零基础的朋友也是完全可以掌握大数据的。零基础学习大数据的话大概分为以下几步：第一：了解大数据理论要学习大数据你至少应该知道什么是大
阳沐之·2019-06-29 15:56

零基础如何快速学好大数据？

一、在开始学习大数据前应该掌握哪些基础知识怎样进行大数据学习的快速入门？需要什么基础1、Java语言基础学大数据课程之前要先学习一种计算机编程语言。Java是大数据学习必要的编程语言基础。因为
a大数据·2019-06-29 12:54

10个最热门的大数据技术，附上大数据学习路线

大数据已经融入到各行各业，哪些大数据技术是最受欢迎？哪些大数据技术潜力巨大？请听大讲台老师对10个最热门的大数据技术的介绍。（一）预测分析预测分析是一种统计或数据挖掘解决方案，包含可在结构化和非结构化数据中使用以确定未来结果的算法和技术。可为预测、优化、预报和模拟等许多其他用途而部署。随着现在硬件和软件解决方案的成熟，许多公司利用大数据技术来收集海量数据、训练模型、优化模型，并发布预测模型来提高业
GitChat头条·2019-06-26 21:56

大数据学习入门规划？和学习路线

大数据方向的工作目前分为三个主要方向:01.大数据工程师02.数据分析师03.大数据科学家04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）一、大数据工程师的技能要求二、大数据学习路径三
GitChat头条·2019-06-26 21:01

大数据学习开发技术：MapReduce运行原理

MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是“任务的分解与结果的汇总”。上图中的TaskTracker对应HDFS中的DataNode，在MapReduce1.x中，用于执行Map
GitChat头条·2019-06-26 20:54

大数据学习——你需要恶补一下语言

之前我进行了一项调查，以了解Java生态系统中最流行的构建Web应用程序的工具/框架。非常感谢来自世界各地的参与者的所有人！该调查收到了大约120个回复，这些结果可能会给你一些关于下一步学习什么技术的好主意。这是这个系列中我们将涵盖语言的第一篇文章。后续职位期望看到有关Web框架，应用服务器，SQL数据库，DAO层，BigData，构建工具和Cloud提供商的调查结果。语言想成为云计算大数据Spa
乐姐·2019-06-26 13:13

大数据学习路线和就业方向

大数据又称巨量资料，就是数据量大、来源广、种类繁多(日志、视频、音频)，大到PB级别，现阶段的框架就是为了解决PB级别的数据。专业的来讲：大数据(bigdata,megadata)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值
一起学习大数据·2019-06-25 11:59

hadoop集群搭建

@大数据学习总结大数据学习总结之Hadoop集群搭建一.创建一个新的虚拟机用户(全分布式3台主机)二.解压和配置JAVA环境变量2.1mkdir一个文件夹/bigdata用于存放大数据相关软件2.2将JDK
aengusL·2019-06-23 19:50

2019大数据学习路线指南（最全知识点总结）

大数据入门，需要学习以下这些知识点：1、Java编程技术Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，
烽火程序猿·2019-06-22 20:42

大数据学习之hive的jdbc测试类编写

文章目录JDBC编写步骤1.加载驱动（这里连接的是hive：org.apache.hive.jdbc.HiveDriver）2.建立连接（与数据建立链接："jdbc:hive2://192.168.230.131:10000/test","root","root"）3.引入接口4.编写hql语句（类似于sql）用接口封装的excute和executeQuery方法分别进行添加和查询操作JDBC编写
代码的搬运工001·2019-06-21 21:11

IT开发、PM、UI/UE学习路线图（非原创-参考传智播客网站介绍）

文章大纲一、Go语言+区块链学习路线图二、PHP学习路线图三、Python学习路线图四、C/C++学习路线图五、大数据学习路线图六、经理学习路线图七、UI/UE路线图八、参考文章一、Go语言+区块链学习路线图二
故事爱人·2019-06-14 17:00

大数据学习路线指南（最全知识点总结）

大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所
congcangnuo6739·2019-06-14 12:53

2019版大数据学习路线图(含大纲+视频+工具+书籍+面试)

2019年新版大数据学习路线图每阶段市场价值及可解决的问题点击可看高清大图每阶段学习大纲点击可看高清大图每阶段需掌握的核心
黑马程序员上海中心·2019-06-14 09:32

大数据分享常用的数据挖掘技术,新人学起来就可以用

在这里还是要推荐下我自己建的大数据学习交
a大数据·2019-06-12 12:32
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他