ML&DL-大数据学习

BAT大数据分析师：如何规划大数据学习之路？

在美国，大数据工程师平均年薪达17.5万美元，在中国顶尖的互联网公司里，大数据工程师的薪酬比同级别的其他职位高出30%以上。DT时代来得太突然了，国内发展势头很猛，而大数据相关的人才却非常地有限，在未来若干年内都会是供不应求的状况，因此程序员们，你们的春天到了！转行也并非一朝一夕的事情，你需要对这个行业有一定的了解，并匹配一下自己的知识和能力结构。以下是一位在BAT大数据领域打滚了N年后的分析师写
大数据01·2019-12-07 09:12

大数据学习笔记——Hadoop编程实战之Mapreduce

Hadoop编程实战——Mapreduce基本功能实现此篇博客承接上一篇总结的HDFS编程实战，将会详细地对mapreduce的各种数据分析功能进行一个整理，由于实际工作中并不会过多地涉及原理，因此，掌握好mapreduce框架将会有助于了解sql语句在大数据场景下的底层实现原理，从而能够帮助开发人员优化sql语句，提高查询速度，废话不多说，现在正式开始吧！1.Mapreduce入门——wordc
终极菜鸡·2019-12-05 21:00

大数据学习day20-----spark03-----RDD编程实战案例（1 计算订单分类成交金额，2 将订单信息关联分类信息，并将这些数据存入Hbase中，3 使用Spark读取日志文件，根据Ip地址

1RDD编程实战案例一数据样例字段说明：其中cid中1代表手机，2代表家具，3代表服装1.1计算订单分类成交金额需求：在给定的订单数据，根据订单的分类ID进行聚合，然后管理订单分类名称，统计出某一天商品各个分类的成交金额，并保存至Mysql中（1）法一，将json数据解析出来，直接使用objectIncomeKpi{privatevallogger:Logger=LoggerFactory.get
一y样·2019-12-04 11:00

大数据学习路线安排

很多朋友不知道怎么入手学习大数据，今天科多大数据带你进入大数据的世界。一、Hadoop入门，了解什么是hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述6、Hadoop生态圈以及各组成部分的简介7、Hadoop核心MapReduce例子说明二、分布式文件系统HDFS，
简单想法bigdata·2019-12-02 03:34

大数据学习资源最全版本（收藏）

资源列表：关系数据库管理系统（RDBMS）框架分布式编程分布式文件系统文件数据模型Key-Map数据模型键-值数据模型图形数据模型NewSQL数据库列式数据库时间序列数据库类SQL处理数据摄取服务编程调度机器学习基准测试安全性系统部署应用程序搜索引擎与框架MySQL的分支和演化PostgreSQL的分支和演化Memcached的分支和演化嵌入式数据库商业智能数据可视化物联网和传感器文章论文视频有一
风火数据·2019-12-02 00:36

大数据到底怎么学：数据科学概论与大数据学习误区

作者|杜圣东“数据科学家走在通往无所不知的路上，走到尽头才发现，自己一无所知。”-WillCukierski，HeadofCompetitions&DataScientistatKaggle最近不少网友向我咨询如何学习大数据技术？大数据怎么入门？怎么做大数据分析？数据科学需要学习那些技术？大数据的应用前景等等问题。由于大数据技术涉及内容太庞杂，大数据应用领域广泛，而且各领域和方向采用的关键技术差异
Albert陈凯·2019-12-01 22:46

大数据工程师面试题之互联网公司篇

分享之前我还是要推荐下我自己创建的大数据学习交流Qun531629188无论是大牛还是想转行想学习的大学生小编我都挺欢迎，今天的已经资讯上传到群文件，不定期分享干
风火数据·2019-12-01 14:38

人生第一个OKR （17年9月—12月）

2.大数据学习扫代码。K2.1:扫fish的完整代码。7篇，并提炼统计学知识点为7个概念，可默写出来。（5/7）K
_bobo_·2019-12-01 12:51

大数据学习day19-----spark02-------0 零碎知识点（创建rdd的两种形式，分区和分区器的区别） 1. RDD的使用 2.Spark中的一些重要概念

0.零碎概念（1）（2）此处就算地址写错了也不会报错，因为此操作只是读取数据的操作（元数据），表示从此地址读取数据但并没有进行读取数据的操作（3）分区（有时间看HaDoopRDD这个方法的源码，用来计算分区数量的）从HDFS指定的目录创建RDD（此处默认的并行数的源码有点问题）物理切片：实际将数据切分开，即以前的将数据分块（每个数据块的存储地址不一样），hdfs中每个分块的大小为128m逻辑切片：
一y样·2019-12-01 11:00

Hadoop+HBase+Spark+Hive环境搭建

摘要：大数据门槛较高，仅仅环境的搭建可能就要耗费我们大量的精力，本文总结了作者是如何搭建大数据环境的（单机版和集群版），希望能帮助学弟学妹们更快地走上大数据学习之路。
杨赟快跑·2019-12-01 02:18

腾讯大数据工程师告诫：学习大数据有哪几个步骤呢？

大数据学习不是很深奥也不难懂，虽然并不简单，但是通过努力学习，想学习的朋友也能掌握大数据。大数据的学习可以分为以下步骤：1。
大数据01·2019-12-01 02:24

大数据学习六:Linux常用命令三

1、添加用户，建立一个新用户账户testuser1，并设置UID为544，主目录为/usr/testuser1，加-m如果主目录不存在则自动创建#useradd-u544-d/usr/testuser1-gusers-mtestuser12、添加组grouptestgroupaddgrouptest3、查看用户或组idtestuser1vi/etc/passwd查看用户vi/etc/group查看
RacyFu·2019-11-30 14:19

零基础大数据学习指南（整套学习资料链接+项目）

Hive（重点）5、Flume6、Kafka（重点）7、HBase（重点）8、Spark（重点中的重点）9、Flink（重点中的重点）三、项目阶段四、机器学习五、书籍后续也会继续更新~~~~~~~~~~~大数据学习指南本人是按照这个学习路线来的
蓦然_·2019-11-30 14:12

大数据学习 第一篇——基础知识

大数据入门总结一下近期学习的大数据知识，主要是参考了厦门大学林子雨老师的博客学习之前没搞清楚的知识传统的web应用（LAMP、JavaEE、NODE系等）与大数据什么关系？之前一直以为大数据的东西就是来取代传统的Web应用的，其实并不是这样；即使是大数据的架构，应用层依然会是传统的web应用，但是会根据数据特点对数据存储（结构化数据依然会保存在传统的关系型数据库——如MySql，日志等非结构数据会
代码坊·2019-11-29 17:41

大数据学习

原文地址主讲嘉宾：王昊奋主持人：中关村大数据产业联盟学术委员会主任委员阮彤承办：中关村大数据产业联盟嘉宾介绍：王昊奋：华东理工大学讲师，上海交通大学计算机应用专业博士，对语义搜索、图数据库以及Web挖掘与信息抽取有浓厚的兴趣。在博士就读期间发表了30余篇国际顶级会议和期刊论文，长期在WWW、ISWC等顶级会议担任程序委员会委员。作为Apex数据与知识管理实验室语义组负责人，他主持并参与了多项相关项
hmaccelerate·2019-11-29 03:46

大数据学习day18----第三阶段spark01--------1. spark(standalone模式)的安装 2.

1.spark(standalone模式)的安装（1）下载spark安装包（spark官网）（2）上传spark安装包到Linux服务器上（3）解压spark安装包tar-zxvfspark-2.3.3-bin-hadoop2.7.tgz-C/usr/apps/（4）将conf目录下的spark-env.sh.template重命名为spark-env.sh，并修改内容如下exportJAVA_H
一y样·2019-11-28 10:00

大数据学习心得

一、概述1大数据简介1.1起源“大数据“，近几年来最火的词之一。虽然大数据这个词的正式产生也就10年左右，但对大数据分析却早就有之。早在互联网初期，就有很多公司通过计算机技术对大量的分析处理，比如各个浏览引擎。然而，大数据的真正提出却是源自2008.09.03《Nature》专刊的一篇论文，紧接着，产业界也不断跟进，麦肯锡于2011.06发布麦肯锡全球研究院报告，标志着大数据在产业界的真正兴起，随
13157330443·2019-11-27 22:13

大数据学习笔记——Hbase高可用+完全分布式完整部署教程

Hbase高可用+完全分布式完整部署教程本篇博客承接上一篇sqoop的部署教程，将会详细介绍完全分布式并且是高可用模式下的Hbase的部署流程，废话不多说，我们直接开始！1.安装准备部署Hbase时，我们使用的版本为1.2.82.正式安装1.将hbase-1.2.8-bin.tar.gz文件使用远程传输软件放到s101的/home/centos/downloads下2.将hbase-1.2.8-b
终极菜鸡·2019-11-23 13:00

大数据学习笔记——HDFS写入过程源码分析(2)

HDFS写入过程注释解读&源码分析此篇博客承接上一篇未讲完的内容，将会着重分析一下在Namenode获取到元数据后，具体是如何向datanode节点写入真实的数据的1.框架图展示在开始前，还是老规矩，先上图本篇内容将会重点介绍HDFS写入流程七大步骤中的4，5步骤，即数据包写入和数据包确认(writepacket&ackpacket)2.源码分析2.1文档注释翻译在讲解这部分内容时会涉及到的类是D
终极菜鸡·2019-11-22 23:00

大数据学习笔记——HDFS写入过程源码分析(1)

HDFS写入过程方法调用逻辑&源码注释解读前一篇介绍HDFS模块的博客中，我们重点从实践角度介绍了各种API如何使用以及IDEA的基本安装和配置步骤，而从这一篇开始，将会正式整理HDFS的读写原理分析，由于全部一次性整理篇幅过长，本人会将这一部分的内容拆分成多篇，这一篇将会从宏观上把控整个写入过程的框架，并啃一啃源码中的注释部分，好了，废话不多说，直接开始吧！1.框架图展示上图摘录自《Hadoop
终极菜鸡·2019-11-21 21:00

大数据学习笔记——HDFS理论知识之编辑日志与镜像文件

HDFS文件系统——编辑日志和镜像文件详细介绍我们知道，启动Hadoop之后，在主节点下会产生Namenode，即名称节点进程，该节点的目录下会保存一份元数据，用来记录文件的索引，而在从节点上即Datanode则会保留真实的数据，对于Namenode来说，最重要的两个文件就是Fsimage和Edits了，它们记录了用户的一系列在文件系统中的操作并保存了文件索引1.初始化文件系统基本步骤为了演示这两
终极菜鸡·2019-11-20 23:00

好程序员大数据学习路线分享大数据之基础语法

1.2.1计算机理论介绍1.2.2编程基础--进制分类、进制转换进制就是进位制。指的是我们来表示一个数字的时候进位的制度。进制分类计算机中，常用的进制有以下几种:进制描述示例备注二进制使用0和1来描述所有的自然数0,1,10,11,100,101使用0b开头八进制使用0-7来描述所有的自然数4,5,6,7,10,11,12使用0开头十进制使用0-9来描述所有的自然数6,7,8,9,10,11,12
wx5da18b5c4b01e·2019-11-19 16:18

大数据学习笔记——Hadoop编程之SequenceFile

SequenceFile(Hadoop序列文件)基础知识与应用上篇编程实战系列中本人介绍了基本的使用HDFS进行文件读写的方法，这一篇将承接上篇重点整理一下SequenceFile的相关知识及应用1.SequenceFile简介SequenceFile是Hadoop自带的一种键值对文件格式，它具有以下几个特点：1.由于该文件类型是Hadoop自带的，因此对Hadoop环境具有最强的兼容性2.由于H
终极菜鸡·2019-11-19 00:00

大数据学习随手记——大数据与传统数据的对比

首先得了解大数据是什么？数据集的大小已经远远超过了现有传统的技术方案（数据库）或工具他们的处理能力的数据。简单点来说就是传统的技术解决不了或者处理太慢，所以才有了大数据。大数据有哪些特点？一.Volume海量化（处理的数据量大）二.Variety多样化（数据类型复杂，大部分都是结构化,半结构化数据）三.Velocity快速化（处理大量数据快，数据的增长率快）四.value价值高（以低成本创造高价值
小猿猿猿猿·2019-11-18 09:27

大数据学习笔记——Hive完整部署流程

Hive详细部署教程此篇博客承接上篇Hadoop和Zookeeper的部署教程，将会详细地对HIve的部署做一个整理，Hive相当于是封装在HDFS和Mapreduce上的一套sql引擎，只需要安装在某个集群的主节点上即可，同时需要注意安装Hive前请确保虚拟机主节点上已经安装好了mysql，那么，现在正式开始吧！1.安装准备首先我们准备好Hive的安装包，这里用到的Hive版本是2.1.02.详
终极菜鸡·2019-11-17 21:00

大数据学习笔记——Sqoop完整部署流程

Sqoop详细部署教程Sqoop是一个将hadoop与关系型数据库之间进行数据传输，批量数据导入导出的工具，注意，导入是指将数据从RDBMS导入到hadoop而导出则是指将数据从hadoop导出到RDBMS，本篇博客承接上篇Hive的部署教程，废话不多说，直接开始流程1.安装准备准备好以下安装包，使用的版本为1.4.72.正式安装1.使用Xftp将tar.gz文件放到/home/centos/do
终极菜鸡·2019-11-17 21:00

大数据学习笔记——Hadoop编程实战之HDFS

HDFS基本API的应用(包含IDEA的基本设置)在上一篇博客中，本人详细地整理了如何从0搭建一个HA模式下的分布式Hadoop平台，那么，在上一篇的基础上，我们终于可以进行编程实操了，同样，在编程前需要做一些准备工作，好了，那我们就开始吧！1.编程准备在后续的学习中，我们基本都是在用IntelliJIDEA这款集成开发环境，所以在Windows端，我们首先需要准备以下这三款软件：1）Intell
终极菜鸡·2019-11-11 01:00

大数据学习之Hive和HBase之间的不同

科多大数据带你学习Hive和HBase之间的不同。ApacheHive是一个构建在hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询-因为它只能够在Haoop上批量的执行Hadoop。ApacheHBase是一种Key/Va
大数据在说话·2019-11-08 00:56

Hadoop系列002-从Hadoop框架讨论大数据生态

3）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈2、Hadoop发展历史我这里给大家推荐下我自己创建的大数据资料分享群834325294，这是大数据学习交流的地方，不管你是小白还是大牛
大数据首席数据师·2019-11-07 03:21

大数据学习笔记——Hadoop高可用完全分布式模式完整部署教程(包含zookeeper)

高可用模式下的Hadoop集群搭建本篇博客将会在之前写过的Linux的完整部署的基础上进行，暂时不会涉及到伪分布式或者完全分布式模式搭建，由于HA模式涉及到的配置文件较多，维护起来也较为复杂，相信学会部署高可用模式了，其他模式的搭建也会比较驾轻就熟，关于各种配置文件的讲解，如果有时间会在后期另开一篇博客进行详细的解读，现在正式开始部署流程！1.安装准备基本思路讲解：在做正式安装之前，首先需要整理有
终极菜鸡·2019-11-06 21:00

大数据学习day_6

思考问题Mapper类Mapper类org.apache.hadoop.mapreduce.Mapper四个泛型,分别是KEYIN、VALUEIN、KEYOUT、VALUEOUT,前面两个KEYIN、VALUEIN指的是map函数输入的参数key、value的类型；后面两个KEYOUT、VALUEOUT指的是map函数输出的key、value的类型。Mapper有setup()，map()，cle
Sakura_P·2019-11-06 00:31

数据数据

帖子来自：大数据社区|大数据学习交流社区|大数据免费学习资源_大数据巴士头像柠檬学院大数据LV12016-12-615:28:04楼主大数据入门书籍（二）大数据是眼下非常时髦的技术名词，自然也催生出了一些与大数据相关的职业
前来写文章·2019-11-05 10:01

大数据在商业化浪潮中大步前进，但网络安全迫在眉睫

在这里我还是要推荐下我自己建的大数据学习交
大数据学习03·2019-11-05 04:12

大数据学习记录hadoop（1）

一、数据是什么指无法在一定时间内用常规软件工具进行捕捉，管理和处理的数据集合，是需要新型处理模式才能具有更强的决策力、发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决海量数据的存储和海量数据的分析计算问题特点：大量、高速、多样、低价值密度二、Hadoop框架讨论大数据生态2.1什么是hadoop1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构，它可以使用户在不了
不吃海带吃海苔·2019-11-04 19:20

大数据学习笔记——Linux基本知识及指令(理论部分)

Linux学习笔记整理上一篇博客中，我们详细地整理了如何从0部署一套Linux操作系统，那么这一篇就承接上篇文章，我们仔细地把Linux的一些基础知识以及常用指令(包括一小部分高级命令)做一个梳理，好了，现在开始吧！1.Linux介绍在介绍Linux之前，先要介绍一下Unix操作系统，说到两者之间的关系，"Unix是Linux的父亲"这个说法更为恰当，Unix是作为一款商业软件而存在的，主要运行在
终极菜鸡·2019-11-03 22:00

工程师及数据科学家的大数据学习路径

原文地址：BigDataLearningPathforallEngineersandDataScientistsoutthere介绍大数据领域十分庞大，对于任何开始学习大数据及其相关技术的人来说都是一个相当艰巨的任务。大数据技术繁多而使你不知从何处开始。这是我写这篇文章的原因。本文为您提供了开始旅程学习大数据的指导途径，并将帮助您在大数据行业获得一份工作。我们面临的最大挑战是根据我们的兴趣和技能来
payne_pf·2019-11-03 10:59

大数据学习路线（完整详细版）

java(Javase,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)机器学习(R,mahout)Storm(Storm,kafka,redis)Spark(scala,spark,sparkcore,sparksql,sparkstr
花半唐·2019-11-03 03:15

如何做好一场直播？

几百个关注比起大v来一点不多，但是这毕竟是大数据学习，涉及到R，python，统计
猴子聊人物·2019-11-02 19:23

大数据学习笔记——Linux完整部署篇(实操部分)

Linux环境搭建完整操作流程(包含mysql的安装步骤)从现在开始，就正式进入到大数据学习的前置工作了，即Linux的学习以及安装，作为运行大数据框架的基础环境，Linux操作系统的重要性自然不言而喻
终极菜鸡·2019-11-02 15:00

大数据学习之Hive进阶

Hive不支持传统数据库中insert插入操作，可通过load语句和sqoop进行数据的导入。数据的导入使用load语句执行数据的导入使用load语句-语法：loaddata[local]inpath‘filepath’[overwrite]intotabletablename[partition(partcol1=val1,partcol2=val2,“`)]例如：–将student01.txt
EnjoyCode12138·2019-11-02 10:05

年薪百万百度大数据架构师需要掌握什么技术

1.我们终将利用暗数据2.结构化与非结构化边界的消失3.CDO快速崛起4.量子计算进入公众视野，言归正题，我是大数据爱好，建一个资源共享群593188212，每天分享大数据学习资料和学习方分享下大数据架构师需要
阿福大数据·2019-11-02 06:06

大数据学习路线图 让你精准掌握大数据技术

互联网时代每个企业每天都要产生庞大的数据，对数据进行储存，对有效的数据进行挖掘分析并应用需要依赖于大数据开发，千锋大数据开发课程采用真实商业数据源并融合云计算+机器学习，让学员有实力入职一线互联网企业在这里还是要推荐下我自己建的大数据学习交流群
大数据01·2019-11-02 04:37

大数据学习：零基础大数据入门该看哪些书？

现在有很多朋友对大数据行业心向往之，却苦于不知道该如何下手。作为一个零基础大数据入门学习者该看哪些书？今天做了一些整理作为参考，希望可以帮助到那些对大数据感兴趣的同学。1.大数据工程师在互联网公司广泛招聘，偏平台业务方向，ETL和OLTP等，主要是基于Hadoop技术栈来处理大数据，算法要求不是特别高。经典图书推荐：《Hadoop权威指南》《Hive编程指南》《Hbase权威指南》《大数据技术全解
心在远方·2019-10-31 15:41

大数据技术的发展，实现教育教学整体把握

在这里还是要推荐下我自己建的大数据学习交流群:19942721
大数据01·2019-10-31 05:41

迄今为止最有效率的春节

基本按照计划，完成甚至部分超越了大数据学习的阶段目标。父母是老人家，习惯白天看电视，我家对面
只是不在意·2019-10-31 01:47

大数据学习：零基础大数据入门该看哪些书？

现在有很多朋友对大数据行业心向往之，却苦于不知道该如何下手。作为一个零基础大数据入门学习者该看哪些书？今天做了一些整理作为参考，希望可以帮助到那些对大数据感兴趣的同学。大数据工程师在互联网公司广泛招聘，偏平台业务方向，ETL和OLTP等，主要是基于Hadoop技术栈来处理大数据，算法要求不是特别高。经典图书推荐：《Hadoop权威指南》《Hive编程指南》《Hbase权威指南》《大数据技术全解》、
a大数据·2019-10-30 14:59

大数据学习笔记——Java篇之网络编程基础

Java网络编程学习笔记1.网络编程基础知识1.1网络分层图网络分层分为两种模型：OSI模型以及TCP/IP网络模型，前者模型分为7层，是一个理论的，参考的模型；后者为实际应用的模型，具体对应关系见下图：1.2网络编程三要素之IP地址目前的版本是ipv4，采用的是点分十进制的表示方式(dotted-decimalnotation)，一共4位，每一位表示一个字节，因为IP地址是没有负数的，因此表数范
终极菜鸡·2019-10-27 22:00

大数据学习笔记——Java篇之IO

IO学习笔记整理1.File类1.1File对象的三种创建方式：File对象是一个抽象的概念，只有被创建出来之后，文件或文件夹才会真正存在注意：File对象想要创建成功，它的目录必须存在！importjava.io.File;/*演示三种创建File对象的方式*/publicclassFileDemo{publicstaticvoidmain(String[]args)throwsExceptio
终极菜鸡·2019-10-25 17:00

大数据导论

与大数据的区别(参考:附件资料\JavaEE大数据区别.txt)01)javaEE业务开发(品优购电商)电商系统架构.png02)大数据的体系说明(抖音推荐系统电商精准推荐系统)大数据架构处理流程.jpg02)大数据学习的建议
贾江浦·2019-10-23 19:00

大数据学习笔记——Java篇之集合框架(ArrayList)

既可以存放基本数据类型又可以存放引用数据类型3.存放进数组的必须是相同类型的数据VS集合类：1.长度是可变的2.只能存放对象的引用3.存放进集合的可以是不同的数据类型3.集合类常用API源码分析在之后的大数据学习中
终极菜鸡·2019-10-20 17:00
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他