大数据学习指北

当我说要做大数据工程师时他们都笑我，直到七个月后……

，有不少小伙伴留言和私信我关于大数据学习路线，以及咨询我一些关于有工作经验想转行大数据的问题。因此我花了一个月时间整理了一份我当初学习的大数据学习路线，从最基础的大数据集群搭建开始，希望能帮助到大家。
云祁·2020-07-25 16:00

你以为的“行业终局”都“绷不住”了

本文来自微信公众号：互联网指北（ID：hlwzhibei），作者：指北BB组大浅，编辑：蒲凡，题图来自视觉中国不知道你注意到没有，很多所谓已经“终局”的领域，在2020年下半年开始逐渐“绷不住”，比如电商
虎嗅网·2020-07-19 00:00

手机陀螺仪各类参数值的监听

平时常会用到手机陀螺仪来实现一些互动的需求，再此记录一下，方便查询使用阁下：0前后：0扭转：0指北针指向：0度指北针精度：0度x轴加快度：0米每二次方秒y轴加快度：0米每二次方秒z轴加快度：0米每二次方秒
品茗乐·2020-07-16 04:57

大数据学习笔记

大数据对于计算机科学的意义，大致相当于大规模生产对于资本主义发展的意义，在此基础上，才有了工业化和现代化。如果我们仔细去研究的话，会发现大数据的整个体系和生产制造实在是太像了~1.大数据框架以前本地运行的应用就像是封建时代的手工作坊，随后发展起来的大工业则是基于供应链的。大数据也是一样，诸多中间件正是扮演着供应链的角色。1.1服务模式从大的方面来说，首先是生产模式的问题。随着分工的完善，外包租赁成
IE06·2020-07-16 01:42

大数据学习——多重循环和跳转语句

多重循环和跳转语句多重循环循环对比案例分析跳转语句多重循环多重循环指一个循环语句的循环体中再包含循环语句，又称嵌套循环。循环语句内可以嵌套多层循环。同时，不同的循环语句可以相互嵌套。多重循环语句的语法格式如下：while（循环条件1）{循环条件1for（循环条件2）{循环语句2}}这是while语句和for语句嵌套的例子。其中while循环称为外层循环，for循环称为内层循环，因为是两层循环，所以
蜂蜜柚子加苦茶·2020-07-15 22:40

大数据学习之Flink——01初识 Flink

一.Flink是什么?1.Flink的定义ApacheFlinkisaframeworkanddistributedprocessingengineforstatefulcomputationsoverunboundedandboundeddatastreams.Flinkhasbeendesignedtoruninallcommonclusterenvironments,performcompu
Jiang锋时刻·2020-07-15 20:51

大数据学习之Flink——12State管理与恢复

本文参考尚学堂Flink课程的课件侵权删一.State介绍Flink是一个默认就有状态的分析引擎，前面的WordCount案例可以做到单词的数量的累加，其实是因为在内存中保证了每个单词的出现的次数，这些数据其实就是状态数据。但是如果一个Task在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需要重新计算。从容错和消息处理的语义（At-least-once和Exactly-once）上
Jiang锋时刻·2020-07-15 20:51

百度paddlepaddle-C++资料

PaddlePaddle踩坑指北系列http://ai.baidu.com/forum/topic/show/941558官方文档对于各个不同版本有不同的文档，下面列举一下1.0和1.4的官方文档：http
知识在于分享·2020-07-15 20:41

《吐槽大会2》等试水音频节目输出，音频平台借势寻求变现新法则

吐槽大会2》热播，用户除了能在视频平台上看视频，还能在喜马拉雅FM上听音频；喜马拉雅FM为《演员的诞生》开通投票通道，与节目进行深度的合作；高晓松在主持《晓说》的同时也在蜻蜓FM上推出付费音频《矮大紧指北
清娱·2020-07-15 19:03

【2020版】大数据学习详细路线

大数据学习路线大纲：第一阶段：Java语言基础阶段
千锋教育官方博客·2020-07-15 17:09

【大数据学习】数学基础及应用

一谈到大数据技术，很多人首先想到的是数学，大概是因为数字在数学体系中稳固的位置吧，这也是理所当然的。大数据时代已经被抄的很热了，这个行业目前已经逐渐成熟，想学习大数据开发的人越来越多。每天我们在互联网都要存留大量的信息，但如何收集、整理这海量的信息，并产生价值，已经是各行各业都在探索的重要课题，且不说在海量数据中挖掘用户需求，预测未来的市场导向，就连政府的政务数据也要云计算、大数据。.如果有编程背
云计算小百科·2020-07-15 12:43

大数据学习笔记一：大数据的发展历程--MapReduce，Hive，Yarn，Hadoop，Spark，Flink

大数据学习系列文章：大数据-博客专栏今天在学习极客时间专栏：《从0开始学大数据》从预习01|大数据技术发展史：大数据的前世今生到预习03|大数据应用领域：数据驱动一切，系统的介绍了大数据的发展历史，之前我对这些只是一知半解
zhang0peter·2020-07-15 12:01

大数据学习(一)：实时处理环境搭建

概述为了实现搭建一套初步学习大数据实时分析的平台，用了5台linux虚拟机(Centos7)，安装的组件包括：-FlumeNG：数据采集-kafka集群：数据统一接入-Storm集群：数据实时处理-hadoop集群：这里只是用了其中HDFS组件来做数据存储整个实时处理框架如下：本人自己搭建环境的节点分布如下：服务节点Hadoop集群172.16.100.78(NameNode),172.16.10
晨丢丢·2020-07-15 12:12

大数据学习笔记300条

1、Zookeeper用于集群主备切换。2、YARN让集群具备更好的扩展性。3、Spark没有存储能力。4、Spark的Master负责集群的资源管理，Slave用于执行计算任务。5、Hadoop从2.x开始，把存储和计算分离开来，形成两个相对独立的子集群：HDFS和YARN，MapReduce依附于YARN来运行。6、YARN可以为符合YARN编程接口需求的集群提供调度服务。7、YARN：Res
yujisy·2020-07-15 11:24

强！大数据之Hadoop伪分布式这样搭建，一次就成功了！

在这里我还是要推荐下我自己建的大数据学习交流裙：532+二一八加上147，裙里都是学大数据开发的，如果
姜果·2020-07-15 07:48

指北 | 谈谈ForkJoin框架的设计与实现

来源：码农知识点在了解Fork-Join之前，我们得先了解什么是并行计算。并行计算相对于串行计算，并行计算可以划分成时间并行和空间并行。时间并行即指令流水化，也就是流水线技术。比如说生产一辆小汽车，有特定的轮子车间/发动机车间，同时进行各自的生产。空间并行是指使用多个处理器执行并发计算。以程序和算法设计人员的角度看，并行计算又可分为数据并行和任务并行。数据并行把大的任务化解成若干个相同的子任务，任
后端技术精选·2020-07-15 06:10

视频教程-白话Pandas数据分析(数据预处理，数据分析，绘图和综合项目)-大数据...

张涛¥99.00立即订阅订阅后：请点击此处观看视频课程视频教程-白话Pandas数据分析(数据预处理，数据分析，绘图和综合项目)-大数据学习有效期：永久观看学习时长：296分钟学习计划：5天难度：低「口碑
weixin_34539877·2020-07-15 06:03

大数据学习系列之一 ----- Hadoop环境搭建(单机)

一、环境选择1，服务器选择阿里云服务器:入门型(按量付费)操作系统:linuxCentOS6.8Cpu：1核内存：1G硬盘:40Gip:39.108.77.2502，配置选择JDK:1.8（jdk-8u144-linux-x64.tar.gz）Hadoop:2.8.2(hadoop-2.8.2.tar.gz)3，下载地址官网地址:JDK：http://www.oracle.com/technetw
weixin_34302561·2020-07-15 05:06

你只有不停奔跑，你才能留在原地。——“土味”快手VS“网红”抖音短视频战争启示录

战略杠杆，快手高增长的秘密战略杠杆模型包括战略支点、战略引擎、战略杠杆与战略指北针四个关键要素：战略支点：指企业
蚁观世界毅叔说·2020-07-15 03:25

大数据学习——shell编程

03/shell编程综合练习自动化软件部署脚本3.1需求1、需求描述公司内有一个N个节点的集群，需要统一安装一些软件（jdk）需要开发一个脚本，实现对集群中的N台节点批量自动下载、安装jdk2、思路1/编写一个启动脚本，用来发送一个软件安装脚本到每一台机器2/然后启动每台机器上的软件安装脚本来执行软件下载和安装3、expect的使用痛点：使用scp命令远程拷贝文件时，会有人机交互的过程，如何让脚本
bill_live·2020-07-15 03:28

大数据学习——HADOOP集群搭建

4.1HADOOP集群搭建4.1.1集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNodeYARN集群：负责海量数据运算时的资源调度，集群中的角色主要有ResourceManager/NodeManager(那mapreduce是什么呢？它其实是一个应用程序开发
weixin_30609331·2020-07-15 03:30

大数据方向学习面试知识图谱

大纲本系列主题是大数据开发面试指南，旨在为大家提供一个大数据学习的基本路线，完善数据开发的技术栈，以及我们面试一个大数据开发岗位的时候，哪些东西是重点考察的，这些公司更希望面试者具备哪些技能。
过往记忆·2020-07-15 02:02

机器学习大数据学习路线总结

机器学习大数据学习路线总结八月18,2019-机器学习&大数据前言好久好久好久没有更新过博客的内容了，这次把前一段时间给浪潮俱乐部的新成员总结的机器学习和大数据学习路线总结放上来水一篇博客，不管怎么说也算是给其他人一个参考吧
awesome_go·2020-07-15 01:34

大数据开发学习 重难点全面解析

戳我阅读年薪50W的Java程序员转大数据学习路线戳我阅读大数据人工智能发展趋势与前景
乐姐·2020-07-14 23:33

蓝桥杯练习系统习题-基础训练2

文章推荐精选java等全套学习资源精选java电子图书资源精选大数据学习资源java项目练习精选蓝桥杯练习系统习题-基础训练2题目搜索方式：Ctrl+F—->输入题目名称—>定位到解答。
欧阳思海·2020-07-14 22:01

0基础大数据学习路径

本文的目的是希望给所有大数据初学者规划一条比较清晰的学习路线，帮助它们开启大数据学习之旅。鉴于大数据领域内的技术绚丽繁复，每位大数据初学者都应该根据自己的实际情况制定专属的学习路径。
kuntoria·2020-07-14 20:01

大数据学习笔记——生成hadoop-eclipse-plugin-3.1.2.jar组件

部分安装包在我的资源里面有1.需要组件a)Jdk8b)Eclipsec)Hadoop3.1.2安装包d)eclipse-hadoop3x-mastere)apache-ant-1.10.62.ant组件下载地址：https://ant.apache.org/bindownload.cgi1.解压到一个目录下C:\Dev\apache-ant-1.10.62.环境变量的配置点击“计算机”——“属性”
孤儿院-院长·2020-07-14 19:56

大数据学习笔记——eclipse创建Maven项目并增加依赖

打开eclipse新建一个MavenProject点击“Next”，在列表中选择所需的”ArtifactId“。其中”maven-archetype-quickstart“是Maven工程样例（不需要以下几步）”maven-archetype-webapp“是Meven的Webapp工程样例。点击”Next“，输入GroupId和ArtifactId。删除/src/main/webapp/WEB-
孤儿院-院长·2020-07-14 19:25

大数据学习笔记——JAVA爬虫及关键代码

大致步骤：privatestaticListfilms=newArrayList();Listfilms=GetData.getData(client,url);（在Test类中）publicstaticListgetData(HttpClientclient,Stringurl)throwsException{获得Http客户端，生成Http对象(可以理解为:你得先有一个浏览器;注意:实际上Ht
孤儿院-院长·2020-07-14 19:25

大数据学习笔记——基于 Linux CentOS 7 的 Hadoop 3.1.2 环境搭建（三）

独立(本地)模式配置和部署这种模式，只需要在master机器上单机执行，即可。说明：之前，我已经将前面的配置的虚拟机备份了，做完本次操作后，只需要还原到上一步状态，就可以进行后面的8、9的操作。所有操作用户均为:icss所有操作均在master上执行：只启动master下载,上传,解压,配置,运行,验证.0.下载如上.上传上传Hadoop安装文件hadoop-3.1.2.tar.gz到Hadoop
孤儿院-院长·2020-07-14 19:25

大数据学习笔记——基于 Linux CentOS 7 的 Hadoop 3.1.2 环境搭建（一）

基于LinuxCentOS7的Hadoop3.1.2环境搭·建卸载VMWareWorkstation14，升级为150.原因：14太慢，有卡顿，15快些，占用资源少。步骤：关闭VMWareWorkstation14服务windows键+r输入services.msc，开启服务控制台，停止所有VMWare相关的服务。看下网络配置，里面现在还有VMWare的虚拟网卡，一会卸载后，就没有了。进入控制面板
孤儿院-院长·2020-07-14 19:24

【大数据学习笔记-4】电商数据从阿里云RDS数据库复制到华为云RDS数据库，部分表格复制失败

【问题背景】昨天用华为云CDM服务把阿里云上一个电商客户RDSmysql数据库复制到华为云上备份，提示有部分数据表复制失败了。【原因分析】通过华为云迁移服务CDM发现了哪些表格迁移失败，能看到是完成复制了多少行。进一步查看日志，发现有个字符是4字节的。根据经验，推测是移动APP的emoji表情。检查数据库的字符编码是utf-8，在数据库中占用3个字节，因此4字节的汉字就无法存储，导致了数据库报错。
工匠小能手·2020-07-14 19:16

【大数据学习笔记-2】将阿里云上的RDS数据库复制到华为云hive数据库

【学习背景】近期在帮我一个客户做电商大数据分析平台，需要从阿里云上将RDS数据库复制到华为云，然后利用华为云的大数据服务MRS进行分析。本文主要体验华为云的数据迁移服务CDM将阿里云RDS的一个数据库整体复制到华为云大数据平台的Hive数据库。【关键思路】1、华为云购买测试版本的数据迁移服务CDM，并分配一个公网IP和带宽。2、阿里云RDS上添加到白名单，并分配一个只读权限的账户。3、华为云创建大
工匠小能手·2020-07-14 19:16

大数据学习——《java常用类库》

Java常用类库1.Arrays常用方法2.StringBuilder3.Calendar4.Date5.Math6.System7.Random资料来源于视频课程和其他收集，个人整理，如有侵权请联系。1.Arrays常用方法程序示例：importjava.util.Arrays;importjava.util.Random;publicclassArraysDemo{publicstaticvo
hongjunGu·2020-07-14 19:41

Jenkins REST API 使用指北

0X00写在前面作为持续交付开源工具中最出名的一个，Jenkins在业界使用范围很广。但笔者了解到绝大多数使用者都在考虑将Jenkins作为其持续交付系统的一个组件来使用，而恰好Jenkins也提供了强大的RESTAPI。因此，了解清楚JenkinsRESTAPI的来龙去脉并使用好它，是一件至关重要的事情。0X01JenkinsRESTAPI是怎么弄出来的？在JenkinsPlugin基础开发入门
xiaosongluo·2020-07-14 19:40

大数据学习之路（二）——hadoop伪分布式

开始搭建hadoop伪分布式使用机器：macbookpro，jdk我就不说明了，必备参考文章http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.htmlhadoop的伪分布式比较简单，基本上按照官网的讲解一步步下载就ok了。1.下载hadoop2.5.2.tar.gz2.解压到目录
recover517·2020-07-14 17:38

新技术学习不完全指北：以 Rust 为例

许多同学好奇，私信问我是如何学习技术的。正好最近在学习Rust语言，趁着记忆犹新，便以Rust为例，谈谈我的学习方式。对Rust不感兴趣也没关系，其中包含的学习动机、学习素材、时间规划、训练项目、心态建设等理念，也适用于学习其它技术。提前声明：本文分享的只是我个人的学习策略，仅供参考。一、充分的学习动机是持续学习的源动力学习技术，特别是学习新的技术，是一个高失败率的活动。不知道多少次，我们停在安装
奇舞周刊·2020-07-14 17:56

大数据学习——学习教程

一、大数据环境搭建1.安装VMware虚拟机：https://blog.csdn.net/qq_15903671/article/details/848740802.VMware下安装Ubuntu：https://blog.csdn.net/qq_15903671/article/details/848742693.安装VMwareTools：https://blog.csdn.net/qq_15
祁峰sunny·2020-07-14 16:22

大数据学习[09]:presto0.184集群|多数据源|问题

前置Hadoop,Hive参考：大数据学习[04]:Hive安装配置:http://blog.csdn.net/ld326/article/details/78023101大数据学习[02]:hadoop
happyprince·2020-07-14 13:39

Guo某的大数据学习之路-第一天

内容概要：今天主要讲两个知识点：服务器与RAID。同时，这也是我们学习大数据第一天的内容（下列内容均为课堂讲义）什么是服务器？笔记本台式机服务器:也称伺服器，是一种高性能计算机，提供计算服务的设备。服务器的构成包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似。由于服务器需要提供高可靠的服务，所以在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。服务器和电脑功能都是一样
刘昌燊·2020-07-14 04:29

大数据学习——Day01（基础常识和数仓基础）

大数据定义现有技术无法处理的数据。主要特点体量大要求处理速度快数据种类多发展历程数据–>存储、计算数据–>分布式计算大数据处理技术的发展历程谷歌提供了理论支撑：GFS、MapReduce和BigTable。hadoop：大数据处理平台，将分布式计算打包，降低了分布式编程的难度。数据仓库Hive数据仓库中的一个非常重要的技术，是数据仓库与hadoop紧密结合的标志。学习硬件需求服务器集群（vmwar
CoffreLv·2020-07-14 04:29

流水帐 5.4

看西方造园变迁史看到一半忍不住开电脑吐槽，玛德制杖，图上不标指北针介绍还总说东南西北，找北找得吐血好吗，一九七年的书没有再版，图片充满着古老与模糊不清的气息。
庞翘楚·2020-07-14 03:02

大数据学习笔记————基于 Linux CentOS 7 的 Hadoop 3.1.2 环境搭建（二）

为在CentOS7安装Hadoop进行系统配置0.目的:配置Linux环境,为安装Hadoop3.x进行环境准备需要配置:1.配置时钟同步,保证各个Linux主机时间同步2.配置网络,保证开机启动网络连接前面已经完成配置，不需再做。3.配置主机名,配置hosts文件,master==》192.168.100.10保证借助HostName可以互相ping通此处只需要配置hosts文件，其他前面已经做
孤儿院-院长·2020-07-14 02:04

【经典】一个大数据学习的解决方案

从0基础小白到架构师，对于一个没入行的小白来说，想都不敢想，它不仅需要时间的磨炼，开发经验的积累，更需要有合适的机遇与平台。对于大数据技术应用方面，无论是传统行业还是互联网行业，经过这几年的发展已经相当成熟。很多有IT基础的小伙伴冲着大数据薪资高、待遇好、就业前景不错，都争先恐后的加入到大数据技术学习的行列中来，特别是有Java基础的同学，因为Java行业已趋近饱和，薪资干了几年没见涨，职位晋升也
大数据研习社·2020-07-14 01:06

大数据学习资源汇总

http://www.cnblogs.com/dunitian/p/5461280.html当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法，也代表着
zdy0_2004·2020-07-13 23:56

后端开发 - 收藏集 - 掘金

nginx-rtmp源码：http://nginx.org/download/ngi...https://github.com/arut/nginx-rtmp-modul...卷皮的大数据之路-后端-掘金编者按：在大数据学习交流付费群里
weixin_34199405·2020-07-13 18:02

[译] 2018 PHP 应用程序安全设计指北

The2018GuidetoBuildingSecurePHPSoftware！目录前言PHP版本/PHPVersionsComposer依赖管理/DependencyManagementwithComposer推荐扩展/RecommendedPackagesHTTPS和浏览器安全/HTTPSandBrowserSecurity安全头/SecurityHeaders子资源完整性/Subresour
JhonXie·2020-07-13 18:36

视频教程-Kylin大数据实战学习教程-大数据

易水¥99.00立即订阅订阅后：请点击此处观看视频课程视频教程-Kylin大数据实战学习教程-大数据学习有效期：永久观看学习时长：733分钟学习计划：13天难度：中「口碑讲师带队学习，让你的问题不过夜」
学院导师-易水·2020-07-13 17:30

大数据学习——Hadoop完全分布式环境搭建

搭建Hadoop2.7.2完全分布式搭建Hadoop2.7.2完全分布式安装JDK安装Hadoop设置免密钥登录解压Hadoop并配置环境变量配置相应的Hadoop的配置文件分发配置完成的Hadoop到其它节点格式化NameNode启动HSDF和YARN关闭HDFA和YARN搭建Hadoop2.7.2完全分布式我使用了4台虚拟机来搭建相对应的节点，具体情况如下：masterslave1slave2
王乙已·2020-07-13 16:10

【原理探究】女朋友问我ArrayList遍历时删除元素的正确姿势是什么？

PS:本文已收录到1.3K+Star数的开源项目《大厂面试指北》，如果想要领取《大厂面试指北》离线PDF版，请关注“大厂面试”公众号领取，或者去点击入群二维码扫码进群或者加我微信ruiwendelll，
Not_Found9·2020-07-13 12:10
上一页 42 43 44 45 46 47 48 49 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他