大数据学习指北

大数据学习笔记六（MapReduce）

Hadoop的两大核心是HDFS和MapReduce，HDFS是分布式文件系统，而MappReduce的工作是进行数据处理推荐MapReduce学习链接：http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson7MapReduce两大核心函数：Map和ReduceMapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两
绿洲守望者·2020-09-16 03:27

Mac 软件包管理器Homebrew使用指北

HomebrewHomebrew由开发者MaxHowell开发，并基于BSD开源，是一个非常方便的软件包包管理器工具。Homebrew官网Homebrew的几个核心概念在正式介绍Homebrew的使用之前，我先为你介绍一下Homebrew中的一些核心的概念，了解这些概念，就可以帮助你更好的去使用Homebrew。词汇含义formula(e)安装包的描述文件，formulae为复数cellar安装好
Christopher若有光·2020-09-16 02:00

大数据学习笔记(MapReduce简介)

什么是MapReduceHadoopMapReduce是一个易于编写应用程序的软件框架，该应用程序以一种可靠的、容错的方式，在大型硬件集群(数千个节点)上并行处理大量数据(多TB数据集)。MapReduce的设计理念MR主要思想就是：分久必合MR的核心思想：“相同”的key为一组，调用yicireduce方法，方法内迭代这一组数据进行计算MR由两个阶段组成：map端reduce端MapReduce
smy12138·2020-09-16 02:48

大数据解决思想

记录下大数据学习之旅。
yyoc97·2020-09-16 01:34

线上办公第一天，我被@了128次

作者：景岁来源：西二旗生活指北（ID：ShelchiLifeGuide）远程办公第一天，有人嗨皮有人愁。有人躺着摸鱼，有人在家搬砖。爽的生活大致相同，不爽的人各有各的不爽。
简说Python·2020-09-16 01:26

CSS3食用指北 # Ch1 CSS3的来龙去脉

参考《StunningCSS3Aproject-basedguidetothelatestinCSS》ZoeMickleyGillenwater什么是CSS3CSS2.1的扩展。CSS2.1是单一的规范，CSS3划分了多个模块，每个模块都是CSS的某个子集的独立规范，然后各自推进。在http://www.w3.org/style/css/current-work这个地址可以看到CSS3包含所有模块
真·skysys·2020-09-15 23:49

写给Javascript程序员的Jupyter Notebook使用指北

JupyterNotebook是一块所见即所得的画布，通过在浏览器上编辑代码，让开发人员实现展示与快速迭代的利器。项目最初给予python，通过安装插件，对Javascript也有良好的支持。本文主要针对前端/Javascript工程师在安装、配置的过程进行记录。希望notebook能给我们的开发、研究工作带来便利。python工程师推荐专业的Python开发人员，安装Anaconda用以进行版本
weixin_33804582·2020-09-15 20:50

成由勤俭败由奢

意指北方人大气，南方人精致。实际上，不管是按吨还是按顿，只要能及时消化掉这些蔬菜副食，保证不变质不丢弃，就是可行的。客观来讲，少量购买、及时烹饪，更能保证菜品营养不流失，也避免一次吃太多身体不得不
紫衣悠扬·2020-09-15 19:56

Android Weex 自定义 Component 指北

Weex自定义Component开发这块，官方文档和网上示例都较少涉及。工作所需有所研究，总结此文以飨读者。基础定义与注册如下述代码所示，从WXComponent继承出来以后，复写四个构造器方法，就可以完成一个最简单可跑当然也显示不了任何东西的WXComponet。需要说明的是WXComponent可以指定泛型T，TextendsView，用于指定WXComponenthostView根布局的类型
终结者ASDF·2020-09-15 18:45

程序猿职场求生指南[手动狗头]

程序猿职场求生指北工作篇时间规划向上管理如何避免被裁社交篇日常拉近和同事的关系朋友圈生活篇如何成为优秀员工如何轻松地成为优秀员工团队管理篇壮大团队如何激励员工人员管理结语职场法则:只要你努力工作，办事靠谱
xindoo·2020-09-15 16:10

最通俗易懂的路由器选购指北

1.总结①不要买百兆网口路由器，千兆网口起步②必须买双频路由器（2.4G—5G）或者三频③无线速率1200兆起步④必须支持802.11ac或ax标准⑤必须支持2*2mimo以上技术的路由器（新MU—MIMO技术更好）⑥不要盲目选购WIFI6，价格较贵，而且配套设备没跟上⑦网线至少需要千兆（超五，六类，超六）不差钱上（七类）⑧面积大于120平还需要无缝漫游要么多花钱上mesh要么路由+多AP模式⑨5
饭代码·2020-09-15 06:30

0基础大数据学习的4个步骤

大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，想学的朋友也是完全可以掌握大数据的。
单人季节·2020-09-15 03:36

大数据新手的0基础学习路线，从菜鸟到高手的成长之路

推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享
weixin_41780944·2020-09-15 03:50

大数据学习基础知识总纲

爱数据学习社welcome大数据需要学习什么?很多人问过我这个问题。总是没有一个合适的契机去好好总结这些内容，直到开始写这篇东西。大数据是近五年兴起的行业，发展迅速，很多技术经过这些年的迭代也变得比较成熟了，同时新的东西也不断涌现，想要保持自己竞争力的唯一办法就是不断学习。大数据需要的语言Javajava可以说是大数据最基础的编程语言，据我这些年的经验，我接触的很大一部分的大数据开发都是从Jave
weixin_34151004·2020-09-15 03:01

大数据学习路线图（知识体系整理）

概述本文针对想学习大数据技术从事大数据开发的人员总结了一套专业的学习路线图。大体可以分为以下个阶段七个阶段：入门知识学习阶段→基础程序语音学习→Hadoop生态体系学习→分布式计算框架（Spark核心技术）→实时计算框架→大数据常用组件学习→大数据项目实战。在后续的文章中，我将陆续将各个阶段的学习资料和教程进行整理和发布。希望大家通过我文章的引导加上自身的学习新手小伙伴能够快速的熟悉大数据体系，有
Eason聊IT·2020-09-15 03:15

2019全新版最新大数据学习路线+教你从零做起

很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：199427210，有大量干货（零基础以及进阶的经典实战
安靜@忧伤·2020-09-15 03:15

零基础学习大数据：零基础学习大数据最完整的学习路线

下面分十个章节来说明大数据开发要学习的内容：以上就是一个大数据新手，想要学会大数据开发，需要学习的内容，大数据学习是一个持续的过程，只要用心学，没有学不会的东西哦！
大数据开发交流·2020-09-15 03:32

新手小白大数据学习路线规划

上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。语言基础1.Java大数据框架大多采用Java语言进行开发，并且几乎全部的框架都会提供JavaAPI。Java是目前比较主流的后台开发语言，所以网上免费的学习资源也比较多。如果你习惯通过书本进行学习，这里推荐以下入门书籍：《Java编程的逻辑》：这里一本国人编写的系统入门Java的书籍，深入
juan333·2020-09-15 02:33

函数式编程初探

什么是函数式编程阮一峰老师的函数式编程入门教程：http://www.ruanyifeng.com/blog/2017/02/fp-tutorial.htmlFranklinRisby教授的函数式编程指北
一叶知秋9307·2020-09-14 23:58

Kafka Tool 2.0.7(最新)版本超详细使用指北

KafkaTool2.0.7版本使用指北本篇博客要点如下:KafkaTool2.0.7下载安装KafkaTool2.0.7参数优化及连接Kafka集群KafkaTool2.0.7参数优化使用KafkaTool
new个对象先·2020-09-14 16:57

大数据学习之十——MapReduce代码实例：数据去重和数据排序

***数据去重***目标：原始数据中出现次数超过一次的数据在输出文件中只出现一次。算法思想：根据reduce的过程特性,会自动根据key来计算输入的value集合，把数据作为key输出给reduce,无论这个数据出现多少次，reduce最终结果中key只能输出一次。1.实例中每个数据代表输入文件中的一行内容，map阶段采用Hadoop默认的作业输入方式。将value设置为key，并直接输出。map
weixin_30802273·2020-09-14 16:25

大数据学习——scala集合练习

packagecom/***CreatedbyZXon2016/4/5.*/objectListTest{defmain(args:Array[String]){//创建一个Listvallst0=List(1,7,9,8,0,3,5,4,6,2)//将lst0中每个元素乘以10后生成一个新的集合vallst01=lst0.map(_*10)println("lst01"+lst01)vallst
weixin_30567471·2020-09-14 16:42

JMeter高并发测试入门指北

废话刚好最近在研究高并发的优化（不boom）的解决方法，所以涉及到了高并发的测试。有的参考资料里面会提到用postman的iteration进行高并发测试，但实际上postman的测试是串行的，实际跑下来1000个请求时间拉得很长，服务器气都不喘全都能pass，参考意义不是特别大，但也简单介绍一下。另外的方法还有用python多线程（requests+gevent）的。这里主要介绍用Apache出
Leslie_Leung·2020-09-14 11:42

大数据学习——java调用spark常用接口函数

一、准备：1.1引入依赖包：org.apache.sparkspark-core_2.101.2.0spark版本在不断迭代更新，也许这个版本已经过时，不同的版本之间java接口并不是完全兼容的，如果为了快速了解学习，请在maven中配置和我一样的spark依赖版本，这样下面的java接口调用代码是可以直接使用的，否则要自行处理版本更新导致的接口标准变化。比如你可能立即发现Iterator和Ite
祁峰sunny·2020-09-14 09:58

大数据学习——win环境下spark安装教程

spark是性能远超过hadoop的MapReduce的计算框架，它依赖于hadoop和分布式硬件环境。但是学习spark和测试一些简单的功能函数时，分布式环境是一个较高的门槛，对hadoop的依赖也使得习惯于windows开发环境的程序员十分苦恼。以下博文将在windows环境下安装spark。一、环境准备安装jdk：https://blog.csdn.net/qq_15903671/artic
祁峰sunny·2020-09-14 09:57

大数据学习——java调用spark学习测试

spark是一种计算框架，如果只是想学习，完全可以脱离hadoop而独立运行，当然这样就没法使用hdfs进行数据存储。windows环境下，使用java语言添加spark依赖包就可以直接使用spark了。一、maven添加spark依赖：这个jar包还是挺大的，下载需要点时间。二、随便写个map操作importorg.apache.commons.lang3.StringUtils;importo
祁峰sunny·2020-09-14 09:57

大数据学习——dataX工具部署和源码编译

为了做大数据项目数据抽取工作，开始学习dataX，尝试比较dataX（版本3.0）与sqoop的功能与性能差异。以下教程包括：下载dataX工具及简要使用、下载dataX源码尝试编译及遇到的问题、尝试改造开源项目dataX一、下载dataX工具及简要使用gitHub下载（在下面的README里，QuickStart栏中）：https://github.com/alibaba/DataX阿里云下载：
祁峰sunny·2020-09-14 08:11

大数据学习篇：hadoop深入浅出系列之HDFS（一）——HDFS简介和优缺点

上一篇，我们说了hadoop的伪分布式安装，今天我们来说说著名的HDFS，一：HDFS简单介绍HDFS，顾名思义HadoopDistributedFileSystem，翻译过来就是hadoop分布式文件系统，至于它的来历我就不说了，网上比比皆是。随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的
你所有承诺·2020-09-14 01:45

【大数据】大数据学习填坑之路

大数据学习填坑之路1.20/09/1122:18:26ERRORboot.SpringApplication:Applicationstartupfailed问题log分析：2.20/09/1122:30
游骑小兵·2020-09-14 00:23

大数据学习之路----Scala语言学习（安装、常量、变量、类型）

一、scala语言Scala是一门多范式的编程语言，一种类似java的编程语言，设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性，这种语言与java类似，有很多java的影子存在，而且还有一些自己的特点，我们可以使用这门语言去操作spark计算引擎，scala在计算和执行效率上要高于java所以我们在使用spark进行在线计算时，采用的是scala语言。多范式：既包含java的
十五亿程序员的希望·2020-09-13 22:32

大数据学习之路----HDFS与Eclipse的搭建----集群外提交

使用Eclipse来充当client来对集群中的文件进行上传下载一、环境搭建就像搭建java环境变量一样，在我的电脑>>>属性>>>高级系统设置>>>环境变量中可以看到有之前我们配置的系统变量JAVA_HOME,同样我们首先配置HADOOP_HOME第二我们要配置HADOOP_USER_NAME这里的名字一定要和虚拟机管理员的名字一致第三就是要修改Path在下面加入%HADOOP_HOME%\bi
十五亿程序员的希望·2020-09-13 22:32

大数据学习之路----Scala语言学习（类、方法、对象、继承、特质）

类、方法、对象、继承、特质Scala的类与Java、C++的类比起来更简洁，学完之后你会更爱Scala！！！1.1.类1.1.1.类的定义packagecn.bw.class_demo/**在Scala中，类并不用声明为public类型的。Scala源文件中可以包含多个类，所有这些类都具有共有可见性。*/classPerson{//用val修饰的变量是可读属性，有getter但没有setter（相
十五亿程序员的希望·2020-09-13 22:01

大数据学习之路-----JSch

JSch是JavaSecureChannel的缩写。JSch是一个SSH2的纯Java实现。它允许你连接到一个SSH服务器，并且可以使用端口转发，X11转发，文件传输等，当然你也可以集成它的功能到你自己的应用程序。本文只介绍如何使用JSch实现的SFTP功能。SFTP是SecureFileTransferProtocol的缩写，安全文件传送协议。可以为传输文件提供一种安全的加密方法。SFTP为SS
十五亿程序员的希望·2020-09-13 22:01

大数据学习之路----Scala语言学习（类型转换、判断、循环、元组、数组、集合）

一、类型转换Scala的类型转换分为三种:隐式转换、强制类型转换、值类型和字符串类型的转换1.隐式转换隐式转换又称为自动类型转换，当Scala程序在进行赋值或者运算的时候，精度小的类型自动转换为精度大的类型，这个就是自动类型转换例：vara:Int=‘a’、vard:Double=100注意：1)有多种类型进行混合运算时,系统首先将所有的类型,转换成精度最大的那种数据类型,然后再进行计算例：4.5
十五亿程序员的希望·2020-09-13 22:00

大数据学习第三课之hdfs的java客户端IO流和简单Util的文件操作（以idea展示，eclipse为辅）

方法一：第一种（在eclipse中，主要讲解环境）先进行依赖包引入，代码操作看方法二。导包（在java中的jar包）流程如此下：导入这两个包,这里就演示的包，common相同。先导入这第三个还有它lib第三方依赖包的全部：点击打开就导入了，下面也是。这里就是导入成功了（hdfs和hdfsbao包一样的，举个例子，我这里是hdfs，名字随便取）：方法二（一）：IO流的操作（idea中）首先就是建一个
一片程序的天空·2020-09-13 22:47

GDB调试指北-启动调试或者附加到进程

文章目录前言测试样例代码内容代码编译运行程序使用gdb调试使用gdb调试core文件调试过程使用gdb直接启动程序调试过程使用gdb调试正在运行的文件语法对比总结前言要想使用gdb调试程序，必须让gdb程序和被调试程序建立联系，这种联系可以通过程序的可执行文件、core文件或者正在运行的进程来建立，具体调试的时候使用的选项不同，涉及到参数的传递，选项的顺序，多进程启动前的设置等等，接下来可以看一些
AlbertS·2020-09-13 19:06

大数据学习笔记之Storm（一）：Storm

一Storm概述1.1离线计算是什么？离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据1.2流式计算是什么流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka实时数据存储、Storm/JStorm实时数据计算、Redis实
Leesin Dong·2020-09-13 18:38

在网易工作是一种什么样的体验？

当然，仅仅从食堂去了解一家公司显然是片面的，不专业的，今天就随指北君一起，全方位、多角度看看在“猪厂”工作是一种什么样的体验。
谷歌研发技术团队·2020-09-13 17:31

大数据学习笔记1

Hadoop学习笔记本文是关于在环境搭建过程中我个人遇到的问题的记录，所以并没有具体过程，过程大家可以自行在网上找，我也是在网上找的，并没有太大的区别。1.版本问题本人用的环境是：jdk1.8hadoop2.7.1zookeeper3.4.6hbase1.1.2其中，hadoop1.x和2.x差别非常大，并不通用，因此1.x的教程对于2.x来说基本上完全没有参考价值，当然如果深入到框架和原理，那肯
ruirui610·2020-09-13 12:37

GPS 初学之一 ： 热启动 冷启动，暖启动

关于冷启动、暖启动和热启动的一种解释（转自指北针导航）GPS接收机的启动时间是一个目前比较混乱，同时如果不具备一定的GPS知识比较难以理解的一个概念。
zhshpd·2020-09-13 09:03

大数据学习笔记1

一、大数据定义IBM用4V（Volume、Variety、Velocity、Value）来描述大数据所拥有的特点。（1）大容量（Volume），指数据体量巨大；（2）多形式（Variety），指数据类型多样；（3）高速率（Velocity），指数据以非常高的速率产生实时数据；（4）价值密度（Value），指价值密度低的数据为大数据（大数据伴随着从低价值的原始数据中进行深度挖掘和计算，从海量且形式各
q123_xi·2020-09-13 08:08

蓝桥杯练习系统习题-算法提高1

文章推荐精选java等全套学习资源精选java电子图书资源精选大数据学习资源java项目练习精选蓝桥杯练习系统习题-算法提高1题目搜索方式：Ctrl+F—->输入题目名称—>定位到解答.入门训练（详见算法
欧阳思海·2020-09-13 06:55

大数据学习笔记之Hadoop环境配置(完全分布式搭建)

先搭一台伪分布式的服务，然后直接克隆2台，一共3台克隆完成后需要更改主机名hostnamectlset-hostname名称在/etc/sysconfig/network-scripts/ifcfg-ens33修改ip映射关系把这个地址改成你设置的地址在/etc/hosts文件中添加服务器地址用上面的操作我们可以搭好3台独立大队伪分布式服务接下来把3台连到一起在hadoop-2.7.3/etc/h
Java璐到底·2020-09-13 00:59

Spark MLlib 之 大规模数据集的相似度计算原理探索

更多内容参考——我的大数据学习之路——xingoo在spark中RowMatrix提供了一种并行计算相似度的思路，下面就来看看其中的奥妙吧！相似度相似度有很多种，每一种适合的场景都不太
weixin_33736048·2020-09-12 20:04

尚硅谷直播课:（韩顺平）2020大数据学习路线图、大数据开发课程笔记

尚硅谷直播课:2020大数据学习路线图,大数据开发链接：https://pan.baidu.com/s/18Feqa_63640xPB0fYJ8Ttg提取码：9bnr(此链接放这只为方便自己查阅，无恶意分享他人劳动成果之意
ningmengshuxiawo·2020-09-12 19:13

2019最新大数据学习路线

在中国，大数据也正迅速成为行业和市场的热点。专注与亚太及中国市场的市场调查机构泛亚咨询发布的调研数据显示，目前出现在各类招聘平台上与数据分析相关的招聘需求比去年同期相比，增长率高达67%；大数据相关高级职位的薪酬与其他同类技术职位相比平均高出43%以上。无论是世界范围内还是在中国，大数据浪潮正在深刻改变着各行各业，而各行各业对大数据人才的需求，以及技术从业者希望跻身大数据高级人才的需求也变得越来越
dfywlme7915·2020-09-12 18:32

2020尚硅谷大数据学习路线【最新版】

文章所有内容转自www.atguigu.com文章内容以尚硅谷官方(http://www.atguigu.com/download.shtml)为准！视频内容来自官网、B站，相关资料可在视频评论区领取。一、Java基础1.Java基础视频教程715集：https://www.bilibili.com/video/BV1Kb411W75N2.MySQL核心技术：https://www.bilibil
思唯李·2020-09-12 18:37

作为一个Android开发者，你迷茫了吗？

在这里我还是要推荐下我自己建的大数据学习交流qq裙：957205962，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自
数据工程师大牛·2020-09-12 15:09

什么条件下 零基础转行学大数据容易成功

大数据学习资料分享群：119599574谈起零基础学习大数据
大数据开发交流·2020-09-12 15:13

大数据学习 ------- Hbase 与hadoop区别 Hbase 与关系型数据库的区别 Hbase特点

Hbase与hadoop的区别？1、HDFS是一个分布式文件系统，存储大量的数据。Hbase是数据库是建立在HDFS之上的2、HDFS不支持单条记录的快速检索，而Hbase检索是最基本的功能3、HDFS提供是一个高延迟的处理,hbase提供了单行记录低延迟的随机访问Hbase与关系型数据库的区别？1Hbase没有事务的支持，hbase存储的数据都是非结构化或者半结构化的数据，而关系型数据库存储的都
Z_Data·2020-09-12 10:46
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他