大数据学习指北

大数据学习笔记27：MR案例——多输入源处理成绩

文章目录一、提出任务原始成绩数据任务1、整合两个文件的成绩数据任务2、统计每个学生各科平均分二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目MultiInScore4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建ScoreRecordReader12、创建ScoreInputFormat13、创建ScoreRe
howard2005·2020-09-12 06:28

程序员的双肩包，大概能装下整个宇宙！

作者|景岁本文经授权转载自西二旗生活指北（ID：ShelchiLifeGuide）小明的双肩包，几乎每年都要换一个。里面装着Thinkpad笔记本、电源、各种工具、线缆，还有纸笔等其他东西，沉得要命。
CSDN 程序人生·2020-09-12 05:13

Zookeeper知识点总结

本文是大数据学习总结系列第二篇之ZooKeeper，上一篇是hadoopHadoop知识点整理本文是根据《从Paxos到Zookeeper分布式一致性原理与实践》的知识点进行整理总结。
大数据DL·2020-09-12 04:04

利用虚拟机快速搭建大数据学习平台

一.环境准备win7、vmware、centos镜像、crt远程登录软件1.1下载安装Vmware链接：https://pan.baidu.com/s/1_bwt383Y57n-OCrVJ59L8A提取码：7dpo下载完成后出现如下文件：点击VMware-workstation-full-14.1.3-9474260.exe文件进行安装，选择安装目录，输入文件中激活密钥。1.2下载虚拟机镜像下载地
坚持，再坚持一下·2020-09-12 03:59

大数据学习（一）：Hue Server简单介绍

一Hue架构图二Hue支持组件（Huewebserver）Hue支持展示多种组件，目前支持HDFS、Hive、YARN/MapReduce、Oozie、Solr、ZooKeeper以及Spark。Hue是建立在DjangoPython的Web框架上的Web应用程序，采用了MTV(模型M-模板T-视图V)的软件设计模式。（DjangoPython是开放源代码的Web应用框架。）Hue由“Superv
猪笨是念来过倒·2020-09-12 02:02

大数据学习40：Flume metric 注解

启动flume监控的一种方式：flume-ngagent\--namea1\--conf$FLUME_HOME/conf\--conf-file$FLUME_HOME/conf/exec-memory-hdfs-partition.conf\-Dflume.root.logger=INFO,console\-Dflume.monitoring.type=http\-Dflume.monitorin
月魂_123123·2020-09-12 02:15

大数据学习39：ElasticSearch 常用查询2

ES常用查询21、子条件查询：特定字段查询所指特定值Querycontext在查询中，除了判断文档是否满足查询条件外，ES还会计算一个_score来标识匹配程度。旨在判断目标文档和查询条件匹配的有多好。常用查询：(1)、全文本查询：针对文本类型数据#模糊匹配1POST127.0.0.1:9200/book/_search{"query":{"match":{"author":"wxk"}}}#模糊
月魂_123123·2020-09-12 02:15

大数据学习38：ElasticSearch 基础和常用命令-增删改查

基础概念集群和节点索引：含有相同属性的文档集合，索引通过名字识别，小写英文字母命名，不能中划线数字等类似database分片：每个索引都有多个分片，每个分片是一个Lucene索引好处：提高io读写效率分片只能在创建索引的时候指定，后期不能修改备份：拷贝一份分片就完成了分片的备份好处：当主分片不可用，备份即可顶替备份可以查询，可以分摊压力备份可以动态修改类型：索引可以定义一个或多个类型，文档必须属于
月魂_123123·2020-09-12 02:15

大数据学习11：Maven编译报错以及解决方法，配置aliyun库

一、场景在用maven对hadoop，spark等进行源码编译的时候，经常会遇到编译报错。以下为一些解决办法。二、报错与分析排查：[ERROR]Failedtoexecutegoalorg.apache.maven.plugins:maven-remote-resources-plugin:1.5:process(default)onprojectspark-yarn_2.11:Failedtor
月魂_123123·2020-09-12 02:14

大数据学习之路97-kafka直连方式（spark streaming 整合kafka 0.10版本）

我们之前SparkStreaming整合Kafka的时候用的是傻瓜式的方式-----createStream,但是这种方式的效率很低。而且在kafka0.10版本之后就不再提供了。接下来我们使用Kafka直连的方式，这种方式其实是调用Kafka底层的消费数据的API,我们知道，越底层的东西效率也就越高。使用之前的方式是要连接到zookeeper的，而现在的方式则不需要。代码如下：packageco
爱米酱·2020-09-11 22:27

云服务器LNMP环境搭建

写在前面关于目的这是一篇介绍如何在云服务器上搭建LNMP环境的指北南内容基于我近一段时间来的学习和实践，所以有些内容会和网上其他文章有重复，所以说本文目的在于通过前辈们的知识，并且尽量清晰的总结出一套行之有效的方法
Clew123·2020-09-11 20:56

Flink从入门到放弃(入门篇1)-Flink是什么

图片显示不了，戳这里：github.com/wangzhiwubi…插个广告全网唯一一个从0开始帮助Java开发者转做大数据领域的公众号~公众号大数据技术与架构或者搜索import_bigdata关注，大数据学习路线最新更新
weixin_33770878·2020-09-11 17:21

在大数据学习中Hadoop和Spark哪个更好就业？

一提到大数据，人们就会想到Hadoop，然而，最近又有个Spark似乎成了后起之秀，也变得很火，似乎比Hadoop更具优势，更有前景，那么，想要学习大数据的学员就要问了，在大数据学习中Hadoop和Spark
大数据开发交流·2020-09-11 16:32

大数据学习之Flink——11侧输出流 Side Output

1.为什么需要SideStream在处理一个数据源时，往往需要将该源中的不同类型的数据做分割处理，如果使用filter算子对数据源进行筛选分割的话，势必会造成数据流的多次复制，造成不必要的性能浪费；flink中的侧输出就是将数据流进行分割，而不对流进行复制的一种分流机制。flink的侧输出的另一个作用就是对延时迟到的数据进行处理，这样就可以不必丢弃迟到的数据2.如何使用SideStream要使用S
Jiang锋时刻·2020-09-11 14:33

Mac入坑指北（问题记录）

文章目录1.IDEA启动项目时很慢2.环境变量刚配完就找不到3.brew操作4.iTerm2连接远程服务器的脚本1.IDEA启动项目时很慢打开终端，查看自己的电脑名mac@macdeMacBook-Pro~%hostnamemacdeMacBook-Pro.local将电脑名添加到/etc/hosts中127.0.0.1后面：###HostDatabase##localhostisusedtoco
一名小码农·2020-09-11 12:13

大数据处理框架的类型、比较和选择

在这里我还是要推荐下我自己建的大数据学习交流qq裙：522189307，裙里都是学大数据开发的，如果你正在学习大数据
深夜女的程序员敲代码·2020-09-11 12:45

鼠标拖动添加指北针，鼠标拖动的范围为指北针的范围

}//如果捕捉的区域对象为空或是区域高或宽为0就退出函数if(m_Feedback==null){m_Feedback=null;m_InUse=false;return;}IEnvelopeenvelope=m_Feedback.Stop();if((envelope.IsEmpty)||(envelope.Width==0)||(envelope.Height==0)){m_Feedback=
worldofwest·2020-09-11 11:45

数据科学研究院第四届“院长接待日”成功举办

数据院院长俞士纶出席了这场别开生面的院长接待日，并聆听来自不同学校、院系的十余名同学对于大数据学习、未来技术发展、职业规划等方面的问题，也针对目前学生所处的情境和遇到的问题给出了悉心的指导和答疑。
数据派THU·2020-09-11 10:32

大数据学习笔记—Hadoop概述

Hadoop概述一、Hadoop是什么二、Hadoop的特点（4高）三、Hadoop的版本演变四、Hadoop的发行版本五、Hadoop生态圈六、Hadoop典型应用架构一、Hadoop是什么Hadoop是一个有Apache基金会所开发的分布式系统基础架构。二、Hadoop的特点（4高）高可靠性:.Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢
小才鄕·2020-09-11 10:26

大数据学习笔记—Hadoop运行环境搭建

Hadoop运行环境搭建一、安装前准备二、Hadoop的安装1.单机模式2.伪分布式3.完全分布式一、安装前准备1.在Windows系统下装有VMwareworkstationpro的PC[具体操作略]2.在VMwareworkstationpro中安装并开启Linux虚拟机（Ubuntu16）[具体操作略]3.关闭防火墙如果不关闭Ubuntu操作系统防火墙，可能会出现以下几种情况：（1）无法正常
小才鄕·2020-09-11 10:54

大数据学习笔记—大数据概论

大数据概论一、大数据的概念二、大数据的特点（4V）三、大数据的应用场景四、大数据的发展前景五、大数据部门的业务流程/组织结构一、大数据的概念大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决：海量数据的存储和海量数据的分析计算问题。二、大数据的特点（
小才鄕·2020-09-11 07:59

智能机器人方向大学本科部分教学素材整理（2018）

有趣免费的开源机器人课程实践指北-2019-https://blog.csdn.net/ZhangRelay/article/details/8919189615年底工作进入正轨，如今已经18年了，时间好快
zhangrelay·2020-09-11 00:05

想入坑大数据？必须要规划学习路线

干货走起，闲话不多说，以下就是小编整理的大数据学习思路第一阶段：linux系统本阶段为大数据学习入门基础课程，帮大家进入大数据领取打好Linux基础，以便更好的学习Hadoop、habse、NoSQL、
次世代群901739356·2020-09-10 23:28

大数据学习笔记（六）

一、Azkaban介绍1.1Azkaban是什么Azkaban是由Linkedin开源的一个批量工作流任务调度工具，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种k/v(properties)格式文件来建立任务之间的依赖关系，并提供一个易于使用的web用户界面来维护和跟踪工作流。1.2为什么要使用Azkaban一个完整的数据分析系统通常都是由大量任务单元组成，比如s
伤心程序员·2020-09-10 22:42

综述中国佛教史上四次法难

三武一宗灭佛历史上“三武一宗”的教难，是指北魏太武帝、北周武帝、唐武宗和后周世宗等四位帝王所带来的四次大祸害。当时，无数的寺院、经书、佛像、法器等被焚毁、破坏，数以千万的僧侣遭到杀戮，或被迫还俗。
挖坑只为埋自己·2020-09-10 21:14

狙杀页面卡顿 —— Performance 指北

本文首发于本肥宅的博客及知乎饿了么前端专栏今天介绍下Chromedevtools家族的一个小兄弟，它在Chrome57之前叫作「Timeline」，而现在换了个更长的马甲——「Performance」，毕竟名字要「长～～～～～～～～～」更能吸引注意。也许你曾不经意启动过这个工具，看见里面五颜六色的图表后和我一样头晕目眩。但今天介绍完它后，我相信你能像熟悉瑞士军刀一样熟悉它。这个面板叫做「Perfo
weixin_34004750·2020-09-10 19:20

为什么你应该学习搭建区块链应用

这是「区块链技术指北」的第29篇文章。如果对我感兴趣，想和我交流，我的微信号：Wentasy，加我时简单介绍下自己，并注明来自「区块链技术指北」。同时我会把你拉入微信群「区块链技术指北」。
weixin_33729196·2020-09-10 19:42

大数据学习系列2-Centos6.7下搭建hadoop-2.6.5集群

集群规划主机IP安装的软件运行的进程mini1192.168.33.61jdk、hadoopNameNode、ResourceManager、SecondaryNameNodemini2192.168.33.62jdk、hadoopDataNode、NodeManagermini3192.168.33.63jdk、hadoopDataNode、NodeManager1.准备Linux环境1.1先将
dream-on·2020-09-10 18:56

整理的最全大数据学习之路「大神必修课」

前言：一、背景介绍二、大数据介绍正文：一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习规划四、持续学习资源推荐（书籍，博客，网站）五、项目案例分析（批处理+实时处理）前言一、背景介绍本人目前是一名大数据工程师
金罗老师·2020-09-10 16:44

今年的毕业生也太太太太难了吧！

我是图片的分割线我是图片的分割线我是图片的分割线我是图片的分割线我是图片的分割线当今年的毕业生们终于走出校门到各大公司面试时可能会做出这样一份自我介绍——“用人单位您好我是家里蹲大学毕业的”来源：西二旗生活指北
程序员小灰·2020-09-10 12:25

VSCode配置Python编辑器

VSCode配置Python编辑器标签（空格分隔）：VSCodepython功笙（已使用中文文案排版指北规则排版此篇文章）VisualStudioCode是微软于2015年发布的轻量级IDE，软件只有几十兆
幽雨雨幽·2020-09-10 12:16

大数据学习整理篇（十）大数据应用场景和展现方式整理

根据目前比较通用的大数据应用场景，做了如下整理和分析，具体算法，请自行百度：应用场景算法大类具体算法展现方式会员画像，会员细分聚类模型KMeans聚类饼状图,柱状图预测，预警回归模型线性回归柱状图IVR分析，功能埋点分析关联分析Apriori算法关系图IVR分析FP-growth算法关系图功能埋点会员兴趣，偏好，行为分析协同过滤User-BasedCF雷达图根据会员有共同的行为分析，历史记录，猜出
我还要去追逐我的梦·2020-09-10 10:47

大数据学习整理篇（六）CentOS 7.8搭建Zeppelin 0.9.0-preview2最新版，并使用phoenix访问hbase

基于项目中要使用Spark的原因，所以使用Zeppelin使用SparkML，并进行数据展示是比较好的选择，在搭建0.9.0的时候也解决了几个入坑问题，现在把具体情况说明下：1.首先下载最新的0.9.0-preview2版本下载1.5G的zeppelin-0.9.0-preview2-bin-all.tgz2.下载完后，使用tar-xzvf解压文件3.修改/etc/profile文件，最下面添加如
我还要去追逐我的梦·2020-09-10 10:47

大数据学习整理篇（九）idea创建可以使用scala和java在spark运行的示例

1.新建Java的maven工程后续把groupid和artifactid和版本定义好就行2.定义pom文件，添加具体jar包请查看上篇文章整理篇（八）https://blog.csdn.net/penker_zhao/article/details/108361732scala需要增加新的打包文件，加入到pom文件，具体如下：org.scala-toolsmaven-scala-pluginco
我还要去追逐我的梦·2020-09-10 10:47

大数据学习整理篇（七）Linux下使用Docker搭建Spark多节点，Phoenix单机版，然后使用Spark访问Phoenix(java示例成功版）

我们的大数据平台之前定义的步骤就是，使用ETL工具从关系型数据库抽取到HBase，然后通过Phoenix的二级索引，SQL关联查询，将大数据需要学习的训练集以及验证集提供给spark，调用sparkml的机器学习类库，做相应的算法分析，比如线性回归算法和决策树算法等等，最后生成临时表到phnenix的，使用zeppelin将数据展示出来，整个大数据平台的思路就是这样。下面我们按照步骤逐一展开：1.
我还要去追逐我的梦·2020-09-10 10:47

大数据学习整理篇（八）Zeppelin连接Spark

Zeppelin单独1.5g的版本自带了Spark，所以可以使用local方式直接连接自带的spark。然后可以嵌入scala语言，进行数据统计，如下图所示：新建一个note，Interpreter选择spark可以将下列语句直接带入到一个paragraph中，如下图所示：下面的代码来自（https://blog.csdn.net/majianxiong_lzu/article/details/8
我还要去追逐我的梦·2020-09-10 10:47

大数据学习：离线数仓

学习地址：Bilili1数据仓库概念2项目需求及架构设计2.1项目需求分析2.2阿里云技术框架2.2.1技术选型2.2.3系统数据流程设计
chaoge_dgqb·2020-09-10 09:46

从月活到日活，短视频/直播行业竞争已打响“拉活”战役

（作者：卫夕指北，原标题《从流量到留量——存量博弈下的巨头增长新策略》。经作者授权，较原文略有删减。）
腾讯社交广告·2020-09-10 00:00

指北 | 聊聊中断机制

什么是中断中断其实是一种“中断”事件，中断具体代表什么意思需要考虑它所处的上下文环境和参照对象是谁。考虑事件，我们可以简单把中断抽象为这样一种模型：当我们分析某种中断事件时，我们需要搞清楚这四个对象：中断源中断源是谁中断源在什么条件下触发中断中断源如何触发中断信号信号具体指的是什么信号是否需要存储如何存储中断控制器中断信号的管理比如说中断源发送的信号是否屏蔽，信号是否可被中断处理器重复处理，信号的
Monica2333·2020-09-07 10:15

一文搞懂后台高性能服务器设计的常见套路, BAT 高频面试系列

微信搜索「编程指北」，关注这个写干货的程序员，回复「资源」，即可获取后台开发学习路线和书籍先赞后看，养成习惯~前言金九银十，又是一年校招季。经历过，才深知不易。
编程指北·2020-09-05 19:50

中国网民，赛博农耕

本文作者：指北BB组洪咸，编辑：蒲凡，题图来自：视觉中国说起现代人对农村生活的向往，大概没有任何一个关键词比“短视频”更适合成为“原因”：在过去，频繁与农村出现在一起的组合词是生产而不是生活，农民身在第几生产大队远比他在自家后院手工扎篱笆更有实际意义
虎嗅网·2020-09-05 00:00

计算机相关专业实习指北

相信很多人都知道，第一份实习/工作对于日后的发展尤其重要，在职场上接触的第一个leader，也会对未来的工作思维、工作态度产生重要的影响。因此第一份实习，可不能随便找个兼职糊弄一下就过去了。那么在选择企业实习的时候，我们应该做些什么呢？事实上，博主自己也是最近才找到实习，没有办法以长远的眼光来判断这个实习究竟对自己未来的作用有多大，所以这里仅仅是谈一下我自己所做的一些准备，以及我自己在找实习过程中
雇个城管打天下·2020-09-04 00:35

(小技巧)不定宽溢出文本适配滚动

（给程序员成长指北加星标，提升前端技能）作者：chokcocohttps://juejin.im/post/6854573220382081037在日常布局当中，肯定经常会遇到文本内容超过容器的情况。
傲娇的koala·2020-09-02 08:56

东野圭吾的成名作《放学后》：老师竟然是高危职业？

因为凶手事先计划周密，不仅布下迷惑阵，而且声东击西，指北打南。警察和男主都被带偏了调查方向。一无所获。而这一切，竟然是两个女生所为。孩子的智商，犯起罪来，比大人有过之而无不及。东野
猫虎虎·2020-08-30 16:52

css居中完全指北

css的水平垂直居中问题太常见了，整理一波行内单行文本行内元素的水平居中比较常见text-align:center;行内元素多行文本的垂直居中,可以用table布局来解决，当然了flex大法也能妥妥搞定多行文本xxxxxx.container{display:table;}.center{display:table-cell;vertical-align:middle;}块级元素的水平垂直居中不定
唐_银·2020-08-26 23:18

WidgetKit 入门指北

Python实战社群Java实战社群长按识别下方二维码，按需求添加扫码关注添加客服进Python社群▲扫码关注添加客服进Java社群▲作者丨zvving来源丨老司机技术周报（LSJCoding）作者：zvving，iOS开发者，现就职于字节跳动音乐团队来源公众号丨老司机技术周报（LSJCoding）本主题基于https://developer.apple.com/videos/play/wwdc2
iOS_开发·2020-08-26 23:15

css居中完全指北

css的水平垂直居中问题太常见了，整理一波行内单行文本行内元素的水平居中比较常见text-align:center;行内元素多行文本的垂直居中,可以用table布局来解决，当然了flex大法也能妥妥搞定多行文本xxxxxx.container{display:table;}.center{display:table-cell;vertical-align:middle;}块级元素的水平垂直居中不定
唐_银·2020-08-26 23:50

大数据学习之SPARK的重要性

为了辅助大家更好去了解大数据技术，本文集中讨论Spark的一系列技术问题，大家在学习过程中如果遇到困难，可以留言互动，我都将「知无不言，言无不尽」！本文摘自科多大数据武老师的笔记，感谢整理//话题1：MapReduce的局限性有哪些？回复：①MapReduce框架局限性它仅支持Map和Reduce两种操作，而且处理效率低效，具体有这四点：a.Map中间结果写磁盘，Reduce写HDFS，多个MR之
彧11·2020-08-26 23:40

大数据学习路线及各阶段学习书籍推荐

大数据学习路线及各阶段学习书籍推荐！废话不多说，直接切入主题，有需要的小伙伴可以参考学习！
QFdongdong·2020-08-26 22:34

大数据的应用是否会带来大众隐私观的变革？

在这里我还是要推荐下我自己建的大数据学习交流qq裙：957205962，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自己整理的一份
数据工程师金牛·2020-08-26 12:29
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他