ML&DL-大数据学习

大数据学习笔记53：Flume Sink Processors（Flume接收器处理器）

文章目录一、FlumeSinkProcessors用户指南二、DefaultSinkProcessor三、FailOverSinkProcessor四、LoadBalancingSinkProcessor一、FlumeSinkProcessors用户指南http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#flume-
howard2005·2020-08-24 14:45

设计模式——开发常用的设计模式梳理

文章推荐精选java等全套学习资源精选java电子图书资源精选大数据学习资源java项目练习精选.基础学习：UML四种关系耦合度大小关系泛化=实现>组合>聚合>关联>依赖依赖(Dependency)好好学
欧阳思海·2020-08-24 06:25

视频教程-会感知、响应和学习的流程与决策 – IBM认知业务运营网络大会-大数据...

CSDN讲师¥272.00立即订阅订阅后：请点击此处观看视频课程视频教程-会感知、响应和学习的流程与决策–IBM认知业务运营网络大会-大数据学习有效期：永久观看学习
weixin_29432921·2020-08-24 03:37

（一）大数据学习引言——大数据概述

一、大数据的概念概念大数据是指：无法在现有的常规软件工具对其内容进行抓取、管理和处理的数据集合。特征Volume：数据量足够大Variety：数据的种类多样Velocity：数据的增长速度快Value：数据蕴藏价值大二、大数据的行业价值1.分析用户的行为，建立数据模型，并进行预测在用户行为分析方面，最典型的是美国沃尔玛公司将尿不湿和啤酒放在一起销售的策略，通过对客户的购物习惯进行关联分析，得出用户
郭建華·2020-08-23 23:52

大数据学习思路分解(2)：机器学习

机器学习是整套大数据学习线路里的第二部分内容，知识点相对来说不是很多，但也是大数据开发中最常用的一部分内容。
尚学先生·2020-08-23 19:11

大数据技术之_01_Linux学习_01_linux的入门+VM和linux的安装+linux的目录结构+远程登录到linux服务器+vi和vim编辑器+开机、重启和用户登录注销+用户管理+用户组管理

大数据学习之_01_Linux学习_011linux的入门1.1Linux的介绍2VM和linux的安装2.1安装vm和Centos2.1.1基本说明2.1.2CentOS安装的步骤2.1.3CentOS
黑泽君·2020-08-23 14:36

怎样进行大数据的入门级学习？

03.大数据科学家04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）由于本人曾是大数据工程师的角色，我就这个方向做一些介绍本回答目录:一、大数据工程师的技能要求二、大数据学习路径三
煎蛋侠_·2020-08-23 05:18

大数据学习路线2019版（附全套视频教程及网盘下载）

什么是大数据？大数据（BIGDATA）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点：VOLUME（大量）、VELOCITY（高速）、VARIETY（多样）、VALUE（低价值密度）、VERACITY（真实性）。为什么要学习大数据？目前，全球数据呈现爆发增长、海
weixin_30950887·2020-08-22 23:28

如何制定一份可实施的2018年大数据学习计划？

没错，福利要放最前面50G大数据学习资料百余本大数据学习书籍Excel全方位技能视频教程回复【学习计划】获取进群资格领取学习资料给大家讲一个恐怖故事那就是在这里还是要推荐下我自己建的大数据学习交流群:199427210
大数据05·2020-08-22 21:49

大数据分析学习之路

大数据分析的五个基本方面二、如何选择适合的数据分析工具三、如何区分三个大数据热门职业四、从菜鸟成为数据科学家的9步养成方案五、从入门到精通——快速学会大数据分析在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙
金光闪闪耶·2020-08-22 12:39

大数据学习第二课：CDH安装

本章主要内容：Hadoop发行版介绍CDH离线安装教程上一课我们学习了如何搭建虚拟机的，不过那也只是完成了入门大数据的第一步，今天开始进行第二步，也就是大数据相关工具的安装。一、Hadoop发行版ApacheHadoop往小了说就是个开源项目，往大了说简直就是开源界唯一的大数据标准。它实在是太火了，所以很多商业公司在它的基础上包装成不同的发行版。就类似Linux很火，为了方便普通用户它也有很多发行
wangjinnan16·2020-08-22 03:06

大数据学习：MAVEN编译下载太慢，修改为阿里源做法

在使用MAVEN中，编译时download很慢是由于使用默认的源进行下载，这里手动修改$MAVEN_HOME/conf/settings.xml文件，找到mirror段，进行如下修改即可。**nexus-aliyunhttp://maven.aliyun.com/nexus/content/groups/public
月魂_123123·2020-08-22 01:25

SQL总结-思维导图

以上.听说，爱点赞的人运气都不会太差哦如果有任何意见和建议，也欢迎在下方留言~关注这个公众号，定期会有大数据学习的干货推送给你哦~只分享干货！只分享干货！只分享干货！
Shaun_Xi·2020-08-21 22:02

2019新版大数据学习路径

近几年，大数据这个词突然变得很火，不仅纳入阿里巴巴、谷歌等互联网公司的战略规划中，同时也在我国国务院和其他国家的政府报告中多次提及，大数据无疑成为当今互联网世界中的新宠儿。而大数据开发技术，对于学习者来讲专业性强，操作繁琐，完全属于“高大上”的技术。好奇的人或许只会通过网络搜索了解了一些甚至都谈不上皮毛的东西，有时候连概念都说不上来，而有一些人则看到了大数据带来的机遇，想通过专业的培训来学习大数据
QFdongdong·2020-08-21 20:30

大数据学习笔记-------------------(17_2)

17.2简单消费者实例已经创建一个producer给Kafka集群发送信息。现在需要创建一个consumer来接收来自集群中的信息。KafkaConsumerAPI习惯用语接收来自Kafka集群的信息。KafkaConsumer类结构定义如下：publicKafkaConsumer(java.util.Mapconfigs)config：返回消费者配置信息的mapKafkaConsumer类的重要
WEL测试·2020-08-21 19:50

大数据入门资料及需要的学习的时间分析！

大数据学习QQ群：716581014
大数据05·2020-08-21 17:25

学习大数据需要Java基础吗？

推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编
大数据资料分享·2020-08-21 16:14

大数据学习

自给定义：短时间快速产生大量多种多样的有价值的信息如今数据越来越多，为了解决数据量过大的问题，垂直扩展机制，和横向扩展机制相继进入视线，垂直扩展指的是再一台服务器上尽可能的扩大内存，而横向扩展指的是将许多个计算机联系起来，例如下图：讲完这些，就不得不说一说hadoop生态圈和spark生态圈了，hadoop包括以下模块HadoopCommon：支持其他Hadoop模块的常用实用程序。Hadoop分
七个馒头·2020-08-21 04:39

大数据学习7：Hadoop Yarn 的调优整理

HadoopYarn的调优整理：对于Yarn的调优，主要从内存和CPU的角度去调整。应从集群所有节点的角度去考虑计算资源，根据Application申请的资源进行分配container（容器）。Container是Yarn中资源分配的最小单元，包含了一定的内存和CPU资源。在集群中，调整内存，CPU，磁盘的资源的平衡性很重要，根据经验，每2个Container使用一块磁盘和1个CPU核的时候，资源
月魂_123123·2020-08-21 03:50

大数据学习路线

一、大数据处理流程上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解：1.1数据收集大数据处理的第一步是数据的收集。现在的中大型项目通常采用微服务架构进行分布式部署，所以数据的采集需要在多台服务器上进行，且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种日志收集工具，如Flume、Log
黑白影·2020-08-20 22:08

大数据学习路线

一、大数据处理流程上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解：1.1数据收集大数据处理的第一步是数据的收集。现在的中大型项目通常采用微服务架构进行分布式部署，所以数据的采集需要在多台服务器上进行，且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种日志收集工具，如Flume、Log
黑白影·2020-08-20 22:08

史上最全面最完整的大数据学习第八章 Hbase（三）Java API

Hbase----初识与环境搭建Hbase（二）shell操作Hbase（三）JavaAPIHbase（四）MRonHbase&Hbase的架构Hbase（五）Hbase的读写流程Hbase完结篇Hbase集群搭建以及相关操作四、JavaAPI4.1依赖org.apache.hbasehbase-client1.2.44.2获取客户端privateConnectionconnection;priv
热忱 ㅤ ㅤ·2020-08-20 15:34

Java开发者的不能不知道的10个大数据工具和框架

分享之前我还是要推荐下我自己创建的大数据学习资料分享群710219868备注风火这是全国最大的大数据学习交流的地方，2000人聚集，不管你是小白还是大牛，
风火数据·2020-08-20 10:43

大数据学习笔记——算法时间复杂度简单推导

下图是常用的时间复杂度变化曲线O(n)：一个for循环计算publicintcount(intn){intsum=0;for(inti=1;i<=n;i++)sum+=i;returnsum;}O(n2)：就是两个for循环嵌套O(log2n)：intn=100;inti=1;while(i<=n){i*=2;}1∗2x=100⇒x=log21001*2^{x}=100\Rightarrowx=l
新宿一次狼·2020-08-20 09:09

大数据学习笔记——sqoop

导入mysql表数据到HDFS#userdb库表emp导到目标文件夹/sqoopresult212bin/sqoopimport\--connectjdbc:mysql://192.168.65.120:3306/userdb\--usernameroot\--password123456\--delete-target-dir\--target-dir/sqoopresult212\#hdfs路
新宿一次狼·2020-08-20 08:44

大数据学习笔记——sql优化实例

1、where语句优化selectm.cid,u.idfromordermjoincustomeruon(m.cid=u.id)wherem.dt='20200808';可优化为selectm.cid,u.idfrom（select*fromorderwheredt='20200808'）mjoincustomeruon(m.cid=u.id);2、union优化尽量不要使用union（union
新宿一次狼·2020-08-20 08:44

大数据学习笔记——windows环境下配置hadoop

在windows中idea直接运行spark代码出现缺少winutils.exe报错情况，需要配置Hadoop运行环境可能出现如下报错：缺少winutils.exeCouldnotlocateexecutablenull\bin\winutils.exeinthehadoopbinaries缺少hadoop.dllUnabletoloadnative-hadooplibraryforyourpla
新宿一次狼·2020-08-20 08:43

零基础进阶大数据学习笔记——Linux系统终端命令（一）

Linux与windows主要区别Linux严格区分大小写Linux一切皆文件Linux不区分扩展名扩展名是为了让管理员使用目录：/proc:虚拟文件系统，数据保存在内存中，存放当前进程信息。常用命令：suroot普通用户切换root用户su-root表示用户和环境变量一起切换（-和root之间有空格）mkdir创建文件夹touch创建文件date查看当前时间mv移动文件或目录rm删除文件（如果删
BigDate_lover·2020-08-20 07:03

大数据学习笔记——用dbeaver6.2.4连接hive1.2

给hive装备上一个可视化工具，那是相当给力的。dbeaver连接hive的时候，需要以下步骤：1、启动MySQL数据库，hive的元数据存储在mysql中2、cd/export/servers/apache-hive-1.2.1-bin/bin进入hive安装的bin目录3、nohuphive--servicemetastore-p9083>/dev/null&后台启动metastore4、no
新宿一次狼·2020-08-20 05:40

大数据学习笔记——Python基础（上）

一、Python知识点1.变量&运算符2.jupyternotebook常用快捷键Esc和Enter在命令和编辑模式之间跳转。命令模式下：A键，将在选中单元格上方插入新单元格B键，将在选中单元格下方插入一个单元格按两次D键，可以删除单元格Z键，撤消已删的但与前各Y键，将选中的单元格变成代码单元格F键、弹出’查找和替换’菜单编辑模式下：Shift+Enter:运行本单元，并选中下个单元Ctrl+En
芭蕉鱼的学习笔记·2020-08-20 05:08

大数据学习笔记——大数据学习过程中的重点

目前大数据开发方面，市场上最主要的还是用spark做开发居多。这一点也可以从招聘网站上可以看到。整个大数据体系经过这么多年的发展，相当的繁杂，各种各样的组件，但是其中有一些已经过时了，或者用的少了，其实干脆就不用学了，免得浪费时间。下面介绍自己学习过程中的大数据重点。1.linuxlinux系统肯定是基础了，大数据集群是运行在这上面的。linux在服务器上面一般是用centos系统，还分6.x版本
新宿一次狼·2020-08-20 05:26

大数据学习？

Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struct、Spring、Hibernate，Mybites都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了，当然Java怎么连接数据库还是要知道的，像JDBC一定要掌握一下，有同
大数据05·2020-08-19 19:52

SQL Server数据库对象信息的获取，大数据学习必须get到的点！2018-08-13

学会大数据是一个要点，那么如何学习会大数据底层才是最好的在开发基于SQLServer数据库的应用程序时，经常会遇到需要知道SQLServer数据库对象的相关信息的情况，例如SQLServer中有哪些数据库，这些数据库中有哪些数据表，每个数据表有哪些字段，这些字段是什么属性等。笔者在开发一个数据库导入程序时就遇到了这些问题，经过一番摸索，较好地解决了上述问题，现在把实现方法介绍给大家。程序界面如下图
飞上天的猫神·2020-08-19 19:35

大数据学习笔记（十六）-Hue的安装部署和使用

1.Hue的安装参考文档：http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.7.0/manual.html①安装Hue的依赖sudoyuminstallantasciidoccyrus-sasl-develcyrus-sasl-gssapigccgcc-c++krb5-devellibtidylibxml2-devellibxslt-dev
狂暴棕熊·2020-08-19 10:51

大数据学习3-Hadoop伪分布式搭建和使用

伪分布式：就是假的分布式。都在一台pc机器上用虚拟机模拟不同的web服务器来工作而分布式：一.搭建：安装jdk配置环境安装hadoop配置环境变量-------在本地模式中依旧也要做前几步骤---------修改配置文件：①配合core-site.xml配置完可以进行用cat命令查看core-site.xml文件：②配置hdfs-site.xml启动运行集群：第一步.初始化配置文件（也就是格式化）
风吹海洋浪·2020-08-19 08:00

Spark这是要一统江湖的节奏

在这里我还是要推荐下我自己建的大数据学习交流qq裙：458345782，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开发党，不定期分享
yoku酱·2020-08-19 07:41

大数据分析：智能交通发展的引擎

在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习
数据工程师大牛·2020-08-19 01:36

大数据学习之Linux基础

大数据学习之Linux基础自定义Linux虚拟机安装网络配置1.node1网络配置2.通过快照克隆虚拟机3.配置其他三个节点虚拟机Linux简单命令shell命令运行原理图1.关机与重启2.判断命令的命令
ytt999·2020-08-18 18:06

大数据学习路线（自己制定的，从零开始）

大数据已经火了很久了，一直想了解它学习它结果没时间，过年后终于有时间了，了解了一些资料，结合我自己的情况，初步整理了一个学习路线，有问题的希望大神指点。学习路线Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)机器学习(R,mahout)Storm(Sto
weixin_34318956·2020-08-18 17:47

大数据学习（八）：mapreduce编程案例-计算访问次数最多的5个网站

数据2017/07/28qq.com/a2017/07/28qq.com/bx2017/07/28qq.com/by2017/07/28qq.com/by32017/07/28qq.com/news2017/07/28sina.com/news/socail2017/07/28163.com/ac2017/07/28sina.com/news/socail2017/07/28163.com/spo
qq_33252988·2020-08-18 16:53

如何从零开始规划大数据学习之路！

大数据学习QQ群：716581014如何开始学习大数据？人们想开始学习大数据的时候，最常问我的问题是，“我应该学Hadoop（hadoop是一款开源软件，主要用于分布式存储和计算，他由HDFS和
你的龙哥哥·2020-08-18 15:44

从零开始的大数据学习

Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struct、Spring、Hibernate，Mybites都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了，当然Java怎么连接数据库还是要知道的，像JDBC一定要掌握一下，有同
金罗老师·2020-08-18 13:21

14.大数据学习之旅——HBASE表设计&HBase优化

HBASE表设计Rowkey设计Rowkey是不可分割的字节数，按字典排序由低到高存储在表中。在设计HBase表时，Rowkey设计是最重要的事情，应该基于预期的访问模式来为Rowkey建模。Rowkey决定了访问HBase表时可以得到的性能，原因有两个：1）Region基于Rowkey为一个区间的行提供服务，并且负责区间的每一行；2）HFile在硬盘上存储有序的行。这两个因素是相互关联的。当Re
零零天·2020-08-18 11:21

大数据学习之spark—RDD操作、DAG依赖 shuffle

sparkspark:集批处理，实时流处理，交互式查询，机器学习，图计算为一体Spark与MapReduce的比较一个hadoopjob会进行多次的磁盘读写会有一定的性能瓶颈spark允许在内存中缓存输入输出，上一个job结果马上可以被下一个使用1、RDD（ResilientDistributedDataset）:spark分布式的内存抽象--（弹性分布式数据集）。允许用户执行多个查询时显示将工作
转让半包_辣条·2020-08-18 11:49

怎样系统规划大数据学习之路？

大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多，这同样使得初学者难以选择从何处下手。这正是我想要撰写本文的原因。本文将为你开始学习大数据的征程以及在大数据产业领域找到工作指明道路，提供帮助。目前我们面临的最大挑战就是根据我们的兴趣和技能选定正确的角色。为了解决这个问题，我在本文详细阐述了每个与大数据有关的角色，同时考量了工程师以及计算机科学毕业生的不同职
大数据基础入门教程·2020-08-18 11:09

技术新人的大数据之路

不可否认，大数据学习最重要的是学习的能力，这种能力要远比你掌握的知识多少要重要，所以，练习大于理论，加油吧。
晓阳的数据小站·2020-08-18 11:01

大数据学习笔记之Hadoop（二）：HDFS文件系统

文章目录一HDFS概念1.1概念1.2组成1.3HDFS文件块大小二HFDS命令行操作三HDFS客户端操作3.1eclipse环境准备3.1.1jar包准备3.2通过API操作HDFS3.2.1HDFS获取文件系统3.2.2HDFS文件上传3.2.3HDFS文件下载3.2.4HDFS目录创建3.2.5HDFS文件夹删除3.2.6HDFS文件名更改3.2.7HDFS文件详情查看3.2.8HDFS文件
as403045314·2020-08-18 10:38

正式进入Hadoop学习 不会再有比我还全面的大数据学习（三） Hadoop生态圈

废寝忘食整理出来的知识梳理，希望能对大家有所帮助一、概述1.1大数据概念大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产1.2大数据面临的问题数据的存储：单机存储有限，如何解决海量存储？（分布式、集群等）数据的分析：单机的算力有限，如何在合理时间内对数据完成成本运算？1.3大数据的特点4VVolume数据量Velocity时效Variety
热忱 ㅤ ㅤ·2020-08-18 10:37

27.大数据学习之旅——SparkStreaming&spark mllib数据挖掘与机器学习

SparkStreaming介绍概述SparkStreaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力，以吞吐量高和容错能力强著称。SparkStreamingVSStorm大体上两者非常接近，而且都处于快速迭代过程中，即便一时的对比可能某一方占优势。在Spark老版本中，SparkStreaming的延迟级别达到秒级，而Storm可以达到毫秒级别。而在
零零天·2020-08-18 10:08

25.大数据学习之旅——Spark集群模式安装&Spark架构原理

实现步骤：1）上传解压spark安装包2）进入spark安装目录的conf目录3）配置spark-env.sh文件配置示例：#本机ip地址SPARK_LOCAL_IP=hadoop01#spark的shuffle中间过程会产生一些临时文件，此项指定的是其存放目录，不配置默认是在/tmp目录下SPARK_LOCAL_DIRS=/home/software/spark/tmpexportJAVA_HO
零零天·2020-08-18 10:08
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他