ML&DL-大数据学习

大数据学习路线

一、大数据处理流程上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解：1.1数据收集大数据处理的第一步是数据的收集。现在的中大型项目通常采用微服务架构进行分布式部署，所以数据的采集需要在多台服务器上进行，且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种日志收集工具，如Flume、Log
黑白影·2020-08-20 22:08

大数据学习路线

一、大数据处理流程上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解：1.1数据收集大数据处理的第一步是数据的收集。现在的中大型项目通常采用微服务架构进行分布式部署，所以数据的采集需要在多台服务器上进行，且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种日志收集工具，如Flume、Log
黑白影·2020-08-20 22:08

史上最全面最完整的大数据学习第八章 Hbase（三）Java API

Hbase----初识与环境搭建Hbase（二）shell操作Hbase（三）JavaAPIHbase（四）MRonHbase&Hbase的架构Hbase（五）Hbase的读写流程Hbase完结篇Hbase集群搭建以及相关操作四、JavaAPI4.1依赖org.apache.hbasehbase-client1.2.44.2获取客户端privateConnectionconnection;priv
热忱 ㅤ ㅤ·2020-08-20 15:34

Java开发者的不能不知道的10个大数据工具和框架

分享之前我还是要推荐下我自己创建的大数据学习资料分享群710219868备注风火这是全国最大的大数据学习交流的地方，2000人聚集，不管你是小白还是大牛，
风火数据·2020-08-20 10:43

大数据学习笔记——算法时间复杂度简单推导

下图是常用的时间复杂度变化曲线O(n)：一个for循环计算publicintcount(intn){intsum=0;for(inti=1;i<=n;i++)sum+=i;returnsum;}O(n2)：就是两个for循环嵌套O(log2n)：intn=100;inti=1;while(i<=n){i*=2;}1∗2x=100⇒x=log21001*2^{x}=100\Rightarrowx=l
新宿一次狼·2020-08-20 09:09

大数据学习笔记——sqoop

导入mysql表数据到HDFS#userdb库表emp导到目标文件夹/sqoopresult212bin/sqoopimport\--connectjdbc:mysql://192.168.65.120:3306/userdb\--usernameroot\--password123456\--delete-target-dir\--target-dir/sqoopresult212\#hdfs路
新宿一次狼·2020-08-20 08:44

大数据学习笔记——sql优化实例

1、where语句优化selectm.cid,u.idfromordermjoincustomeruon(m.cid=u.id)wherem.dt='20200808';可优化为selectm.cid,u.idfrom（select*fromorderwheredt='20200808'）mjoincustomeruon(m.cid=u.id);2、union优化尽量不要使用union（union
新宿一次狼·2020-08-20 08:44

大数据学习笔记——windows环境下配置hadoop

在windows中idea直接运行spark代码出现缺少winutils.exe报错情况，需要配置Hadoop运行环境可能出现如下报错：缺少winutils.exeCouldnotlocateexecutablenull\bin\winutils.exeinthehadoopbinaries缺少hadoop.dllUnabletoloadnative-hadooplibraryforyourpla
新宿一次狼·2020-08-20 08:43

零基础进阶大数据学习笔记——Linux系统终端命令（一）

Linux与windows主要区别Linux严格区分大小写Linux一切皆文件Linux不区分扩展名扩展名是为了让管理员使用目录：/proc:虚拟文件系统，数据保存在内存中，存放当前进程信息。常用命令：suroot普通用户切换root用户su-root表示用户和环境变量一起切换（-和root之间有空格）mkdir创建文件夹touch创建文件date查看当前时间mv移动文件或目录rm删除文件（如果删
BigDate_lover·2020-08-20 07:03

大数据学习笔记——用dbeaver6.2.4连接hive1.2

给hive装备上一个可视化工具，那是相当给力的。dbeaver连接hive的时候，需要以下步骤：1、启动MySQL数据库，hive的元数据存储在mysql中2、cd/export/servers/apache-hive-1.2.1-bin/bin进入hive安装的bin目录3、nohuphive--servicemetastore-p9083>/dev/null&后台启动metastore4、no
新宿一次狼·2020-08-20 05:40

大数据学习笔记——Python基础（上）

一、Python知识点1.变量&运算符2.jupyternotebook常用快捷键Esc和Enter在命令和编辑模式之间跳转。命令模式下：A键，将在选中单元格上方插入新单元格B键，将在选中单元格下方插入一个单元格按两次D键，可以删除单元格Z键，撤消已删的但与前各Y键，将选中的单元格变成代码单元格F键、弹出’查找和替换’菜单编辑模式下：Shift+Enter:运行本单元，并选中下个单元Ctrl+En
芭蕉鱼的学习笔记·2020-08-20 05:08

大数据学习笔记——大数据学习过程中的重点

目前大数据开发方面，市场上最主要的还是用spark做开发居多。这一点也可以从招聘网站上可以看到。整个大数据体系经过这么多年的发展，相当的繁杂，各种各样的组件，但是其中有一些已经过时了，或者用的少了，其实干脆就不用学了，免得浪费时间。下面介绍自己学习过程中的大数据重点。1.linuxlinux系统肯定是基础了，大数据集群是运行在这上面的。linux在服务器上面一般是用centos系统，还分6.x版本
新宿一次狼·2020-08-20 05:26

大数据学习？

Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struct、Spring、Hibernate，Mybites都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了，当然Java怎么连接数据库还是要知道的，像JDBC一定要掌握一下，有同
大数据05·2020-08-19 19:52

SQL Server数据库对象信息的获取，大数据学习必须get到的点！2018-08-13

学会大数据是一个要点，那么如何学习会大数据底层才是最好的在开发基于SQLServer数据库的应用程序时，经常会遇到需要知道SQLServer数据库对象的相关信息的情况，例如SQLServer中有哪些数据库，这些数据库中有哪些数据表，每个数据表有哪些字段，这些字段是什么属性等。笔者在开发一个数据库导入程序时就遇到了这些问题，经过一番摸索，较好地解决了上述问题，现在把实现方法介绍给大家。程序界面如下图
飞上天的猫神·2020-08-19 19:35

大数据学习笔记（十六）-Hue的安装部署和使用

1.Hue的安装参考文档：http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.7.0/manual.html①安装Hue的依赖sudoyuminstallantasciidoccyrus-sasl-develcyrus-sasl-gssapigccgcc-c++krb5-devellibtidylibxml2-devellibxslt-dev
狂暴棕熊·2020-08-19 10:51

大数据学习3-Hadoop伪分布式搭建和使用

伪分布式：就是假的分布式。都在一台pc机器上用虚拟机模拟不同的web服务器来工作而分布式：一.搭建：安装jdk配置环境安装hadoop配置环境变量-------在本地模式中依旧也要做前几步骤---------修改配置文件：①配合core-site.xml配置完可以进行用cat命令查看core-site.xml文件：②配置hdfs-site.xml启动运行集群：第一步.初始化配置文件（也就是格式化）
风吹海洋浪·2020-08-19 08:00

Spark这是要一统江湖的节奏

在这里我还是要推荐下我自己建的大数据学习交流qq裙：458345782，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开发党，不定期分享
yoku酱·2020-08-19 07:41

html标签的block、inline分类明细

字号订阅块元素(blockelement)m]◎address-地址◎blockquote-块引用◎center-举中对齐块◎dir-目录列表◎div-常用块级容易，也是csslayout的主要标签◎dl
leizi_1001·2020-08-19 04:59

大数据分析：智能交通发展的引擎

在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习
数据工程师大牛·2020-08-19 01:36

大数据学习之Linux基础

大数据学习之Linux基础自定义Linux虚拟机安装网络配置1.node1网络配置2.通过快照克隆虚拟机3.配置其他三个节点虚拟机Linux简单命令shell命令运行原理图1.关机与重启2.判断命令的命令
ytt999·2020-08-18 18:06

大数据学习路线（自己制定的，从零开始）

大数据已经火了很久了，一直想了解它学习它结果没时间，过年后终于有时间了，了解了一些资料，结合我自己的情况，初步整理了一个学习路线，有问题的希望大神指点。学习路线Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)机器学习(R,mahout)Storm(Sto
weixin_34318956·2020-08-18 17:47

大数据学习（八）：mapreduce编程案例-计算访问次数最多的5个网站

数据2017/07/28qq.com/a2017/07/28qq.com/bx2017/07/28qq.com/by2017/07/28qq.com/by32017/07/28qq.com/news2017/07/28sina.com/news/socail2017/07/28163.com/ac2017/07/28sina.com/news/socail2017/07/28163.com/spo
qq_33252988·2020-08-18 16:53

如何从零开始规划大数据学习之路！

大数据学习QQ群：716581014如何开始学习大数据？人们想开始学习大数据的时候，最常问我的问题是，“我应该学Hadoop（hadoop是一款开源软件，主要用于分布式存储和计算，他由HDFS和
你的龙哥哥·2020-08-18 15:44

从零开始的大数据学习

Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struct、Spring、Hibernate，Mybites都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了，当然Java怎么连接数据库还是要知道的，像JDBC一定要掌握一下，有同
金罗老师·2020-08-18 13:21

14.大数据学习之旅——HBASE表设计&HBase优化

HBASE表设计Rowkey设计Rowkey是不可分割的字节数，按字典排序由低到高存储在表中。在设计HBase表时，Rowkey设计是最重要的事情，应该基于预期的访问模式来为Rowkey建模。Rowkey决定了访问HBase表时可以得到的性能，原因有两个：1）Region基于Rowkey为一个区间的行提供服务，并且负责区间的每一行；2）HFile在硬盘上存储有序的行。这两个因素是相互关联的。当Re
零零天·2020-08-18 11:21

大数据学习之spark—RDD操作、DAG依赖 shuffle

sparkspark:集批处理，实时流处理，交互式查询，机器学习，图计算为一体Spark与MapReduce的比较一个hadoopjob会进行多次的磁盘读写会有一定的性能瓶颈spark允许在内存中缓存输入输出，上一个job结果马上可以被下一个使用1、RDD（ResilientDistributedDataset）:spark分布式的内存抽象--（弹性分布式数据集）。允许用户执行多个查询时显示将工作
转让半包_辣条·2020-08-18 11:49

怎样系统规划大数据学习之路？

大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多，这同样使得初学者难以选择从何处下手。这正是我想要撰写本文的原因。本文将为你开始学习大数据的征程以及在大数据产业领域找到工作指明道路，提供帮助。目前我们面临的最大挑战就是根据我们的兴趣和技能选定正确的角色。为了解决这个问题，我在本文详细阐述了每个与大数据有关的角色，同时考量了工程师以及计算机科学毕业生的不同职
大数据基础入门教程·2020-08-18 11:09

技术新人的大数据之路

不可否认，大数据学习最重要的是学习的能力，这种能力要远比你掌握的知识多少要重要，所以，练习大于理论，加油吧。
晓阳的数据小站·2020-08-18 11:01

大数据学习笔记之Hadoop（二）：HDFS文件系统

文章目录一HDFS概念1.1概念1.2组成1.3HDFS文件块大小二HFDS命令行操作三HDFS客户端操作3.1eclipse环境准备3.1.1jar包准备3.2通过API操作HDFS3.2.1HDFS获取文件系统3.2.2HDFS文件上传3.2.3HDFS文件下载3.2.4HDFS目录创建3.2.5HDFS文件夹删除3.2.6HDFS文件名更改3.2.7HDFS文件详情查看3.2.8HDFS文件
as403045314·2020-08-18 10:38

正式进入Hadoop学习 不会再有比我还全面的大数据学习（三） Hadoop生态圈

废寝忘食整理出来的知识梳理，希望能对大家有所帮助一、概述1.1大数据概念大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产1.2大数据面临的问题数据的存储：单机存储有限，如何解决海量存储？（分布式、集群等）数据的分析：单机的算力有限，如何在合理时间内对数据完成成本运算？1.3大数据的特点4VVolume数据量Velocity时效Variety
热忱 ㅤ ㅤ·2020-08-18 10:37

27.大数据学习之旅——SparkStreaming&spark mllib数据挖掘与机器学习

SparkStreaming介绍概述SparkStreaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力，以吞吐量高和容错能力强著称。SparkStreamingVSStorm大体上两者非常接近，而且都处于快速迭代过程中，即便一时的对比可能某一方占优势。在Spark老版本中，SparkStreaming的延迟级别达到秒级，而Storm可以达到毫秒级别。而在
零零天·2020-08-18 10:08

25.大数据学习之旅——Spark集群模式安装&Spark架构原理

实现步骤：1）上传解压spark安装包2）进入spark安装目录的conf目录3）配置spark-env.sh文件配置示例：#本机ip地址SPARK_LOCAL_IP=hadoop01#spark的shuffle中间过程会产生一些临时文件，此项指定的是其存放目录，不配置默认是在/tmp目录下SPARK_LOCAL_DIRS=/home/software/spark/tmpexportJAVA_HO
零零天·2020-08-18 10:08

15.大数据学习之旅——Storm

Storm介绍介绍官方网址：http://storm.apache.org/官方对于Storm的介绍：ApacheStormisafreeandopensourcedistributedrealtimecomputationsystem.Stormmakesiteasytoreliablyprocessunboundedstreamsofdata,doingforrealtimeprocessin
零零天·2020-08-18 10:08

23.大数据学习之旅——scala进阶

函数式编程的概念编程范式函数式编程是一种编程范式，我们常见的编程范式有：1）命令式编程（Imperativeprogramming），常见的面向对象编程是也是一种命令式编程。比如java，c等。命令式编程是完全依托于冯诺依曼体系机来实现的，即代码最后会转变为一条条的指令去执行，所以指令式编程的时间复杂度是和指令数相关的。根据摩尔定律，冯诺依曼体系机的性能可能本世纪30年代就不再提高，即当冯诺依曼体
零零天·2020-08-18 10:08

24.大数据学习之旅——spark手把手带你入门

Spark介绍ApacheSpark™isafastandgeneralengineforlarge-scaledataprocessing.SparkIntroduceRunprogramsupto100xfasterthanHadoopMapReduceinmemory,or10xfasterondisk.ApacheSparkhasanadvancedDAGexecutionengineth
零零天·2020-08-18 10:08

大数据学习之Spark——04RDD概述及创建

一.RDD概述1.什么是RDDRDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。2.RDD的五大特性RDD是由一系列partition组成算子(函数)是作用在RDD的partition上的RDD之间有依赖关系分区器是作用在k,v格式的RDD上partitio
Jiang锋时刻·2020-08-18 10:11

大数据学习之Spark——01Spark概述

一.Spark初始1.什么是SparkSpark是一种基于内存的快速,通用,可扩展的大数据分析引擎ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法
Jiang锋时刻·2020-08-18 10:50

4.大数据学习之旅——Avro

一、概述Avro是一种远程过程调用和数据序列化框架，是在Apache的Hadoop项目之内开发的。它使用JSON来定义数据类型和通讯协议，使用压缩二进制格式来序列化数据。它主要用于Hadoop，它可以为持久化数据提供一种序列化格式，并为Hadoop节点间及从客户端程序到Hadoop服务的通讯提供一种电报格式。二、序列化和反序列化概述数据序列化就是将对象或者数据结构转化成特定的格式，使其可在网络中传
零零天·2020-08-18 01:16

NIO和Concurrent

大数据学习历程NIOIO分类BIO的缺点NIO的特点NIO的缺点BIO和NIO的比较3大组件ConcurrentBlockingQueue阻塞队列ArrayBlockingQueue-阻塞式顺序队列LinkedBlockingQueue
孤狼逐月·2020-08-18 01:52

从入门到入土 大数据学习(4) 最简单windows下idea运行调试spark程序

从入门到入土大数据学习(4)windows下idea运行spark程序继环境搭建和windows环境搭建之后，不可避免的需要在windows上进行开发，但是这种跨平台的开发本身就给开发者带来一定的难度。
Lejeune·2020-08-17 09:19

spark算子实践

在这里，十分感谢作者，作者写了大数据一系列文章，对我帮助很大，如果有读者对大数据学习的需求，可以去大神的网站学习。
DeepRLearner·2020-08-16 22:03

大数据学习初级入门教程（十二） —— Hadoop 2.x 集群和 Zookeeper 3.x 集群做集成

在以前一篇《大数据学习初级入门教程（一）——Hadoop2.x完全分布式集群的安装、启动和测试》中，详细写了Hadoop完全分布式集群的安装步骤，在上一篇《大数据学习初级入门教程（十一）——Zookeeper3.4.6
孟郎郎·2020-08-16 15:04

尝试大数据和数据挖掘，该怎么规划学习？

目前大数据炒的一直非常火爆，可如何进入大数据行业呢，怎么进行学习呢，推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例
weixin_41780944·2020-08-16 09:39

20200710大数据学习笔记hadoop总结

HadoopHadoop的优势(4高)1)高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失2)高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。3)高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度4)高容错性:能够自动将失败的任务重新分配1.x跟2.x区别1.x中MapReduce同时处理业
see you in September·2020-08-15 17:39

大数据学习之课堂《零碎知识点》整理一

零碎知识点补充一、机器之间文件传输：1、windows7--------linux方法一、在windows上安装xftp工具1、安装xftp工具2、配置连接linux3、传输文件此种方法比较简单，不在演示：方法二、在linux上使用rz,sz1、在Linux机器上安装lirzsz包yuminstalllrzsz2、在windows上使用crt连接linux机器3、执行rz命令4、弹出浏览对话框，选
追风邵·2020-08-15 15:05

大数据告诉你，中国女人的勤奋碾压全世界！

如果说中国的男人把中国拉到了世界优秀行列那么让中国变得卓越而以超速度发展的则是中国的女人01中国女人的勤奋，甚至碾压全世界在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：957205962
金豆数据工程师·2020-08-15 09:12

大数据学习——dataX源码重新打包+测试

dataX工具（可执行的资源包），源码的下载和部署请参考上一篇博文：https://blog.csdn.net/qq_15903671/article/details/88862619dataX工具包从官网下载之后可以发现他加压后有将近1G的大小。显然我们不希望一个ETL工具太大。以下的博文我将从dataX源码中保留oraclereader插件和hdfswrtier插件，重新对dataX进行打包使
祁峰sunny·2020-08-14 18:23

推荐一份完整的大数据教学视频

一份完整的大数据学习路线是这样的，可以看
李泽辰·2020-08-14 05:53

带你详细了解《什么是大数据及大数据的场景应用》

在这里还是要推荐下我自己建的大数据学习交流群:199427210，群里都是学
金罗老师·2020-08-13 18:09

8.大数据学习之旅——hadoop-Hadoop完全分布式配置

Hadoop完全分布式配置关闭防火墙修改主机名配置hosts文件。将需要搭建集群的主机全部配置到hosts文件中192.168.32.138hadoop01192.168.32.139hadoop02192.168.32.140hadoop03配置免密登录安装jdk安装zk配置Hadoop编辑hadoop-env.sh，并且重新生效编辑core-site.xmlfs.defaultFShdfs:/
零零天·2020-08-13 17:28
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他