ML&DL-大数据学习

大数据学习hadoop3.1.3——Presto-client安装

Presto命令行Client安装1）下载Presto的客户端https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196-executable.jar2）将presto-cli-0.196-executable.jar上传到hadoop101的/opt/module/presto文件夹下3
Caron_xcb·2020-08-03 23:24

大数据学习hadoop3.1.3——Sqoop安装

1下载并解压1）下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/2）上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到hadoop102的/opt/software路径中3）解压sqoop安装包到指定目录，如：tar-zxfsqoop-1.4.6.bin__hadoop-2.0.4-alpha.ta
Caron_xcb·2020-08-03 23:53

大数据学习hadoop3.1.3——kafka安装与集群搭建（入门）

一、安装部署1、jar包下载http://kafka.apache.org/downloads2、解压安装包tar-zxvfkafka_2.11-2.4.1.tgz-C/opt/module/3、修改解压后的文件名称mvkafka_2.11-2.4.1/kafka4、在/opt/module/kafka目录下创建logs文件夹mkdirlogs5、修改配置文件cdconfig/viserver.p
Caron_xcb·2020-08-03 23:53

大数据学习——基于大数据平台的数据仓库ETL基本思路

大数据平台数据仓库ETL基本思路ETL工具开源工具：Sqoop：Hadoop（hive）和关系型数据库之间传输数据的开源ETL工具。Beeline：hive客户端工具，基于SQLline的JDBC客户端Azkaban：任务调度开源工具。自开发工具：脚本生成工具：jar包，基于系统调研时产生的表级调研文档，自动检索数据源并生成整体ETL工具中拥有较高规范的脚本文件的脚手架：ods层建表语句、sqoo
祁峰sunny·2020-08-03 21:06

大数据学习方法：大数据采集，大数据分析，大数据存储就该这样学！

大数据采集01—概览02—相关延展系统日志数据的采集Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它够从各种日志源上收集日志，存储到一个中央存储系统上，以便于进行集中的统计分析处理。Scribe为日志的“分布式收集，统一处理”提供了一个可扩展的、高容错的方案。（老师收学生信息表，需要班长代理收集的例子）。Chukwa提供了一个对大数据量日志类数据采集、
铁拳虎·2020-08-03 18:37

第一周-统计学基础

统计学基础复习描述统计一、集中趋势二、离散趋势图表展示未完待续前言：最近有幸参加了木东居士开展的大数据学习小组，之前也没有比较系统性的参与大数据方面的学习，都是自己在摸索，效果不见得多好，所以很感谢居士开展的这个项目
nzndwmt·2020-08-03 04:26

入门到精通：资深程序员规划JAVA大数据学习路线（附视频教程）

本文主要针对从事大数据开发的程序员们整理了整套的大数据学习相关的路线图和知识材料，希望能帮助到大家。
金罗老师·2020-08-03 03:35

大数据学习之路86-使用广播变量结合Spark Sql实现Ip地理位置匹配

importorg.apache.log4j.{Level,Logger}importorg.apache.spark.broadcast.Broadcastimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.{DataFrame,Dataset,SparkSession}/***使用广播变量结合SparkSql实现Ip地理位置匹配*C
爱米酱·2020-08-03 03:50

上传本地文件到HDFS中(大数据学习2)

第一节hadoop集群搭建完成之后，现在测试是否能将本地文件上传到hadoop集群中。1)在mini4虚拟机上创建一个文件lyz1.txt然后在里面编辑一段话保存2）hadoopfs-putlyz1.txt/fs是打开客户端-put是上传本地文件到hdfs中3）打开网址查看是否已经上传成功根据下图可以看到lyz1.txt已经上传成功4)查看虚拟机下的hdfs文件中是否有文件hadoopfs-ls/
在IT中穿梭旅行·2020-08-02 14:24

大数据学习笔记

No-SQL出现的原因？PB级以上的数据，新型数据结构，json，图数据等那No-SQL和SQL哪个好？关系型有其生命力，已经存在了40多年，还在被广泛的使用–优美的数学模型支持–SQL与ACID等都在实践中被证明了是非常有用的–但是关系型系统的实现确实没有考虑到上述超大规模、多种数据类型。No-SQL也站露出不足，所以不能说孰优孰劣。Dynamo支持亚马逊公司电子商务平台上运行的大量服务核心技术
tiezhuLee·2020-08-02 13:31

hadoop为什么是大数据学习的核心技术？

当今世界，科技进步日新月异，互联网、云计算、大数据等现代信息技术深刻改变着人类的思维、生产、生活、学习方式，深刻展示了世界发展的前景。未来的互联网就是大数据和云计算的天下，不管你是否认同，大数据时代已经来临，并将深刻地改变着我们的工作和生活。学习大数据技术，是时代的召唤，是社会对高薪技术人才的渴望，但学习大数据为什么一定要学习Hadoop呢？什么是大数据？大数据（bigdata），是指无法在一定时
juan333·2020-08-01 12:25

大数据学习笔记：大数据技术框架和Hadoop生态系统

大数据技术框架Hadoop生态系统Hadoop是目前得到企业界验证的大数据框架，包括以下特点：源代码开源社区活跃、参与者众多涉及分布式存储和计算的方方面面Flume（非结构化数据收集）Cloudera开源的日志收集系统，用于非结构化数据收集。具有以下特点：分布式高可靠性高容错性易于定制和扩展Sqoop（结构化数据收集）Sqoop是SQLtoHadoop的简称，是连接传统关系型数据库和Hadoop的
GaryBigPig·2020-08-01 12:43

074-20180315-【学习小结】第五阶段ORID小结

每天的工作和生活的感悟与反思类的ORID还是居多，其中感悟与反思类的ORID占了64.29%（【工作感悟】占28.57%，【生活所感】占35.72%），关于技能学习的ORID占35.71%（其中新增【大数据学习
DearLynne·2020-08-01 01:00

某大佬整理的大数据学习路线和教程视频

一，题记要说当下IT行业什么最火？ABC无出其右。所谓ABC者，AI+BigData+Cloud也，即人工智能、大数据和云计算(云平台)。每个领域目前都有行业领袖在引领前行，今天我们来讨论下大数据BigData这个方向。二，大数据里面的角色角色一：大数据工程大数据工程需要解决数据的定义、收集、计算与保存的工作，因此大数据工程师们在设计和部署这样的系统时首要考虑的是数据高可用的问题，即大数据工程系统
qq_43958076·2020-07-31 23:54

分享大数据学习路线导图、让你潜移默化的了解并入门大数据

一、大数据大数据又称巨量资料，就是数据量大、来源广、种类繁多(日志、视频、音频)，大到PB级别，现阶段的框架就是为了解决PB级别的数据。专业的来讲：大数据(bigdata,megadata)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Val
qq_43958076·2020-07-31 23:53

必知必会的大数据和云计算学习知识点，分享教学视频

1.大数据学习之前“必看”大数据是现在这个时代非常流行的概念，并且随着人工智能的崛起，大数据也越来越有价值。人工智能算法其实在三十年前就有了，但是没有用。
qq_43958076·2020-07-31 23:53

2019年最炙手可热的大数据行业学习路线指导

随着国家对大数据政策的倾向越来越多的人听说过这个名词，但对它都可能也是一知半解，今天小编精心为大家整理了大数据相关的所有知识，以及大数据学习的一些资料，希望对大家有所帮助。
假的鱼·2020-07-31 20:48

2019 大数据学习入门必备规划

大数据方向的工作目前分为三个主要方向:01.大数据工程师02.数据分析师03.大数据科学家04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）一、大数据工程师的技能要求二、大数据学习路径在这里还是要推荐下我自己建的大数据学习交流群
铁拳虎·2020-07-31 18:19

又来一个Python大数据学习神器！

今天给大家推荐一个「宝藏号」。为什么是「宝藏号」呢？因为你关注后回复关键词，可以免费获取海量学习资源。关注后回复关键词：AI|PPT|干货|Python|机器学习|中台|大数据|云计算|读书，寻找你的专属「宝藏」，了解前沿知识、最新技术和案例分析。大数据DTID：hzdashuju▲长按上方二维码识别关注我们帮你整理了近期阅读量高、回复率高、50万小伙伴都在查看、下载的宝藏PPT、教程和代码：关注
python爬虫人工智能大数据·2020-07-31 11:54

2019新版大数据学习路线图---每阶段能力培养及可掌握的能力

干货来袭，看到很多人想从事大数据技术开发，想了解学习路线，今天我就直接分享大数据的学习路线图，含学习大纲一、2019新版大数据学习路线图---每阶段能力培养及可掌握的能力三、2019新版大数据学习路线图
qq_43958076·2020-07-31 10:22

如何在未来的大数据和机器学习领域，获得一份不错的工作？

这里还是要推荐下小编的大数据学习QQ裙:532218147，不管你是
大数据学习01·2020-07-30 21:04

大数据学习系列5-Centos6.7 hadoop-2.6.5下hive-1.2.1的安装部署

Hive只需在集群的任一个节点上安装即可，本文放在集群的mini1中1.上传tar包2.解压tar-zxvfhive-1.2.1.tar.gz-C/home/hadoop/apps/3.配置hive，默认是内置的derby，本文选择mysql作为数据源的数据库，数据库安装在mini4主机中（a）配置HIVE_HOME环境变量viconf/hive-env.sh配置其中的$hadoop_home（b
dream-on·2020-07-30 20:36

大数据技术有哪些 应该重点学哪些知识

在这里还是要推荐下我自己建的大数据学习交流群:1
金罗老师·2020-07-30 20:59

大数据学习之 spark写入数据到kafka中

目录1.kafka环境的搭建请参考：2.准备KafkaSink3.实现代码：4总结：1.kafka环境的搭建请参考：https://blog.csdn.net/weixin_37835915/article/details/1037861572.准备KafkaSinkpackagecom.spark.selfimportjava.util.concurrent.Futureimportorg.ap
会编程的海贼王·2020-07-30 17:04

大数据学习路线

前言：一、背景介绍二、大数据介绍正文：一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习规划四、持续学习资源推荐（书籍，博
两页书·2020-07-30 16:06

大数据学习笔记

大数据相关技术Flume：数据的收集聚集加载Hadoop.HDFS：海量数据的存储MapReduce、Hive、SparkSql：数据的离线处理Kafka、flink、SparkStreaming：数据的实时处理Hbase：数据库Sqoop：HDFS和关系型数据库桥梁Hadoop基础Hadoop：分布式海量离线数据存储处理平台重要组成部分：HDFS：海量数据的存储（起源于Google论文《Goog
浩浩浩666·2020-07-30 14:39

视频教程-Greenplum分布式数据库-大数据

任大勇¥198.00立即订阅订阅后：请点击此处观看视频课程视频教程-Greenplum分布式数据库-大数据学习有效期：永久观看
weixin_33603123·2020-07-30 02:58

Hadoop大数据学习线路图

hadoop学习路线云计算，是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备，主要是基于互联网的相关服务地增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易
大数据的未来·2020-07-30 01:21

大数据告诉你：2018年该学习什么技术

在这里还是要推荐下我自己建的大数据学习交流群:199427210，群里都是学大数据开发的，如果你正
金罗老师·2020-07-29 23:54

大数据学习之hadoop——07阿里云服务器搭建集群以及遇到的问题&解决办法

在这段服务器搭建伪分布集群中我遇到了如下问题1、进入远程连接界面却不知道密码2、使用MobaXtem工具连接服务器失败3、集群格式化失败4、web访问失败按照下面的所有步骤操作。以上的问题都会迎刃而解~一、购买,使用服务器阿里云活动购买链接：阿里云学生机：云翼计划进入页面领取20元的优惠券，购买默认的114块的推荐就ok，记得系统要选择linux6.x的版本，后续博客可能和高版本不兼容，代金券在结
上苍保佑吃饱饭的人们·2020-07-29 21:53

（内附1T大数据学习资料）

随着大数据时代的到来，最近不管是在微信、QQ群，还是在各大博客网站，都随处听得到Android开发不景气的声音，而现在的大数据、人工智能的火爆程度，很大程度上对Android开发者不免有一定的影响。Android确实不是当年盛况，已经不再像前几年前那么火爆。一种语言如果经历过盛极一时，那么必然有这样的一条曲线，像我们学的正弦曲线先急速上升，然后到达顶点，然后再下降，最后再趋近一个平稳的值。那么这一
数据工程师金牛·2020-07-29 18:30

2018年全新升级大数据学习路线 +资料领取 让你从基础到精通

2018年全新升级大数据学习路线第一阶段：Linux理论（1）Linux基础；（2）Linux-shell编程；（3）高并发：lvs负载均衡；（4）高可用&反向代理第二阶段：Hadoop理论（1）hadoop-hdfs
A尚学堂Nancy老师·2020-07-29 15:16

如何制定一份可实施的2018年大数据学习计划？

回头想想刚过去的2017这一年，自己年初定的目标都实现了吗？曾经立下的Flag都还记得吗？是不是想要学习大数据分析，却连如何入门都没搞清；是不是想要读20本书，却发现最终连一本都没有完整读完；是不是想要存够10万块钱，却依然月光、靠着透支的信用卡和蚂蚁花呗来度日；是不是想要出去旅行、认识新朋友，却整个周末都宅在家，连床都不想下...我们习惯了“间歇性踌躇满志、持续性混吃等死”，那么2018年又该做
金罗老师·2020-07-29 14:01

大数据学习之路------借助HDP SANDBOX开始学习

一开始...一开始知道大数据这个概念的时候，只是感觉很高大上，引起了我的兴趣。当时也不知道，这个东西是做什么的，有什么用，当然现在看来也是很模糊的样子，但是的确比一开始强了不少。所以学习的过程可能会很艰辛甚至有时候会很缓慢，但是感觉这东西未来会很有用途，最初了解大数据是从《大数据时代》这本书开始的，里面的很多概念和预测让我觉得很神奇。但是渐渐生活中的一些事物被印证，我渐渐接受了这本书的内容，我觉得
weixin_30555125·2020-07-29 12:46

大数据学习路线从Linux基础到大型网站高并发处理项目实战

前言相信大家在学习大数据的时候都不知道怎么来学习，因为知识点太多了，也太杂了，没有一个系统的路线来引导大家学习.为了解决大家这个困惑，小编整理了从Linux基础到大型网站高并发处理项目实战的学习路线和知识点，希望大家能够喜欢，文末还有小编整理的视频和电子书籍，也希望大家能够喜欢。Linux大纲1Linux的介绍，Linu的安装:VMwareWorkstation虚拟软件安装过程、CentOS虚拟机
互联网全栈工程师·2020-07-29 05:57

大数据学习：比较容易理解的Hbase架构全解

依然是Hadoop组件的讲解，今天说到HBase架构，都是一字一句打出来的，希望各位转发加关注，会一直给大家写优质的内容。物理上，Hbase是由三种类型的server组成的的主从式(master-slave)架构：RegionServer，负责处理数据的读写请求，客户端请求数据时直接和RegionServer交互。HBaseMaster，负责Region的分配，DDL(创建，删除table)等操作
3d游戏建模666·2020-07-29 00:14

大数据：数据库类型简介

这将是一个系列的文章，几个从事大数据工作的朋友，组成一个大数据学习小组，对大数据的知识体系进行一次系统的梳理。在下表中，从几个维度简单展示了当下流行的一些数据库的特性，让大家能有个初步认识。
云淡风清orz·2020-07-28 20:34

大数据学习之 Hive篇

一：Hive是什么？1.hive是一个sql解析引擎，将sql语句转移成Mapreduce然后在hadoop平台上运行，达到快速开发的目的2.hive中的表是纯逻辑表，就只是表的定义等，即表的元数据，本质就是hadoop的目录、文件达到元数据与数据存储分离的目的3.hive本身不存储数据，完全依赖HDFS和MapReduce4.hive的内容是读多写少，不支持对数据的改写和删除5.hive中没有定
会编程的海贼王·2020-07-28 20:19

最新的大数据学习资料与电子书！！

很多转行学习大数据的同学时常会发现，自己学习的是一套东西，到大公司面试时将的又是另一套东西。其实，归根结底，还是本人缺少真正的实战经验，这里整理了一份系统化学习的大数据思维导图（完整版文末领取），大家查漏补缺，系统学习！仅有思维导图还不知道如何下手？这里还为你准备了大数据进阶资料包与免费的大数据技术干货直播，晚上8点（错过可回看），手把手带你大数据进阶突破！大数据直播主题4.14-4.15晚上8点
过往记忆·2020-07-28 15:44

大数据学习笔记14：MapReduce处理流程二

MapReduce处理流程二1、另一个流程图注意点：1.1、可以自定义分区函数控制分区行为1.2、缓冲区默认排序算法为快速排序2、为什么要进行分区？为了实现并行处理。为了使后面多个reduce能同时处理数据。这里分区的目的其实和inputformat切分数据的目的是相同的。inputformat切分为多个inputsplit，每个map处理一个inputsplit。分区则是使每个map的输出，逻辑
terrorist2008·2020-07-28 12:28

大数据学习之路【跟着阿里云大神学习一波】

一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习规划四、持续学习资源推荐（书籍，博客，网站）五、项目案例分析（批处理+实时处理）大数据介绍大数据本质也是数据，但是又有了新的特征，包括数据来源广
金罗老师·2020-07-28 09:28

大数据学习之hive3

hive中的数据定义语言（ddl）：hive中的数据定义语言有如下：HiveQLDDLstatementsaredocumentedhere,including:CREATEDATABASE/SCHEMA,TABLE,VIEW,FUNCTION,INDEX//创建数据库，schama，表，视图，函数，索引DROPDATABASE/SCHEMA,TABLE,VIEW,INDEX//删除TRUNCAT
qq_32182461·2020-07-28 06:57

大数据学习

其实这就是想告诉你的大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个容易，哪个前景好，哪个钱多。先说一下大数据的4V特征：数据量大，TB->PB数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等;商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来;处理时效性高，海量数据的处理需求不再局限在离线计算
it_君子·2020-07-28 01:59

「大数据学习」大数据精要（1）

1）何为大数据？与传统数据的区别？何为大数据(BIGDATA)，是可以被记录、采集和开发利用的海量、实时、多样化的数据集、数据流和数据体。大数据的特点(4V)容量大:数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）多样性种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信
juan11115·2020-07-28 01:21

大数据技术与应用，大数据就是“未来的新石油”

大数据学习群：868加上【八四七】最后735一起讨论进步学习大数据的解释：大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，大数据就是“未来的新石油
铁拳虎·2020-07-28 01:51

最全大数据学习资料，自取不谢！

别慌，小编已经帮你整理好了，最全大数据学习资料，自取不谢！”实验楼大数据学习https://www.shiyanlou.com/paths/bigdata系统化的大数据课程学习，你值得拥有。
数据工程师陈晨·2020-07-27 20:21

2018年最合理的学习规划，全套大数据视频教程，学习资料无线分享

在这里我还是要推荐下我自己建的大数据学习交流
chupao7503·2020-07-27 20:46

大数据学习之Hadoop——09Partitoner分区和Combiner分区

Partitioner分区部分转载的是:https://www.cnblogs.com/qingyunzong/p/8584379.html一.Partitioner分区1.Partitioner的作用:进行MapReduce计算时，有时候需要把最终的输出数据分到不同的文件中，我们知道最终的输出数据是来自于Reducer任务。那么，如果要得到多个文件，意味着有同样数量的Reducer任务在运行。R
Jiang锋时刻·2020-07-27 19:15

一篇文章让你知道什么是大数据挖掘技术

分享之前我还是要推荐下我自己创建的大数据学习交流Qun531629188无论是大牛还是想转行想学习的大学生小编我都挺欢迎，今天的已经资讯上传到群
风火数据·2020-07-27 19:13

Java干了半年，我机智地跳到了大数据开发

今天这位是我学习群的一位同学，他在六月份找我交流了一些关于大数据学习方向，学习的时候也给予一定的帮助。经过几个月的学习，目前已经入职一家新公司做大数据开发，所以让他总结一下分享给大家。
无精疯·2020-07-27 18:13
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他