ML&DL-大数据学习

大数据学习 -MYSQL进阶（第一章）

文章目录1前言1.1数据库架构1.2监控信息2影响数据库的因素2.1超高的QPS和TPS2.2大量的并发和超高的CPU使用率2.3磁盘IO2.4网卡流量2.5大表2.5.1大表对查询的影响2.5.2大表对DDL操作的影响2.5.3如何处理数据库中的大表2.6大事务2.6.1什么是事务2.6.2事务的原子性（ATOMICITY）2.6.3事务的一致性（CONSISTENCY）2.6.4事务的隔离性（
Ch-Ang·2021-01-22 16:01

2021年全新大数据学习路线图，（含入门到精通项目学习免费教程哦）

大数据教程，大数据学习，大数据学习路线图，今天就给大家分享2021年全新的大数据学习教程哦！2021年黑马程序员全新的大数据学习路线图分享给大家，大家可以按照这个大纲来学习，自学也可哦！
传智教育官方博客·2021-01-20 15:29

[运维日记 - 2][踩坑记录] 使用阿里云效作为Maven私有仓库

前言最近学院搭服务器集群供大数据学习使用，平台上的Hadoop全家桶使用CDH来搭建，由于国内没有CDH版本的Maven依赖，负责搭集群的大佬在国外镜像拉了依赖下来，但是整个仓库打包又太麻烦，于是我来协助建一个私有仓库
Yuc0114·2021-01-12 02:38

大数据学习笔记(二)-官方案例-Grep/WordCount

1、官方Grep案例1.首先，在hadoop-2.7.2文件夹下创建一个input目录然后，将etc/hadoop/*.xml复制到input目录中cpetc/hadoop/*.xmlinput/2.然后启动hadoop中的examples包中的grep案例，知道input路径和output路径,注意：此时若output文件夹存在，则会报output已存在错误hadoopjarshare/hado
木子丶Li·2020-12-31 15:22

大数据学习笔记：ZooKeeper练习

文章目录一、提出任务二、ZooKeeper集群1、搭建zk集群2、启动zk集群二、实现步骤1、创建Maven项目-ZkPractice2、在pom.xml文件添加依赖3、在resources里创建日志属性文件4、创建股票价格类-StockPrice（1）创建测试方法init()（2）创建测试方法client1()（3）创建测试方法client2()（4）查看StockPrice完整源代码5、启动测
howard2005·2020-12-29 16:21

python官网解释器选哪个_Python解释器的选择，初学者必看

对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：952145281，有大量干货(零基础以及进阶的经典实战)分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课
weixin_39584529·2020-12-22 13:13

大数据学习资料_大数据学习路线攻略

自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是想告诉你的大数据的三个发展方向
weixin_39526706·2020-12-12 07:16

2020年最新的大数据学习路线及职业规划指南

大数据技术生态与职业规划文章目录大数据技术生态与职业规划引言适合人群Java开发者的自白什么是大数据？大数据技术初探大数据技术路线路线总体与分支路线分支庖丁解牛计算机基础JAVA基础路线JAVAEE核心路线Hadoop生态体系学习路线Spark生态体系学习路线Flink生态体系学习路线大数据职业规划总结引言今年秋招之前，我曾以为我以后会是一名Java开发，但是在真正的秋招过程中，我出轨了大数据(呵
Simon郎·2020-12-03 16:44

大数据学习之路~Spark

目录Spark学习之路（一）Spark初识Spark学习之路（二）Spark2.3HA集群的分布式安装Spark学习之路（三）Spark之RDDSpark学习之路（四）Spark的广播变量和累加器Spark学习之路（五）Spark伪分布式安装Spark学习之路（六）SparkTransformation和ActionSpark学习之路（七）Spark运行流程Spark学习之路（八）SparkCor
素颜vv风之殇·2020-12-01 19:11

大数据学习之路~Hadoop

目录Hadoop学习之路（一）理论基础和逻辑思维Hadoop学习之路（二）Hadoop发展背景Hadoop学习之路（三）Hadoop-2.7.5在CentOS-6.7上的编译Hadoop学习之路（四）Hadoop集群搭建和简单应用Hadoop学习之路（五）Hadoop集群搭建模式和各模式问题Hadoop学习之路（六）HDFS基础Hadoop学习之路（七）Hadoop集群shell常用命令Hadoo
素颜vv风之殇·2020-11-28 15:30

spark中local模式与cluster模式使用场景_大数据学习笔记之Spark：Spark基础解析

第1章Spark概述spark的产生背景spark是如何产生的，这要先送大数据说起，大数据是如何产生的？Google就是处理大数据的，网页和网页之间有很多的关联关系，为了处理排序啊这些算法，所以Google就发明了，Google就发布了三个论文，基于这三个论文的开源，实现了Hadoop、Hdfs、MapReduce、Hbase等，但是感觉好像每次MapReduce只能处理一次数据，而且开始跑map
weixin_39815600·2020-11-19 23:08

大数据学习：Hadoop入门学习书单

Hadoop作为大数据的主流技术框架，至今仍然在大数据技术圈占有重要的地位，大数据学习基本上也离不开Hadoop，从Hadoop开始，学习核心组件，逐步扩展到生态圈其他组件，这是比较建议的学习路线。
加米谷大数据张老师·2020-11-17 17:13

本文将大数据学习门槛降到了地平线

Hadoop介绍Hadoop-大数据开源世界的亚当夏娃。核心是HDFS数据存储系统，和MapReduce分布式计算框架。HDFS原理是把大块数据切碎，存数据的叫datenode（格子间），管理datenode的叫namenode（执伞人）。MapReduce原理是大任务先分堆处理-Map，再汇总处理结果-Reduce。分和汇是多台服务器并行进行，才能体现集群的威力。难度在于如何把任务拆解成符合Ma
从删库到跑路·2020-11-14 22:46

大数据学习路线

磨拳擦掌！说数据是一个企业最核心的东西之一，我想大家应该都能基本认同吧，毕竟连XXX都说过，这是一个数据为王的时代，谁掌握了数据谁就掌握未来！怪不得个个都磨拳擦掌，都嚷嚷着想搞大数据。注：本文已收录于Github开源项目：github.com/hansonwang99/JavaCollection，里面有各大方向编程的详细自学路线、面试题和面经、编程资料及系列技术文章等，资源持续更新中大数据开发基
CodeSheep·2020-11-13 17:01

大数据学习路线

磨拳擦掌！说数据是一个企业最核心的东西之一，我想大家应该都能基本认同吧，毕竟连XXX都说过，这是一个数据为王的时代，谁掌握了数据谁就掌握未来！怪不得个个都磨拳擦掌，都嚷嚷着想搞大数据。注：本文已收录于Github开源项目：github.com/hansonwang99/JavaCollection，里面有各大方向编程的详细自学路线、面试题和面经、编程资料及系列技术文章等，资源持续更新中大数据开发基
CodeSheep·2020-11-13 17:09

本文将大数据学习门槛降到了地平线

Hadoop介绍Hadoop-大数据开源世界的亚当夏娃。核心是HDFS数据存储系统，和MapReduce分布式计算框架。HDFS原理是把大块数据切碎，存数据的叫datenode（格子间），管理datenode的叫namenode（执伞人）。MapReduce原理是大任务先分堆处理-Map，再汇总处理结果-Reduce。分和汇是多台服务器并行进行，才能体现集群的威力。难度在于如何把任务拆解成符合Ma
从删库到跑路·2020-11-13 11:10

谁说菜鸟不会数据分析python-大数据学习：数据分析方面有哪些好书值得推荐的？...

3数据分析常识在前面几章里讲了很多关于数据分析市场和数据分析师的职业生涯发展，下面的几篇会重点介绍数据分析的理论知识、数据分析的方法论、数据分析的分析流程、数据分析报告如何撰写、电商中的数据分析应用等具体的应用案例。经常也会被问到作为一个不是统计学背景的学生，能否入行数据分析的问题。还有包括像平时的具体数据分析工作都有哪些？作为数据分析入门菜鸟怎么才能打好数据分析方面的基础，需要看哪些方面的书等等
weixin_39828847·2020-11-11 14:48

基于大数据学习算法的优惠券预测模型

一、目标：预测买家是否会购买某类商品，然后将优惠券发给最有可能购买的人群，从而提升转化率和客单价。（转化率-从意向购买到实际付款；客单价-用户单次购物花费金额）二、分析：落实到算法模型上，包含两个核心的问题2.1、优惠券发给谁，即客户群选择客户群选择实际上是预测买家的购买倾向，并依据购买倾向的强弱来给出排序的结果，落实到学习模型层面来解决。这个过程我们要以用户的历史行为数据为基础，比如分析出他浏览
新栋BOOK·2020-11-10 16:57

python爬虫抓取图片-python网络爬虫源代码（可直接抓取图片）

我们应该做好前期准备工作，找到要爬的网站，然后查看它的源代码我们这次爬豆瓣美女网站，网址为：用到的工具：pycharm,这是它的图标...博文来自：zhang740000的博客Python新手写出漂亮的爬虫代码1初到大数据学习圈子的同学可能对爬虫都有所耳闻
weixin_37988176·2020-11-01 12:21

python爬虫万能代码-python网络爬虫源代码（可直接抓取图片）

博文来自：zhang740000的博客Python新手写出漂亮的爬虫代码1初到大数据学习圈子的同学可能对爬虫都有所耳闻，会觉得是一个高大上的东西，仿佛九阳神功和乾坤大挪移一样，和别人说"老子会爬虫”，就感觉特别有逼格
weixin_37988176·2020-10-29 21:24

大数据学习-网络API访问

使用hadoop客户端api访问hdfs1.创建java项目2.导入hadoop类库注意我用的是idea创建的java项目，用maven来管理jar包@TestpublicvoidreadFile()throwsException{System.out.println("HELLO");URL.setURLStreamHandlerFactory(newFsUrlStreamHandlerFact
smallgrey·2020-10-13 14:22

大数据学习之路

大数据简介一、基本定义一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征二、基本特征容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息；种类（Variety）：数据类型的多样性；速度（Velocity）：指获得数据的速度；可变性（Variability）：妨碍了处理和有效地管
ahui·2020-10-09 13:14

大数据学习笔记(5)--hadoop-HDFS概述以及客户端操作

这里写自定义目录标题一、HDFS概述1、HDFS定义2、HDFS的使用场景3、HDFS的组成架构4、HDFS的文件块大小二、HDFS的shell操作1、启动集群==集群规划==3、显示目录信息4、mkdir创建目录5、-moveFromLocal：从本地剪切粘贴到HDFS==官方命令说明==三、HDFS的客户端操作1、拷贝压缩包解压到win10电脑上面2、配置环境变量3、创建maven工程，导入依
qq_43349416·2020-10-08 12:24

大数据学习总结+JAVA学习总结+大数据面试+java面试+大数据java异常总结

文章目录一、java模块面试问题1.动态代理2.浏览器禁用Cookie后的Session处理3.主从复制的流程[重要]5.redis的数据类型[重要]6.Junit测试的注解7、缓存问题二、项目中java模块的难点异常[重要]1.MultipartiFile图片从前台用Restfull到后台问题2.批量删除参数问题3.前台后台的请求方式post,get,del4.后台给页面响应string(返回值
悬鞀设鐸·2020-09-28 13:41

Ubuntu大数据学习

虚拟机：VMwareworkstation15.5PROLinux系统：Ubuntu-20.04.1-desktop-amd64jdk版本：jdk-8u172-linux-x64.tarhadoop版本：hadoop-3.1.3.tar（伪分布式）eclipse版本：eclipse-4.7.0-linux.gtk.x86_64.tar系统内用命令安装mysqlmysqljdbc版本：mysql-c
何大大怪将军·2020-09-22 00:11

02云计算与大数据学习之大数据关键技术与应用习题

一、选择题以下是大数据技术架构的特点的是（  )。A、集成性  B、架构先进性  C、实时性  D、以上都是大数据分析的理论核心是（  ）。A、数据挖掘算法  B、聚类算法  C、统计分析算法  D、神经网络算法二、填空题（  ）是大数据的驱动力。大数据总体架构的特点有（  ）。分布式数据库系统是（  ）和（  ）相结合的产物。根据数据源的信息和分析目标不同，大数据的处理可分为（  ）和（  ）两
布布灵·2020-09-17 05:34

02云计算与大数据学习之大数据关键技术与应用

文章目录1、应知应会2、大数据总体框架架构设计原则总体架构特点3、大数据存储技术4、大数据处理技术大数据处理模式大数据处理Storm平台5、大数据分析技术大数据分析特点大数据分析过程大数据分析方法6、参考文献1、应知应会大数据的本质是应需求而驱动的。软件是大数据的驱动力。大数据总体架构的特点有统一、开发、集成的大数据平台、低成本的可拓展性、实时地分析执行、可靠性。分布式数据库系统是数据库技术和网络
布布灵·2020-09-17 04:16

大数据学习笔记·城市计算(3)

在上一节中，我们介绍了城市计算如何利用出租车数据收集城市交通中有问题的设计。这一节继续讨论大数据在城市计算中的一个应用：识别城市特定区域。项目介绍在这个项目中，我们的目标是利用两部分数据识别城市中的功能区域，如教育区域、商业区域。一部分数据是人的移动性数据，另一部分数据是兴趣点的数据。这张幻灯片展示了北京的功能区域，其中红色的区域是教育和科学区域，黑色的区域是商业区域。区域的功能并不是单一的,是复
xiang_freedom·2020-09-17 00:37

c语言实现 双链表的操作——头插法、尾插法、查找、插入、删除

DLinkList;//-------头插法---------DLinkListinsert_head(DLinkListDL){DL=(DLinkList)malloc(sizeof(DNode));DL
Moonpie.·2020-09-16 22:17

12.2 Cassandra安装

12.2Cassandra安装“卜算子·大数据”一个开源、成体系的大数据学习教程。
王小雷-多面手·2020-09-16 17:30

大数据学习笔记之kafka----分布式消息发布/订阅系统

一、kafka简介kafka是Linkedin于2012年12月份开源的消息系统kafka是一个分布式的，基于发布/订阅的消息系统；kafka：一个队列平台，不仅支持离线，还支持在线特点：--消息持久化：通过O(1)的磁盘数据结构提供数据的持久化；针对磁盘存储做了大量的优化，提高了磁盘存储的效率；主要针对了操作系统的特性来进行优化：预读、后写：针对磁盘的顺序访问，优化了写磁盘的机制，降低了写磁盘的
WRichards·2020-09-16 13:50

大数据学习札记

大数据技术及应用教程1.1数据与信息的关系数据是一种未经加工的原始的资料。数据是客观对象的表示，二信息则是数据内涵的意义，是数据的内容和解释。信息与数据的关系是：信息与数据是不可分离的，数据是信息的表达，信息是数据的内涵。1.2数据的分类信息可以划分为两大类一类信息是能够用数据或统一的结构表示的，结构化数据；一类是无法用数字或统一的结构表示的，如文本、图像、声音、王爷等。结构化数据是非结构化数据的
sulegend·2020-09-16 10:38

走进大数据，感受大数据

关注作者：需要大数据学习视频资料，其他文章可以找到大师组织2017年9月8日，腾讯董事会主席兼首席执行官马化腾在清华大学洞见论坛上发表演讲，谈及科技和商业的融合时表示，随着数字经济的发展，科技越来越融入到各行各业
次世代群901739356·2020-09-16 08:39

视频教程-CDH5.16.1全网最细的企业级离线部署-大数据

余思隽¥12.00立即订阅订阅后：请点击此处观看视频课程视频教程-CDH5.16.1全网最细的企业级离线部署-大数据学习有效期：永久观看学习时长：124分钟学习计划：3天难度：高「口
学院导师-余思隽·2020-09-16 06:35

大数据学习视频整理：

大数据学习视频整理：《尚硅谷哔哩哔哩学习视频》【基础阶段】Java基础:av48144058Java12&13:av68735735IDEA:av30080993MySQL:av21400736Oracle
_JohnnyChu·2020-09-16 05:51

[大数据学习笔记]MapReduce和Yarn基本介绍

MapReduce是什么？有什么特点？MapReduce是基于Google发布的MapReduce论文设计开发，用于大规模数据集（大于1TB）的并行计算，ClusterInfrastructure、SoftwareFramework、ProgrammingModel&Methodology）。特点如下：易于编程：程序员仅需要描述做什么，具体怎么做交由系统的执行框架处理。良好的扩展性：可通过添加节点
yangyi_33855·2020-09-16 04:36

大数据学习笔记12：理解MapReduce

理解MapReduce1、MapReduce时两个过程map：匹配或者叫映射reduce：汇总2、MapReduce体现了分而治之的思想3、MapReduce是移动计算而非移动数据4、统计单词出现个数的例子一本书1000页。---假定单页印刷我们找来1010人，其中一千人一人一页来分别统计本页的单词出现情况。另外10人来汇总那1000人的统计结果。其中的1000人做的就是Map，把大任务划分成多个
terrorist2008·2020-09-16 03:05

大数据学习笔记(spark的shuffler过程)

在Spark中，task的计算模式是管道计算模式，在以下两种情况会数据落地磁盘遇到action类算子stage->stage的shufflewrite过程对于一个计算框架来说，要做分组，做聚合，shuffle是一个很重要的环节在spark中有两种shuffle方式：HashShuffle(避免shullfle中的排序)SortShuffle1、HashShuffle普通运行机制下面对一段wordC
smy12138·2020-09-16 03:19

大数据学习笔记(scala)

1、Scala六大特性java和scala可以无缝混编（都是基于JVM）类型推测（不必指定类型，自动推测类型）支持并发和分布式（Actor）特质：trait（集结了java中抽象类和接口的产物）模式匹配（matchcase：类似于java中的switchcase）高阶函数（参数时函数或者返回值是参数）2、Scala的安装使用本教程介绍在Windows下安装Scala2.10版本。安装包可以去官网下
smy12138·2020-09-16 03:19

大数据学习笔记（Map Reduce在集群上的运行架构）

MR1.X运行架构JobTracter核心，主，单点调度所有的作业监控整个集群的资源负载TaskTracter从，自身节点资源管理和JobTracter心跳，汇报资源，获取TaskClient作业为单位最终提交作业到JobTracker在hadoop1.x版本中，基于MapReduce框架写成的Application想要在集群上正常运行，需要有资源调度器和任务调度器的协调（Application-
smy12138·2020-09-16 03:19

大数据学习笔记(HDFS常用操作)

1、创建目录命令HDFS有一个默认的工作目录/user/USER，其中USER，其中USER，其中USER是用户的登录用户名。不过目录不会自动建立，需要mkdir建立它命令格式：hadoopfs-mkdir如：在user目录下创建chen目录hadoopfs-mkdir/user/chen注意：Hadoop的mkdir命令会自动创建父目录，类似于带-p的ＵＮＩＸ命令２、上传文件命令put命令从本地
smy12138·2020-09-16 03:48

大数据学习笔记(hive简介)

1、Hive是什么Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据映射为一张数据库表。Hive本身并不提供存储服务,使用HDFS做数据存储。Hive本身并不提供分布式计算功能，而是基于MapReduce计算框架。Hive本身也并不提供资源调度系统，而是使用Hadoop的Yarn集群调度。Hive运行时，元数据存储在关系型数据库里面。2、Hive架构1、用户接口主要有三个：CLI、C
smy12138·2020-09-16 03:48

大数据学习笔记(spark)

SparkSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是加州大学伯克利分校的AMP实验室所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce
smy12138·2020-09-16 03:48

大数据学习笔记六（MapReduce）

Hadoop的两大核心是HDFS和MapReduce，HDFS是分布式文件系统，而MappReduce的工作是进行数据处理推荐MapReduce学习链接：http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson7MapReduce两大核心函数：Map和ReduceMapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两
绿洲守望者·2020-09-16 03:27

大数据学习笔记(MapReduce简介)

什么是MapReduceHadoopMapReduce是一个易于编写应用程序的软件框架，该应用程序以一种可靠的、容错的方式，在大型硬件集群(数千个节点)上并行处理大量数据(多TB数据集)。MapReduce的设计理念MR主要思想就是：分久必合MR的核心思想：“相同”的key为一组，调用yicireduce方法，方法内迭代这一组数据进行计算MR由两个阶段组成：map端reduce端MapReduce
smy12138·2020-09-16 02:48

大数据解决思想

记录下大数据学习之旅。
yyoc97·2020-09-16 01:34

0基础大数据学习的4个步骤

大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，想学的朋友也是完全可以掌握大数据的。
单人季节·2020-09-15 03:36

大数据新手的0基础学习路线，从菜鸟到高手的成长之路

推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享
weixin_41780944·2020-09-15 03:50

大数据学习基础知识总纲

爱数据学习社welcome大数据需要学习什么?很多人问过我这个问题。总是没有一个合适的契机去好好总结这些内容，直到开始写这篇东西。大数据是近五年兴起的行业，发展迅速，很多技术经过这些年的迭代也变得比较成熟了，同时新的东西也不断涌现，想要保持自己竞争力的唯一办法就是不断学习。大数据需要的语言Javajava可以说是大数据最基础的编程语言，据我这些年的经验，我接触的很大一部分的大数据开发都是从Jave
weixin_34151004·2020-09-15 03:01

大数据学习路线图（知识体系整理）

概述本文针对想学习大数据技术从事大数据开发的人员总结了一套专业的学习路线图。大体可以分为以下个阶段七个阶段：入门知识学习阶段→基础程序语音学习→Hadoop生态体系学习→分布式计算框架（Spark核心技术）→实时计算框架→大数据常用组件学习→大数据项目实战。在后续的文章中，我将陆续将各个阶段的学习资料和教程进行整理和发布。希望大家通过我文章的引导加上自身的学习新手小伙伴能够快速的熟悉大数据体系，有
Eason聊IT·2020-09-15 03:15
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他