ML&DL-大数据学习第11页

大数据学习之Hive——06Hive常用查询函数

一.casewhen函数1.语法--Case函数:--有两种格式：--1.简单Case函数。--2.Case搜索函数。--1.简单Case函数：--CASE[COLUMN_NAME]--WHEN['条件参数']THEN['COLUMN_NAME/显示内容']--WHEN['条件参数']THEN['COLUMN_NAME/显示内容']--......--ELSE['COLUMN_NAME/显示内容'

Jiang锋时刻·2022-11-18 09:48

CVPR 2022｜GAN模型预训练，仅需1%的训练样本

通常GAN的训练都是以无监督的方式从头开始训练，费时费力不说，大型预训练通过大数据学习到的「知识」都没有利用上，岂不

机器学习与AI生成创作·2022-11-17 13:37

AI遮天传 ML/DL-感知机

感知机的出现是人工智能发展史一大重要里程碑，其后才诞生了：多层感知机、卷积神经网络等一系列的经典网络模型。在我看来，它虽然是深度学习领域的一大开端，但本身解决的只是线性二分类问题，它本身与机器学习经典模型线性SVM有着一些相似度。又如Logisticsigmoid函数，也可以解决二分类问题，且这时我们接触了非线性函数，后面所接触的激活函数如Softmax又可以看作logistic是它的一种特殊情况

老师我作业忘带了·2022-11-17 07:01

大数据学习

大数据学习概述云计算高性能计算大数据存储云存储大数据分析聚类分析、分类分析大数据采集大数据预处理大数据数据库设计SparkSQL数据仓库HiveHadoop基础大数据批处理大数据实时处理概述全球移动数据流量年增长率维持在

Loren_Wang·2022-11-15 23:26

大数据学习的第一课-大数据概论和技术原理

目录大数据概论大数据概念为什么会有大数据大数据的4v特征大数据的来源云计算与大数据大数据发展历史大数据技术原理大数据的存储技术大数据的计算技术数据分析技术Hadoop生态圈大数据概论大数据概念大数据(BigData)，指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就像矿

莫浅子·2022-11-11 10:13

大数据【Java开发转大数据学习路线分解】（不断细化ing）

技术点：将基础的数仓搭建沉淀成自己的实践方法论提高大数据实时处理平台的稳定性和高效性提升自己分析定位及解决问题的能力既懂得平台开发又懂得算法原理和应用注重风控系统，监控大数据平台安全前后端高吞吐交互处理以及服务的自动发现和多租户的权限处理深入源码层理解技术栈，源码二次开发职业发展各阶段核心能力：掌握Hive、Hbase、Spark、Flink等；剖析Hadoop、Kafka等源码，深入理解各框架的

シ風·2022-11-08 21:26

Java后端学习路线

目录二.JavaSE进阶三.JavaWeb数据库前端阶段web核心阶段四.热门框架SSM+SpringBoot五.项目三—四后端学习路线前端学习路线大数据学习路线1.Java语言的发展史2.JDK的下载和安装

華同学.·2022-11-08 19:42

适合编程零基础最详细的大数据学习线路

二，大数据里面的角色角色一：大数据工程想学习的同学欢迎加入大数据学习扣群：458345782，有大量干货（零基础以及进阶的经典实战）分享给大家大数据工程需要解决数据的定义、收集、计算与保存

小迪和夫人·2022-11-01 07:22

大数据学习之路（电脑配置）

大数据学习之路第一天：大数据环境搭建（电脑配置）一想到大数据，我们可能想到的是大数据可视化平台，展示的有多么的炫酷，可是你可能没有想到的是大数据中数据的存储，数据的计算（mapreduce）会是有多么的漫长

Li&&Tao·2022-10-19 07:56

大数据需要哪些技术？

想要学好大数据需掌握以下技术：1.Java编程技术Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编

大数据和云计算·2022-10-12 19:45

大数据分析学习之路

大数据分析的五个基本方面二、如何选择适合的数据分析工具三、如何区分三个大数据热门职业四、从菜鸟成为数据科学家的9步养成方案五、从入门到精通——快速学会大数据分析在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙

数据工程师大牛·2022-10-10 16:06

大数据学习之Flink环境搭建+提交任务方式

1、独立集群独立集群不需要依赖任何框架，独立运行1、上传解压配置环境变量tar-xvfflink-1.15.0-bin-scala_2.12.tgzvim/etc/profilesource/etc/profile刷新2、修改配置文件vimconf/flink-conf.yamljobmanager.rpc.address:masterjobmanager.bind-host:0.0.0.0tas

卡耐基 · 杨·2022-10-04 14:07

大数据入门：Flink核心概念详解

在流式计算越来越受到主流青睐的市场状况下，流式计算框架技术的掌握，正在成为大数据学习当中的重要部分。以Flink框架来说，作为新一代的流计算框架，越来越多地出现在大数据开发者们的技能树当中。

加米谷大数据张老师·2022-10-04 14:03

大数据学习之Flink——14Time详解

对于流式数据处理，最大的特点是数据上具有时间的属性特征，Flimk根据时间产生的位置不同，将时间区分为三种时间语义，分别为事件生成时间（EventTime）、事件接入时间（IngestionTime）和事件处理时间（ProcessingTime）。EventTime：事件产生的时间，它通常由事件中的时间戳描述。IngestionTime：事件进入Flink的时间。ProcessingTime：事件

Jiang锋时刻·2022-10-04 14:00

大数据学习之Flink——13Window详解

Windows计算是流式计算中非常常用的数据计算方式之一,通过按照固定时间或长度将数据流切分成不同的窗口,然后对数据进行相应的聚合运算,从而得到一定时间范围内的统计结果。一.Window分类1.GlobalWindow和KeyedWindow在运用窗口计算时，Flink根据上游数据集是否为KeyedStream类型，对应的Windows也会有所不同。KeyedWindow:上游数据集如果是Keye

Jiang锋时刻·2022-10-04 14:00

大数据方向学习系列——Hive——第二章：Hive安装

大数据学习之Hive系列文章目录第一章Hive入门第二章Hive安装文章目录大数据学习之Hive系列文章目录资料地址1.1Hive安装地址1.2Hive安装部署1.3Hive基本操作1.4将本地文件导入

程序猿不熬夜·2022-09-28 09:59

大数据学习——hive安装

本文主要记录hive安装的过程，因为hive默认的是derby进行存储元数据，为方便多客户端开启，更换使用mysql进行存储元数据，则涉及到内容：hive的安装，mysql的安装，mysql用户名密码更改。一、hive安装1、下载hive安装包（下载的是1.x版本，该版本用的是mapreduce。2.x用的是spark）官网下载最新的1.x安装包https://mirror.bit.edu.cn/

thesuntear·2022-09-28 09:28

大数据学习——Yarn

一.Yarn的介绍Yarn是Hardoop集群的资源管理系统，是Hardoop2.0对MapReduce框架做的设计重构，我们称Hardoop2.0中的MapReduce为MRv2或者Yarn。在Hardoop1.0中MapReduce主要包括两个部分：1.ResourceManagement——资源管理；2.JobScheduling/JobMonitoring——任务调度监控。而到了Hardo

flying___bird·2022-09-28 09:24

大数据学习路径

大数据学习路径在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：716加上【五8一】最后014，即可免费领取一整套系统的大数据学习教程第一阶段linux+搜索+hadoop体系Linux基础

金罗老师·2022-09-25 07:07

BDTC 2018强势来袭：深度探秘大数据新应用

超过140多位海内外技术专家及知名企业、高校、科研院所代表组成的实力讲师团、上千名技术开发者齐聚于此，聚焦大数据学习发展中的痛点及瓶颈，深入解析热门技术在行业中的实践和落地，紧贴时代脉搏，开启了一场属于技术

趣味科技v·2022-09-24 07:05

[大数据学习之ClickHouse]10-ClickHouse高级进阶之表级别优化

本篇文章主要聊一下CLK中的表级别优化操作时间字段的类型CLK与HIVE两者虽然都是用天来进行分区规则,但是不同的点就是,HIVE的日期字段是STRING,CLK的官方建议是时间戳字段直接使用DATATIME或者是Long类型的(INT32)如果使用STRING也不是不可以,CLK底层也会将STRING给转化成LONG(INT32)去存储,或多或少会影响点性能createtablet_type2(

阿月.·2022-09-14 07:15

大数据技术路线-需要掌握的技术

大数据应用作为目前很火，市场需求很大的需求体量，所以学习大数据应用技术很有必要，也是发展的唯一路径，笔者总结了大数据学习的技术路线，希望大家能有所收获。

张一峰·2022-09-07 10:47

大数据学习_分布式协调服务_Zookeeper

目录1.Zookeeper简介1.1Zookeeper是什么？1.2zookeeper的架构组成1.3Zookeeper特点2Zookeeper环境搭建2.1Zookeeper的搭建方式2.2Zookeeper集群搭建3Zookeeper数据结构与监听机制3.1ZNode的类型3.2ZNode的状态信息3.3Watcher机制4Zookeeper的基本使用4.1ZooKeeper命令行操作4.2Z

Shawlizao·2022-09-07 09:47

大数据之Hadoop集群搭建（4个节点）

大数据必备–搭建Hadoop集群（4个节点）初学大数据肯定第一步先搭建hadoop集群，虽然不知道怎么用，但是先搭建集群是你大数据学习之旅的第一步，操作步骤有以下这几步，用的centos系统对四台虚拟机进网络和静态

m0_67393039·2022-09-06 15:42

大数据学习-hive（四：离线数仓搭建流程）

一：接需求需求通常是其他部门提过来的。我们要和其他部门人员进行沟通，核实需求是否能完成，如果能完成最后要形成一个excl文档，把想要的字段都写在excl中，并和对方核对任务完成日期。如果完不成，提前告知对方。二：查看所需数据1.所需数据在维表中。这种情况直接写sql，将结果放在dm层即可。2.所需数据在ods层或者dwd层。这些数据并没有在维表中，我们要想是否要建立一个新的维度，进行维度建模，如果

宇智波云·2022-08-31 12:47

[大数据学习之ClickHouse]14-ClickHouse监控/可视化

前言CLK虽然底层提供了自身状态的运行记录并记录到系统表中**(SYSTEM.*)**,但是对于运维人员来说,每次去查看这些数据会比较麻烦,现在Prometheus+Grafana的组合比较流行,达到监控+可视化的目的安装Prometheus上传并解压修改配置文件,一定要和文件中的格式保持一致(哪怕是空格也要保持一致)后台启动nohup./prometheus--config.file=prome

阿月.·2022-08-26 14:59

为何大数据如此受欢迎？目前学大数据怎么样

目前大数据学习怎么样呢？下面一同来看看吧。

千锋郑州·2022-08-26 11:09

如何快速入门大数据行业零基础能学大数据吗

随着互联网的发展，越来越多的IT从业者发现，大数据行业经验越丰富薪资也就越高，那么，如何选择大数据学习，快速从零基础入门呢？当今企业对大数据技术人才的需求如下：需

千锋郑州·2022-08-26 11:09

大数据为什么这么火？为什么那么多人转型？

这句话至少传递两种信息：1、大数据是海量的数据2、大数据处理无捷径，对分析处理技术提出了更高的要求在这里还是要推荐下我自己建的大数据学习交流群:199427210，群里都是学大数据开发的，如果你正在学习大数据

juan11115·2022-08-25 14:18

2022-02-09大数据学习日志——PySpark——Spark框架概述

前言部分：知识回顾及课程目标[前言1]-大数据技术框架整个大数据技术框架学习，可以划分为4个阶段：离线分析、内存分析、实时存储和实时分析。#第1部分、离线分析（BatchProcessing）分布式协作服务框架Zookeeper大数据基础框架Hadoop（HDFS、MapReduce和YARN）大数据数仓框架Hive大数据辅助框架：FLUME、SQOOP、Oozie和Hue#实战项目：亿品新零售#

成长的小狮子·2022-08-24 15:11

吐血整理的大数据学习资源大全

一、网站网易公开课https://open.163.com/腾讯课堂https://ke.qq.com/中国大学慕课https://www.icourse163.org/B站https://www.bilibili.com/学习资源非常多，内容系统且全面，重点关注一些专业培训机构上传的学习视频Statistahttps://www.statista.com/CEIChttps://www.ceic

我想去吃ya·2022-08-24 12:57

比神经网络更高级的算法,人工神经网络是算法吗

大数据学习路线图途大数据主要学习的内容有8个阶段，大数据前景很不错的，应用领域广，薪资也是可观的，人才缺口大，想了解一个机构好不好你可以先打听一下这家机构的口碑怎么样，好的培训机构口碑都是很不错的，除了口碑还要了解一下机构的课程体系

幸福的小肥熊·2022-08-22 17:06

大数据平台最常用的30款开源工具

本文整理出了大数据平台常见的一些开源工具，并且依据其主要功能进行分类，以便大数据学习者及应用

饮水思源09·2022-08-21 12:09

数据集成工具的使用（五）---Kettle 从理论学习到熟练使用

本期与大家分享的是，小北精心整理的大数据学习笔记，数据采集工具Kettle的详细介绍，希望对大家能有帮助，喜欢就给点鼓励吧，记得三连哦！欢迎各位大佬评论区指教讨论！制作不易，各位大佬们给点鼓励！

北慕辰·2022-08-21 12:35

【DL-图像分类】

图像分类一、卷积神经网络基础1、卷积神经网络2、全连接层3、卷积层4、池化层二、LeNet-5三、AlexNet四、VggNet五、GoogLeNet5.1GoogLeNetInceptionV1——22层5.2GoogLeNetInceptionV25.3GoogLeNetInceptionV35.4GoogLeNet（V1）六、ResNet一、卷积神经网络基础1、卷积神经网络卷积神经网络是一种

★半岛铁盒·2022-08-08 07:58

大数据学习（一）：大数据的基本概念

一、大数据的定义大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB二、大数据的4v特征1.体量大（Volume）2.速度快（Velo

WuJiaYFN·2022-08-01 20:32

AI遮天传 DL-深度学习在计算机视觉中的应用

本文只做一些在计算机视觉中应用的简单介绍，童叟无欺。一、图像分类a.通用图像分类将不同图片按照内容进行分类b.特定图像分类特定识别人脸、某种动物、汽车等1.1人脸验证下面是两种典型的人脸识别损失函数1.1.1DeepID2上图左侧两个人比较像，都是侧脸，所以箭头短一点，下方一个是侧脸一个是正脸，而且光照也不相同，所以箭头长一点。我们希望经过训练后，上方的两张图片离得远一点(因为这是两个不同的人)，

老师我作业忘带了·2022-07-30 10:47

AL遮天传 DL-深度学习模型的训练技巧

本文介绍一些常用的优化方法、处理过拟合的一些手段、批归一化的方法和超参数的选取。一、优化器回忆：随机梯度下降(SGD)及动量(momentum)训练中需要调整学习率随机梯度下降算法对每批数据进行优化，其中J为损失函数：基于动量的更新过程：我们前面学习地更新的方法，都是对所有的变量进行调整的，是全局且同等地调整各个参数的学习率，这并不一定是最优的学习方式(如不同层的权值的更新率不一定非要相同)，那么

老师我作业忘带了·2022-07-28 09:23

AI遮天传 DL-多层感知机

本文介绍多层感知机，会先按照历史顺序介绍多层感知机诞生前的一些模型，后面介绍具体实现与其算法。一、前戏1.1阈值逻辑单元(ThresholdLogicUnit,TLU)如上图是一个神经元，我们可以看到它的胞体、轴突、树突。我们高中的时候学过一种东西叫做神经递质，分为抑制性神经递质和兴奋性神经递质，以及一些关于兴奋和抑制相关的知识；我们把这些递质看作神经元的输入，则可模仿神经元建立以下模型(M-Pu

老师我作业忘带了·2022-07-27 09:48

深度学习实验：Softmax实现手写数字识别

老师我作业忘带了·2022-07-23 17:08

AI遮天传 DL-回归与分类

本文主要介绍Logistic回归和Softmax回归一、回归与分类回忆给定数据点集合和相应的标签，对于一个新的数据点x，预测它的标签(目标是找到一个映射):如果是一个连续的集合，称其为回归(regression)如果是一个离散的集合，称其为分类(classfication)多项式回归考虑一个回归问题，输入x和输出y都是标量。寻找一个函数来拟合数据无论是线性回归还是非线性回归，我们一般都是通过一些成

老师我作业忘带了·2022-07-21 09:47

大数据学习之Hadoop生态圈（一）

文章目录前言1、什么是hadoop2、Hadoop起源3、Hadoop的四大特点4、Hadoop的三大发行版本5、Hadoop的版本迭代6、Hadoop的优点及缺点7、Hadoop组成前言上篇文章讲述了大数据的发展及历程，这篇文章就带大家进入大数据的技术应用，以下文章观点或描述如有错误，请指正！！1、什么是hadoop广义：hadoop代表是大数据的一个技术生态圈，这个生态圈中包含其他很多的技术框

Lnn_CSDN·2022-07-18 13:06

2021-12-30大数据学习日志——Hadoop离线阶段——HDFS

学习目标理解分布式文件存储的概念与实现掌握HDFS分块存储、副本机制等特性学会shell操作HDFS掌握HDFS读写流程理解NameNode元数据管理机制理解SecondaryNameNodecheckpoint机制内容大纲#HDFS入门HDFS介绍如何模拟实现分布式文件存储系统？具备哪些特性。分布式、分块存储、副本机制、元数据管理HDFS设计目标和重要特性#HDFS操作shellcommand#

成长的小狮子·2022-07-14 15:45

大数据学习笔记及踩坑记录2--数据库及JPA配置

在这个项目中，需要使用一个MySQL数据库来保存部分数据，因此需要使用MySQL。同时由于使用了Springboot框架，因此还得使用JPA数据中间层以简化对数据的访问。1、数据库配置文件在这个项目中，没有使用项目创建时所提供的application.properties配置文件，而是使用了一个application.yml文件。具体可参见下面这篇文章：https://blog.csdn.net/

人间四月有comqiao·2022-07-10 16:23

入行大数据学习路线分享学习不迷路

入行大数据学习路线分享学习不迷路，想要从事大数据技术开发工作请问要怎么做，学习路线是什么？从哪里开始学？学哪些？对于想学大数据的人群有诸多的疑问，大数据本质上是海量数据。

我想去吃ya·2022-06-22 12:18

大数据开发内容太多了，我到底应该怎么学？（附应届生学习路线）

有这种困惑是很正常的一个情况，尚硅谷它免费分享出来的大数据学习视频有109.60G，有18个文件夹，很多人看到这么多技术直接懵了，脑子里冒出无数个问题：我是应该全部学习呢？还是挑部分学习？

小刘讲大数据·2022-06-21 07:29

大数据学习之路-Hadoop

Hadoop1.大数据导论1.1大数据概念1.2大数据特点1.3大数据应用场景1.4大数据部门组织结构2.Hadoop简介与大数据生态2.1Hadoop的介绍2.2Hadoop三大发行版本2.3Hadoop组成2.3.1HDFS架构概述2.3.2YARN架构概述2.3.3MapReduce架构概述2.4大数据技术生态体系3.Hadoop运行环境搭建3.1模板虚拟机环境准备3.2克隆虚拟机3.3安装

Conviction of Star·2022-06-07 17:35

大数据学习之路-Linux基础

Linux基础与Shell编程1.Linux概述2.系统安装3.Linux目录与结构4.VI/VIM编辑器4.1打开和新建文件4.2VI三种工作模式末行模式命令一般模式编辑模式指令模式5网络配置和系统管理操作5.1配置网络ip地址5.2配置主机名5.3服务管理5.4关机重启命令6常用基本命令6.1帮助命令6.2文件目录类6.3时间日期类6.4用户管理命令6.5用户组管理命令6.6文件权限类6.7搜

Conviction of Star·2022-06-07 17:05

Java，面试题，简历，Linux，大数据，常用开发工具类，API文档，电子书，各种思维导图资源，百度网盘资源，BBS论坛系统 ERP管理系统 OA办公自动化管理系统车辆管理系统各种后台管理系统

大数据，常用开发工具类，API文档，电子书，各种思维导图资源，百度网盘资源BBS论坛系统ERP管理系统OA办公自动化管理系统车辆管理系统家庭理财系统各种后台系统一、面试题、简历资源二、各类思维导图三、大数据学习四

爱是与世界平行·2022-06-05 20:00

大数据学习路线

林子雨编著《大数据技术原理与应用》教材配套讲义PPT大数据学习路线图学习教程（不全）尚硅谷Linux教程(千万级学习人次，linux最新升级版)尚硅谷Shell教程(sh

ア灬格子衬衫々·2022-06-05 15:21

推荐频道

ML&DL-大数据学习