本科课程大数据基础

大数据基础总结---MapReduce和YARN技术原理

MapReduce和YARN技术原理学习目标熟悉MapReduce和YARN是什么掌握MapReduce使用的场景及其原理掌握MapReduce和YARN功能与架构熟悉YARN的新特性MapReduce的概述MapReduce基于Google发布的MapReduce论文设计开发，用于大规模数据集（大于1TB）的并行计算具有如下特点：易于编程：程序员仅需描述做什么，具体怎么做交由系统的执行框架处理。
weixin_30394333·2023-10-22 00:27

大数据基础篇--Common Join 和Map Join的机制

文章目录一.HiveCommonJoin二.HiveMapJoin什么是MapJoin?MapJoin的原理：注意事项三.测试使用MapJoin遇到的问题：解决办法：1.关闭自动MapJoin转换2.内存增大笼统的说，Hive中的Join可分为CommonJoin（Reduce阶段完成join）和MapJoin（Map阶段完成join）。本文简单介绍一下两种join的原理和机制。一.HiveCom
在路上的小y·2023-10-21 08:30

《随笔 一》

1LGX4O5hDGkbLlg2GYHk4gQ提取码pw99包括：jave基础-进阶-高级-工具，HTML5基础-进阶-高级-工具,web前端基础-进阶-高级-工具，python基础-进阶-高级-工具大数据基础
Captain Hammer·2023-10-18 16:23

大数据基础

1.shuffle过程https://blog.csdn.net/zpf336/article/details/809316292.Spark为什么快？这里的快一般是指相对mapreduce快，所以这里的为什么主要是和mapreduce进行对比。https://www.zhihu.com/question/319306623.Spark提交任务流程（Sparkonyarn运行的全流程）首先通过sp
_诉说·2023-10-17 07:02

实录分享 | Alluxio 在网易大数据的应用与优化

一、背景介绍网易有数大数据基础平台NDH：NDH是网易对标ClouderaCDH的一个内部实现，是网易内部广泛使用的一个基础平台。
Alluxio·2023-10-17 06:30

大数据基础技能入门指南

本文介绍了数据工作中数据基础和复杂数据查询两个基础技能。背景当下，不管是业务升级迭代项目，还是体验优化项目，对于数据的需求都越来越大。数据需求主要集中在以下几个方面：项目数据看板搭建：特别是一些AB实验的看板，能直观呈现项目的核心数据变化数据分析：项目启动前的探索挖掘以及项目后的效果分析但是，眼下存在的一个普遍矛盾是：日益增长的数据需求和落后的数据生产力之前的矛盾俗话说，求人不如求己，掌握基础的数
阿里巴巴淘系技术团队官网博客·2023-10-16 16:34

大数据基础-zookeeper的安装教程

序1、准备本篇文章演示的是搭建zookeeper集群，这里使用三台虚拟机进行演示说明。由于zookeeper的选举机制，因而zookeeper集群所需的虚拟机数量为奇数。材料版本数量备注安装包zookeeper-3.4.12.tar.gz3虚拟机CentOS7.53IP/3192.168.28.51/52/53netcat版本任意3一种网络工具，测试用jdk版本7以上3提前安装好2、安装安装目录是
知者乎也·2023-10-15 00:13

新一代大数据技术：构建PB级云端数仓实践

本期极客说邀请了来自腾讯云大数据基础团队负责人，大数据技术专家堵俊平来为我们分享介绍大数据领域最近的技术趋势，包含介绍Hadoop与Spark技术的最新进展。通过一些实际的应用
腾讯云开发者·2023-10-14 23:07

网工内推 | 国企专场，网络运维工程师，华为/思科认证优先

2、对集团数据中心系统的大数据基础架构（ClouderaDistributionHadoop）的规划、运维及管理相关工作。
HCIE考证研究所·2023-10-14 03:19

我眼中的自律

看书、学习本科课程……我唯一一直坚持下来只有文案训练营的课程和听书，其他的习惯在整顿以来都是断断续续在进行。我一直以为自己自控能力有所改善了，平常的习惯做起来也花不了自己
慢茶单·2023-10-11 16:04

大数据基础之SparkStreaming——SparkStreaming整合Flume

SparkStreaming继承Flume  SparkStreaming通过Push和Pull两种方式对接Flume数据源。以SparkStreaming的角度来看，Push方式属于推送(由Flume向Spark推送)，而Pull属于拉取(Spark拉取Flume的输出)。  不论以何种方式，开发过程类似，都是由SparkStreaming对接Flume数据流，Flume做为SparkStrea
Clozzz·2023-10-09 21:03

财富哲学，需要学习的地方还有很多20200227--今日复盘-448-395

22：30—23：10用时40分钟今日复盘：每天三件事回顾、反思、探究、提升一、今天完成了哪些工作昨日三个目标1、读书继续学习本科课程科目，规划第六章学习用时，尽量腾时间安排。计划用时4小时。
黄花儿香·2023-10-09 00:57

【FanOne的博客导航】希望你能喜欢这里 | 欢迎光临~

FanOne'sBlogGo语言七天入门Go开源宝藏Go语言实战项目Go语言与区块链以太坊智能合约超级账本Fabric青年大学习提醒脚本机器学习大数据基础实践大数据计算数据采集计算机网络(谢希仁教材第七版
小生凡一·2023-10-06 22:42

产品解读 | 数据服务平台：KDP

KDP是一款面向AIoT场景的数据服务平台——以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、
KaiwuDB 数据库·2023-09-28 21:17

【大数据基础实践】(六)数据仓库Hive的基本操作

目录1.数据仓库概念2.Hive简介2.1简介2.2特性2.3生态系统3.Hive系统架构4.HQL转成MapReduce作业的原理4.1join的实现原理4.2groupby的实现原理5.实验练习5.1环境配置5.1.1HIVE5.1.2MYSQL5.1.3配置MySql为hive元数据存储数据库5.2Shell进行实验内容5.2.1新建一个数据库；5.2.2新建表5.2.3添加分区5.2.4导
小生凡一·2023-09-28 18:02

产品解读 | 数据服务平台：KDP

KDP是一款面向AIoT场景的数据服务平台——以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、
·2023-09-27 16:55

python大数据书籍推荐-大数据入门书籍推荐《Python 大数据基础》

本书系统地讲解了大数据处理相关的过程，并通过Python程序的例子讲解了如何使用Python语言对数据进行采集、存储、分析及可视化。本书的章节设计以目标为导向，首先介绍大数据处理各个环节要做什么事情，然后讲解如何使用Python达到对应的目标。本书有配套的课件、代码和课后练习题答案，有需要的读者可登录出版社网站，免费下载。书中给出的例子和数据文件都保存在source目录下对应章节的子目录下。目录第
weixin_39527078·2023-09-25 21:53

大数据基础面试题七：Flink

大数据基础面试题七：Flink目录大数据基础面试题七：Flink十四、Flink14.1简单介绍一下Flink14.2Flink跟SparkStreaming的区别14.3Flink集群有哪些角色？
大数据面壁者·2023-09-25 16:45

史上最详细大数据基础知识

#**1___Hive**##0.0、hive基本命令```sql[1、分区表]--创建分区altertabletable_nameaddpartition(分区字段='分区值');altertabletable_nameaddpartition(分区字段='分区1'),partition(分区字段='分区值2');loaddatalocalinpath'/root/dept_1.txt'into
djyjx·2023-09-24 20:29

大数据基础考试复习（考试前不停更）——《大数据技术与原理应用》

文章目录小题：选择：判断：填空：大题一、简答题1、Hadoop生态及各部分的作用2、HDFS的实现目标3、FsImage和EditLog的过程4、HDFS读数据的过程5、HBaseRegion的定位方式6、简述Map函数和Reduce函数的功能7、简述Map端和Reduce端的shuffle过程Map端Reduce端8、Hadoop1.0的局限和不足9、MapReduce1.0的缺陷——>导致Ya
Jeffrey_oWang·2023-09-23 21:21

2019国科大陈玉福马菲菲算法课考试回顾

陈玉福和马菲菲老师秋季学期的算法课结束了，算法课的内容中规中矩，像是本科课程内容的重复加强版（多了很多算法证明）2019-12-24上午考的试，前后复习了大概有大半个多月，考题的内容大部分也是常见的题型
zhuweipu·2023-09-23 04:50

OLAP引擎：基于Druid组件进行数据统计分析

在大数据分析、实时计算、监控等领域都有相关的应用场景，是大数据基础架构建设中重要组件。
知了一笑·2023-09-21 18:00

（日积月累版）大数据基础知识点1-关系型数据库

好久不见，甚是想念。笔者最近有时间整理关于大数据的一些基础知识点，整理的目不在于能提升多少技能，关键在于巩固一些很基础的知识点，毕竟互联网就是基础略稳固的人比较有优势，在遇到或发现一些技术问题时，从底层科学的去理解这些问题，说不定会有另一片天下。那么本期带来大数据面是：关系型数据库一、什么是关系型数据库？关系型数据库是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据
一条肥雷·2023-09-20 22:58

美术艺考是捷径？谈谈艺考那些事儿~

本科院校数量已达一千余人，但考生人数每年超过一千万人，超过一半的学生未能进入本科课程。许多人说“文化课不好，去学艺术，高考容易”。那是否真如大家说的那样，美术考试是高考的捷径？
链小卡kk·2023-09-20 13:44

招商信诺人寿基于 Apache Doris 统一 OLAP 技术栈实践

本文将详细介绍招商信诺在大数据基础建设方面的探索之旅，从最初为线报表、Ad-hoc分析提供服务的OLAP引擎，逐步发展至基于ApacheD
SelectDB技术团队·2023-09-20 08:58

招商信诺人寿基于 Apache Doris 统一 OLAP 技术栈实践

本文将详细介绍招商信诺在大数据基础建设方面的探索之旅，从最初为线报表、Ad-hoc分析提供服务的OLAP引擎，逐步发展至基于ApacheD
·2023-09-19 12:11

跨考985同济大学管理学考研经验分享！！！

前言：我是跨考生，本科课程不算少，大三全是课，大四上学期还有两门必修课，平时还会有写作业，考研的时间真的是硬挤挤出来的。
a611fd674845·2023-09-18 14:35

一文了解袋鼠云在实时数据湖上的探索与实践

因此，袋鼠云基于自研的一站式大数据基础软件——数栈提出相应的实时数据湖解决方
袋鼠云数栈·2023-09-15 15:35

大数据基础——知识汇总

什么是DIKW模型？D=Data,表示数据，I=Information,表示信息，K=Knowledge，表示知识，W=Wisdom，表示智慧。DIKW模型将数据、信息、知识、智慧纳入到一种金字塔形的层次体系，每一层比下一层都赋予的一些特质。原始观察及量度获得了数据、分析数据间的关系获得了信息。在行动上应用信息产生了知识。智慧关心未来，它含有暗示及滞后影响的意味。Whatistherelation
一只Lemon·2023-09-14 14:25

网工内推 | 云架构运维、网络工程师，base北京，最高20k

2、对集团数据中心系统的大数据基础架构（ClouderaDistributionHadoop）的规划、运维及管理相关工作。
HCIE考证研究所·2023-09-12 04:49

成人自考大专（学历提升教育机构哪家好）

首先,学历提升有两个不同层次的自学大学自学本科课程,自考大专也就是说,大学自学考试获得的毕业证书是不同大学自学考试,获得的毕业证书和大学自学考试的含金量比自学本科。
4520fbbde901·2023-09-10 08:54

大数据导论 笔记

一、大数据方向1、技术发展计算机网络云计算大数据时代人工智能（本科：使用，研究生：推导，博士：创新）2023年大数据模型人工智能元年2、基础课程hadoop大数据基础三大件：HDFS分布式存储、MapReduce
暗托涅瓦·2023-09-10 02:12

数据中台建设方案-基于大数据平台

大数据基础平台技术能力的高低，主要依赖于该层组件的发展。本建设方案满足甲方对于数据计算层建设的基本要求：利用了MapReduce、Spark、
FRDATA1550333·2023-09-08 05:08

大数据基础知识

一、概述大数据时代悄然来临，带来了信息技术发展的巨大变革，并深刻影响着社会生产和人民生活的方方面面。全球范围内，世界各国政府均高度重视大数据技术的研究和产业发展，纷纷把大数据上升为国家战略加以重点推进。企业和学术机构纷纷加大技术、资金和人员投入力度，加强对大数据关键技术的研发与应用，以期在“第三次信息化浪潮”中占得先机、引领市场。大数据已经不是“镜中花、水中月”，它的影响力和作用力正迅速触及社会的
数新网络·2023-09-08 04:34

合群

1不出意外，这一年的研究生课程还是和本科课程一样，令人失望。大多课程只是比本科课程在考试中只需多背两页书，就在原先课程名上加以高等二字而达到美化目的。
卖油小李·2023-09-05 04:11

人工智能研究的未来：20 年机器学习和深度学习的论文创意！

一、说明该文章列出了20年机器学习和深度学习本科课程的2023个潜在论文想法。每个论文的想法都包括一个介绍，简要概述了主题和研究目标。
无水先生·2023-09-04 18:43

腾讯T4讲解：大数据日知录架构与算法（内含书籍，需要自取）

第一篇大数据基础理论第1章数据分片与路由1.1抽象模型1.2哈希分片(HashPartition)1
Python大数据工程师·2023-09-03 00:37

大数据平台与数据仓库的五大区别

大数据平台与数据仓库的五大区别一、概念不同数据仓库：一个相对具体的功能概念，是存储和管理一个或多个主题数据的集合；大数据平台：在大数据基础上出现的融合了结构化和非结构化数据的数据基础平台。
行云管家·2023-08-31 10:47

基于预测的云资源弹性伸缩框架MagicScaler，实现“高QoS，低成本”双丰收

开篇近日，由阿里云计算平台大数据基础工程技术团队主导，与计算平台MaxCompute团队、华东师范大学数据科学与工程学院、达摩院合作，基于预测的云计算平台资源弹性伸缩框架论文《MagicScaler:Uncertainty-aware
·2023-08-29 17:43

【VLDB 2023】基于预测的云资源弹性伸缩框架MagicScaler，实现“高QoS，低成本”双丰收

开篇近日，由阿里云计算平台大数据基础工程技术团队主导，与计算平台MaxCompute团队、华东师范大学数据科学与工程学院、达摩院合作，基于预测的云计算平台资源弹性伸缩框架论文《MagicScaler:Uncertainty-aware
阿里云大数据AI技术·2023-08-29 08:38

【VLDB 2023】基于预测的云资源弹性伸缩框架MagicScaler，实现“高QoS，低成本”双丰收

开篇近日，由阿里云计算平台大数据基础工程技术团队主导，与计算平台MaxCompute团队、华东师范大学数据科学与工程学院、达摩院合作，基于预测的云计算平台资源弹性伸缩框架论文《MagicScaler:Uncertainty-aware
·2023-08-28 12:13

三张图讲清楚大数据基础设施Hadoop、Lambda、kappa架构

随着互联网的快速发展，越来越多的人涌入互联网，互联网自此进入大数据时代。在大数据时代之后，云计算、人工智能、物联网、5G技术的发展又将大数据的发展推向高潮。数据已经从最初的信息一步步的演变成了数据产品、数据资产。关于数据的处理技术，包含数据库、数据集市、数据仓库、数据湖、数据中台，每次数据处理的演进都代表着业务需求变化的趋势、技术的演进。除了数据处理方式在演进之外，数据处理的基础措施也在不断的演进
AI课工场·2023-08-26 19:58

大数据基础面试题五：Spark Core & SQL & Streaming

大数据基础面试题五：SparkCore&SQL&Streaming目录大数据基础面试题五：SparkCore&SQL&Streaming十一、SparkCore&SQL11.1Spark解决什么问题11.2Spark
大数据面壁者·2023-08-25 10:37

阿里云认证概述

基础认证包括阿里云认证-云计算基础、阿里云认证-大数据基础、阿里云认证-人工智能基础和阿里云认证-安全基础四种认证，适合初学者和对云计算等领域感兴趣的从业者。专业认证则包括阿里云认证-云计算、阿里
腾科教育·2023-08-17 17:21

linux 上 mysql 使用问题汇总

最近学习大数据基础知识，使用Kafka模拟了生产者和消费者的流程。
uniapp·2023-08-17 06:12

文件研读：《福州市推进大数据发展三年行动计划（2018-2020年）》重点研发任务——斜杆第二步（20）

四、重点研发任务重点支持大数据应用技术、大数据分析技术与工具、大数据资源管理技术、大数据基础设施技术的研发,形成福州大数据核心技术。
追求财务自由的中年人·2023-08-16 17:52

突破大模型 | Alluxio助力AI大模型训练-成功案例（一）

更多详细内容可见《Alluxio助力AI大模型训练制胜宝典》【案例一：知乎】多云缓存在知乎的探索:从UnionStore到Alluxio作者：胡梦宇-知乎大数据基础架构开发工程师（内容转载自InfoQ）
Alluxio·2023-08-16 01:17

如何设计实时数据平台（技术篇）

侵删原文：https://mp.weixin.qq.com/s/iyDxv_sLcNEJ1KBG7gGH3w导读：实时数据平台（RTDP，Real-timeDataPlatform）是一个重要且常见的大数据基础设施平台
longLiveData·2023-08-15 14:47

揭秘爱数AnyShare认知助手：大模型深度产品化，深化人与机器的“分工协作”

最近，大数据基础设施提供商爱数在一次公开分享中，直观地展示了其新发布的AnyShare认知助手如何在大模型的支撑下辅助内容/知识的智能
智能相对论·2023-08-12 23:15

什么是股票level2数据接口？

行情有三大优势1.股票level2数据接口实时刷新,比普通行情快3—10秒2.普通行情只有5档行情，股票level2数据接口沪市支持10档行情，深市支持500档行情,委买委卖一览无余3.更有研发团队历时十年在大数据基础上不断研发的多种交易决策指标
QQ2037696191·2023-08-10 16:25
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他