***大数据框架***

大数据技术

CSDN话题挑战赛第2期参赛话题：大数据技术分享目录一、大数据技术1.大数据的定义2.大数据的特征3.大数据框架4.数据采集5.数据存储6.数据处理7.资源管理8.ETL任务管理9.数据应用以及分析工具二
clown空城·2023-01-12 10:39

【机器学习】分布式机器学习原理及实战(Pyspark)

一、大数据框架及Spark介绍1.1大数据框架大数据（BigData）是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。
风度78·2023-01-11 19:15

程序思路分析分享 计算机毕业设计答辩通过Python+Spark机器学习天气预测系统 天气可视化 天气爬虫 天气大数据 天气数据分析 气象数据分析 大数据毕业设计 大数据毕设

开发技术Python爬虫、线性回归预测算法、Spark实时计算大数据框架、springboot、vue、mysql、echarts功能天气大数据2022实现功能Spark大屏统计城市支持切换,切换后涉及到城市的所有图会重新读取数据渲染切换城市后大屏的标题一起会换
haochengxu2022·2022-12-21 05:50

大数据，大智慧，大未来

未来新石油”、大数据杀熟、信息茧房等词条,大数据究竟是什么,现在就来揭开它神秘的面纱一.何为大数据1.1背景1.2大数据的特点(5v)1.3应用场景1.4发展趋势二.大数据相关岗位三.大数据处理流程四.大数据框架五
亦可呀·2022-12-20 14:11

scala环境安装

scale开发环境搭建scala是运行在JVM上的多范式编程语言，同时支持面向对象和面向函数编程早期，scala刚出现的时候，并没有怎么引起重视，随着Spark和Kafka这样基于scala的大数据框架的兴起
huahailing1024·2022-12-15 11:07

一文了解Clickhouse

ClickHouse是什么ClickHouse是一个存储计算一体的工具，其与spark，flink等大数据框架不同的在于它有自己的存储层，在数据压缩，存储上做了更多的优化，所以导致它在某些数据处理能力上比其他工具快上了不少
菩提树下的呆子·2022-12-10 12:56

用图带你了解大数据框架架构之DophinScheduler

一、简介用途：任务调度优势：分布式、易扩展、可视化的DAG工作流，开箱即用，国产易用二、架构主要角色组成：【MasterServer】：采用分布式无中心设计理念，MasterServer主要负责DAG任务切分、任务提交、任务监控，并同时监听其它MasterServer和WorkerServer的健康状态。【WorkerServer】：也采用分布式无中心设计理念，WorkerServer主要负责任务
DSJ_smile·2022-12-07 00:19

【spark】自定义数据读取的InputFormat（异常：incorrect data check）

其实大多数场景下，各种大数据框架预定义的InputFormat（数据读取器）是够用的，除了一些比较特殊的情况，特殊的数据格式，我们才会需要自定义读取数据的方式。
lsr40·2022-12-04 21:01

夸父追日——大数据技术原理与应用

1本学期我们学习使用了哪些大数据框架，请根据各个框架的功能进行分类。
Azury0910·2022-11-30 05:42

Flink面试题整理

但是做为大数据的基础设施，Hadoop体系是任何大数据框架都绕不过去的。Flink可以集成众多Hadooop组件，例如Yarn、Hbase、HDFS等等。
Omar小胖·2022-11-29 15:22

用图带你了解大数据框架架构之DolphinScheduler

点亮⭐️Star·照亮开源之路GitHub:https://github.com/apache/dolphinscheduler一、简介用途：任务调度优势：分布式、易扩展、高可靠、可视化的DAG工作流，开箱即用。可以及时监控任务的执行状态，支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。二、架构【MasterServer】：采用分布式无中心设计理念，MasterServer主要负责DAG任
DolphinScheduler社区·2022-11-25 15:19

0基础可以学习大数据么？有前景么？

1、Java基础大数据框架90%以上都是使用Java开发语言，所以如果要学习大数据技术，首先要掌握Java基础语法以及JavaEE方向的相
我想去吃ya·2022-11-23 21:22

【ELT.ZIP】OpenHarmony啃论文俱乐部——大数据框架性能优化系统

本文出自ELT.ZIP团队，ELTElite(精英)，.ZIP为压缩格式，ELT.ZIP即压缩精英。成员：上海工程技术大学大二在校生合肥师范学院大二在校生清华大学大二在校生成都信息工程大学大一在校生黑龙江大学大一在校生山东大学大三在校生华南理工大学大一在校生我们是来自7个地方的同学，我们在OpenHarmony成长计划啃论文俱乐部里，与华为、软通动力、润和软件、拓维信息、深开鸿等公司一起，学习和研
ELT.ZIP·2022-11-23 03:06

分布式机器学习原理及实战(Pyspark)

一、大数据框架及Spark介绍1.1大数据框架大数据（BigData）是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。
算法进阶·2022-11-20 18:42

快速实战SQL - 检索数据

因为不同SQL的一些基本语句往往是相通的，只是一些复杂的语句不同，所以打算先学一遍SQL，再过一遍MySQL，有空入门一下大数据框架。持续更新~⭐简单声明：多条SQL语句必须以分号;分隔。
#苦行僧·2022-11-16 00:03

大数据软件学习入门技巧

大数据工具：数据存储与管理工具大数据从数据存储开始，也就是从大数据框架Hadoop开始。这个由Apache基金会运营的开放
我想去吃ya·2022-10-08 16:21

大数据技术栈

目录大数据相关岗位基础技术语言基础计算机基础技术框架自学流程基础知识大数据框架大数据相关岗位数据仓库工程师大数据平台开发工程师ETL开发工程师(传统数仓)数据分析师数据产品经理数据运营基础技术语言基础精通一门语言
2024进厂·2022-10-04 14:36

Hive Explain 详解

SQL目前是使用最为广泛的结构化数据操作语言，未来大数据框架对
Data-Developer·2022-09-08 10:44

Hadoop核心HDFS——HDFS概念及优缺点

Hadoop：Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)Hadoop核心HDFS分布式文件系统：存储是大数据技术的基础
南瓜数据客栈·2022-07-14 15:14

什么是 Apache Spark？大数据分析平台如是说

自从ApacheSpark2009年在U.C.Berkeley的AMPLab默默诞生以来，它已经成为这个世界上最重要的分布式大数据框架之一。
Joker_Ye·2022-07-04 15:50

腾讯云后台开发实习生暑期面试

用过哪些大数据框架怎么判断一棵二叉树是镜像的？层次遍历，每次取左子树左右结点，右子树右左结点，判断是否相同栈实现O(1)获得最小的数getMin(
YunaJ68·2022-06-05 07:19

存储系统如何适配 Hadoop？

近年来，Hadoop相关的大数据框架非常成熟，应用广泛。与此同时，Hadoop默认的存储组件HDFS开始逐渐暴露出自己的短板：存算一体带来的资源不匹配，NameNode的扩展瓶颈等等。
·2022-05-24 11:42

Spark MLlib分布式机器学习源码分析：特征提取与转换

Spark是一个极为优秀的大数据框架，在大数据批处理上基本无人能敌，流处理上也有一席之地，机器学习则是当前正火热AI人工智能的驱动引擎，在大数据场景下如何发挥AI技术成为优秀的大数据挖掘工程师必备技能。
大数据之眸·2022-05-05 07:13

一文学会Hadoop与Spark等大数据框架知识

目录一个实际的需求场景：日志分析HadoopHadoop的生态坏境SparkSpark整体架构Spark核心概念Spark的核心组件海量数据的存储问题很早就已经出现了，一些行业或者部门因为历史的积累，数据量也达到了一定的级别。很早以前，当一台电脑无法存储这么庞大的数据时，采用的解决方案是使用NFS(网络文件系统)将数据分开存储。但是这种方法无法充分利用多台计算机同时进行分析数据。一个实际的需求场景
·2022-04-29 11:46

大数据框架之HBase详解

目录1简介1.1HBase是什么？1.2HBase特点1.2.1海量存储1.2.2列式存储1.2.3极易扩展1.2.4高并发1.2.5稀疏存储1.3架构2HBase数据结构2.1RowKey2.2ColumnFamily2.3Cell2.4TimeStamp3HBase原理3.1读流程3.2写流程3.3数据flush过程3.4数据合并过程1简介1.1HBase是什么？HBase的原型是Google
xingchensuiyue·2022-02-28 11:17

大数据框架Hadoop入门

1.大数据概论1.1大数据概念常规软件指的是JAVAEE,MYSQL,SSM等这些技术MYSQL只能存储500-1000W条数据,再多的话检索效率特别慢.大数据可以存储并处理亿级以上的数据谈谈对大数据的理解,海量数据的存储和海量数据的分析计算,简称存数据和检索数据1.2大数据特点(4V)数据量非常大数据产生的速度非常快数据具有多样性1.3大数据应用场景1.4大数据部门业务流程分析1.5大数据部门组
左边有只汪·2022-02-28 11:43

大数据框架和数仓高频面试题总结

目录HadoopHiveHbaseSpark协作组件数仓Hadoop1、简答说一下hadoop的map-reduce编程模型MapReduce计算模型主要由三个阶段构成：Map、shuffle、Reduce。Map是映射，负责数据的过滤分法，将原始数据转化为键值对；Reduce是合并，将具有相同key值的value进行处理后再输出新的键值对作为最终结果。为了让Reduce可以并行处理Map的结果，
击水三千里·2022-02-28 10:53

9、大数据框架HBase搭建

文章目录大数据框架HBase搭建```准备工作```1、启动hadoop2、启动zookeeper```搭建hbase```1、上传解压配置环境变量2、修改hbase-env.sh文件3、修改hbase-site.xml
liangzai2048·2022-02-28 10:46

大数据学习笔记（一）：Hadoop

1、Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构，也是一个开源的大数据框架，通俗点说，是一个分布式计算的解决方案。
我是码代码·2022-02-27 09:41

大数据框架安装教程

一、架构二、框架部署2.1准备准备三台虚拟机，操作系统为CentOS7.x，每台内存至少8G以上。步骤：关闭防火墙创建hxr用户，设置密码，创建文件夹更改用户为hxr配置ssh免密登录安装jdk，设置环境变量选择上海时间，并通过ntp同步互联网时间，通过crontab指令同步集群服务器时间2.1.1关闭防火墙关闭防火墙并停止开机自启(CentOS7)firewall-cmd--state#查看防火
CJ21·2022-02-08 18:25

大数据框架基础Hive教程

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。术语“大数据”是大型数据集，其中包括体积庞大，高速，以及各种由与日俱增的数据的集合。使用传统的数据管理系统，它是难以加工大型数据。因此，Apache软件基金会推出了一款名为Hadoop的解决
拾荒的程序员老头·2022-02-05 12:52

轻松搭建数据仓库，与FreeWheel一起“玩转”Amazon EMR

AmazonElasticMapReduce(AmazonEMR)是AmazonWebServices提供的托管集群平台，用户可以非常方便的使用AmazonEMR搭建起一套集群，用来支撑大数据框架的应用
·2021-12-21 11:55

浅析大数据框架 Hadoop～

作者：幻好来源：恒生LIGHT云社区Hadoop概念及其发展Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。分布式文件系统（GFS），可用于处理海量网页的存储。分布式计算框
·2021-07-27 20:01

Hadoop是否会被Spark取代？Hadoop生态组件原理解析

Hadoop和Spark都是目前主流的大数据框架，但是随着Spark在速度和易用性方面表现出的优势，一些国内外专家逐渐推崇Spark技术，并且认为Spark才是大数据的未来。
·2021-07-27 19:24

hadoop集群部署之基础概念介绍（一）

Hadoop生态其实我们在做工业级的大数据框架部署的时候，所说的hadoop大数据部署通常指的是一整个生态，其中包括hadoop，spark，hive，hdfs，flink等，而不是单独指hadoop。
远方的旅行者·2021-07-25 16:10

大数据学习方向知多少

第一章：Hadoop在大数据存储和计算中Hadoop可以算是开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。关于Hadoop，你至少需要搞
kuntoria·2021-06-21 22:00

大数据框架Hadoop和Spark的区别和关系

如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark、HDFS、MapReduce、Common之间是什么关系?我们刚刚搞懂服务器，数据库，C++，java等基础语言是个什么东西的时候，大数据时代来了，科技界又玩起Hadoop，HDFS，MapReduce，Common，Spark，Mahout，HBase，NoSQL，Cassandra，GFS,MapReduce,BigTa
大数据架构师·2021-06-21 13:59

Hadoop是否会被Spark取代？Hadoop生态组件原理解析

Hadoop和Spark都是目前主流的大数据框架，但是随着Spark在速度和易用性方面表现出的优势，一些国内外专家逐渐推崇Spark技术，并且认为Spark才是大数据的未来。
·2021-06-18 21:12

6.17 货拉拉大数据平台开发实习面试

一面四十分钟先从大数据框架开始问逐个介绍Java方面回答不是很好：具体需要准备的内容：Java内存模型、Java多线程、线程之间的交互、Java集合、Mysql事务四个隔离级别、脏读幻读什么的~hive
monster++·2021-06-17 15:16

大数据框架对比

一、流式计算对比image.pngexactlyonce（精确一次的理解）->effectivelyonce(有效一次)：https://ververica.cn/developers/exactly-once-2/Flink和Spark的对比(廷珏给的链接)https://ververica.cn/developers/big-data-computing-engine-battle/https
大唐雷恋·2021-06-14 15:01

基于binlog的使用摸索

因为作业系统，难免会遇到这样一些问题，就是报表，各种纬度查询，而我们项目又不是基于大数据框架来做的，所以在满足多维度方面，以及实时性要求方面就稍显逊色如果基于现有系统业务，让你去实现一个统计类报表，你的方案
__晨风__·2021-06-10 19:51

大数据框架总结

KafkaEagle这是一款Kafka监控工具，KafkaEagle主要是有几个我们关注的点：流量，最长可以查看最近七天的流量波动图lagsize邮件告警可以用KafkaSql分析课程框架总结Zookeeper分布式服务协调框架，帮助其他节点正常运行永久节点：普通永久节点、序列化永久节点临时节点(客户端一旦断开节点消失)：普通临时节点、序列化临时节点Watch机制类似于监听器Hdfs分布式文件存储
_TIM_·2021-06-03 23:24

Hadoop大数据环境搭建保姆级教程（完整版）

8、搭建虚拟机上的Hadoop环境9、配置jdk和Hadoop10、scp、xsync集群分发脚本11、修改核心配置文件12、启动集群13、Hadoop环境检测前言：找了全网关于mac配置Hadoop大数据框架
Jancydc·2021-05-16 22:04

Kafka相关面试题

Kafka常见问题date:2020-04-0116:25:49update:2020-04-0120:31:30excerpt:Kafka面试中常见问题toc_min_depth:3tags:Kafka大数据框架
爬格子的小陈·2021-04-19 02:44

大数据学习路线

文章目录大数据学习路线前言编程语言阶段学习视频链接大数据框架阶段学习一、Linux（基本操作）视频：二、Hadoop（重点中的重点）视频：三、Zookeeper视频：四、Hive（重点）视频：五、Flume
小夕Coding·2021-04-15 09:18

数据仓库：数据仓库技术选型及方案设计

1.大数据技术生态1.1.大数据技术生态体系图大数据技术生态体系.png1.2.数据流程图未命名文件(1).png1.3.大数据框架Apache--使用最广泛的框架；--需要专业的运维人员；--组件兼容性需要仔细调研
猎户座_alpha·2021-04-13 14:34

大数据开发-Flink-体系结构 && 运行架构

Flink体系结构以及主要组成像大多数大数据框架一样，Flink是非常经典的Master/Slave结构实现，JobManager是Master，TaskManager是Slave。
·2021-03-29 01:43

大数据开发-Flink-体系结构 && 运行架构

Flink体系结构以及主要组成像大多数大数据框架一样，Flink是非常经典的Master/Slave结构实现，JobManager是Master，TaskManager是Slave。
·2021-03-29 01:01

余老师带你学习大数据框架全栈第十二章Flume第七节简单案例之Flume进阶--Flume 事务

4.1Flume事务Flume是一个传输工具，在工作中要保证数据尽量不丢失，然而数据在传输过程中要经过source读数据——>再写给channel——>sink再从channel中取数据,在任一环节中都有可能会丢失数据。为保证数据不丢失，在过程中加入“事务”。三个过程中间包含两个事务，Put事务流程和Take事务。Put事务流程•doPut:将批数据先写入临时缓冲区putList•doCommit
weixin_45810046·2021-02-08 15:09

pianaipj-真题宝典-1

注意技能点描述用词，不要随便用熟悉，觉得特别熟的可以说熟练使用（2）常用的大数据框架是肯定会问的，比如Hive、Spark、Kafka等。
黄胖胖pang·2021-01-24 14:27
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他