大数据技术-spark 第21页

Hive架构设计

我们知道MapReduce和Spark它们提供了高度抽象的编程接口便于用户编写分布式程序，它们具有极好的扩展性和容错性，能够处理超大规模的数据集。

跟着大数据和AI去旅行·2024-01-17 08:12

Spark master HA

1.原理只针对Spark自带的Standalone资源调度框架,因为Yarn本身就是高可用的Standalone集群只有一个Master，如果Master挂了就无法提交应用程序，需要给Master进行高可用配置

乔一波一·2024-01-17 08:34

计算机毕业设计之全网独家Spark租房爬虫数据分析与推荐系统租房大数据租房app 租房数据分析租房爬虫房源推荐系统房源数据分析房源可视化

一、网站·登录与注册、注销·短信验证码修改密码·我的信息：身份证实名认证·租房业务流程（预约+看房+支付+完成+评价）、进度步骤条展示·支付宝沙箱支付·房屋浏览、中介信息查看·房屋推荐（基于mahout协同过滤算法）·房屋评价、点赞与收藏二、后端·统计主页、个人信息（带头像上传）、权限管理、用户管理、资讯管理、通知管理、日志管理、评论管理、轮播图管理、房屋管理、中介管理、订单管理。·中介权限可以登

haochengxu2022·2024-01-17 08:34

spark之checkpoint原理机制

当RDD使用cache机制从内存中读取数据，如果数据没有读到，会使用checkpoint机制读取数据。此时如果没有checkpoint机制，那么就需要找到父RDD重新计算数据了，因此checkpoint是个很重要的容错机制。checkpoint就是对于一个RDDchain（链）如果后面需要反复使用某些中间结果RDD，可能因为一些故障导致该中间数据丢失，那么就可以针对该RDD启动checkpoint

临界爵迹·2024-01-17 06:44

spark之shuffle参数优化

spark.shuffle.file.buffer默认32kshufflewritetask端的缓冲区，到达阈值后，溢写到磁盘。

临界爵迹·2024-01-17 06:43

Spark面试

1、Spark如何保证宕机迅速恢复?

lune_Lucky·2024-01-17 05:30

Apriori

Apriori算法原理总结-刘建平FPTree算法原理总结-刘建平PrefixSpan算法原理总结-刘建平用Spark学习FPTree算法和PrefixSpan算法-刘建平

BluthLeee·2024-01-17 05:41

基于spark的淘宝用户行为数据分析及其可视化研究

数据准备1、数据来源：淘宝用户购物行为数据集数据的相关介绍：数据的一条记录包括：用户id，商品id，商品类目id，行为类型（行为类型：pv——点击，buy——购买，cart——加入购物车，fav——收藏），时间戳数据包含了2017年11月25日至2017年12月3日之间淘宝用户的数据行为用户数量：987994商品数量：4162024用户数量：987994商品类目数量：9439所有行为数量：1001

简单的小呆瓜·2024-01-17 02:14

基于SPARK的淘宝用户购物行为可视化分析

基于SPARK的淘宝用户购物行为可视化分析这篇文章旨在练习大数据Spark操作，做一些简单的分析。后续阶段将基于三台虚拟机情况下进行调优，以期实现性能最优化。

番茄薯仔·2024-01-17 02:14

【项目实战】基于Hadoop大数据电商平台用户行为分析与可视化系统Hive、Spark计算机程序开发

注意：该项目只展示部分功能，如需了解，评论区咨询即可。本文目录1设计背景2设计意义3系统展示3.1页面展示3.2视频展示4更多推荐5部分功能代码1设计背景在当今数字化时代，电商行业成为全球商业生态系统的关键组成部分，电商平台已经深入各行各业，影响了人们的购物方式和消费习惯。随着互联网技术的不断发展，电商平台产生了大量的用户数据，包括点击、购买、搜索、浏览历史等行为数据。这些数据蕴含着宝贵的商业洞察

Q2643365023·2024-01-17 02:43

大数据实战（hadoop+spark+python）：淘宝电商数据分析

一，运行环境与所需资源：虚拟机：Ubuntu20.04.6LTSdocker容器hadoop-3.3.4spark-3.3.2-bin-hadoop3python，pyspark,pandas，matplotlibmysql

linpaomian·2024-01-17 02:13

spark Failed to get main class in JAR with error null . Please specify one with --class.

运行spark-submit命令示例bin/spark-submit\--classorg.apache.spark.examples.SparkPi\--masteryarn\--deploy-modecluster

linpaomian·2024-01-17 02:13

一文了解数据库vs数据仓库vs数据湖

拆解几个OLAP核心概念大数据技术架构演进过程什么是数据湖？数据库、数据仓库、数据湖：哪个更合适？什么是数据库？数据库这个概念相信大家其实都不太陌生，无论是做应用服务还是做App开发，或者说是大数

KubeData·2024-01-17 02:11

Spark Core源码精读计划#25：UnifiedMemoryManager——统一内存管理机制

借用存储内存申请/借用执行内存总结前言在前文的末尾，我们分析了静态内存管理器StaticMemoryManager的优缺点，并指出统一内存管理器UnifiedMemoryManager能够弥补它的缺点，同时也是目前Spark

LittleMagic·2024-01-16 23:51

2022-04-17

北大：（8个）北京大学数学科学学院（统招和强基）1.1数学与应用数学专业金融数学方向1.2信息与计算科学专业计算数学方向1.3信息与计算科学专业信息科学方向1.4数据科学与大数据技术专业北京大学元培学院

50岁的失业中年·2024-01-16 23:37

Spark详解

Spark概念Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。

武昌库里写JAVA·2024-01-16 21:15

IDEA-scala：java.lang.NoClassDefFoundError：org / apache / commons / csv / CSVFormat and Static met...

在IDEA构建了一个spark+smile的maven项目，用起来还是有各种bug。

bensonrachel·2024-01-16 21:08

Hudi0.14.0最新编译（修订版）

1编译环境Java1.8maven3.9.3hadoop3.3.4hive3.1.3spark3.2.1flink1.16.0hudi0.14.02hudi准备2.1源码$gitclonehttps:/

跟着大数据和AI去旅行·2024-01-16 20:40

【js】spark-md5来计算文件的MD5值

在React中，可以使用开源的JavaScript库spark-md5来计算文件的MD5值。该库可以在浏览器中计算文件的MD5值，而不需要上传文件到服务器。

bulucc·2024-01-16 19:21

结构化流的介绍

目录有界数据和无界数据有界数据无界数据结构化流基本介绍入门案例结构化流的编程模型数据结构数据源(Source)FileSourceKafkaSource(Spark和Kafka整合)整合Kafka准备工作从

Sisi525693·2024-01-16 19:58

大数据学习入门到实战教程，精心整理万字长文入门，老奶奶看了都说学会了

换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez

悦悦学Python·2024-01-16 18:10

通俗易懂 | 数据科学与大数据技术专业领域的实用工具

数据科学与大数据技术是一门偏向应用的学科领域，因此工具就成为重要的组成部分。在工作中，数据科学家如果选择有效的工具会带来事半功倍的效果。

yoku酱·2024-01-16 18:11

hive:创建自定义python UDF

addfilehdfs://home/user/py3_script/;setspark.yarn.dist.archives=hdfs://home/user/py3.tar.gz;setspark.shuffle.hdfs.enabled

青盏·2024-01-16 16:35

Spark-RDD算子大全

SparkRDD（弹性分布式数据集）是Spark中的核心抽象，它代表一个不可变、分区的分布式数据集合。

Young_IT·2024-01-16 15:17

78、Spark SQL之延伸知识之Hive On Spark

SparkSQL与HiveOnSpark区别Hive是目前大数据领域，事实上的SQL标准。

ZFH__ZJ·2024-01-16 15:10

大数据工程师干不过35岁？大数据职业发展前景如何？你怎么看？

如果大家真的掌握了大数据技术，其职业发展前景是完全不用担心的。大数据工程师干不过35岁大数据为什么这么火？与以往相比，我们除了有能力存储更多的数据量之外，还要面对更多的数据类型。

IT领域君·2024-01-16 14:15

记录学习Spark+Kafka构建实时分析Dashboard案例中遇到的问题（一）安装

白令屿·2024-01-16 13:53

只知道HDFS和GFS？你其实并不懂分布式文件系统

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！

王知无(import_bigdata)·2024-01-16 13:14

Python 与 PySpark数据分析实战指南：解锁数据洞见

Python和PySpark作为强大的工具，提供了丰富的库和功能，使得数据分析变得更加高效和灵活。在这篇文章中，我们将深入探讨如何使用Python和PySpark进行数据分析，包

库库的里昂·2024-01-16 12:27

Sparkr

https://spark.rstudio.com/index.html如何使用spark在上述这个链接有详细文档。下一个问题，如搭建一个spark平台！

Liam_ml·2024-01-16 12:57

【Flink-1.17-教程】-【一】Flink概述、Flink快速入门

【Flink-1.17-教程】-【一】Flink概述、Flink快速入门1）Flink是什么1.1.有界流和无界流1.2.Flink的发展史2）Flink特点3）FlinkvsSparkStreaming4

bmyyyyyy·2024-01-16 08:16

Spark Structured Streaming + Kafka +Json

org.apache.spark spark-sql-kafka-0-10_2.11 2.1.1 org.apache.spark spark-sql_2.11 2.1.1importorg.apache.spark.sql.SparkSessionobjectMyTest

zhangxl-jc·2024-01-16 07:00

StructStreaming整合Kafka操作

StructStreaming整合Kafka操作Maven依赖org.apache.sparkspark-sql-kafka-0-10_2.123.3.1实时数据ETL准备数据/***模拟产生基站日志数据

健鑫.·2024-01-16 07:29

SparkSQL和Hive语法差异

SparkSQL和Hive语法差异1、仅支持HiveSparkSQL关联条件on不支持函数rand()创建零时表时，Spark不支持直接赋值nullSpark无法读取字段类型为void的表SparkSQL

中长跑路上crush·2024-01-16 07:28

Structured Streaming 整合 Kafka指南

从kafka读取数据//Subscribeto1topicvaldf=spark.readStream.format("kafka").option("kafka.bootstrap.servers",

鸭梨山大哎·2024-01-16 07:27

PySpark Structured Streaming kafka示例

PySparkStructuredStreamingkafka示例直接上代码：#!

张行之·2024-01-16 07:52

Structured Streaming配置Kafka参数

overridedefstream():DataFrame={valkafkaConf=newKafkaConfigurationvalspark=GxSparkSession().session()valdf

sunyang098·2024-01-16 07:18

Structured_Streaming和Kafka整合

结构化编程模型输出终端/位置默认情况下，Spark的结构化流支持多种输出方案：1-consolesink:将结果数据输出到控制台。

小希 fighting·2024-01-16 06:14

seatunnel 消费kafka数据写入clickhouse

SeaTunnel是一个非常易用、高性能、支持实时流式和离线批处理的海量数据集成平台，架构于ApacheSpark和ApacheFlink之上，支持海量数据的实时同步与转换。

冰帆<·2024-01-16 05:41

林子雨大数据技术原理与运用期末复习

一、填空题1.大数据的数据结构类型包括结构化数据、半结构化数据和___非结构化数据____。2.大数据的4V10是（只填英文）__数据量大__Volume____、_数据类型多_Variety____、_处理速度快_Velocity____、__价值密度低_Value____和___On-Line____。(5.0分）大数据预处理方法包括___数据清洗___、___数据集成_____、___数据变

weixin_48332297·2024-01-16 05:54

大数据技术原理与应用——林子雨老师MOOC知识点一

文章目录前言一、大数据概述前言大数据导论期末考试内容以林子雨老师的《大数据技术原理与应用》为主，这里整理一下林子雨老师慕课上的习题的知识点，帮助和大家进行复习。

阿鸣o·2024-01-16 05:23

《大数据技术原理与应用》林子雨期末复习重点（总结）

一、1、数据产生方式大致经历了3个阶段：运营式系统阶段、用户原创内容阶段、感知式系统阶段。2、大数据的特点:数据量大（volume）、数据类型繁多（variety）、处理速度快（velocity）、价值密度低（value）；4V+1C（C：复杂度complexity）。3、云计算的特点：超大规模、虚拟化、高可靠性、通用性、高可伸缩性、按需服务、极其廉价。4、科学研究方面经历的4种范式：实验、理论、

田园将芜胡不归·2024-01-16 05:23

大数据技术原理与应用第三版林子雨期末复习（四） Hive

大数据技术原理与应用第三版林子雨期末复习（四）Hive概念数据仓库层次传统数据仓库面临的挑战Hive简介Hive与传统数据库对比概念Hive是一个基于Hadoop的数据仓库工具。

头发多多，肆意生长·2024-01-16 05:22

大数据技术原理与应用第三版林子雨期末复习（五）第十章 SPARK

大数据技术原理与应用第三版林子雨期末复习（五）第十章SPARK简介spark特点spark与Hadoop对比Hadoop缺点spark优点RDDRDD概念RDD间存在依赖关系分为宽依赖与窄依赖RDD的两种常用操作简介