Spark技术研究

Spark -- 累加器和广播变量

Spark–累加器和广播变量文章目录Spark--累加器和广播变量一.累加器1.系统累加器2.自定义累加器二.广播变量spark有三大数据结构：RDD：分布式弹性数据集累加器：分布式只写数据集广播变量：
Keep hunger·2024-01-14 09:58

Spark---累加器

//建立与Spark框架的连接valwordCount=newSparkConf().setMaster("local").setAppName("WordC
肥大毛·2024-01-14 09:27

记csv、parquet数据预览一个bug的解决

文章目录一、概述二、实现过程1.业务流程如图：2.业务逻辑3.运行结果三、bug现象1.单元测试2.运行结果三、流程梳理1.方向一2.方向二一、概述工作中遇到通过sparksession解析csv、parquet
爱码少年·2024-01-14 08:49

物理机本地和集群部署Spark

一、单机本地部署1）官网地址：http://spark.apache.org/2）文档查看地址：https://spark.apache.org/docs/3.1.3/3）下载地址：https://spark.apache.org
DIY……·2024-01-14 07:43

AES对称加密算法原理

摘要AES（TheAdvancedEncryptionStandard）是美国国家标准与技术研究所用于加密电子数据的规范。它被预期能成为人们公认的加密包括金融、电信和
米菲的泰迪·2024-01-14 05:33

一款国内研发的PCB设计软件-立创EDA

我们先来看下官方的一些样板工程和原理图PCB布好线的效果3D预览效果原理图简单的聊聊PCB设计软件：像当前免费的PCB设计软件还有KiCAD、DesignSpark(发烧友网)也是不错的，当然我们绝大部分人在学校接触最多的要属
想啥做啥·2024-01-14 05:38

SPARK--cache(缓存)和checkpoint检查点机制

SPARK–cache(缓存)和checkpoint检查点机制rdd的特性缓存和checkpoint作用都是进行容错rdd在计算是会有多个依赖，为了避免计算错误是从头开始计算，可以将中间*依赖rdd进行缓存或
中长跑路上crush·2024-01-14 04:58

Spark-RDD的依赖

RDD的依赖rdd之间是有依赖关系窄依赖每个父RDD的一个Partition最多被子RDD的一个Partition所使用父rdd和子rdd的分区是一对一mapflatMapfliter宽依赖父RDD的Partition会被多个子RDD的Partition所使用父rdd和子rdd的分区是一对多grouBy()grouByKey()sortBy()sortByKey()reduceBykey()dis
中长跑路上crush·2024-01-14 04:58

Spark算子（RDD）超细致讲解

SPARK算子（RDD）超细致讲解map,flatmap,sortBykey,reduceBykey,groupBykey,Mapvalues,filter,distinct,sortBy,groupBy
中长跑路上crush·2024-01-14 04:57

spark入门教程（3）--Spark 核心API开发

本教程源于2016年3月出版书籍《Spark原理、机制及应用》，在此以知识共享为初衷公开部分内容，如有兴趣，请支持正版书籍。
xwc35047·2024-01-14 04:45

无源物联网的编码技术研究

摘要:无源反向散射通信技术能让传感器摆脱电池的束缚，避免繁杂的人工维护，有效降低传感器的成本。无源反向散射通信技术已被认为是实现无源物联网的关键技术之一。由于无源传感器节点资源受限，如何利用编码技术提高系统可靠性成为无源物联网的挑战性难题。聚焦无源物联网无源节点的编码和解码技术，首先，系统阐述传统信道编码发展历程，以及现有的RFID信道编码解码方案；然后，选择适合无源反向散射通信技术的3种编码方案
罗思付之技术屋·2024-01-14 02:12

无源物联网通信研究进展与演进思考

在此背景下，介绍了无源物联网通信技术最新研究进展，详细分析了潜在演进趋势，深入思考无源物联网通信技术的发展瓶颈及技术挑战，并提出与蜂窝网络深度融合的新型无源物联网通信解决方案与关键技术研究方向，希望能为无源物联网通信技术发展提供新的思路
罗思付之技术屋·2024-01-14 02:12

单细胞组学 | 人脑类器官中的细胞命运调控组

Inferringandperturbingcellfateregulomesinhumanbrainorganoids——————————————————————————单位：ETH时间：2022年8月杂志：Nature今天分享一篇前两天发表在Nature杂志上的利用单细胞组学技术研究人脑类器官的细胞命运调控的文献
防秃基因挖掘机·2024-01-14 00:18

基于Spark2.x新闻网大数据实时分析可视化系统项目

课程大纲第一章：案例需求分析与设计1.全套课程内容概述2.案例需求分析3.系统架构设计4.系统数据流程设计5.集群资源规划设计第二章：linux环境准备与设置1.Linux系统常规设置2.克隆虚拟机并进行相关的配置3.对集群中的机器进行基本配置第三章：Hadoop2.X分布式集群部署1.Hadoop2.X版本下载及安装2.Hadoop2.X分布式集群配置3.分发到其他各个机器节点4.HDFS启动集
飞雪雪团队·2024-01-13 23:30

spark中Rdd依赖和SparkSQL介绍--学习笔记

1，RDD的依赖1.1概念rdd的特性之一相邻rdd之间存在依赖关系（因果关系）窄依赖每个父RDD的一个Partition最多被子RDD的一个Partition所使用父rdd和子rdd的分区是一对一（多对一）触发窄依赖的算子map()，flatMap()，filter()宽依赖父RDD的一个partition会被子rdd的多个Partition所使用父rdd和子rdd的分区是一对多触发宽依赖的算子
祈愿lucky·2024-01-13 23:17

神策数据荣获信创工委会“技术活动单位”证书

信创工委会成立于2016年3月，是由从事软硬件关键技术研究、应用和服务的单位发起建立的非营利性社会组织。
神策数据·2024-01-13 22:10

智慧边缘计算安全综述

智慧边缘计算安全综述安星硕,1,曹桂兴,2,苗莉,1,任术波,2,林福宏,11北京科技大学，北京1000832中国空间技术研究院，北京100094引用本文:安星硕,曹桂兴,苗莉,任术波,林福宏.智慧边缘计算安全综述
智能交通技术·2024-01-13 17:18

PHP AES加密：保护数据安全的高级加密技术

它是由比利时密码学家JoanDaemen和VincentRijmen设计的，于2001年被美国国家标准与技术研究院（NIST）选定为高级加密标准。
代码炼金术·2024-01-13 17:24

python字典转数据框,将标准python键值字典列表转换为pyspark数据框

Considerihavealistofpythondictionarykeyvaluepairs,wherekeycorrespondtocolumnnameofatable,soforbelowlisthowtoconvertitintoapysparkdataframewithtwocolsarg1arg2
恶少恶言·2024-01-13 13:45

Spark调试

编写代码//pom.xml4.0.0org.learn.examplespark-example1.0-SNAPSHOTorg.apache.sparkspark-core_2.112.2.0providedorg.apache.sparkspark-sql
Jorvi·2024-01-13 12:51

Hbase BulkLoad用法

要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。
kikiki1·2024-01-13 12:43

69.网游逆向分析与插件开发-角色数据的获取-利用技能点属性分析角色数据基址

内容参考于：易道云信息技术研究院VIP课上一个内容：利用蓝量属性分析角色数据基址-CSDN博客上一个内容用的是一个通用性的属性MP这个属性，MP属性其实是不太好的一个选择，按照上一个内容中的思路，我们应该找那种独一无二的数据去做
染指1110·2024-01-13 11:20

68.网游逆向分析与插件开发-角色数据的获取-利用蓝量属性分析角色数据基址

内容参考于：易道云信息技术研究院VIP课上一个内容：67.网游逆向分析与插件开发-角色数据的获取-分析角色数据基址-CSDN博客下一个内容：利用技能点属性分析角色数据基址-CSDN博客然后分析任何一个东西
染指1110·2024-01-13 11:50

Spark 读excel报错，scala.MatchError

Spark3详细报错：scala.MatchError:Map(treatemptyvaluesasnulls->true,location->viewfs://path.xlsx,inferschema
CoderOnly·2024-01-13 10:35

大数据系列 | CDH6.3.2（Cloudera Distribution Hadoop）部署、原理和使用介绍

大数据系列|CDH6.3.2（ClouderaDistributionHadoop）部署、原理和使用介绍1.大数据技术生态中Hadoop、Hive、Spark的关系介绍2.CDN（ClouderaDistributionHadoop
降世神童·2024-01-13 10:50

Spark原理——逻辑执行图

逻辑执行图明确逻辑计划的边界在Action调用之前，会生成一系列的RDD,这些RDD之间的关系，其实就是整个逻辑计划valconf=newSparkConf().setMaster("local[6]"
我像影子一样·2024-01-13 09:17

Spark原理——物理执行图

物理执行图物理图的作用是什么?问题一:物理图的意义是什么?物理图解决的其实就是RDD流程生成以后,如何计算和运行的问题,也就是如何把RDD放在集群中执行的问题问题二:如果要确定如何运行的问题,则需要先确定集群中有什么组件首先集群中物理元件就是一台一台的机器其次这些机器上跑的守护进程有两种:Master,Worker每个守护进程其实就代表了一台机器,代表这台机器的角色,代表这台机器和外界通信例如我们
我像影子一样·2024-01-13 09:17

Spark原理——总体介绍

总体介绍编写小案例（wordcount）@TestdefwordCount():Unit={//1.创建sc对象valconf=newSparkConf().setMaster("local[6]").
我像影子一样·2024-01-13 09:17

RDD算子——转换操作（Transformations ）【map、flatMap、reduceByKey】

一、mapmap算子#spark-shellsc.parallelize(Seq(1,2,3)).map(num=>num*10).collect()#IDEA@TestdefmapTest():Unit
我像影子一样·2024-01-13 09:47

Spark原理——运行过程

运行过程逻辑图是什么怎么生成具体怎么生成valtextRDD=sc.parallelize(Seq("HadoopSpark","HadoopFlume","SparkSqoop"))valsplitRDD
我像影子一样·2024-01-13 09:44

时政新闻学英语之22：孙杨与361°的你来我往

本文选自chinadaily，文章链接见Sun'ssuitsparkscontroversy。
小书童札记·2024-01-13 09:12

使用spark将MongoDB数据导入hive

使用spark将MongoDB数据导入hive一、pyspark1.1pymongo+spark代码importjson,sysimportdatetime,timeimportpymongoimporturllib.parsefrompyspark.sqlimportSparkSessionfrompyspark.sql.typesimportStructType
awsless·2024-01-13 09:16

机器学习和深度学习检测网络安全课题：DDOS检测、恶意软件、恶意流量检测课题资料

开源的DDOS检测工具https://github.com/equalitie/learn2ban基于KDDCUP99数据集预测DDoS攻击基于谱分析与统计机器学习的DDoS攻击检测技术研究基于机器学习的分布式拒绝服务攻击检测方法研究
三更科技公社·2024-01-13 09:41

Spark---RDD持久化

文章目录1.RDD持久化1.1RDDCache缓存1.2RDDCheckPoint检查点1.3缓存和检查点区别1.RDD持久化在Spark中，持久化是将RDD存储在内存中，以便在多次计算之间重复使用。
肥大毛·2024-01-13 07:40

Spark---RDD依赖关系

文章目录1.1RDD依赖关系1.2血缘关系1.3依赖关系分类1.3.1窄依赖1.3.2宽依赖1.4RDD阶段划分和任务划分1.4.1RDD阶段划分1.4.2RDD任务划分1.1RDD依赖关系在Spark
肥大毛·2024-01-13 07:09

Spark-RDD详解

SPARK–RDD1、RDD的介绍RDD弹性分布式数据集合是Spark中的一种数据类型，管理spark的内存数据[1,2,3,4]spark中还有dataframe，dataset类型拓展：开发中可以通过类的形式自定以数据类型同时还提供各种计算方法弹性可以对海量数据根据需求分成多份
中长跑路上crush·2024-01-13 07:09

Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据类型不兼容报错解决

1、版本介绍：doris版本：1.2.8SparkConnectorforApacheDoris版本：spark-doris-connector-3.3_2.12-1.3.0.jar:1.3.0-SNAPSHOTspark
Data_IT_Farmer·2024-01-13 07:57

Spark十一：面试问题

完整内容见：https://mp.weixin.qq.com/s/caCk3mM5iXy0FaXCLkDwYQ1.通常来讲，Spark与MapReduce相比，Spark运行效率更高，请说明效率更高来源于
eight_Jessen·2024-01-13 07:57

Spark的内核调度

目录概述RDD的依赖DAG和StageDAG执行流程图形成和Stage划分Stage内部流程SparkShuffleSpark中shuffle的发展历程优化前的Hashshuffle经过优化后的HashshuffleSortshuffleSortshuffle
Sisi525693·2024-01-13 07:56

最新AI绘画Midjourney绘画提示词Prompt大全

一、Midjourney绘画工具SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-01-13 07:55

Spark十：故障排除

Spark常见故障和排除方法学习资料：https://mp.weixin.qq.com/s/caCk3mM5iXy0FaXCLkDwYQ一、避免OOM-outofmemory在Shuffle过程中，reduce
eight_Jessen·2024-01-13 07:22

git 提交符号

改进代码结构/代码格式⚡️(闪电):zap:提升性能(赛马):racehorse:提升性能(火焰):fire:移除代码或文件(bug):bug:修复bug(急救车):ambulance:重要补丁✨(火花):sparkles
思绪万千133·2024-01-13 07:12

Spark Streaming

SparkStreaming随着大数据技术的不断发展，人们对于大数据的实时性处理要求也在不断提高，传统的MapReduce等批处理框架在某些特定领域，例如实时用户推荐、用户行为分析这些应用场景上逐渐不能满足人们对实时性的需求
奋斗的蛐蛐·2024-01-13 06:13

hive三种计算引擎

1、配置mapreduce计算引擎sethive.execution.engine=mr;2、配置spark计算引擎sethive.execution.engine=spark;3、配置tez计算引擎sethive.execution.engine
IT达人_j·2024-01-13 05:45

基于大数据与时间序列预测的的书籍数据分析（内含spark+hive+mysql+kettle+echart+tensorflow）

目录一，绪论1、项目背景：2、目标：3、用户群体：二．相关开发技术介绍（一）后端相关技术1.sparkSQL简介2.kettle简介3.tensorflow简介（二）前端相关技术1.HTML简介2.echarts
左岸2420·2024-01-13 05:59

Hadoop/Spark安装

单机安装Hadoop安装Javasudoapt-getinstalldefault-jdkjava-version2.设置Hadoop用户和组sudoaddgrouphadoopsudoadduser--ingrouphadoophduser3.安装并配置SSH$sudoapt-getinstallssh$suhduser$ssh-keygen-trsa-P""cat~/.ssh/id_rsa.p
周倜吉·2024-01-13 03:40

Flink

GoogleFileSystemBigTableMapReduceHDFSHBaseHadoopHadoop基于硬盘，可以处理海量数据；Spark基于内存，性能提高百倍，微批（500ms）；Flink基于
三半俊秀·2024-01-13 01:53

广州蓝景介绍 — 什么是“低代码开发平台”以及国内外最受欢迎的低代码平台

前言众所周知，国际知名的信息技术研究和分析公司Gartner曾预言，到2022年，50%以上的公司将采用低代码开发平台，来进行企业应用定制。
广州蓝景·2024-01-13 01:08

产品调研——AI平台

腾讯云-TI平台TI平台将tensorflow、pytorch、spark环境等均集成到一个Notebook容器中，供用户进行使用。sh-4.2$condaenvlist#condae
chenxy02·2024-01-13 00:49

存储框架-MMKV-mmap高性能 技术的运用

mmap技术研究，建议先看一下二、原理①内存准备：通过mmap内存映射文件，提供一段可供
momxmo·2024-01-13 00:05
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他