Spark企业内训

Java 大视界 -- Java 与 Spark SQL：结构化数据处理与查询优化（五）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-02-02 05:39

Hive 整合 Spark 全教程 （Hive on Spark）

hadoop.proxyuser.luanhao.groups*hadoop.proxyuser.luanhao.groups*2）HDFS配置文件配置hdfs-site.xmldfs.namenode.http-addressBigdata00:9870dfs.namenode.secondary.http-addressBigdata00:9868dfs.replication13）YARN配
字节全栈_rJF·2025-02-02 02:56

如何使用Spark Streaming

一、什么叫SparkStreaming基于SparkCore，大规模、高吞吐量、容错的实时数据流的处理二、SparkStreaming依赖org.apache.sparkspark-streaming_
会探索的小学生·2025-02-02 00:46

Spark 任务与 Spark Streaming 任务的差异详解

Spark任务与SparkStreaming任务的主要差异源自于两者的应用场景不同：Spark主要处理静态的大数据集，而SparkStreaming处理的是实时流数据。
goTsHgo·2025-02-02 00:14

4 Spark Streaming

4SparkStreaming一级目录1.整体流程2.数据抽象3.DStream相关操作4.SparkStreaming完成实时需求1)WordCount2)updateStateByKey3)reduceByKeyAndWindow
TTXS123456789ABC·2025-02-01 23:43

spark和python的区别_Spark入门(Python)

Spark是第一个脱胎于该转变的快速、通用分布式计算范式，并且很快流行起来。
weixin_39934257·2025-02-01 23:42

spark python入门_python pyspark入门篇

一.环境介绍：1.安装jdk7以上2.python2.7.113.IDEpycharm4.package:spark-1.6.0-bin-hadoop2.6.tar.gz二.Setup1.解压spark
weixin_39686634·2025-02-01 23:12

spark streaming python_Spark入门：Spark Streaming简介(Python版)

SparkStreaming是构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。
weixin_39531582·2025-02-01 23:12

Spark 学习-1 (python)

Spark官方文档快速入门指南Spark架构-Spark教程1.基本概念RDD（resilientdistributeddataset）弹性分布式数据集，对分布式数据和计算的基本抽象。
一二三四0123·2025-02-01 23:40

Python大数据之PySpark(三)使用Python语言开发Spark程序代码_windows spark python

算子：rdd的api的操作，就是算子，flatMap扁平化算子，map转换算子Transformation算子Action算子步骤：1-首先创建SparkContext上下文环境2-从外部文件数据源读取数据
2401_84181704·2025-02-01 23:09

Spark入门（Python）

目录一、安装Spark二、Spark基本操作一、安装Sparkpip3installpyspark二、Spark基本操作#导入spark的SparkContext,SparkConf模块frompysparkimportSparkContext
nfenghklibra·2025-02-01 23:39

全面解析大模型产品经理岗位职责：从入门到精通，一篇全懂！收藏我这篇就够了！

7800+GithubStar，被多名开发者评价为“目前见过功能最强大，最适合企业内落地的开源大模型应用开发平台”，已服务工商银行、交通银行、中国人寿、中粮集团、中核集团、宁德时代、快手、中电建等众多头部组织及世界
大模型入门教程·2025-02-01 20:15

大模型开发流程及架构

不需要优化模型能力●需要掌握PromptEngineering、数据处理方法、业务逻辑分解等手段来充分发挥大模型能力，适配应用任务三、大模型开发与传统开发的区别（一）传统开发将非常复杂的业务拆解成小任务，每个任务构造训
寒夜灬星辰·2025-02-01 20:12

接口技术-第6次作业

目录作业内容解答1.假设在一个系统中，8255A的端口地址为184H-187H，A口工作于方式1输出，B口工作于方式1输入，禁止中断，C口剩余的两根线PC5，PC4位输入，如下图所示，试编写初始化程序。
厂里英才·2025-02-01 18:26

11种著名商业分析模型：战略决定布局，布局决定终局

盲目的机会主义和短视现象，会导致决策思考与方案执行严重脱节，企业内部难以达成共识，执行变形，甚至资源浪费。要规避这种情况的出现，理性制定决策，可借鉴这11种商业分析模型。
不会飞的杨·2025-02-01 17:21

2024年数据平台建设指南

作为一名资深的首席数据工程专家,我将在本指南中全面解析数据平台建设的方方面面,涵盖架构设计、技术选型、开发实施、运维管理、新兴实践与趋势等内容,并结合真实案例分享业内最佳实践,为您指引数据平台建设之路。
DataHub数据社区·2025-02-01 12:42

私有化一键部署整体方案

背景我们的客户主要是国企、央企或者科技公司，绝大多数情况下，都是需要将星云平台进行私有化部署。
维搭小刘·2025-02-01 12:09

hive表指定分区字段搜索_Hive学习-Hive基本操作（建库、建表、分区表、写数据）...

Hive是类SQL语法的数据查询、计算、分析工具，执行引擎默认的是MapReduce，可以设置为Spark、Tez。Hive分内部表和外部表，外部表在建表的同时指定一个
weixin_39710660·2025-02-01 04:00

PyDeequ库在AWS EMR启动集群中数据质量检查功能的配置方法和实现代码

PyDeequ是一个基于ApacheSpark的PythonAPI，专门用于定义和执行“数据单元测试”，从而在大规模数据集中测量数据质量。
weixin_30777913·2025-02-01 04:59

2025年最新推荐的5款堡垒机，打造安全网络防线，秒收藏！

它不仅可以有效防止外部攻击、减少安全风险，还能够提升企业内部操作的效率与合规性。特别是随着技术的不断发展和更新，2025年最新的堡垒机产品在安全性、稳定性、易用性等方面都有了极大的提升。
wljslmz·2025-02-01 00:30

spark 算子例子_Spark性能调优方法

公众号后台回复关键词：pyspark，获取本项目github地址。Spark程序可以快如闪电⚡️，也可以慢如蜗牛?。它的性能取决于用户使用它的方式。
不让爱你的人失望·2025-01-31 16:28

Spark性能调优

1、前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。
大数据侠客·2025-01-31 16:58

在AWS上使用KMS客户端密钥加密S3文件，同时支持PySpark读写和Snowflake导入

现有AWSEMR集群上运行PySpark代码，可以读写S3上的数据文件，Snowflake数据仓库也需要导入S3上的文件到表。
weixin_30777913·2025-01-31 16:27

11 Spark面试真题

11Spark大厂面试真题1.通常来说，Spark与MapReduce相比，Spark运行效率更高。请说明效率更高来源于Spark内置的哪些机制？2.hadoop和spark使用场景？
TTXS123456789ABC·2025-01-31 16:26

OLAP引擎比较

一，sparksql与dorisspark虽然是一个计算引擎，但sparksql也支持符合通用语法的sql查询，延迟为分钟级。doris是一个OLAP数据库，支持对大数据的复杂查询，延迟为秒级。
小手追梦·2025-01-31 10:30

GGUF 大模型文件格式

大语言模型的开发通常使用PyTorch等框架，其预训练结果通常也会保存为相应的二进制格式，如pt后缀的文件通常就是PyTorch框架保存的二进制预训
香菜烤面包·2025-01-31 07:04

C、C++、Java到Python，编程入门学习什么语言好?

而且后续随着业内对数据统计和挖掘需求的上涨，R语言热度颇有些势不可挡的架势。然而作为程序员吃饭的工具，编程语言之间也形成了某种鄙视链，各大论坛里弥漫着剑拔弩张的气氛，众口难调。
明天会比今天更好·2025-01-30 22:53

大数据毕业设计hadoop+spark+hive豆瓣图书数据分析可视化大屏 豆瓣图书爬虫 图书推荐系统

系统总体目标基于Spark的个性化书籍推荐系统是一种基于大数据技术的智能推荐系统，它可以根据用户的历史行为和偏好，为用户提供个性化的书籍推荐。
qq_79856539·2025-01-30 20:03

世界一流|深化数智财务共享，夯实央企财务数智化转型根基

摘要：数智财务，共享先行。企业财务数智化建设历经三大阶段：1.0阶段，企业构建财务共享中心，变革组织架构与职能，优化融合流程，支撑企业高效运营；2.0阶段，在财务共享稳定运行基础上，推进全财务领域数智化升级，助力企业打造世界一流财务管理体系；3.0阶段，深度整合智能技术，深化数智财务应用。不断深化的数智财务共享体系是中央企业财务数智化转型的有力支撑。关键词：数智财务；财务数智化；财务共享；财务管理
用友智能财务·2025-01-30 15:49

【spark床头书系列】Spark Streaming 编程权威使用指南

SparkStreaming编程权威使用指南文章目录SparkStreaming编程权威使用指南概述快速示例基本概念链接初始化StreamingContext离散化流（DStreams）输入DStreams
BigDataMLApplication·2025-01-30 14:14

Spark Streaming的背压机制的原理与实现代码及分析

SparkStreaming的背压机制是一种根据JobScheduler反馈的作业执行信息来动态调整Receiver数据接收率的机制。
weixin_30777913·2025-01-30 14:07

上市公司内部薪酬差距数据（2000-2023年）

上市公司内部薪酬差距是指企业内部不同职位或层级员工之间的薪酬差异。这种差距通常体现在高管与普通员工、不同层级管理人员之间的薪酬水平上。
经管数据库·2025-01-30 10:40

1-structedStreaming-基本流程(2.3.1)

基本流程--spark2.3.1新定义接口--中间使用了一些过度接口为了兼容老版本如：BaseStreamingSourceDataSource为一个类，定义了可插拔的数据源，对应一些列旧的数据源DataSourceV2spark2.3.1
github_28583061·2025-01-30 09:30

1-structedStreaming-基本流程(2.2.1)

基本流程spark2.2.1StructuredNetworkWordCount统计来自socket的wordcount创建stream，指定数据源DataStreamReader--从外部存储加载流数据的接口
github_28583061·2025-01-30 09:30

阿里巴巴Qwen团队发布AI模型，可操控PC和手机

与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！
新加坡内哥谈技术·2025-01-30 08:50

Hugging Face挑战DeepSeek，AI开源竞赛升级！

与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！
新加坡内哥谈技术·2025-01-30 05:03

DeepSeek：硅谷AI格局的拐点？

与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！
新加坡内哥谈技术·2025-01-30 05:32

python 分布式集群_Python搭建Spark分布式集群环境

前言ApacheSpark是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark最大的特点就是快，可比HadoopMapReduce的处理速度快100倍。
小国阁下·2025-01-30 05:32

性能优化案例：通过合理设置spark.shuffle.memoryFraction参数的值来优化PySpark程序的性能

在PySpark中，合理调整spark.shuffle.memoryFraction参数可以有效优化Shuffle阶段的性能，尤其是在存在大量磁盘溢出的场景下。
weixin_30777913·2025-01-30 05:01

spark集群完全分布式搭建

1.spark的运行架构（主从模式）主节点：master-----资源管理调度和任务的分配---------类似yarn从节点：worker-----执行具体的计算任务整体运行架构：编写spark运行程序用户将应用程序提交给
。 。，。，。·2025-01-30 05:59

基于Python+Spark的气象天气分析大屏可视化系统设计与实现毕设源码

博主介绍：✌专注于VUE,小程序，安卓，Java,python,物联网专业，有17年开发经验，长年从事毕业指导，项目实战✌选取一个适合的毕业设计题目很重要。✌关注✌私信我✌具体的问题，我会尽力帮助你。研究的背景:随着我国气象事业的发展，气象数据的实时分析和可视化成为越来越重要的任务。然而，目前气象数据的分析与展示手段仍然较为传统，缺乏交互性，不能满足现代气象业务的需求。因此，研究一种基于Pytho
sj52abcd·2025-01-30 02:10

基于Spark的实时计算服务的流程架构

基于Spark的实时计算服务的流程架构通常涉及多个组件和步骤，从数据采集到数据处理，再到结果输出和监控。
小小搬运工40·2025-01-30 02:08

DeepSeek V3 模型微调（SFT）技术详解

DeepSeekV3模型概述3.1模型架构3.2预训练任务3.3模型性能监督微调（SFT）技术详解4.1数据准备4.1.1数据收集与清洗4.1.2数据标注4.1.3数据增强4.2模型初始化4.2.1预训
zhangjiaofa·2025-01-30 00:28

28我好想逃却逃不掉-青训营刷题

问题描述曾经的我不过是一介草民，混迹市井，默默无名。直到我被罗马的士兵从家乡捉走丢进竞技场……对手出现了，我架紧盾牌想要防御，只觉得巨大的冲击力有如一面城墙冲涌而来，击碎了我的盾牌，我两眼发昏，沉重的身躯轰然倒地。——我好想逃。但罗马最大的竞技场，哪有这么容易逃得掉。工程师们早就在地上装了传送机关，虽不会伤人，却会将站在上面的人传到它指向的位置。若是几个传送机关围成一个环，不小心踩在上面的人就会被
liberty030706·2025-01-29 23:48

23石子移动问题-青训营刷题

问题描述小S正在玩一个关于石子的游戏，给定了一些石子，它们位于一维数轴的不同位置，位置用数组stones表示。如果某个石子处于最小或最大的一个位置，我们称其为端点石子。在每个回合，小S可以将一颗端点石子移动到一个未占用的位置，使其不再是端点石子。游戏继续，直到石子的位置变得连续，无法再进行任何移动操作。你需要帮助小S找到可以移动的最大次数。测试样例样例1：输入：stones=[7,4,9]输出：2
liberty030706·2025-01-29 23:18

27游戏英雄升级潜力评估-青训营刷题

问题描述小U在一款挂机游戏中拥有n个英雄。游戏中有一种历练升级机制，每天可以选择两个英雄进行历练，如果两位英雄的等级相同，则他们的等级都不会改变。如果英雄等级不同，那么等级较高的英雄会增加1级，而等级较低的英雄则保持不变。小U希望至少有一个英雄能够达到2000000000000000级，他想知道有多少英雄有潜力通过历练达到这个等级。测试样例样例1：输入：n=5,u=[1,2,3,1,2]输出：3样
liberty030706·2025-01-29 22:45

接口技术-第3次作业

目录作业内容解答一、填空题二、简答题1、请简述中断控制器82C59A的初始化编程步骤？
厂里英才·2025-01-29 14:03

Fortify 24.2.0版本最新版 win/mac/linux

工具介绍：FortifySCA作为一款业内主流的静态代码扫描工具，被广泛应用于白盒测试中。
棉花糖网络安全圈·2025-01-29 10:49

什么是iPaaS？

iPaaS的核心价值在于使技术专业人员甚至非技术人员能够快速构建集成流程，实现企业内部数据的互联互通。二、企业集成方式的演变随着企业信息化
谷云科技RestCloud·2025-01-29 03:44

使用 Python 和 scikit-learn 实现 KNN 分类：以鸢尾花数据集为例

它的工作原理非常简单：对于一个新的数据点，算法会查找训
弥树子·2025-01-28 21:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他