spark大赛

2023年 全国职业院校技能大赛——网络系统管理：Windows & Linux 服务部署“答题卡“

目录服务部署答题卡（400）职业素养（25）Windows部分（150）Linux部分（225）服务部署答题卡（400）要求：使用下面指令查看其运行状态，并使用FSCapture截图软件进行截图，将输入结果的截图插入到文档中。职业素养（25）截图文档整洁规范，根据题目要求进行截图。整理赛位，工具、设备归位，保持赛后整洁有序。遵守赛项记录，听从裁判安排。Windows部分（150）基础配置任务查看D
你可知这世上再难遇我·2025-01-24 20:27

【Spark】Spark Join类型及Join实现方式

SparkJoin类型1.InnerJoin(内连接)示例：valresult=df1.join(df2,df1("id")===df2("id"),"inner")执行逻辑：只返回那些在两个表中都有匹配的行
DataCrafter·2025-01-24 13:33

Spark运行模式及Spark on Yarn两种运行模式的区别

Spark运行模式1.Standalone模式描述：Standalone模式是Spark的独立集群模式，Spark自己管理资源和调度任务。适合小型集群或个人开发环境。特点：简单易用，适合开发和测试。
DataCrafter·2025-01-24 13:03

“赛教融合”背景下，职业院校教师教学能力提升创新路径

自2010年起，教育部启动全国职业院校信息化教学大赛，旨在深化职业教育教学改革与创新。
武汉唯众智创·2025-01-24 11:50

TiDB架构特性

文章目录TiDB整体架构TiDBServerPDServerTiKVServerTiSparkTiDBOperatorTiDB核心特性水平扩展高可用TiDB存储和计算能力存储能力-TiKV-LSM计算能力
·2025-01-24 05:24

大数据学习（七）Python3操作livy（使用pylivy模块）

Livy是一个用于与Spark交互的开源REST接口。pylivy是Livy的Python客户端，可以在Spark集群上轻松实现远程代码执行。
猪笨是念来过倒·2025-01-24 04:46

2024-2025第九届华为ICT大赛中国实践赛省复赛相关安排公布

第九届华为ICT大赛中国实践赛省初赛已于2024年11月16-17日结束，省复赛晋级名单陆续公布，现将第九届ICT大赛中国实践赛省复赛晋级名单以及省复赛相关安排如下：主办单位主办单位：华为技术有限公司承办单位
智汇云校乐乐老师·2025-01-24 02:05

【Redis】golang操作Redis基础入门

总结了一篇【Redis】golang操作Redis基础入门sparkles:喜欢的小伙伴可以点点关注??
m0_74825360·2025-01-23 19:14

搭建单机伪分布式Hadoop+spark+scala

目录一、准备环境包：二、创建centos7虚拟机并配置ip三、链接Xshell并上环境包四、安装JDK1.解压jdk2.设置JAVA环境变量3.执行source使设置生效：4.检查JAVA是否可用。五、免密登陆1.创建ssh秘钥，输入如下命令，生成公私密钥2.将master公钥id_dsa复制到master进行公钥认证，实现本机免密登陆，测试完exit退出六、安装Hadoop软件1.解压hadoo
啥也不会0-0·2025-01-23 16:21

CDP中的Hive3之Apache Hive3特性

ApacheHive3架构概述CDP中采用的是ApacheHive3版本，相比Hive1/2，该版本在事务和安全性等方面有重大改进，了解这些版本之间的主要差异对于SQL用户至关重要，包括使用ApacheSpark
对许·2025-01-23 16:51

Hadoop 与 Spark：大数据处理的比较

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-23 16:50

虚拟机VMware Workstation Pro安装集群+hadoop+spark+scala

参考资料：参考视频教程链接：大数据实验虚拟机安装Hadoop和Spark_哔哩哔哩_bilibiliup主：孤独时代的硕硕namenode安装选择镜像、路径、磁盘（最好不要c盘）、内存和处理器编辑名称与位置可点击此处自定义硬盘进行设置
落枫兮·2025-01-23 15:16

大数据手写面试题Scala语言实现大全（持续更新）

目录1.冒泡排序2.二分查找3.快速排序4.归并排序5.手写Spark-WordCount6.手写Spark程序求平
大模型大数据攻城狮·2025-01-23 15:44

使用iFlyTek SparkLLM进行实时聊天应用开发

iFlyTek的SparkLLM为开发者提供了强大的聊天模型API，支持灵活的集成和扩展。本文将介绍如何使用SparkLLM搭建一个简单的聊天应用，包括基本的API初始化和调用，以及如何实现流式输出。
dagGAIYD·2025-01-23 04:53

有了TiDB，是否还需要“散装”大数据组件？

最近和同事们讨论一个问题：在大数据应用日益增多的今天，如果使用了TiDB这样的一体化数据库，还需要使用那些传统的大数据组件（比如Hadoop、Spark等）吗？
狮歌~资深攻城狮·2025-01-22 15:02

Spark GraphX原理与代码实例讲解

SparkGraphX原理与代码实例讲解作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来随着互联网和大数据技术的迅猛发展，社交网络
AI大模型应用之禅·2025-01-22 07:34

spark电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]

spark电影数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv
QQ-1305637939·2025-01-21 22:58

2024年全国信息素养大赛图形化挑战赛国赛（决赛）真题——绘制20个多边形

绘制20个多边形编程任务从三角形开始，递增边数，一次画出20个多边形。参数说明:1.画笔初始位置(-25，180)，粗细为2；2.每个多边形的边长都是50；3.每画一个多边形，画笔要改变颜色。完整题目可点击下方链接：绘制20个多边形_scratch_少儿编程题库学习中心-嗨信奥https://www.hixinao.com/tiku/scratch/show-3937.html程序演示及获取源码可
嗨信奥·2025-01-21 18:15

玩转至轻云大数据平台-docker部署篇

产品介绍至轻云是一款超轻量级、企业级大数据计算平台，基于Spark生态打造。一键部署，开箱即用。
fanciNate454·2025-01-21 16:34

hadoop常用命令

Yarn查看提交到资源调度器的任务（任何用yarn资源的都可以看，比如spark、tez、mapreduce）看正在运行的yarn任务yarnapplication-list杀死对应的yarn任务yarnapplication-kill
我要用代码向我喜欢的女孩表白·2025-01-21 05:54

深度学习乐园智能零售柜商品识别

1.项目简介本项目专注于智能零售柜商品识别，是为第六届信也科技杯图像算法大赛设计的方案。其核心目标是利用深度学习技术，实现对顾客选购商品的精准识别和自动化结算。
Java先进事迹·2025-01-21 00:54

厦门租房信息分析展示（pycharm+python爬虫+pyspark+pyecharts）（踩坑记录）

厦门租房信息分析展示（pycharm+python爬虫+pyspark+pyecharts）（踩坑记录）项目地址http://dblab.xmu.edu.cn/blog/2307/踩坑:Spark分析文件
吃西红柿的鸡蛋·2025-01-20 18:03

Hadoop 和 Spark 的内存管理机制分析

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-20 03:27

大数据学习（五）：如何使用 Livy提交spark批量任务--转载

Livy是一个开源的REST接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。Livy封装了spark-submit并支持远端执行。启动服务器执行以下命令，启动livy服务器。.
zuoseve01·2025-01-19 22:15

Spark Livy 指南及livy部署访问实践

背景：ApacheSpark是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark
house.zhang·2025-01-19 22:40

大数据学习（四）：Livy的安装配置及pyspark的会话执行

一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。
猪笨是念来过倒·2025-01-19 21:08

探索数据科学新边界：Apache Livy 开源项目详解

探索数据科学新边界：ApacheLivy开源项目详解incubator-livyApacheLivyisanopensourceRESTinterfaceforinteractingwithApacheSparkfromanywhere
毕艾琳·2025-01-19 21:37

编程之路：蓝桥杯备赛指南

蓝桥杯的起源与发展二、比赛的目的与意义三、比赛内容与形式四、比赛前的准备五、获奖与激励六、蓝桥杯的影响力七、蓝桥杯比赛注意事项详解使用Dev-C++的注意事项一、蓝桥杯的起源与发展蓝桥杯全国软件和信息技术专业人才大赛
酷酷的崽798·2025-01-19 16:25

大数据公司 Databricks 详解

Databricks是一家在大数据和人工智能领域具有重要影响力的美国企业软件公司，以下是关于它的详细技术解析：1.起源与背景：Databricks成立于2013年，由来自加州大学伯克利分校AMP实验室的Spark
Bj陈默·2025-01-19 10:00

全面解读 Databricks：从架构、引擎到优化策略

导语：Databricks是一家由ApacheSpark创始团队成员创立的公司，同时也是一个统一分析平台，帮助企业构建数据湖与数据仓库一体化（Lakehouse）的架构。
克里斯蒂亚诺罗纳尔多阿维罗·2025-01-19 09:27

2024年网络安全最全CTF —— 网络安全大赛_ctf网络安全大赛

前言随着大数据、人工智能的发展，人们步入了新的时代，逐渐走上科技的巅峰。\⚔科技是一把双刃剑，网络安全不容忽视，人们的隐私在大数据面前暴露无遗，账户被盗、资金损失、网络诈骗、隐私泄露，种种迹象表明，随着互联网的发展，网络安全需要引起人们的重视。\互联网安全从其本质上来讲就是互联网上的信息安全。从广义来说，凡是涉及到互联网上信息的保密性、完整性、可用性、真实性和可控性的相关技术和理论都是网络安全的研
网安墨雨·2025-01-19 07:35

2024 RoboCom 睿抗机器人开发者大赛-编程技能赛-本科组（省赛)

RC-u1热҈热҈热҈热҈热҈热҈……最近热得打的字都出汗了！幸好某连锁餐厅开启了气温大于等于35度即可获得一杯免费雪碧的活动。但不知为何，在每个星期四的时候，这个活动会暂停一天……现在给定连续的若干天的气温情况以及给定的第一天是星期几，请你算出有多少天你可以喝到免费的雪碧，又有多少天是因为星期四而导致你喝不到雪碧的。输入格式:输入第一行是两个正整数N,W(1≤N≤50,1≤W≤7)，表示给定连续
wsh1c6·2025-01-19 04:35

2024 RoboCom 睿抗机器人开发者大赛-编程技能赛-本科组（国赛)

RC-u1大家一起查作弊在今年的睿抗比赛上，有同学的提交代码如下：publicasfiasfgwef12(){inttsadflas=3;intmasf11233=2;int[]wasdf1213=newint[10+1];int[]vasf124l=newint[10+I];int[][]ddasf1234p=newint[masf11233...你肯定很奇怪，这看上去代码似乎不像是正常写出来的
wsh1c6·2025-01-19 04:35

参加2020年全国大学生机器人大赛ROBOCON的一点心得

大赛简介全国大学生机器人大赛Robocon赛事始于2002年，每年举办一次。
TitaHh·2025-01-19 04:01

2023全国职业院校技能大赛网络系统管理赛项（Linux部分真题）

一、Linux项目任务描述你作为一个Linux的技术工程师，被指派去构建一个公司的内部网络，要为员工提供便捷、安全稳定内外网络服务。你必须在规定的时间内完成要求的任务，并进行充分的测试，确保设备和应用正常运行。任务所有规划都基于Linux操作系统，请根据网络拓扑、基本配置信息和服务需求完成网络服务安装与测试，网络拓扑图和基本配置信息如下：（一）拓扑图（二）网络地址规划服务器和客户端基本配置如下表，
Jackson~Y·2025-01-19 03:51

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

Spark 源码分析(一) SparkRpc中序列化与反序列化Serializer的抽象类解读 （正在更新中~）别人能写出来的，你也能行！多学习别人的思路，形成自己的思路，高薪工作奔你而来！

Java序列化实现类JavaSerializer(1)JavaSerializationStream类代码实际例子1：序列化(2)JavaDeserializationStream代码实际例子2：反序列化Spark
小白的大数据历程·2025-01-18 22:07

Spark 源码分析(一) SparkRpc中序列化与反序列化Serializer的抽象类解读 （java序列化部分完结，正在更新RpcEnv部分~）

目录(3)JavaSerializerInstance定义了一个Java序列化实例(1)构造方法参数(2)方法1：serializeStream(3)方法2：deserializeStreamdefaultClassLoader(4)方法3：deserializeStreamloader(5)方法4：serialize(6)方法5：deserializeloader(7)方法6：deseriali
小白的大数据历程·2025-01-18 22:37

微博文本挖掘并生成词云图（亲身经历~超级小白教程）

在参与正大杯市场调研大赛的准备过程中，我被分配到了文本挖掘及后续可视化的工作任务，其中就包括爬取微博博文内容数据、以及将内容可视化（生成云图）接下来我将以生成词云图为目标，介绍实现方法以及煮波的一些心路历程
吟游诗人理智鱼·2025-01-18 17:45

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark
武子康·2025-01-18 10:29

pyspark 中删除hdfs的文件夹

在pyspark中保存rdd的内存到文件的时候，会遇到文件夹已经存在而失败，所以如果文件夹已经存在，需要先删除。搜索了下资料，发现pyspark并没有提供直接管理hdfs文件系统的功能。
TDengine （老段）·2025-01-18 09:21

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

python捕获异常

try:name="aaa"id="aaa"exceptExceptionase:print("任务报错")print(str(e))print(str(traceback.print_exc()))spark.sql
青云游子·2025-01-18 02:58

Spark任务提交流程

当包含在applicationmaster中的spark-driver启动后，会与资源调度平台交互获取其他执行器资源，并通过反向注册通知对应的node节点启动执行容器。
尘世壹俗人·2025-01-18 01:21

spark读取、写入Clickhouse以及遇到的问题

最近需要处理Clickhouse里面的数据，经过上网查找总结一下spark读写Clickhouse的工具类已经遇到的问题点。具体Clickhouse的讲解本篇不做讲解，后面专门讲解这个。
Alex_81D·2025-01-18 01:18

2024年最新Python：Page Object设计模式_python page object，BTAJ大厂最新面试题汇集

知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
m0_60707708·2025-01-17 20:36

2024年总结：大转向

职业转向今年我在职业上尝试做了一个转向，具体的结果可能需要比较长的时间来检验我选择是否正确，所以转向的细节我就不全部展开了，可以确定是我依然会专注在Infra和BigData，比如今年我发布了SparkSQL
·2025-01-17 20:11

Java爬虫——使用Spark进行数据清晰

1.依赖引入  org.apache.spark  spark-core_2.13  3.5.3 org.apache.spark spark-sql_2.13 3.5.32.数据加载从MySQL数据库中加载
Future_yzx·2025-01-17 20:59

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

把复杂问题简单化5、屏蔽原始数据的(影响)，屏蔽业务的影响ETL操作1、数据抽取2、数据清洗3、数据转换4、数据加载数据中台包含的内容很多，对应到具体工作中的话，它可以包含下面的这些内容：系统架构：以Hadoop、Spark
_Jordan·2025-01-17 16:56

Java 大视界 -- Java 开发 Spark 应用：RDD 操作与数据转换

ApacheSpark是一个强大的分布式计算框架，提供了高效的数据处理能力，广泛应用于大数据分析与机器学习。Spark提供了多种高级API，支持批处理和流处理。
一只蜗牛儿·2025-01-17 12:26
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他