大数据平台Spark生态系统

pyspark报错：ValueError: object of IntegerType out of range

背景：pyspark任务中，调用了udf处理数据，并使用了链接:pyspark并行调用udf函数的方式，报错如上。但是在python中很少遇到整型越界问题。
leap_ruo·2024-02-05 07:53

Python调用pyspark报错整理

Pycharm配置了SSH服务器和Anaconda的python解释器，如果没有配置可参考大数据单机学习环境搭建(8)Linux单节点Anaconda安装和Pycharm连接Pycharm执行的脚本执行如下pyspark_model.py
赫加青空·2024-02-05 07:52

基于hadoop+spark的大规模日志的一种处理方案

而且CDN上的访问日志一般都非常大，需要用大数据处理架构来进行处理，本文描述了一种利用hadoop+spark来处理大量CDN日志的方法，当然本方
码农心语·2024-02-05 06:36

微软技术专家带你学 AI｜Azure 机器学习：创建自己的模型

：RaniSun微软技术专家带你学AI新的一年，为帮助开发者们在Azure上掌握人工智能，我们特别带来「微软技术专家带你学AI」系列，通过4期的课程，带大家从机器学习的基本原理深入Azure的人工智能生态系统
MicrosoftReactor·2024-02-05 06:31

微软技术专家带你学 AI｜Azure 认知服务

：RaniSun微软技术专家带你学AI新的一年，为帮助开发者们在Azure上掌握人工智能，我们特别带来「微软技术专家带你学AI」系列，通过4期的课程，带大家从机器学习的基本原理深入Azure的人工智能生态系统
MicrosoftReactor·2024-02-05 06:31

Flink实时流计算入门系列——广播变量使用

Flink和Spark一样，都有支持广播变量这定义。广播变量，可以理解成为日常的广播，是一个公共的变量。广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节
晨冉1688·2024-02-05 06:19

区块链游戏解说：Axie Infinity 是什么

在Axie生态系统内，用户可
Footprint_Analytics·2024-02-05 06:07

Iptables 和 Netfilter 架构深入解析

在Linux生态系统中，iptables是一个广泛使用的防火墙工具，它与内核的netfilter数据包过滤框架配合工作。由于复杂的语法和涉及的相关部分数量众多，创建可靠的防火墙策略可能令人望而生畏。
张无忌打怪兽·2024-02-05 04:00

深度学习预备知识2——数据预处理

像庞大的Python生态系统中的许多其他扩展包一样，pandas可以与张量兼容。1读取数据集首先创建一个人工数据集，并存储在CSV（逗号分隔值）文件…/data/house_tiny.csv中。
哦豁灬·2024-02-05 04:45

AI手撕绘本 |“拯救地球”｜教小朋友做环保

地球上的每一片叶子、每一滴水、每一缕阳光都构成了一个完美的生态系统。这里，生命蓬勃发展，万物和谐共存。【第二页】画面描述：地球上的孩子们在玩耍，小鸟在飞翔，一片和谐景象。
Kavaj·2024-02-05 01:10

HIVE

--------hive数据仓库hive底层执行引擎有MapReduceTezSpark压缩GZIPLZOSnappyBZIP2等存储TextFileSequenceFileRCFileORCParquetUDF
Yagami_·2024-02-05 00:23

2020-08-12

作者：WILLIAMM.PEASTER编译：Bite2020年，以太坊生态系统进展开始提速，其原因也不难看出：基于以太坊的DeFi项目发展势头正旺，并且吸引力与日俱增。
蓝薇薇1·2024-02-04 22:15

spark-submit 任务提交过程分析

https://blog.csdn.net/u013332124/article/details/91456422一、spark-submit脚本分析spark-submit的脚本内容很简单:#如果没设置
疯狂的哈丘·2024-02-04 22:08

SOLID原理：用Golang的例子来解释

本文将对每个SOLID原则进行概述，并通过用Golang编写的例子说明它们在贸易生态系统中的应用。单一责任原则（SRP）：该原则指出，一个类应该只有一个变化的理由。如果我
ldxxxxll·2024-02-04 21:07

大数据平台-可视化面板介绍-Echarts

应对现在数据可视化的趋势，越来越多企业需要在很多场景(营销数据，生产数据，用户数据)下使用，可视化图表来展示体现数据，让数据更加直观，数据特点更加突出。目录01-使用技术02-案例适配方案03-基础设置04-header布局05-mainbox主体模块06-公共面板模块panel07-柱形图bar模块(布局)08-中间布局09-Echarts-介绍10-Echarts-体验11-Echarts-基
py爱好者~·2024-02-04 19:08

探秘海洋生物，来看看海洋生物公开基因组数据集吧！

近日，由青岛华大基因研究院规划的海洋生物公开基因组数据集（PublicMarineGenomeResources,PMGR）系列在国家基因库生命大数据平台（CNGBdb）正式上线。
尐尐呅·2024-02-04 18:57

运行环境jre版本和jar包编译版本不一致导致：Unsupported major.minor version 52.0

问题我在本地使用IntellijIdea打包了一个spark的程序jar包，放到linux集群上运行，报错信息是：Unsupportedmajor.minorversion52.0环境本机系统->windows10
stone_zhu·2024-02-04 18:51

八、海南省儋州市莲花山矿山生态修复及价值实现案例

上世纪50年代以来，因生产和生活需要，海南农垦集团原蓝洋农场在莲花山开采石灰矿，留下了6个巨大的采石矿坑和塘体，导致区域内森林植被损毁、水土流失和自然生态系统退化，原农场职工和周边群众的生产生活和财产安全受到影响
俺老孙宇民·2024-02-04 18:46

win10环境下通过anaconda安装pyspark

解决方法本来应该可以在anaconda上直接搜索安装，但是非常慢，而且还有错误，说python3.8无法和和pyspark3.1.2兼容，需要安装python3.8之前的版本才行。
零下2度·2024-02-04 14:36

大数据技术未来发展前景及趋势分析

Spark:Spark是一个兼容Hadoop数据源的内存数据处理平台，运行速度相比于HadoopMapReduce更快。
丨程序之道丨·2024-02-04 12:54

【A题完整论文】2024美赛完整论文+代码参考（无偿分享）

建模七鳃鮼性别比例变化对生态系统的影响是一个复杂而多层次的任务，需要考虑种群动态、资源利
RS_数模加油站·2024-02-04 11:02

【24美赛思路已出】2024年美赛A~F题解题思路已出 | 无偿自提

A题：资源可用性和性别比例问题一：涉及当灯鱼种群的性别比例发生变化时，对更大的生态系统产生的影响。
RS_数模加油站·2024-02-04 11:32

2024美赛数学建模问题A题思路模型分析 ——资源可用性和性别比例

在一些湖泊栖息地，灯鱼被视为对生态系统有重大影响的寄生虫，而在世界上的一些地区，如斯堪的纳维亚半岛
建模忠哥小师妹·2024-02-04 11:18

大数据入门-大数据技术概述(二)

目录大数据入门系列文章1.大数据入门-大数据是什么2.大数据入门-大数据技术概述(一)一、简介二、技术详解1.分布式协调服务：Zookeeper2.分布式资源管理器：Yarn3.计算引擎：Spark4.
水坚石青·2024-02-04 11:11

【常见的Web前端框架——详细介绍】

强大的生态系统和社区，包括许多可用的第三方库如R
程序员不想YY啊·2024-02-04 11:35

智慧水务（水厂）大数据平台，打造水务运营管理驾驶舱

智慧水务运营管理平台全天候把握水源、水厂、管网、泵站等生产调度全过程数据。各环节数据联动，形成设备自动运行的预设逻辑，简化人工操作，实现无人值守。并对取水总能耗、吨水电耗、运行经济性成本加以分析，辅助水务系统节能降耗，降低运营成本。以物联感知技术、大数据、智能控制、云计算、人工智能、数字孪生、AI算法、虚拟现实技术为核心，以监测仪表、通讯网络、数据库系统、数据中台、模型软件、前台展示、智慧运维等产
郭靖守襄阳【软芯民用】·2024-02-04 09:52

转载-58同城离线计算平台设计与实践

本次分享将聚焦大数据平台离线计算和大家一起系统的探讨58在离线计算平台建设实践的思路、方案和问题解决之道。
无色的叶·2024-02-04 09:14

完结，从零开始学python（十八）想成为一名APP逆向工程师，需要掌握那些技术点？

我们来简单的回顾一下内容1.编程语法语法编程并发编程网络编程多线程/多进程/协程数据库编程MySQLRedisMongoDB2.机器学习3.全栈开发4.数据分析Numpy+pandas+MatplotlibHadoopSpark5
爬完虫变成龙·2024-02-04 07:52

开源与安全：共同构建可信赖的数字生态系统(AI)

开源与安全：共同构建可信赖的数字生态系统引言开源软件的透明性与审计优势1.透明的源代码2.社区审计的力量3.及时修复漏洞开源软件在安全方面的价值和贡献1.安全性强化数字生态2.防范供应链攻击3.提供安全的解决方案开源软件在不同行业的安全应用案例
cheungxiongwei.com·2024-02-04 07:15

Fink CDC数据同步（三）Flink集成Hive

利用Flink来读写Hive的表Flink打通了与Hive的集成，如同使用SparkSQL或者Impala操作Hive中的数据一样，我们可以使用Flink直接读写Hive中的表。
苡~·2024-02-04 07:20

子雨大数据之Spark入门教程---Spark入门：RDD的设计与运行原理1.3

Spark的核心是建立在统一的抽象RDD之上，使得Spark的各个组件可以无缝进行集成，在同一个应用程序中完成大数据计算任务。
千寻～·2024-02-04 06:38

SparkException: A master URL必须在配置中设置

问题描述当你遇到org.apache.spark.SparkException:AmasterURLmustbesetinyourconfiguration错误时，这意味着你的Spark应用程序尝试启动时没有找到有效的
小湘西·2024-02-04 06:07

Spark部署模式

目录部署模式概述1.LocalMode2.StandaloneMode3.YARNMode4.MesosMode5.KubernetesMode部署模式选择部署模式概述ApacheSpark支持多种部署模式
小湘西·2024-02-04 06:02

Spark 的Driver程序中定义的外部变量或连接为什么不能在各种算在中直接用，如果要要如何做？

在Driver程序中定义的外部变量或连接不能在算子中直接使用，因为它们不会被序列化并发送到各个Executor。如果需要在算子使用外部资源，应该在算子内部初始化这些资源。例如，将RDD数据写入数据库可以这样实现：rdd.foreach(record=>{//在这里初始化数据库连接valconnection=createNewConnection()//假设这是创建连接的函数connection.s
小湘西·2024-02-04 06:32

大数据本地环境搭建03-Spark搭建

pwd=e20h提取码：e20h将spark-3.1.2-bin-hadoop3.2.tar.gz压缩包到node1下的/export/server目录1.2解压压缩包tar-zxvf/export
OnePandas·2024-02-04 06:31

spark运维问题记录

环境：spark-2.1.0-bin-hadoop2.71.Spark启动警告：neitherspark.yarn.jarsnotspark.yarn.archiveisset，fallingbacktouploadinglibrariesunderSPARK_HOME
lishengping_max·2024-02-04 05:11

Spark提交任务到yarn 报错提示虚拟内存不足解决办法

sparkcontext初始化失败ERRORspark.SparkContext:ErrorinitializingSparkContext.java.lang.IllegalStateException
动若脱兔--·2024-02-04 05:11

解决“Spark context stopped while waiting for backend“ issue

在配置为4C16G的虚拟机上安装hadoop生态全家桶，在安装Spark2，使用了社区版2.3的版本。
江畔独步·2024-02-04 05:10

Spark context stopped while waiting for backend

目录报错信息解决办法解释报错信息Sparkcontextstoppedwhilewaitingforbackend翻译过来就是：Spark上下文在等待后端时停止解决办法通过在yarn-site.xml中添加如下配置项
十二点的泡面·2024-02-04 05:36

Spark Streaming实战：窗口操作，每10秒，把过去30秒的数据取出来(读取端口号1235中的数据)

1.需求：窗口操作，每10秒，把过去30秒的数据取出来窗口长度：30秒滑动距离：10秒2.代码：(1)pom.xmlorg.apache.sparkspark-core_2.112.1.0org.apache.sparkspark-sql
Movle·2024-02-04 05:52

Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测

####################################################################最新消息：关于spark和Hudi的安装部署文档，本人已经写完，连接
运维道上奔跑者·2024-02-04 05:43

pyspark_1_理论篇(RDD基础)

跟着Leo学习PySparkchapter1——rdd的基础编程指南一、准备工作1.背景介绍Spark是用scala编程语言实现的，为了使Spark支持Python，ApacheSpark社区发布了一个工具
NikolasNull·2024-02-04 04:50

2024美赛数学建模A题思路分析 - 资源可用性和性别比例

在一些湖泊栖息地，它们被视为对生态系统有重大影响的寄生虫，而七鳃鳗在世界的一些地区也是食物来源，如斯堪
m0_71450098·2024-02-04 02:29

Kubernetes operator 如何根据自定义类型生成响应的代码的？

分享这篇文章的主要目的，是如何利用kubernetes来自定义类型，如SparkApplication，从而使用脚本，生成响应的代码的这些代码是专门为自定义的类型SparkApplication对象服务的
weixin_34109408·2024-02-04 00:09

2024美赛A题详细数据思路代码文章教学数学建模数模辅导

在一些湖泊栖息地，它们被视为对生态系统有重大影响的寄生虫，而七鳃鳗在世界的一些地区也是食物来源，如斯堪的
千千小屋grow·2024-02-04 00:24

Java Scala 混合编程导致 编译失败 ，【找不到符号】问题解决

Failedtoexecutegoalorg.apache.maven.plugins:maven-compiler-plugin:3.1:compile(default-compile)onprojectspark-auth
0X码上链·2024-02-03 23:20

vue常见面试题汇总

答：Vue是一款优秀的前端框架，它可以帮助我们快速构建高效、可复用、易维护的Web应用程序，并提供了丰富的API和生态系统。2.Vue有哪些生命周期钩子函数？
小敏今天又写代码了·2024-02-03 23:27

日调用量超千万，超低查询延迟！跨越速运基于Flink + OceanBase的实时分析解决方案与实践

跨越速运内部有超过100位BI分析师，日常工作需要借助大数据平台中的服务项目进行数据研发。跨越速运的数据服务场景中有一万余数据接口，日调用量超过1000万次，并保持99%查
OceanBase数据库官方博客·2024-02-03 23:48

hadoop、spark、flink集群修改默认ssh端口号

大数据集群在实际搭建过程中，其默认ssh端口不一定都是22，这时需要根据各自的配置文件进行适配。ssh端口号默认为22，以centos7.x为例，可以在/etc/ssh/sshd_config中进行修改，如下示例将22改为22222：#IfyouwanttochangetheportonaSELinuxsystem,youhavetotell#SELinuxaboutthischange.#sem
0X码上链·2024-02-03 21:12

Spark程序执行逻辑迷你版

再把Task发出去DAGScheduler的功能，将rdd转换逻辑切分stage，生成taskset然后模拟taskScheduler的功能，将这些task发到Executor上去执行（真正的发送逻辑sparksubmit
{BOOLEAN}·2024-02-03 21:21
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他