大数据平台Spark生态系统

Arm的平台安全架构（PSA）干货介绍——来自Arm Tech Symposia 讨论实录精要

对于从端到云的整个产业价值链，arm生态系统所肩负的责任就是确保日益多样化的互联设备能够基于通用的安全基础。
亲爱的数据·2024-09-09 17:15

starrocks和clickhouse数据库比较

支持多种数据源的集成，并且可以与其他大数据技术（如Hadoop、Spark）协同工作。C
CodeMaster_37714848·2024-09-09 16:12

提升工作效率的编程工具：如何选择适合自己的秘密武器

丰富的插件生态系统：支持各种编程语言和工具的插件。内置调试功能：集成了强大的调试工具，支
不爱开发的干饭人·2024-09-09 10:59

深智城基于超融合数据库MatrixOne的一站式交通大数据平台改造

在智慧交通应用中，数据处理需求极为复杂，涉及人、车辆、道路和环境等多个方面，产生了大量异构数据。交通管理人员需要对这些数据进行实时分析和决策，以应对各种交通事件。然而，在实际生产中会发现数据处理缺陷、管理复杂度高、云原生基础设施兼容性不足等问题。实践证明，MatrixOne可完整、稳定支撑深智城集团的交通数字实时仿真项目，实现秒级的业务及分析实时性，并在技术、管理和成本方面均得到了显著提升，大幅降
MatrixOrigin·2024-09-09 07:42

探索Pancake Contracts: 建构DeFi世界的美味煎饼

项目介绍PancakeContracts是构建PancakeSwap生态系统的
周澄诗Flourishing·2024-09-09 02:06

Hbase、hive以及ClickHouse的介绍和区别？

一、Hbase介绍：HBase是一个分布式的、面向列的开源数据库，由ApacheSoftwareFoundation开发，是Hadoop生态系统中的一个重要组件。
damokelisijian866·2024-09-08 23:43

StarRocks 3.3 重磅发布，Lakehouse 架构发展进入快车道！

作为下一代Lakehouse架构的代表，StarRocks3.3在稳定性、计算性能、缓存设计、物化视图、存储优化和Lakehouse生态系统等方面进行了全方位的优化和创新。
StarRocks_labs·2024-09-08 19:48

Hive和Hbase的区别

Hive和HBase都是Hadoop生态系统中的重要组件，它们都能处理大规模数据，但各自有不同的适用场景和设计理念。
傲雪凌霜，松柏长青·2024-09-08 17:37

Hive的优势与使用场景

以下是Hive的主要优势：1.与Hadoop生态系统的紧密集成Hive构建在Hadoop分布式文件系统(HDFS)之上，能够处理海量数据并进行分布式计算。
傲雪凌霜，松柏长青·2024-09-08 17:07

Spark 3.5.1 升级 Java 17 异常 cannot access class sun.nio.ch.DirectBuffer

异常说明使用Spark3.5.1升级到Java17的时候会有一个异常，异常如下SLF4J:Failedtoloadclass"org.slf4j.impl.StaticLoggerBinder".SLF4J
敏叔V587·2024-09-08 15:23

大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS
蓦然_·2024-09-08 15:50

【Material-UI】Mini Variant Drawer 详解

的基本实现三、Minivariantdrawer的细节解析1.展开与折叠的动态效果2.响应式设计3.适用场景四、如何在项目中使用Minivariantdrawer五、总结Material-UI是React生态系统中的一款强大且流行的
Peter-Lu·2024-09-08 13:04

【面试系列】Doris 高频面试题解答

⭐️大数据平台建设指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台的核心技术和方法。⭐️《遇见Python：初识、了解与热恋》：涵盖了Pytho
野老杂谈·2024-09-08 10:44

【无标题】大数据之批处理，流处理，批流一体概念

Spark和Flink都支持批处理，其中Spark使用的是批处理模型，即将一批数据一次性读入内存，然后对其进行处理，处理完成后再将结果写入磁盘。
数字天下·2024-09-08 09:43

【大数据平台】数据处理层：批处理与流处理架构

⭐️大数据平台建设指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台的核心技术和方法。⭐️《遇见Python：初识、了解与热恋
野老杂谈·2024-09-08 09:07

pyspark kafka mysql_数据平台实践①——Flume+Kafka+SparkStreaming(pyspark)

蜻蜓点水Flume——数据采集如果说，爬虫是采集外部数据的常用手段的话，那么，Flume就是采集内部数据的常用手段之一(logstash也是这方面的佼佼者)。下面介绍一下Flume的基本构造。Agent：包含Source、Channel和Sink的主体，它是这3个组件的载体，是组成Flume的数据节点。Event：Flume数据传输的基本单元。Source：用来接收Event，并将Event批量传
weixin_39793638·2024-09-08 04:34

WordPress的安装与简单开发教程

WordPress是目前世界上最受欢迎的开源内容管理系统（CMS），它以简便易用、扩展性强和庞大的生态系统著称。通过它，你可以轻松构建博客、企业网站、电子商务平台等多种类型的网站。
CopyLower·2024-09-07 21:45

<转>Spark体系架构

最近看到一篇关于Spark架构的博文，作者是AlexeyGrishchenko。
yongjian_luo·2024-09-07 20:11

Spark分布式计算原理

目录一、RDD依赖与DAG原理1.1RDD的转换一、RDD依赖与DAG原理Spark根据计算逻辑中的RDD的转换与动作生成RDD的依赖关系，同时这个计算链也形成了逻辑上的DAG。
NightFall丶·2024-09-07 20:40

日本核污染水排海

以下是核污染水排入太平洋可能带来的危害：对海洋生态系统的破坏：核污染水中含有放射性物质，如铯-137、铯-134和碘-131等。
有事找叮当·2024-09-07 12:00

Apache Flink 替换 Spark Stream的架构与实践( bilibili 案例解读)_streamsparkflink加载udf(1)

bilibili早期使用的引擎是SparkStreaming，后期扩展了Flink，在开发架构中预留了一部分引擎层的扩展。最下层是状态存储
2401_84165953·2024-09-07 12:44

MySQL 子查询与复杂查询的优化

⭐️大数据平台建设指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台的核心技术和方法。⭐️《遇见Python：初识、了解与热恋
野老杂谈·2024-09-07 09:23

PySpark数据分析基础：PySpark基础功能及DataFrame操作基础语法详解_pyspark rdd

DataFrame.show()使用格式：df.show()df.show(1)+---+---+-------+----------+-------------------+|a|b|c|d|e|+---+---+-------+----------+-------------------+|1|2.0|string1|2000-01-01|2000-01-0112:00:00|+---+---
2401_84187537·2024-09-07 08:47

PySpark数据分析基础：PySpark基础功能及DataFrame操作基础语法详解_pyspark rdd(1)

dfDataFrame[a:bigint,b:double,c:string,d:date,e:timestamp]####通过由元组列表组成的RDD创建rdd=spark.sparkContext.parallelize
2401_84181368·2024-09-07 08:46

PySpark数据分析基础：PySpark基础功能及DataFrame操作基础语法详解_pyspark rdd(2)

轻松切换到pandasAPI和PySparkAPI上下文，无需任何开销。有一个既适用于pandas（测试，较小的数据集）又适用于Spark（分布式数据集）的代码库。
2401_84181403·2024-09-07 08:46

Pyspark DataFrame常用操作函数和示例

针对类型：pyspark.sql.dataframe.DataFrame目录1.打印前几行1.1show()函数1.2take()函数2.读取文件2.1spark.read.csv3.获取某行某列的值(
还是那个同伟伟·2024-09-07 08:15

Spark概念知识笔记

最近总结了个人的各项能力，发现在大数据这方面几乎没有涉及，因此想补充这方面的知识，丰富自己的知识体系，大数据生态主要包含：Hadoop和Spark两个部分，Spark作用相当于MapReduceMapReduce
kuntoria·2024-09-07 05:21

向量数据库对比分析报告

FAISS、Milvus、Weaviate和OpenAIAPI四个工具的对比分析，主要针对是否支持离线、开发难度、debug支持、生态系统以及Python接口等方面。
大霸王龙·2024-09-07 03:11

基于Echarts+HTML5可视化数据大屏展示—新能源车联网综合大数据平台_新能源汽车大数据分析网站代码

主要代码实现：主页HTML布局：新能源车联网综合大数据平台实时统计<divclass="info-text
2401_84181070·2024-09-06 21:38

大数据秋招面经之spark系列

文章目录前言spark高频面试题汇总1.spark介绍2.spark分组取TopN方案总结：方案2是最佳方案。
wq17629260466·2024-09-06 19:54

数据科学简讯 2023-03-24

谷歌和微软的聊天机器人在错误信息的对决中相互引用根据TheVerge上的一篇评论文章，微软、谷歌和OpenAI等大型科技公司仓促推出AI聊天机器人有可能破坏网络的信息生态系统。
数科每日·2024-09-06 18:38

每天一个数据分析题（五百一十四）- 决策树算法

D.叶结点（leafnode）数据分析认证考试介绍：点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark
跟着紫枫学姐学CDA·2024-09-06 15:20

2021-06-20

感恩遇见梅校长，感恩宇宙公民这个良好的生态系统，也感恩自己能参与学习如此有价值的课程。听完这节课，我自己总结出五点最深刻，最有意义的收获。首先是培养我们的精英思维和成长思维，要学会用费曼学
lotus曹老师·2024-09-06 14:19

【Spark高级应用】使用Spark进行高级数据处理与分析

Spark高级应用使用Spark进行高级数据处理与分析引言在大数据时代，快速处理和分析海量数据是每个企业面临的重大挑战。
爱技术的小伙子·2024-09-06 10:47

spark读取csv文件

测试spark读取本地和hdfs文件frompyspark.sqlimportSparkSessionspark=SparkSession.builder\.appName("ExamplePySparkScript
静听山水·2024-09-06 10:44

SparkStreaming业务逻辑处理的一些高级算子

packagecom.sparkscala.streamingimportorg.apache.log4j.{Level,Logger}impor
看见我的小熊没·2024-09-06 09:43

Java在智能数据挖掘系统的应用

Java作为一种流行的编程语言，因其强大的性能和丰富的生态系统，在智能数据挖掘领域的应用非常广泛。本文将探讨Java在智能数据挖掘系统中的应用，并提供示例代码。
lizi88888·2024-09-06 09:10

Spark一些个人总结

文章目录前言一、Spark是什么二、Spark用来做什么三、Spark的优势是什么四、为什么用Spark五、Spark解决了什么问题总结前言随着大数据技术的发展，一些更加优秀的组件被提了出来，比如现在最常用的
易逑实战数据·2024-09-06 09:39

spark任务优化参数整理

以下参数中有sql字眼的一般只有spark-sql模块生效，例外的时候会另行说明，此外由于总结这些参数是在不同时间段，当时使用的spark版本也不一样，因此要注意是否有效，如果本博主已经试过的会直接说明
尘世壹俗人·2024-09-06 09:08

Spark与Kafka进行连接

在Java中使用Spark与Kafka进行连接，你可以使用SparkStreaming来处理实时流数据。以下是一个简单的示例，展示了如何使用SparkStreaming从Kafka读取数据并进行处理。
傲雪凌霜，松柏长青·2024-09-06 07:27

Spark入门：KMeans聚类算法

聚类（Clustering）是机器学习中一类重要的方法。其主要思想使用样本的不同特征属性，根据某一给定的相似度度量方式（如欧式距离）找到相似的样本，并根据距离将样本划分成不同的组。聚类属于典型的无监督学习（UnsupervisedLearning）方法。与监督学习（如分类器）相比1，无监督学习的训练集没有人为标注的结果。在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。
17111_Chaochao1984a·2024-09-06 05:46

Spark MLlib模型训练—聚类算法 K-means

SparkMLlib模型训练—聚类算法K-meansK-means是一种经典的聚类算法，广泛应用于数据挖掘、图像处理、推荐系统等领域。
不二人生·2024-09-06 04:14

Spark MLlib模型训练—聚类算法 Bisecting K-means

SparkMLlib模型训练—聚类算法BisectingK-means由于传统的KMeans算法的聚类结果易受到初始聚类中心点选择的影响，因此在传统的KMeans算法的基础上进行算法改进，对初始中心点选取比较严格
不二人生·2024-09-06 04:14

DAG (directed acyclic graph) 作为大数据执行引擎的优点

TL;DR-ConceptuallyDAGmodelisastrictgeneralizationofMapReducemodel.DAG-basedsystemslikeSparkandTezthatareawareofthewholeDAGofoperationscandobetterglobaloptimizationsthansystemslikeHadoopMapReducewhicha
joeywen·2024-09-06 04:43

Spark的Web界面

http://localhost:4040/jobs/在顶部导航栏上，可以点击以下选项来查看不同类型的Spark应用信息：Jobs-此视图将列出所有已提交的作业，并提供每个作业的详细信息，如作业ID、名称
静听山水·2024-09-06 04:40

SpringCloud-Gateway介绍和工作流程(Day8)

GateWay简介Gateway是在Spring生态系统之上构建的API网关服务，基于Spring5,SpringBoot2和ProjectReactor等技术。
web18484626332·2024-09-06 02:30

最全金融数据_PySpark-3(2)，大数据开发学习的三个终极问题及学习路线规划

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取frompyspark.ml.evaluationimportBinaryClassificationEv
2401_84185145·2024-09-05 23:38

Python NumPy 库详解

在Python生态系统中，NumPy（NumericalPython）库是一款备受推崇的工具，它为我们提供了高效的数组操作、数学函数以及线性代数运算等功能，成为了科学计算和数据处理的利器。
寒秋丶·2024-09-05 23:37

文章汇总 | 2018

12月RIA便签学习法10月财富最好的定义Spark分布式原理及碰到的三个坑在不断解决问题(矛盾)的过程进步9月《韭菜的自我修养》-股票交易是零和游戏吗?
学习之术·2024-09-05 22:27

Ingest Pipeline & Painless Script

包含3个字段，tags用逗号间隔PUTtech_blogs/_doc/1{"title":"Introducingbigdata......","tags":"hadoop,elasticsearch,spark
折纸虚桐·2024-09-05 22:03
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他