spark编程模型

Hive基本操作

Hive是类SQL语法的数据查询、计算、分析工具，执行引擎默认的是MapReduce，可以设置为Spark、Tez。Hive分内部表和外部表，外部表在建表的同时指定一个
X晓·2024-01-09 06:45

某大厂大数据开发-外包面试

4.spark用过吗，用到的开发工具5.数据量多少，服务器台数6.数仓每层做了什么事，为什么这样做？
劝学-大数据·2024-01-09 06:42

大数据开发-某外包公司

1.用过那些组件2.说下HDFS读写流程3.说下varchar和char区别4.说下数据库的事务5.spark的部署模式有哪些6.数据库和数据仓库的区别7.内部表和外部表的区别8.说下数据中台、数据仓库和数据湖的区别
劝学-大数据·2024-01-09 06:10

spark读sqlserver出现的异常

前言Spark通过JDBC读取数据之前很早写过一篇博客，本以为所有通过jdbc读取的方式都一样，谁知道这次读sqlserver的时候竟然出现的很多异常，这里把异常的问题进行记录。
SunnyRivers·2024-01-09 06:39

PySpark & Dask 分布式集群环境搭建（Linux）

Spark分布式环境搭建_Linux版9.0具体思路：先进行单机配置，然后复制Linux虚拟机、分发配置好的框架。
蒲魔树的种子·2024-01-09 06:04

pyspark 引入虚拟环境依赖包以及向yarn集群提交任务攻略

以虚拟环境引入project_demo项目包，并向sparkyarn提交spark任务为例：将project_demo安装到虚拟环境中1）virtualenvlocal_venv#创建虚拟环境2）sourcelocal_venv
阿君聊风控·2024-01-09 06:33

anaconda创建虚拟环境

最近在做项目时需要提交pyspark任务到公司的Spark集群上，由于没有集群节点的相关权限，打算采用anaconda创建pyspark的虚拟环境来进行。
追梦菜鸟·2024-01-09 06:33

python虚拟环境可以运行pyspark_pyspark 与 python 环境配置

主要是解决包依赖问题，通过virtualenv来解决，需要打包环境和spark是slave端运行环境一致，通过anaconda来解决，则完全不需要保持与线上spark机环境一致，只需要是linux系统即可
weixin_39663729·2024-01-09 06:33

pyspark打包依赖包&使用python虚拟环境

一、anaconda创建python环境anaconda创建python环境在这篇博客中，已经很清楚地描述了如何通过anaconda来创建你需要的python环境：即合适的python版本和包含你需要的依赖包。二、打包python环境假设我们的python环境名称为py_env，那么在anaconda的安装目录下，会有这么一个目录：envs/py_env在Windows下，直接将使用压缩软件，将其
我就算饿死也不做程序员·2024-01-09 06:33

Linux 环境安装Pyspark

Anaconda安装1.Anaconda的下载前往官网下载Linux环境的Anaconda安装包：下载地址2.安装包上传安装1.将下载好的安装包上传到linux系统中2.解压安装包root@master:~/env/conda#sh./Anaconda3-2023.09-0-Linux-x86_64.sh按回车多次按空格，直到看到最后时候输入yes再次输入yes输入想要安装的路径，注意：最后一个a
LiyC;·2024-01-09 06:32

hadoop集群搭建、spark集群搭建、pyspark搭建（linux+window）

1、前言本文记录学习过程中Hadoop、zookeeper、spark集群搭建，主要为pyspark库服务（具体为window上pyspark环境和pyspark库，linux上spark框架、pyspark
Lfx_come on·2024-01-09 06:02

windows+pycharm+pyspark+linux远程开发环境搭建

Anacondaliunx版本下载Anaconda|TheWorld’sMostPopularDataSciencePlatformAnacondalinux版本安装上传文件到虚拟机安装目录下在安装目录下运行程序sh./Anaconda3-2021.11-Linux-x86_64.sh按回车继续，之后按空格一直到yes/no输入yes再之后输入需要安装的目录之后就等待安装完成Anaconda换源s
王小磊~·2024-01-09 06:02

linux创建pyspark虚拟环境

一、创建虚拟环境condacreate-ntestpython=3.6.6二、注意添加镜像vi/root/.condarcchannels:-http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/-http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/-http://mirrors.us
Python伊甸园·2024-01-09 05:02

Spark streaming架构中的Driver和Executor

Driver在Driver中，有StreamContext作为SparkStreaming的入口，SparkStreaming的最终处理实际还是交给SparkContext。
她雅_b28e·2024-01-09 05:43

【Spark】 Spark作业执行原理--获取执行结果

一、执行结果并序列化任务执行完成后，是在TaskRunner的run方法的后半部分返回结果给Driver的：overridedefrun():Unit={...//执行任务valvalue=try{valres=task.run(taskAttemptId=taskId,attemptNumber=attemptNumber,metricsSystem=env.metricsSystem)thre
w1992wishes·2024-01-09 00:59

大学生如何当一个程序员——第三篇：热门专业学习之路4

第三篇：热门专业学习之路41.机器学习2.深度学习3.Python数据分析模块4.SparkMLlib机器学习库5.做一个人工智能项目6.数学各位小伙伴想要博客相关资料的话关注公众号：chuanyeTry
笛秋白·2024-01-08 20:29

pandas应用和学习

Pandas包,无论是在数据分析领域还是在大数据开发场景都具有显著优势:①Pandas是Python的一个第三方包,也是商业和工程领域最流行的结构化数据工具集,用于数据清洗,处理以及分析.②Pandas和Spark
MSJ3917·2024-01-08 16:33

Saprk SQL基础知识

一.SparkSQL基本介绍1.什么是SparkSQLSparkSQL是Spark多种组件中其中一个,主要是用于处理大规模的[结构化数据]SparkSQL的特点:1).融合性:既可以使用SQL语句,也可以编写代码
MSJ3917·2024-01-08 16:32

Spark基础原理

SparkOnYarnSparkOnYarn的本质Spark专注于分布式计算,Yarn专注于资源管理,Spark将资源管理的工作交给了Yarn来负责SparkOnYarn两种部署方式Spark中有两种部署方式
小希 fighting·2024-01-08 13:09

ai人工智能的本质和未来_人工智能如何塑造音乐产业的未来

ai人工智能的本质和未来ArtificialIntelligenceisasubjectthatsparkstheimagination—andsplitsopinion.Proponentspointtotheproblem-solvingpotentialofmachinelearning
weixin_26632369·2024-01-08 09:04

通用图形处理器设计——GPGPU编程模型与架构原理（五）

第5章GPGPU运算单元架构5.1数值的表示5.1.1整形数据不包含小数部分的数值型数据，采用二进制的形式表达。编码方式：原码、反码和补码。原码：符号位加真值绝对值；反码：正数与原码一致，负数除符号位按位取反；补码：正数与原码一致，负数除符号位按位取反再加一。5.1.2浮点数据对实数数值的近似表示。浮点数的格式：符号位（s）+指数位（e）+尾数位（f）。二进制浮点数可以表示为：（-1）^sx1.f
AHAHAya_·2024-01-08 09:57

通用图形处理器设计——GPGPU编程模型与架构原理（二）

第2章GPGPU编程模型2.1计算模型矩阵乘法运算：结果矩阵C中的每一个元素都可以由输入矩阵A行向量,B列向量点积运算得到，每个元素都是独立进行的，没有依赖关系，具有良好的数据并行性。
AHAHAya_·2024-01-08 09:27

通用图形处理器设计——GPGPU编程模型与架构原理（三）

第3章GPGPU控制核心架构3.1GPGPU架构概述典型的CPU-GPGPU异构计算平台如图3-1所示，CPU作为控制主体统筹整个系统的运行，PCI-E充当CPU和GPGPU的交流通道，CPU通过PCI-E与GPGPU进行通信，将程序中的内核函数加载到GPGPU的计算单元阵列（SM/CU）和内部的计算单元(SP/PE)上执行。典型的GPGPU架构及可编程多处理器的组成如图3-2所示。SM/CU构成
AHAHAya_·2024-01-08 09:27

通用图形处理器设计——GPGPU编程模型与架构原理（三）

第3章GPGPU控制核心架构3.4线程束调度调度可针对吞吐率最大化，响应时间最小化，最低延迟或最大化公平进行设计。3.4.1线程束并行、调度与发射线程块被分配给一个可编程多处理器后，GPGPU会根据线程编号，将若干相邻线程组成线程束，按照锁步方式执行，所有线程进度一致，一个线程束共用一个PC，多个线程等价于多个向量操作，其向量宽度也就是线程束大小。可编程多处理器执行时可达到的线程并行度是由线程块、
AHAHAya_·2024-01-08 09:27

通用图形处理器设计——GPGPU编程模型与架构原理（一）

第1章GPGPU概述GPGPU（GeneralPurposeGraphicsProcessingUnit,通用图形处理器）：由GPU逐渐发展成为并行计算加速的通用图形处理器；能够很好地适应当今并行计算的需求，已经成为深度学习训练和推理任务最重要的计算平台。并行计算机：一些处理单元的集合，通过通信和协作快速解决一个大的问题。处理单元：具有指令处理和计算能力的逻辑电路。（处理器核心，处理器芯片或整个计
AHAHAya_·2024-01-08 09:57

通用图形处理器设计——GPGPU编程模型与架构原理（四）

第4章GPGPU存储架构4.1GPGPU存储系统概述4.1.1GPU的层次存储4.1.2GPGPU的存储层次4.2寄存器文件4.2.1并行多板块结构为了减小GPGPU寄存器文件的面积并维持较高的操作数访问带宽，GPGPU的寄存器文件往往会采用包含多个板块的单端口SRAM来模拟多端口的访问。多板块组织的寄存器文件基本结构如图4-3所示，其中数据存储部分由四个单端口的逻辑块组成。逻辑板块采用一个对等的
AHAHAya_·2024-01-08 09:56

Word2Vec

word2Vecspark描述:Word2Vec是一个Estimator(评估器),它采用表示文档的单词序列,并训练一个Word2VecModel,该模型将每个单词映射到一个唯一的固定大小向量.Word2VecModel
鬼古神月·2024-01-08 09:27

olap/spark-tungsten：codegen

因为clickhouse没有codegen，这节课就拿我比较熟悉的spark的tungsten来当例子，tungsten会g
SakamataZ·2024-01-08 07:28

2024 .1.7 Day05_Spark_HomeWork； Spark_SQL

目录1.简述SparkSQL与HIVE的对比2.SparkSQL是什么?3.代码题需求1直接基于DataFrame来处理，完成SparkSQL版的WordCount词频统计。
白白的wj·2024-01-08 07:24

Spark基础二

一.Spark入门案例总结1.读取文件:textFile(path):读取外部数据源,支持本地文件系统和hdfs文件系统.2.将结果数据输出文件上:saveAsTextFile(path):将数据输出到外部存储系统
MSJ3917·2024-01-08 07:52

Spark Core基础知识

一.RDD的基本介绍1.什么是RDDRDD:英文全称ResilientDistributedDataset,叫做弹性分布式数据集,是Spark中最基本的数据抽象,代表一个不可变,可分区,里面的元素可并行计算的集合
MSJ3917·2024-01-08 07:52

Spark Core进阶知识

小知识:大数据开发人员/数据分析人员,必须要对自己统计的指标结果负责!!!结果数据的核对方式:1-在离线文件中直接ctrl+F搜索关键内容核对(不常用)2-一般原始数据会存放在MySQL/Hive中一份,可以编写和代码逻辑完全一样的SQL来进行核对,可以通过如下方式来提高核对效率(常用):2.1-如果是分区表,挑选几个分区进行核对即可2.2-可以在SQL的where语句中,添加数据过滤条件,例如:
MSJ3917·2024-01-08 07:52

Spark基础知识

一.SPark基本介绍1.Spark是什么?
MSJ3917·2024-01-08 07:21

2024.1.7 Spark SQL , DataFrame

目录一.SparkSQL简介二.SparkSQL与HIVE的异同三.DataFrame1.创建DataFrame2.RDD转换DataFrame四.操作DataFrameSQL方式:DSL方式:一.SparkSQL
白白的wj·2024-01-08 07:17

最新最全ChatGPT角色Prompt预设词教程

使用指南1、可直复制使用2、可以前往已经添加好Prompt预设的AI系统测试使用（可自定义添加使用）https://ai.sparkaigf.com雅思写作考官我希望你假定自己是雅思写作考官，根据雅思评判标准
白云如幻·2024-01-08 03:26

最新ChatGPT网站系统源码+详细搭建部署教程+Midjourney绘画AI绘画

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-01-08 03:51

Spark_算子调优

算子调优一：mapPartitions普通的map算子对RDD中的每一个元素进行操作，而mapPartitions算子对RDD中每一个分区进行操作。如果是普通的map算子，假设一个partition有1万条数据，那么map算子中的function要执行1万次，也就是对每个元素进行操作。图2-3map算子image.png图2-4mapPartitions算子image.png比如，当要把RDD中的
bigdata张凯翔·2024-01-08 02:23

Spark基础内容

Spark基本介绍Spark是什么定义ApacheSpark是用于大规模数据(large-scaladata)处理的统一(unified)分析引擎.Spark与MapReduce对比mapreduce架构图如下
小希 fighting·2024-01-08 02:39

25、Spark核心编程之RDD持久化详解

不使用RDD持久化的问题首先看一段代码JavaRDDlinesRDD=javaSparkContext.textFile("hdfs://hadoop-100:9000/testdate/1.txt")
ZFH__ZJ·2024-01-07 23:21

深入了解 RDD

生成一个只有IP的数据集简单清洗统计IP出现的次数排序，按照IP出现的次数编写代码拷贝数据集创建代码文件数据集已上传【access_log_sample.rar】codepackagecn.itcast.spark.rddimportorg.apa
我像影子一样·2024-01-07 23:51

RDD入门——RDD 代码

创建RDD程序入口SparkContextvalconf=newSparkConf().setMaster("local[2]").setAppName(spark_context")valsc:SparkContext
我像影子一样·2024-01-07 23:50

Hive元数据迁移及升级方案

之上的数仓，便于用户可以基于SQL（HiveQL）进行数据分析，其架构图如下:从上图可知，Hive主要用来将建立结构化数据库和后端分布式结构化文件的映射，以及把SQL语句转换为MapReduce（tez或spark
云原生大数据·2024-01-07 22:49

开源SparkShop小程序商城系统源码 /支持多端+分销功能 /可商用/小程序系统源码

源码介绍：SparkShop（星火商城）是一个基于ThinkPHP6+ElementUI的开源免费高性能商城系统，可用于商业用途。
sqll567·2024-01-07 19:00

网络安全笔记

网络安全学习笔记（杂记）基础知识点url大小写判断windows（不敏感）和linux（敏感）服务器bugscanner.com、云悉等cms识别awvs,nessus,appscan,netsparker
夜雨清城丶·2024-01-07 19:09

惊心动魄的Hadoop-6小时350T数据恢复

上周五在调试Spark数据的时候发现了一个问题，就是一直显示Nolease的问题，我们的实时处理程序升级之后，处理的数据量在一个小时内暴增1T。
胖琪的升级之路·2024-01-07 17:17

Spark Web UI详解

sparkWebUI的各tab页分别进行介绍：Jobs在提交spark任务运行后，日志中会输出trackingURL即任务的日志链接。在浏览器中打开trackingURL后，默认进入Jobs页。
达微·2024-01-07 14:18

学习笔记-日志采集和实时分析简单实例

一个出口直接写到ElasticSearch，提供Kibana进行日志分析可视化处理；一个出口直接写到HDFS,提供后期离线统计分析处理；一个出口写入Kafka中，提供SparkStreaming进行近实时日志统计分析处理
人生偌只如初见·2024-01-07 13:27

linux下spark的python编辑_如何在Linux下构建Spark Python编程环境

火花编程环境Spark可以独立安装或与Hadoop一起使用.在安装Spark之前linux的python编程环境，首先请确保您的计算机上已安装Java8或更高版本.火花安装访问Spark下载页面，然后选择最新版本的
weixin_39543478·2024-01-07 13:10

linux下spark的python编辑_Linux下搭建Spark 的 Python 编程环境的方法

Spark编程环境Spark可以独立安装使用，也可以和Hadoop一起安装使用。在安装Spark之前，首先确保你的电脑上已经安装了Java8或者更高的版本。
weixin_39752800·2024-01-07 13:10

pycharm连接linux上的编译器,PyCharm 远程连接linux中Python 运行pyspark(示例代码)

PySparkinPyCharmonaremoteserver1、确保remote端Python、spark安装正确2、remote端安装、设置vi/etc/profile添加一行：PYTHONPATH
小宏i·2024-01-07 13:10
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他