大数据技术-spark

Hive on Spark and Spark sql on Hive

结构上HiveOnSpark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。
请叫我小帅哥·2024-01-21 06:14

spark集成hive

1.集成原理说明思考:SparkOnHive的目的:将客户端提交的SQL语句从原来翻译MR变更为翻译为Spark的RDD程序(Spark程序),然后交给Yarn执行那么也就意味着,一旦Spark和HIVE
lijian972·2024-01-21 06:11

sparkSQL sparkSQL整合hive（spark on hive）

sparkSQL整合hivesparkSQL整合hivesparkSQL整合hive步骤示例数据库保存在本地和数据库保存在HDFS应用场景sparkSQL整合hivesparkSQL整合hive，即sparkonhive
爱吃甜食_·2024-01-21 06:39

Spark完全分布式集群下的Hive的安装和配置-安装步骤

Spark完全分布式集群下的Hive的安装和配置-安装步骤：文章目录Spark完全分布式集群下的Hive的安装和配置-安装步骤：2.安装MySQL数据库3.配置MySQL相关5.设置环境变量6.修改hive
Deng872347348·2024-01-21 06:39

【Spark分布式内存计算框架——Spark SQL】14. 分布式SQL引擎

第八章分布式SQL引擎回顾一下，如何使用Hive进行数据分析的，提供哪些方式交互分析？？？方式一：交互式命令行（CLI）bin/hive，编写SQL语句及DDL语句方式二：启动服务HiveServer2（HiveThriftServer2)将Hive当做一个服务启动(类似MySQL数据库，启动一个服务)，端口为100001)、交互式命令行，bin/beeline，CDH版本HIVE建议使用此种方式
csdnGuoYuying·2024-01-21 06:38

Spark On Hive配置测试及分布式SQL ThriftServer配置

文章目录SparkOnHive的原理及配置配置步骤在代码中集成SparkOnHiveSpark分布式SQL执行原理及配置配置步骤在代码中集成SparkJDBCThriftServer总结SparkOnHive
蜜桃上的小叮当·2024-01-21 06:07

一文让你记住Pyspark下DataFrame的7种的Join 效果

最近看到了一片好文，虽然很简单，但是配上的插图可以让人很好的记住Pyspark中的多种Join类型和实际的效果。
独家雨天·2024-01-21 06:04

pyspark之Structured Streaming文件file案例

#generate_file.py#生成数据生成500个文件,每个文件1000条数据#生成数据格式：eventtimenameprovinceaction()时间用户名省份动作)importosimporttimeimportshutilimporttimeFIRST_NAME=['Zhao','Qian','Sun','Li','Zhou','Wu','Zheng','Wang']SECOND_
heiqizero·2024-01-21 06:59

pyspark之Structured Streaming window函数-滚动模式

#file文件使用pyspark之StructuredStreamingfile文件案例1生成文件，以下代码主要探讨window函数使用window三种方式：滚动、滑动、会话，只有windowDuration
heiqizero·2024-01-21 06:59

pyspark之Structured Streaming结果保存到Mysql数据库-socket例子统计(含批次)

frompyspark.sqlimportSparkSession,DataFramefrompyspark.sql.functionsimportexplode,split,lit"""实现将数据保存到
heiqizero·2024-01-21 06:28

Spark面试题

1.sparkcore1.简述hadoop和spark的不同点（为什么spark更快）♥♥♥  shuffle都是需要落盘的，因为在宽依赖中需要将上一个阶段的所有分区数据都准备好，才能进入下一个阶段，那么如果一直将数据放在内存中
韩顺平的小迷弟·2024-01-21 06:53

一文详解pyspark中sql的join

大家好，今天分享一下pyspark中各种sqljoin。数据准备本文以学生和班级为单位进行介绍。学生表有sid（学生id）、sname（学生姓名）、sclass（学生班级id）。
不负长风·2024-01-21 06:23

pyspark之Structured Streaming file文件案例1

#generate_file.py#生成数据生成500个文件,每个文件1000条数据#生成数据格式：eventtimenameprovinceaction()时间用户名省份动作)importosimporttimeimportshutilimporttimeFIRST_NAME=['Zhao','Qian','Sun','Li','Zhou','Wu','Zheng','Wang']SECOND_
heiqizero·2024-01-21 06:23

Spark和Flink的区别?

Flink和Spark都是基于内存计算、支持实时/批处理等多种计算模式的统一框架1,技术理念不同Spark的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单位被切分为一个个批次
写scala的老刘·2024-01-21 06:42

Flutter实现windows应用版本升级功能

可以使用auto_updater库，这个插件允许Flutter桌面应用自动更新自己(基于sparkle和winsparkle)地址如下：https://github.com/leanflutter/auto_updater
落华X·2024-01-21 05:32

淘宝返利机器人是什么原理?返利云机器人的使用方法？

其核心原理在于利用机器学习算法和大数据技术，对电商平
测评君高省·2024-01-21 04:18

一文读懂Delta Lake：大数据时代的数据湖框架新选择！

介绍：DeltaLake是一个开源存储层，为ApacheSpark和大数据工作负载提供了ACID事务能力。这个存储层由Databricks公司推出，并已成为数据湖方案的重要组成部分。
知识分享小能手·2024-01-21 03:56

大数据技术原理及应用课实验1 熟悉常用的Linux操作和Hadoop操作

实验1熟悉常用的Linux操作和Hadoop操作一、实验目的Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续的其他实验奠定基础。二、实验平台（1）操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）；（2）Hadoop版本：3.1.3。三、实验步骤（每个步骤下均需有运行截图）1
Blossom i·2024-01-21 02:21

大数据技术原理及应用课实验2 ：熟悉常用的HDFS操作

实验2熟悉常用的HDFS操作目录实验2熟悉常用的HDFS操作一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：（1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件；（2）从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动
Blossom i·2024-01-21 02:21

大数据技术原理及应用课实验5 :MapReduce初级编程实践

目录一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现文件合并和去重操作（二）编写程序实现对输入文件的排序（三）对给定的表格进行信息挖掘四、实验总结五、优化及改进（选做）实验5MapReduce初级编程实践一、实验目的1.通过实验掌握基本的MapReduce编程方法；2.掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。二、实验平台
Blossom i·2024-01-21 02:20

111.Parquet表的使用

Avro,Thrift,ProtocolBuffers,POJOs查询引擎:Hive,Impala,Pig,Presto,Drill,Tajo,HAWQ,IBMBigSQL计算框架:MapReduce,Spark
大勇任卷舒·2024-01-21 02:33

通过WordCount解析Spark RDD内部源码机制

我们通过SparkWordCount动手实践，编写单词计数代码；在wordcount.scala的基础上，从数据流动的视角深入分析SparkRDD的数据处理过程。
联旺·2024-01-21 01:54

【JAVA】AI医疗导诊系统源码

智能导诊系统是一种基于人工智能和大数据技术开发的医疗辅助软件，它能够通过对患者的症状、病史等信息进行计算分析，快速推荐科室和医生。
源码技术栈·2024-01-21 00:11

spark on Yarn 动态资源分配

配置文件：spark.default.parallelism=40#spark.executor.memory=1536m#spark.executor.memoryOverhead=512m#spark.driver.cores
金刚_30bf·2024-01-20 23:09

Spark读取kafka（流式和批数据）

spark读取kafka（批数据处理）#按照偏移量读取kafka数据frompyspark.sqlimportSparkSessionss=SparkSession.builder.getOrCreate
中长跑路上crush·2024-01-20 23:55

Spark流式读取文件数据

流式读取文件数据frompyspark.sqlimportSparkSessionss=SparkSession.builder.getOrCreate()#todo注意1：流式读取目录下的文件--》一定一定要是目录
中长跑路上crush·2024-01-20 23:25

Spark Streaming通过receiver方式消费kafka数据时数据积压问题

1.问题在通过receiver方式接受kafka消息时，发现有大量消息在队列中阻塞最终导致spark任务执行失败。
sinat_36710456·2024-01-20 22:23

Spark(一): 基本架构及原理

前言:目标：架构及生态：Spark与hadoop:运行流程及特点：常用术语:Spark运行模式：RDD运行流程：前言:ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009
贝賏赑钡·2024-01-20 22:46

大数据导论（3）---大数据技术

文章目录1.大数据技术概述2.数据采集与预处理2.1数据采集2.2预处理3.数据存储和管理3.1分布式基础架构Hadoop3.2分布式文件系统HDFS3.3分布式数据库HBase3.4非关系型数据库NoSQL4
冒冒菜菜·2024-01-20 21:28

在线招聘江湖：老、中、新三代平台对垒

翻开互联网招聘行业历史，PC时代51job、智联招聘等招聘网站将招聘信息从线下搬到线上；移动互联网时代BOSS直聘、拉勾等招聘平台善用大数据技术提高匹配的精准度；直播时代快打工改变了传统招聘的方式，以更直观的直播形式提高招聘效率
玄学范畴·2024-01-20 19:10

PDF如何裁剪页面，PDF裁剪页面的小技巧

使用工具：旋风PDF编辑器下载地址：http://www.679sparkle.com/pdfeditor操作方法：1：先打开旋风PDF编辑器，点击打开文件按钮打开需要编辑的PDF文件。2：在菜单
六号_db7a·2024-01-20 18:09

11.Join的MapReduce实现

Join在MapReduce中的实现一、概述tips:Hive:MapReduce/Spark巧用explain查看语法树常见的面试题:描述如何使用MapReduce来实现join功能：考察点MapReduce
哈哈大圣·2024-01-20 18:40

【NPL】自然语言处理（Natural Language Processing，NLP）的发展简述

目录背景发展线路研发关键词背景随着深度学习和大数据技术的进步，自然语言处理取得了显著的进步。
全栈小5·2024-01-20 17:09

大数据技术之Hadoop伪分布式安装步骤及结果（Ubuntu）

一、实验内容与要求1、下载安装虚拟机软件；下载Ubuntu镜像文件，安装Ubuntu虚拟机；2、在Ubuntu系统中创建用户、更新APT、安装SSH并配置SSH无密码登录、安装Java环境、配置PATH环境变量；3、下载Hadoop并解压；4、修改配置文件；5、名称节点格式化；6、启动Hadoop，JPS查看是否启动成功；7、运行测试例子；8、在安装好的Hadoop伪分布式环境中操作HDFS命令；
小嘤嘤怪学·2024-01-20 16:52

Spark在降本增效中的一些思考

背景在大环境不好的情况下,本司也开始了“降本增效”，本文探讨一下，在这种背景下Spark怎么做的降本增效。
鸿乃江边鸟·2024-01-20 14:25

hive 运行报错

Error:Errorwhilecompilingstatement:FAILED:UDFArgumentTypeExceptionExactlyoneargumentisexpected.近期用spark
圆周率的后六位·2024-01-20 12:35

程序员必备的面试技巧——大数据工程师面试必备技能

目录前言一、不同工程师的职责和技能要求1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师4、大数据前端开发工程师二、大数据技术架构图三、大数据相关的技术内容四、大数据面试经验1、大数据开发岗位
Francek Chen·2024-01-20 11:22

设计模式——管道模式（并发模式）

在分布式处理领域，由于管道模式是数据驱动，而目前流行的Spark分布式处理平台也是数据驱动的，两者非常合拍，于是在spar
码上得天下·2024-01-20 11:52

spark的jdbc接口，类似于hiveserver2

https://spark.apache.org/docs/2.4.0/sql-distributed-sql-engine.html#running-the-thrift-jdbcodbc-serverSparkSQL
zdkdchao·2024-01-20 10:53

Kylin安装学习教程

Kylin安装学习教程Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL接口及多维分析（OLAP）能力以支持大数据分析，最初由eBayInc.开发并贡献到开源社区。
Luo_Yang111·2024-01-20 09:28

spark连接操作

将有键的数据与另一组有键的数据一起使用是对键值对数据执行的最有用的操作之一。连接数据可能是PairRDD最常用的操作之一。连接的方式多种多样：右外连接，左外连接、交叉连接以及内连接普通的join操作符表示是内连接。只有在两个键值对中都存在的键才叫输出。
追赶的程序猿·2024-01-20 09:45

Data Bricks Delta Lake 入门

DeltaLake是一个开源存储层，它将关系数据库语义添加到基于Spark的数据湖处理中。
AI普惠大师·2024-01-20 07:03

Spark从入门到精通30:Spark SQL：核心源码深度剖析

在前面一节我们讲解了SparkSQL的工作原理，接下来在这一节，我们对SparkSQL工作原理进一步地深入和加强，这一节主要讲解SparkSQL核心源码导读和剖析首先，我们看SQLContext.scala
勇于自信·2024-01-20 07:57

【Spark】Spark 容错及 HA--Master 异常

一、Master配置recoveryModeMaster作为SparkStandalone模式中的核心，如果Master出现异常，则整个集群的运行情况和资源将无法进行管理，整个集群将处于“群龙无首”的状况
w1992wishes·2024-01-20 05:37

为梦想踏出第一步：入住博客啦

#一.自我介绍大家好呀，我是一名来自湖南的大一学生，就读于一所双非本科院校，专业嘛是数据科学与大数据技术，我是一个对编程一窍不通的小菜鸟，但我这个小菜鸟又对编程有着浓厚的兴趣，也希望自己能在这一领域有所进步
果苏·2024-01-20 05:54

余老师带你学习大数据-Spark快速大数据处理第十章Kafka第八节Kafka-Connect

kafkaKafkaConnect基本概念1、KafkaConnect是Kafka流式计算的一部分，左侧是数据源包括了数据库、hadoop、文本等等，右侧是数据结果包括了文本、hadoop、数据库，中间上层就是KafkaConnect，它里面会有很多的输入，将输入的内容的读取进来转交给Kafka里，也有可能将kafka里的内容拿出来放到我们的外部数据源中。2、KafkaConnect主要用来与其他
weixin_45810046·2024-01-20 03:41

kylin安装学习教程

ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL接口及多维分析（OLAP）能力以支持大数据分析，最初由eBayInc.开发并贡献到开源社区。
打工人何苦为难打工人·2024-01-20 03:07

Kylin安装学习教程

ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据。
终将老去的穷苦程序员·2024-01-20 03:04

CVE-2023-46226 Apache iotdb远程代码执行漏洞

它具有体量轻、性能高、易使用的特点，完美对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。
棱镜七彩·2024-01-20 02:27

【话题】自然语言处理的发展

随着深度学习和大数据技术的进步，自然语言处理取得了显著的进步。人们正在研究如何使计算机更好地理解和生成人类语言，以及如何应用NLP技术改善搜索引擎、语音助手、机器翻译等领域。
RisunJan·2024-01-19 23:39
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他