大数据面试-Scala

Spark SQL 中org.apache.spark.sql.functions归纳

SparkSQL中org.apache.spark.sql.functions归纳注意，这里使用的是scala2.12.12，spark版本是最新的3.0.1版本1.Sortfunctions/***Returnsasortexpressionbasedonascendingorderofthecolumn
闻香识代码·2024-02-01 09:13

Scala的JDBC操作

scala对JDBC的操作与Java的类似，这里以连接mysql为例如果新建的的maven项目，直接在xml文件中配置以下代码即可，版本号可根据自己的mysql版本调整mysqlmysql-connector-java5.1.38
简单不过l·2024-01-31 19:38

window环境下安装spark

0环境先给出安装好后的各个软件版本:win1064bitjava1.8.0scala2.12.8
FTDdata·2024-01-31 17:06

Scala核心编程 第一章—Scala语言概述

一、Scala语言解释1.什么是Scala语言Spark—新一代内存级大数据计算框架，是大数据的重要内容。Spark就是使用Scala编写的。因此为了更好的学习Spark,需要掌握Scala这门语言。
我是星星我会发光i·2024-01-31 15:47

Scala代码规范

原文链接https://github.com/databricks/scala-style-guide
Lonely_Acmen·2024-01-31 14:27

100天自学大数据：我用Scala复习学统计基础公式

适合人群已经忘记统计学基础的Scala刚刚入门的通过对统计学入门公式的实践编程，你可以对Scala做到入门，其他语言也类似！
金哥数据分析·2024-01-31 11:00

CVE-2020-17518 flink任意文件上传漏洞复现

漏洞描述ApacheFlink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。
亚瑞塔斯·D·紫耀·2024-01-31 10:53

Apache Flink -任意文件写入漏洞复现（CVE-2020-17518）

1、产品简介ApacheFlink是高效和分布式的通用数据处理平台，由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎（简单来说，就是跟spark类似）
OidBoy_G·2024-01-31 10:52

史上最全HBase面试题，高薪必备，架构必备

说在前面本文《尼恩大数据面试宝典》是《尼恩Java面试宝典》姊妹篇。
40岁资深老架构师尼恩·2024-01-31 09:09

史上最全Flink面试题，高薪必备，大数据面试宝典

说在前面本文《尼恩大数据面试宝典》是《尼恩Java面试宝典》姊妹篇。
40岁资深老架构师尼恩·2024-01-31 09:08

java进阶

1.大数据史上最全Flink面试题，高薪必备，大数据面试宝典史上最全Hadoop面试题：尼恩大数据面试宝典专题1史上最全HBase面试题，高薪必备，架构必备史上最全Hive面试题，高薪必备，架构必备绝密
don't_know·2024-01-31 09:44

关于 IntelliJ IDEA 中 Schedule for Addition 的问题

此外，它还支持Kotlin、Groovy、Scala和Android开发等多种语言和框架。
Roseann YAN·2024-01-31 08:50

【架构论文】SCALE: Secure and Scalable Cache Partitioning（2023 HOST）

SCALE:SecureandScalableCachePartitioning摘要LLC可以提高性能，但是会引入安全漏洞，缓存分配的可预测变化可以充当侧信道，提出了一种安全的缓存分配策略，保护缓存免受基于时间的侧信道攻击
Destiny·2024-01-31 08:36

Spark RDD（弹性分布式数据集）

RDD是通过Hadoop文件系统（HDFS）中文件或者驱动程序中现有的Scala集合开始，然后对其进行转换来创建的。1.2RDD特性*-Alisto
JOEL-T99·2024-01-30 15:15

初识 RDD 弹性分布式数据集(Resilient Distributed Datasets)

可以让用户显式地将数据存储到磁盘和内存中,并能控制数据的分区.同时,RDD还提供了一组丰富的操作来操作这些数据.在这些操作中,诸如map,flatMap,filter等转换操作实现了Monad模式,很好地契合了Scala
腹黑客·2024-01-30 15:42

flink sql 语法校验

flinksql语法校验说明：apacheflink源码的校验方式1新增依赖包org.apache.flinkflink-table-planner-blink_${scala.binary.version
老鼠扛刀满街找猫@·2024-01-30 10:20

数据写入HBase（scala）

packagesourceimportorg.apache.hadoop.hbase.{HBaseConfiguration,TableName}importorg.apache.hadoop.hbase.client.{ConnectionFactory,Put}importorg.apache.hadoop.hbase.util.Bytesobjectffff{defmain(args:Arr
莫噶·2024-01-30 07:51

Scala入门01

Spark入门1.入门spark采用Scala语言开发Spark是用来计算的Scala掌握：特性，基本操作，集合操作，函数，模式匹配，trait，样例类，actor等内容。
chde2Wang·2024-01-30 07:48

Spark入门02-Spark开发环境配置（idea环境）

archive.apache.org/dist/spark/spark-2.1.2/https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.3.4/2、新建Scala
chde2Wang·2024-01-30 07:41

php使用雪花算法

雪花算法的由来：一：Twitter使用scala语言开源了一种分布式id生成算法——SnowFlake算法，被翻译成了雪花算法。
haijingjituan·2024-01-30 03:06

你们还在用 Scala元组Tuple234..? Outer啦

为什么这么说呢，难道我自己多年使用的方式错了嘛，是的，你没错，我错了，哈哈，主要原因是使用Tuple的时候容易搞错对象，Tuple2的时候还知道第一个参数跟第二个参数的意思，后面多来个几参数你会记得_1._2._3._4代表的意思是什么吗?代码结构也不好维护，所以请结束使用Tuple吧请开始你的表演正常使用Tuplevallist=Array((1,2,3,4),(5,6,7,8))list.fi
kikiki2·2024-01-29 18:37

spark快速入门java_Spark 快速入门

首先我们介绍了通过Spark交互式shell调用API(Python或者scala代码)，然后演示如何使用Java,Scala或者Python编写独立程序。你可以查看Spark编程指南了解完整的参考。
陈兰香·2024-01-29 11:54

Spark入门01

可以计算：结构化、非结构化，半结构化的数据结构，支持使用Python，Java，Scala、Sql语言开发应用程序计算数据。
chde2Wang·2024-01-29 11:53

“敏态业务”新说

是较新流行的关于传统业务互联网化的描述，而其背后主要想表达的意思大多被理解为业务可随时无感扩缩，以适应在时间和空间两个维度上都无处不在的、碎片化的、精细化的新一代业务数字化转型的要求，而在技术上也大多被映射为微服务化的应用与ScalableSQL
何小朝·2024-01-29 10:15

OpenCV 4 - 图像操作

1读写像素1-1读写单通道像素读一个GRAY像素点的像素值(CV_8UC1)方法一:Scalarintensity=img.at(y,x);方法二:Scalarintensity=img.at(Point
江凡心·2024-01-29 09:42

clang-format

https://www.cnblogs.com/tudou/p/13322854.html代码格式化YAML:1:4:error:Gotemptyplainscalar.clang-format文件的编码格式必须是
三皮仔·2024-01-28 22:29

spark 内核源码剖析七：Work工作原理

image.pngWorker.scalacaseLaunchDriver(driverId,driverDesc)=>{logInfo(s"Askedtolaunchdriver$driverId")
雪飘千里·2024-01-28 18:08

【深度学习实验】TensorBoard使用教程【SCALARS、IMAGES、TIME SERIES】

、环境二、TensorBoard1.使用TensorBoardXa.安装TensorBoardXb.使用示例2.PyTorch内置的TensorBoard3.启动TensorBoard服务三、实战1.SCALARS
QomolangmaH·2024-01-28 11:16

黑猴子的家：Scala 递归函数

deffactorial(n:Int):Int={if(n==0)1elsen*factorial(n-1)}//3的阶乘println(factorial(3))递归函数在使用时必须有明确的返回值类型尖叫提示：（1）Scala
黑猴子的家·2024-01-28 09:28

Spark——Spark SQL逻辑计划（Logical Plan）、物理计划（Physical Plan）和Catalyst优化器（Catalyst Optimizer）

Catalyst是一个基于Scala的函数式编程结构设计的可扩展优
Southwest-·2024-01-28 08:18

hive面试题总结（大数据面试）

Hive概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。Hive提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。1、Hive自定义函数函数UDF一进一出处理原文件内容某些字段包含[]“”UDAF
404个问号·2024-01-28 07:02

jupyter notebook的安装及插件推荐

jupyternotebook从python语言开始，陆续支持了Java、C、R、JavaScript、Kotlin、Scala甚至是Mathematica
优码·2024-01-28 06:46

pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction

文章目录前置知识1）几种常见的伪影2）small-baseline与large-baseline3）Epipolarline正文1）引言2）相关工作3）Background:3DGaussianSplatting4）Image-conditioned3DGaussianInference5）实验部分Paper:链接Code:https://github.com/dcharatan/pixelspl
Iron_lyk·2024-01-28 06:08

Scala 简明速学03 集合 Array和ArrayBuffer

Scala简明速学03集合Array和ArrayBufferArrayScala中Array代表长度不可变的数组。Array的初始化数组初始化时，长度就固定了，其元素同时进行初始化，分配内存空间。
volkin·2024-01-28 06:44

Apache Spark架构与特点

它可以处理批量数据和流式数据，并提供了一个易用的编程模型，使得开发人员可以使用Scala、Java、Python等编程语言来编写程序。
OpenChat·2024-01-27 23:35

FPN结构

在FasterR-CNN中就用到FPN结构了，FPN结构对网络的好处在于：针对目标检测任务，cocoAP(IoU从0.5~0.95的均值)提升2.3个点，pascalAP提升3.8个点。
酸酸甜甜我最爱·2024-01-27 21:42

【Scala-spark.mlib】分布式矩阵——分布式计算的基石与利器

分布式矩阵1.mlib.linalg.distributed包2.DistributedMatrix特质3.BlockMatrix类4.CoordinateMatrix类5.IndexedRowMatrix类6.RowMatrix类7.小结1.mlib.linalg.distributed包  矩阵计算是很多科学计算的重要步骤，而分布式矩阵存储则是分布式计算的基础。根据不同的计算需求，需要将用于计
JimmyShis·2024-01-27 10:12

2021-03-07

==>分布式应用程序协调服务·Flume=====>日志收集系统·Hive=====>基于Hadoop的数仓工具·HBase=====>分布式、面向列的开源数据库·Sqoop=====>数据传递工具·Scala
残月冷无声·2024-01-27 10:39

神经网络进一步学习

表示神经网络层数，表示该层的神经元个数，将神经网络的分类定义为两种情况：二类分类和多类分类二类分类：K类分类：，表示分到第i类回顾逻辑回归问题中我们的代价函数为：在逻辑回归中我们只有一个输出变量，又称标量（scalar
时间邮递员·2024-01-27 07:21

java scala maven 混合打包插件

org.apache.maven.pluginsmaven-compiler-plugin3.5.11.81.8UTF-8compilecompilenet.alchim31.mavenscala-maven-plugin3.2.1scala-compile-firstprocess-resourcesadd-sourcecompile-target
jiayeliDoCn·2024-01-27 07:47

Ukraine crisis:Macron says crucial says ahead after Putin summit

BBC(Europe)FrenchPresidentEmmanuelMacronhassaidthecomingdayswillbecrucialtode-escalatingtheUkrainestandoff
vivian_dda9·2024-01-27 03:19

java lamdba表达式详解20200301

1.lamdba表达式概述lamdba表达式是基于函数式编程思想，在jdk8中出现的新特性，与面向对象及面向函数编程的scala语言来说，可以说只是其中一部分。
四月一对鸟·2024-01-26 22:02

【大数据面试题】HBase面试题附答案

目录1.介绍下HBase2.HBase优缺点3.介绍下的HBase的架构4.HBase的读写缓存5.在删除HBase中的一个数据的时候，它是立马就把数据删除掉了吗?6.HBase中的二级索引7.HBase的RegionServer宕机以后怎么恢复的?8.HBase的一个region由哪些东西组成?9.HBase高可用怎么实现的?10.为什么HBase适合写多读少业务?11.列式数据库的适用场景和优
话数Science·2024-01-26 19:42

性能优化-高通的Hexagon DSP和NPU

目录一、前言二、HighLevel三、Frontend四、FetchandDecode五、Scalar
发狂的小花·2024-01-26 18:26

自然语言NLP学习

2-7门控循环单元（GRU）_哔哩哔哩_bilibiliGRULSTM双向RNNCNN卷积神经网络输入层转化为向量表示dropoutppl标量在物理学和数学中，标量（Scalar）是一个只有大小、没有方向的量
wangqiaowq·2024-01-26 18:12

部署webrtc开源工程owt

Keyfeatures:Distributed,scalable,and
草根大哥·2024-01-26 16:32

Spring Cloud Stream 整合MQ 完整版

1、SpringCloudStream概述官方表述是：SpringCloudStreamisaframeworkforbuildinghighlyscalableevent-drivenmicroservicesconnectedwithsharedmessagingsystems
HLucas·2024-01-26 15:03

LLM-大模型训练-常见错误：RuntimeError: expected scalar type Half but found Float

RuntimeError:expectedscalartypeHalfbutfoundFloat原因一Peft版本不兼容，尝试使用不同版本的Peft原因二1.问题描述  使用GPUV100(32GB)对
u013250861·2024-01-26 11:52

解决ChatGML启动报错：RuntimeError: expected scalar type Half but found Float

1、编辑web_demo2.py文件2、在原始命令加上.half()原始命令：model=AutoModel.from_pretrained("/app/model/chatglm2-6b",trust_remote_code=True).half().cuda()改为：model=AutoModel.from_pretrained("/app/model/chatglm2-6b",trust_r
Levi_·2024-01-26 11:46

大模型微调报错：RuntimeError: expected scalar type Half but found Float

微调chatglm报错RuntimeError:expectedscalartypeHalfbutfoundFloat1.背景博主显卡：3090最初的设置：bfloat16开始训练后，线性层报错2.解决
N1cez·2024-01-26 11:14
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他