【Scala】

1.Apache Flink 1.12.0 wordcount

ApacheFlinkwordcountjava案例，scala案例，python案例版本操作系统：win10JDK：1.8Scala：2.11Python：3.7.4Flink：1.12.0一、BatchJob
终回首·2023-11-19 14:17

scala(五) 函数式编程

对象：用户；行为：登录、连接jdbc、读取数据库属性：用户名、密码Scala语言是一个完全面向对象编程语言。
万事万物·2023-11-19 12:59

Java 与 Scala 使用Maven混合编译打包

在SpringBoot上使用spark的时候会遇到的混合编译问题，在java代码中打包会找不到scala定义的包，即可参考使用如下配置。
kikiki4·2023-11-19 12:16

生成对抗网络Generative Adversarial Network，GAN

Discriminator（判别器）Discriminator也是一个neuralnetwork，它的输入是一张图片，输出是一个scalar，sc
keep--learning·2023-11-19 09:22

一文详解Python Conda包管理工具

；可操作repo.anaconda.com上7,500+packages；非常简单的完成不同环境的构建、保存、加载及切换；支持语言【本文只介绍对python操作】：Python、R、Ruby、Lua、Scala
小詹学 Python·2023-11-19 05:40

你们还在用 Scala元组Tuple234..? Outer啦

为什么这么说呢，难道我自己多年使用的方式错了嘛，是的，你没错，我错了，哈哈，主要原因是使用Tuple的时候容易搞错对象，Tuple2的时候还知道第一个参数跟第二个参数的意思，后面多来个几参数你会记得_1._2._3._4代表的意思是什么吗?代码结构也不好维护，所以请结束使用Tuple吧请开始你的表演正常使用Tuplevallist=Array((1,2,3,4),(5,6,7,8))list.fi
kikiki2·2023-11-19 01:01

Spark作业串行与并行提交job

在Scala中，您可以以串行和并行的方式提交Spark作业。看看如何使用for和par.foreach构造对应的例子。
Mint6·2023-11-18 23:48

Spark（第五节） RDD、DataFrame、DataSet的介绍与比较，创建DataFrame和DataSet，三者之间互相转换，scala代码创建和使用DataFram

目录RDD、DataFrame、DataSet的介绍与比较概述RDD基本介绍Dataframe基本概述Dataset基本概述三者的共性三者的区别创建DataFrame读取文本文件创建DataFrame第一种方式：通过RDD配合caseclass进行转换DF第二种方式：通过sparkSession构建DataFrame读取json文件创建DataFrame读取parquet列式存储格式文件创建Dat
hwq317622817·2023-11-18 21:43

SpringBoot-整合Kafka

KafkaKafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。
「已注销」·2023-11-18 20:07

kafka_2.12-3.1.0集群安装配置（zookeeper-3.6.3）

kafka_2.12-3.1.0安装环境CentOS版本：7.9Hadoop集群版本：hadoop-2.10.1zookeeper集群版本：zookeeper-3.6.3jdk版本：jdk1.8.0_261scala
Sofia_yaya·2023-11-18 20:52

分布式系统架构设计原则和理论 --AKF 架构原则

这15个架构原则来自《架构即未来(TheArtofScalability)》[附录2]一书，作者马丁L.阿伯特和迈克尔T.费舍尔分别是eBay和PayPal的前CTO，他们经历过eBay和PayPal大规模分布式电商平台的架构演进
架构老兵·2023-11-18 18:54

数据处理生产环境_Spark根据给定的轨迹编号生成随机16进制颜色

_importscala.util.hashing.MurmurHash3objectrandomV2{defmain(args:Array[String]):Unit=
Matrix70·2023-11-17 15:56

运行示例sparkPi计算圆周率（1.1）

1启动spark(1)启动hadoop启动成功master节点进程：Slave节点进程：(2)启动spark（注意路径）启动成功：Slave1和slave2的进程如下：2将sparkPi.scala添加进工程
探索者tl·2023-11-17 14:04

Scala | Spark性能优化 | 资源调优 | 代码调优 | 数据本地化 | 内存调优 | Spark Shuffle调优 | 数据倾斜 | Spark故障解决

文章目录一、资源调优二、并行度调优三、代码调优1.避免创建重复的RDD2.对多次使用的RDD进行持久化3.持久化算子：4.尽量避免使用shuffle类的算子5.使用map-side预聚合的shuffle操作5.尽量使用高性能的算子6.使用广播变量7.使用Kryo优化序列化性能8.优化数据结构9.使用高性能的库fastutil四、数据本地化1.数据本地化的级别2.Spark数据本地化调优五、内存调优
幼稚的人呐·2023-11-17 10:04

Scala---元组

1、元组定义与列表一样，与列表不同的是元组可以包含不同类型的元素。元组的值是通过将单个的值包含在圆括号中构成的。2、创建元组与取值valtuple=newTuple（1）可以使用newvaltuple2=Tuple（1,2）可以不使用new，也可以直接写成valtuple3=（1,2,3）取值用”._XX”可以获取元组中的值注意：tuple最多支持22个参数1.//创建，最多支持22个2.valt
30岁老阿姨·2023-11-17 09:11

Scala---模式匹配+偏函数

模式匹配1、概念理解：Scala提供了强大的模式匹配机制，应用也非常广泛。一个模式匹配包含了一系列备选项，每个都开始于关键字case。每个备选项都包含了一个模式及一到多个表达式。
30岁老阿姨·2023-11-17 09:11

Scala---样例类+隐式转换

样例类(caseclasses)1、概念理解使用了case关键字的类定义就是样例类(caseclasses)，样例类是种特殊的类。实现了类构造参数的getter方法（构造参数默认被声明为val），当构造参数是声明为var类型的，它将帮你实现setter和getter方法。样例类默认帮你实现了toString,equals，copy和hashCode等方法。样例类可以new,也可以不用new2、例子
30岁老阿姨·2023-11-17 09:11

Scala-满足spark的学习需求

Scala变量和数据类型注释和java一样变量和常量varname:String="jx"//变量valname:String="jx"//常量因为scala函数式编程的要素，所以能用常量就不要用变量声明变量时
健鑫.·2023-11-17 09:10

Scala----主构造 辅助构造 单例对象 apply 继承和实现特质 case calss和case object 模式匹配 OptionSomeNone

主构造器packagecn.doit.com.day03.demo2//跟在类名的后面,跟类交织在一起,叫主造器 主构造会执行类定义中的所有语句//用val和var修饰的构造器参数,会成为这个类的成员变量默认val修饰会成为类的成员变量classStudent(valname:String,varage:Int){ vali=100 //代码块 {  try{   println("hiketty
T D Z·2023-11-17 09:10

Scala学习

思维导图学习目标1.能够安装上scala必备的开发工具IDEA2.了解学习scala的必要性3.了解函数式编程的特点4.掌握scala编程基础Scala介绍Scala是一种针对JVM将面向函数和面向对象技术组合在一起的编程语言
几窗花鸢·2023-11-17 09:09

★ Scala ★——Trait特质大全细则

特点1.3对象混入trait使用trait实现适配器模式1.1设计模式简介使用trait实现模板方法模式1.1概述使用trait实现职责链模式trait的构造机制构造机制规则trait继承class★Scala
唐樽·2023-11-17 09:38

【Scala-spark.mlib】稠密矩阵和稀疏矩阵的创建及操作

mlib中的稠密矩阵和稀疏矩阵1.矩阵 1.1.mlib中的矩阵特质（Matrix） 1.1.Matrix定义的基本方法2.稠密矩阵 1.1.mlib中的稠密矩阵（DenseMatrix）  1.1.1.Matrices类中的稠密矩阵构造 1.2.DenseMatrix相关方法  1.2.1.构造方法  1.2.2.成员方法3.稀疏矩阵 2.1.mlib中的稀疏矩阵（SparseMatrix）  
JimmyShis·2023-11-17 09:08

Scala集合 - 继承层次

Scala集合库分为以下3类：不可变和可变集合；及时和延迟计算；线性和并行计算集合库继承层次集合继承层次从TraversableOnce特质开始，这个特质对Traversable和Iterator进行抽象
JAYL_·2023-11-17 09:07

SCALA 集合框架文档翻译-Trait Iterable

Iterable特质在SCALA集合层级中顶端特质Traversable的下一个特质是Iterable。
libing_thinking·2023-11-17 09:37

Scala学习笔记-基础篇

Scala学习笔记1、语法1.变量与常量2.标识符3.字符串4.控制台标准输入2、数据类型1.概览2.基本数据类型3.自动类型转换4.强制类型转换-原码、反码、补码3.运算符1.算数运算符2.关系运算符
# 无伤大雅 #·2023-11-17 09:34

01.Scala编程基础 ---没看

Scala编程1.课程目标21.1.目标1：(初级)熟练使用scala编写Spark程序21.2.目标2：(中级)动手编写一个简易Spark通信框架31.3.目标3：(高级)为阅读Spark内核源码做准备
okbin1991·2023-11-17 09:32

尚硅谷Scala （10-11）

十、数据结构(上)-集合10.1数据结构特点10.1.1scala集合基本介绍uml=>统一建模语言1)Scala同时支持不可变集合和可变集合，不可变集合可以安全的并发访问两个主要的包：不可变集合：scala.collection.immutable
小新学java·2023-11-17 09:58

scala学习从基础到入门-scala介绍-从入门到高级

#day1#scala基础*.名词：*表达式：可计算的语句*常量：val，不能被重新赋值*变量：var，能被重新赋值*代码块*函数：带有参数的表达式*方法：由def定义，后面跟一个方法名、参数列表、返回类型和方法体
lonely玩世不恭·2023-11-17 09:57

Scala-01

scala-------------java语言的脚本化。
janggeumkk·2023-11-17 09:56

scala快速上手(六) Scala 迭代器模式+Trait 特质特性

Scala迭代器模式+Trait特质特性Scala迭代器模式处理数据scala中创建集合需要内存，集合与集合之间的转换时，每次转换生成新的集合时，新的集合也需要内存。
plenilune-望月·2023-11-17 09:25

scala实现迭代器模式

packagecom.linewell.modeldesgin.iteratorimportscala.collection.mutable.ArrayBuffer/***抽象迭代器特质*Createdbyctaoon2015
chenjuexuan·2023-11-17 09:55

Scala-集合类型实践

集合Scala的集合有三大类:序列Seq、集Set、映射Map,所有的集合都扩展自Iterable特质。
魔笛Love·2023-11-17 09:55

Scala-面向对象

面向对象Scala是一个多范式的编程语言（支持多种方式的编程）封装继承多态定义一个学生类classStudent{//定义学生的学号private[this]varstudentID:Int=0;//定义学生的姓名
JP-Destiny·2023-11-17 09:23

Scala---迭代器模式+Trait特质特性

Scala迭代器模式处理数据scala中创建集合需要内存，集合与集合之间的转换时，每次转换生成新的集合时，新的集合也需要内存。
30岁老阿姨·2023-11-17 09:52

MongoDB——基础操作

HighScalability&&HighAvailability-对数据库的高可扩展性和高可用性的需求。而MongoDB可应对“
小王子jvm·2023-11-17 08:08

ansible配置普通用户使用sudo权限

ansible.cfg#ansible批量操作普通用户[default]#remote_user=root（默认）remote_user=zdkx（修改为zdkx用户）#普通用户使用root权限[privilege_escalation
Dison.Hong·2023-11-17 06:33

Python笔记-Pandas的Series对象

index=None,dtype=None,name=None,copy=False,fastpath=False)data，用来创建Series的数组,可以是字典dict，数组ndarray，或者标量scalarindex
AliangYeah·2023-11-17 01:51

scala时间处理-获取今天日期，昨天日期，本周时间，本月时间，时间戳转换日期，时间比较

因为做一个考勤系统，需要用到scala的时间和日期的处理，包括获取今天日期，昨天日期，本周时间，本月时间，时间戳转换日期时间比较计算时间差等，特此总结了一下。
springlustre·2023-11-17 00:46

scala程序打包成可执行jar包(sbt package和sbt assembly)

背景：我构建一个Scala应用程序，用的sbt进行构建的，并且想要生成一个可执行JAR文件，但是我通过“sbtpackage”命令生成一个jar包之后，在通过“java-jarxxx.jar”执行时出现
springlustre·2023-11-17 00:15

main函数的数组参数是干嘛用的

虽然也写过一些java和scala，但是确实没遇到过会用这个参数的情况。网上就查阅了一下资料：首先main函数是在java虚拟机中调用的。使用public是因为java虚拟机不在同一个包内。
后季暖·2023-11-16 23:02

案例+图解带你一文读懂SVG

资料链接案例+图解带你一文读懂SVG（2.6W+字）简介SVG是ScalableVectorGraphics的缩写，意为可缩放矢量图形。
大猫会长·2023-11-16 21:42

kafka安装使用及解惑

kafka安装及解惑一、搜索安装kafka的文章有的需要安装zookeeper有的需要安装scala，为什么，区别在哪（chitGPT回答）？
发疯过后精神多了·2023-11-16 18:07

Flink入门教程

1.简介ApacheFlink是一个开源的分布式流处理框架，旨在提供高效、可扩展、容错的流式数据处理技术，支持实时流处理和批处理，并提供了Java、Scala、Python等语言的API。
zzy979·2023-11-16 18:21

c++ opencv （学习笔记）inRange函数

inRange(hsv,Scalar(hmin,smin,vmin),Scalar(hmax,smax,vmax),mask);inRange函数的用法是将一副彩色图像或者一副单通道图像转换为二值图像。
gg爆（黑化版）·2023-11-16 17:52

爬虫基础之爬虫的基本介绍

一、爬虫概述爬虫又称网络蜘蛛、网络机器人，网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（ScalableWebCrawler）：抓取互联网上所有数据，爬取对象从一些种子URL扩充到整个
会python的小孩·2023-11-16 14:43

spark与scala的对应版本查看

仓库地址https://mvnrepository.com/artifact/org.apache.spark/spark-core总结spark3.0以后，不再支持scala2.11spark3.0以后
Knight_AL·2023-11-16 07:43

Scala---方法与函数

一、Scala方法的定义有参方法&无参方法deffun(a:Int,b:Int):Unit={println(a+b)}fun(1,1)deffun1(a:Int,b:Int)=a+bprintln(fun1
30岁老阿姨·2023-11-16 04:09

Scala---字符串、集合

一、字符串StringStringBuilder可变string操作方法举例比较:equals比较忽略大小写:equalsIgnoreCaseindexOf：如果字符串中有传入的assci码对应的值，返回下标1./**2.*String&&StringBuilder3.*/4.valstr="abcd"5.valstr1="ABCD"6.7.println(str.indexOf(97))8.pr
30岁老阿姨·2023-11-16 04:58

Netty设计思想：详解《Scalable IO in Java》，认识Reactor模式

ScalableIOinJavaDougLea编写的一篇关于JavaNIO以及Reactor模式的经典文章理解该文章可以帮助我们更好的理解Netty网络编程的底层设计&运行思路原文已经上传在线文档：【腾讯文档
保暖大裤衩LeoLee·2023-11-16 04:53

spark 窗口滑动用于在不同的数据块之间执行操作

在Scala中进行分布式执行，例如使用ApacheSpark，可以通过设置窗口滑动来实现不同RDD之间的关联处理。窗口滑动是一种窗口操作，用于在不同的数据块之间执行操作。
BaoZi969·2023-11-16 03:42
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他