scala

Java/scala使用内置嵌入式embedded debezium全量和增量同步Mysql binlog数据

目录1.背景2.添加依赖3.同步代码4.同步问题4.1MysqlDatetime类型解析多了8小时1.背景Debezium通常基于Kafka启动一个KafkaConnect服务，之后可以向Debezium提交Mysql、PostgresSQL等connector任务进行同步数据，数据被保存到Kafka中。分布式的KafkaConnect服务能提供容错性和可拓展性但是我们有时不想部署一套Kafka集
Bulut0907·2023-11-15 19:14

Vert.x学习笔记（一） Vert.x 核心包

Vert.x有多种语言的版本，可以用在Java、Kotlin、Scala、Groovy、Ruby等语言上。当然现在讨论的是如何在Java上使用Vert.x。
Msro·2023-11-15 19:02

【Flink Scala】时间语义和Watermark

时间语义和Watermark时间语义Flink中的时间语义EventTime的引入Waterkmark（水位线）基本概念理解案例Watermark的导入自定义生成watermark时间语义Flink中的时间语义在Flink的流式处理中，会涉及到时间的不同概念，如下图所示：EventTime：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Fli
飝鱻.·2023-11-15 14:56

Flink（五）【DataStream 转换算子（上）】

前言这节注定是一个大的章节，我预估一下得两三天，涉及到的一些东西不懂就重新学，比如Lambda表达式，我只知道Scala中很方便，但在Java中有点发怵了；一个接口能不能new来构造对象?
让线程再跑一会·2023-11-15 11:50

Scala_Spark创建DataFrame的几种方式

只做记录，不展示结果：packagespark_dataframeimportorg.apache.spark.sql.SparkSessionimportscala.collection.mutable.ArrayBufferimportorg.apache.spark.sql.Rowimportorg.apache.spark.sql.types.StructTypeimportorg.apa
Gadaite·2023-11-15 09:55

spark创建DataFrame的N种方式

注：本篇介绍基于scala（pyspark选择性参考）一、maven配置基础依赖scala-library（scala基础环境）spark-sql（sparksql执行环境）mysql（要访问mysql
阿民啊·2023-11-15 09:24

Flink-Table API 和 Flink SQL简介 | 新老版本Flink批流处理对比 | 读取文件和Kafka消费数据 | API 和 SQL查询表

github.com/SmallScorpion/flink-tutorial.gitTableAPI和FlinkSQL是什么Flink对批处理和流处理，提供了统一的上层APITableAPI是一套内嵌在Java和Scala
SmallScorpion·2023-11-15 08:46

Learn OpenGL 笔记2.7 - Transformations

2.Scalarvectoroperations（标量向量运算）3.Vectornegation（负）4.Additionandsubtraction（加减）5.normalizing(标准化)就是本身
姜姜的奇妙冒险[Unity游戏前端]·2023-11-15 06:52

sparkSql数据的加载与保存

sparkSQL加载数据1.read加载数据scala>spark.read.csvformatjdbcjsonloadoptionoptionsorcparquetschematabletexttextFile
大梁、·2023-11-15 05:08

SparkSQL 数据的加载和保存

这里的通用指的是使用相同的API，根据不同的参数读取和保存不同格式的数据，SparkSQL默认读取和保存的文件格式为parquet1.加载数据spark.read.load是加载数据的通用方法scala
落花雨时·2023-11-15 05:07

cesium版本之间如何兼容_【JS】cesium与three.js 结合的栗子，结合了一下网友们的栗子，解决了three.js 高版本模型出不来的问题...

废话不多说先上图下面是源代码html>content=”width=device-width,initial-scale=1,maximum-scale=1,minimum-scale=1,user-scalable
赤衿·2023-11-15 04:52

大数据Spark学习笔记—sparkcore

目录Spark概述核心模块Spark编程配置IDEA配置scala环境WordCount案例Spark-Standalone运行环境Local配置步骤集群分工解压文件修改配置启动集群配置历史服务器Spark-Yarn
Int mian[]·2023-11-15 03:12

20210127_spark学习笔记

一、部分理论spark:由Scala语言开发的快速、通用、可扩展的基于内存的大数据分析引擎。在mapreduce上进行了优化，但没mapreduce稳定。
yehaver·2023-11-15 03:42

《spark实战》笔记02--Spark基础概念

来源：《spark实战》讲义[1]Spark生态系统[2]Spark特点先进架构•Spark采用Scala语言编写，底层采用了actormodel的akka作为通讯框架，代码十分简洁高效。
chijinyan·2023-11-15 03:41

Codeforces Round 888 (Div. 3)（A~F） ---Day11

1851A-EscalatorConversations题意：给定n个人的高度h和你自己的高度H，给定一个数m和数字k，求你和某个人的高度差为k的倍数且0>n>>m>>k>>H;inth[n];for(
fzzf592·2023-11-15 03:27

Fetch库代码示例

```scalaimportFetch._importFetch.
华科℡云·2023-11-14 22:51

Spark - scala加载Excel文件

从Excel文件创建一个DataFrameimportorg.apache.spark.sql._valspark:SparkSession=???valdf=spark.read.format("com.crealytics.spark.excel").option("sheetName","Daily")//Required.option("useHeader","true")//Requir
当走的路甚远·2023-11-14 18:22

JDK1.8 新特性（一）【默认方法、静态方法和Lambda表达式】

前言今天学习Java8新特性，主要是之前在学习Scala、JavaFX中遇到一些Lambda表达式，感觉lambda表达式确实很简洁，很有必要学一学，重点是提升逼格，让别人看不懂才是最装的。
让线程再跑一会·2023-11-14 18:17

深入理解Kafka3.6.0的核心概念，搭建与使用

，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala
Mumunu-·2023-11-14 16:44

Scala---数据基础

一、数据类型二、变量和常量的声明定义变量或者常量的时候，也可以写上返回的类型，一般省略，如：vala:Int=10常量不可再赋值1./**2.*定义变量和常量3.*变量:用var定义，可修改4.*常量:用val定义，不可修改5.*/6.varname="zhangsan"7.println(name)8.name="lisi"9.println(name)10.valgender="m"11.//
30岁老阿姨·2023-11-14 14:54

Scala---介绍及安装使用

一、Scala介绍1.为什么学习Scala语言Scala是基于JVM的语言，与java语言类似，Java语言是基于JVM的面向对象的语言。
30岁老阿姨·2023-11-14 14:51

Scala爬虫程序爬取建筑业数据采集

这个Scala爬虫程序爬取建筑企业数据采集的内容，使用了爬虫爬虫ip信息（proxy_host:duoip,proxy_port:8000）。
q56731523·2023-11-14 03:41

Tensorflow中张量（Tensor）打印信息中shape字段的理解方式

我在这里补充一下：一个Tensor的打印信息中shape=()表示该张量是标量（scalar）一个Tensor的打印信息中shape=(n,)表示该张量是一个1维张量（如：tf.constant([1,2,3
Ly.Leo·2023-11-14 02:34

gradle学习记录

项目中用xml文件来配置jar包所在的坐标，但是项目很大的时候，xml文件的配置就会非常繁琐，于是gradle应运而生，它使用基于groovy的特定领域语言来声明项目设置，目前也支持java、groovy和Scala
trh_csdn·2023-11-14 02:47

java table类api_Flink的Table API

TableAPI是SQL语言的超集并专门为ApacheFlink设计的，TableAPI是Scala和Java语言集成式的API。
nicole.yu·2023-11-13 20:07

Spark Worker 启动流程及源码详解

环境：spark2.3.3scala2.11.8Java1.8.0_141可以参考【SparkMaster启动流程及源码详解】${SPARK_HOME}/sbin/start-slaves.sh#Launchtheslaves
ustbxyls·2023-11-13 17:59

大数据SparkSql创建临时表并查询数据

{LongType,StringType,StructType}/***AuthorVincer*Date2019/09/2610:10*LanguageScala*/objectStreamingDS
Vincer_DB·2023-11-13 16:04

【pytorch深度学习】torch-张量Tensor

torch-张量Tensor文章目录torch-张量Tensor1.张量Tensor1.张量Tensortorch.tensor()#创建一个标量（0维张量）scalar_tensor=torch.tensor
麦当当爷爷·2023-11-13 15:18

如何在Ubuntu 20.04上安装Django并设置开发环境

介绍(Introduction)Djangoisafreeandopen-sourcewebframeworkwritteninPythonwithitscoreprinciplesbeingscalability
cukw6666·2023-11-13 14:11

2021-03-19~20 大数据课程笔记 day58day59

@R星校长1Scala1.1【重点】Scala六大特性 1)与java无缝整合 2)类型自动推断 3)并发和分布式 4)Trait特质特性 5)Match模式匹配 6)高阶函数1.2【重点】Scala&
Rich Dad·2023-11-13 12:07

Scala教程：高级类型

这个章节的内容包含：视图边界(“类型类”)其他类型边界高度类型化的类型&临时多态F-bounded多态/可递归类型结构化的类型抽象类型的成员类型擦除和Manifest实例学习：Finagle视图边界(“类型类”)有时候你并不需要指定一个类型等价于另外一个类型，或者是它的子类或者父类，如果那样做的话，你可能会和类型转换搞混淆。视图边界定义了可以“看作”是另一个类型的一种类型。这个对于需要“读取”一个
吃鱼的羊·2023-11-13 10:25

cloudecompare使用

cloudcomparesnapinstallcloudcompare//命令启动，也可以在搜索框中搜索cloudcompare.CloudCompare使用基本操作右击鼠标可以平移，左击鼠标可以旋转颜色渲染按点渲染edit-scalarfields-addpointindexesasSF
gyqJulius_Caesar·2023-11-13 00:07

云平台与基础架构中需要考虑哪些安全风险

云计算平台能为组织带来特殊收益，并具备多种卓越能力，包括性能和可伸缩性(Scalability)、消除了硬件依赖、帮助组织将工作重点聚焦于业务运营需求，以及可计量服务(MeasuredService)一所有特性都可能比组织运营自有数据中心的总体成本和投资更低
securitypaper·2023-11-12 23:46

1.安装flink-1.12.2

FLINKonYARN模式解压安装包：tar-zvxfflink-1.12.2-bin-scala_2.11.tgz/opt/修改yarn配置，设置applicationmaster重启时尝试的最大次数
数据湖填坑·2023-11-12 22:02

Flink部署--入门

Flink安装部署standalone模式在/opt/module/Flink目录下上传flink-1.7.0-bin-hadoop27-scala_2.11.tgz压缩包并解压[root@node01Flink
hykDatabases·2023-11-12 22:32

SOME/IP 协议

“SOME/IP”——“Scalableservice-OrientedMiddlewarEoverIP”即可扩展的，面向服务的，基于IP的数据交互中间件。
重启艺术大师·2023-11-12 19:42

Some/IP学习笔记

目录1.概述2.SOME/IP报文格式3.数据结构序列化1.概述SOME/IP全称为ScalableServiceOrientedMiddlewarEOverIP，是车载以太网技术中的核心内容，它为网络提供了面向服务的通信方式
CyberSecurity_zhang·2023-11-12 18:16

Hive的表操作2

Hive系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-12 16:00

SparkSQL之Rule体系

在UnresolvedLogicalPlan逻辑算子树的操作（如绑定、解析、优化等）中，主要方法都是基于规则（Rule）的，通过Scala语言模式匹配机制（Pattern-match）进行树结构的转换或节点改写
RainTicking·2023-11-12 12:05

kafka-02 kafka集群搭建与使用

安装前的环境准备由于Kafka是用Scala语言开发的，运行在JVM上，因此在安装Kafka之前需要先安装JDK。
沐宇熙·2023-11-12 10:01

canvas与svg

SVG：SVG是指可伸缩矢量图形(ScalableVectorGraphics)
青青树木·2023-11-12 02:21

Flink SQL Client 命令行客户端

简介FlinkSQLClient是支持SQL语言的命令行工具，使得用户在不需要Java/Scala代码开发的情况下轻松的进行编写、调试、和提交SQL语言的作业，并且可以实时展示SQL计算的结果的变化。
修破立生·2023-11-12 00:30

flink启动命令参数_Flink命令行 - 1.10

本篇文章大概3155字，阅读时间大约8分钟结合Flink官方文档，整理关于Flink命令行的操作参数，包含命令行接口和ScalaShell1文档编写目的整理Flink官方文档中命令行接口和scala-shell
认识车·2023-11-12 00:00

Flink SQL Client CLI 使用入门

boling_cavalry/article/details/105964425一、SQLClientFlink的Table&SQLAPI可以处理SQL语言编写的查询语句，但是这些查询需要嵌入用Java或Scala
magic_kid_2010·2023-11-12 00:58

Flink sql-client.sh使用

SQLClient旨在提供一种简单的方式来编写、调试表程序，并向Flink集群提交表程序，而不需要一行Java或Scala代码。
sf_www·2023-11-12 00:57

pandas库中的to_numberic

参数描述args接受scalar,list,tuple,1-darray,orSeries类型errors有3种类型{‘ignore’,‘raise’,‘coerce’},默认为‘raise’downcast
cuisidong1997·2023-11-11 22:12

Flink Table API& SQL编程指南-（概述、依赖结构、概念与常规API）

其中TableAPI是用Scala或者是Java的语言集成查询API。它允许以非常直观的方式从关系运算符（如select、filter和join）组成查询。
麦田里的守望者··2023-11-11 21:08

Flink Table API & SQL编程指南(1)

其中TableAPI是用于Scala和Java的语言集成查询API
magic_kid_2010·2023-11-11 21:05

Java音视频处理——JavaCV

目录简介Maven软件环境JavaCV-ExamplesOpenCVCookbookExamples概述示例OpenCV文档如何使用JavaCV示例示例代码的组织结构示例列表WhyScala?
倔强的初学者·2023-11-11 16:38

Scala爬虫实战：采集网易云音乐热门歌单数据

本文将介绍如何使用Scala编写一个网络爬虫，来采集网易云音乐热门歌单的数据。我们将通过Scalaxx库来实现这一目标，并提供完整的代码示例。Scalaxx爬虫简介Scal
小白学大数据·2023-11-11 12:31
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他