大数据技术-Scala

FlinkAPI开发之FlinkSQL

org.apache.flinkflink-table-api-java-bridge${flink.version}这里的依赖是一个Java的“桥接器”（bridge），主要就是负责TableAPI和下层DataStreamAPI的连接支持，按照不同的语言分为Java版和Scala
Appreciate(欣赏)·2024-01-25 11:27

大数据技术-Hudi学习笔记

目录hudi学习相关文档hudi源码编译Hudi基本使用操作步骤集成Flink-SQL-Client方式环境准备数据写入集成Flink-代码编写方式代码地址环境准备编写代码提交运行集成Hive环境准备同步Hive使用HiveCatalog查询Hive外部表实时视图查询增量视图查询MOR表查询Hudi实战CDC数据同步离线批量导入全量接增量离线Compaction常见问题汇总mor模式存储一直看不到
笑一笑、·2024-01-25 09:51

【零碎知识】pip install 与 conda install 的区别

conda是一个跨平台的包管理和环境管理系统，可以用于安装Python软件包以及其他语言（如R,Scala等）的包。它是为Anaconda发行版特别设计的，但也可以在Miniconda中单独
同学小张·2024-01-25 09:25

Hadoop-MapReduce-跟着日志理解整体流程

数据准备viinput_01.txtviinput_02.txtviinput_03.txt文本内容如下：-----------------input_01.txt----------------javascalapythonc
隔着天花板看星星·2024-01-25 09:49

天津大数据培训班推荐，数据分析过程的常见错误

大数据就业方向大数据开发方向：掌握Java、Python、Scala等开发语言，以及关系型与非关系
qq_38453958·2024-01-25 06:57

Scala基础知识

scala1、scala简介scala是运行在JVM上的多范式编程语言，同时支持面向对象和面向函数式编程。
坐在风口上de猪·2024-01-25 06:48

starrocks3.0 编写自定义UDF java/scala版本 clickhouse中countResample

文章主线通过自定义UDAF实现clickhouse中的内置函数countResample官方文档JavaUDF|StarRocksUDFjavascala都可以UDAFjava可以scala一直报错类找不到实际上类在的
Thomas2143·2024-01-25 06:35

jemalloc linux快速上手

我们看看作者自己的介绍：jemallocisageneralpurposemalloc(3)implementationthatemphasizesfragmentationavoidanceandscalableconcurrencysupport
weixin_41772366·2024-01-25 00:26

基于Python Django的大数据招聘数据分析系统，包括数据大屏和后台管理

基于PythonDjango的大数据招聘数据分析系统是一个综合利用大数据技术和数据可视化技术的招聘行业解决方案。
叫我：松哥·2024-01-24 21:19

Hudi0.14.0 集成 Spark3.2.3（IDEA编码方式）

本次在IDEA下使用Scala语言进行开发，具体环境搭建查看文章IDEA下ScalaMaven开发环境搭建。
跟着大数据和AI去旅行·2024-01-24 11:46

Hbas简介：数据模型和概念、物理视图

BigTable一Hbase简介二HBase访问接口简介三行式&列式存储四HBase数据模型4.1HBase列族数据模型4.2数据模型的相关概念4.3数据坐标五概念&物理视图说明本文参考自林子雨老师的大数据技术原理与应用
缘友一世·2024-01-24 08:17

数据采集与预处理01： 项目1 数据采集与预处理准备

大数据技术的意义确实不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从而分析和挖掘出有价值的信息，但前提是拥有大量的数据。数据采集过程中涉
深竹清风·2024-01-24 08:16

美创科技参编《数据安全风险评估实务：问题剖析与解决思路》正式发布

近日，由数据安全推进计划（DSI）联合中国通信标准化协会大数据技术标准推进委员会（CCSATC601），携手业内四十家企业、百余名专家撰写的《数据安全风险评估实务：问题剖析与解决思路》正式发布。
数据库安全·2024-01-24 06:05

Hadoop大数据技术有什么市场价值？2019年Hadoop大数据技术7大应用领域

由于国家对大数据、AI等等技术的关注，在多次发展规划中都提高了大数据技术，因此大数据技术对于这个时代的发展来说至关重要，大数据也正处于发展期、巩固期，基于已有的技术去完善和不断的发展大数据技术产品，满足互联网不符按发在的需求
金光闪闪耶·2024-01-24 01:08

自然语言处理的发展

自然语言处理的发展随着深度学习和大数据技术的进步，自然语言处理取得了显著的进步。人们正在研究如何使计算机更好地理解和生成人类语言，以及如何应用NLP技术改善搜索引擎、语音助手、机器翻译等领域。
十二点的泡面·2024-01-23 21:28

Scala-11.方法

和Java的不同：指定方法的访问控制（可见性）：默认是public，和Java相比，Scala提供了更细粒度的作用域控制：对象私有作用域（Object-private），只有当前对象的实例可见，用private
悠扬前奏·2024-01-23 19:33

深度学习与大数据推动下的自然语言处理革命

引言：在当今数字化时代，深度学习和大数据技术的迅猛发展为自然语言处理（NaturalLanguageProcessing,NLP）领域注入了新的活力。
韩小浪~~·2024-01-23 19:12

Haproxy版本更新说明

version2.9:reverse-http,logbackends,zero-copyforwarding,memoryusagereduction,increasedbandwidth,bettergeneralscalability
云计算DevOps-韩老师·2024-01-23 17:06

使用Flink处理Kafka中的数据

目录使用Flink处理Kafka中的数据前提：一，使用Flink消费Kafka中ProduceRecord主题的数据具体代码为（scala）执行结果二，使用Flink消费Kafka中ChangeRecord
佛系爱学习·2024-01-23 16:46

自然语言处理的发展

近年来，随着深度学习和大数据技术的突破，NLP取得了显著的进步，为许多领域带来了革命性的变革。一、技术进步在NLP的发展中，关键技术的突破起到了至关重要的作用。
佛系爱学习·2024-01-23 16:15

大数据系列——Flink理论

Flink是一个对有界和无界数据流进行有状态计算的分布式处理引擎和框架，既可以处理有界的批量数据集，也可以处理无界的实时流数据，为批处理和流处理提供了统一编程模型，其代码主要由Java实现，部分代码由Scala
mql007007·2024-01-23 16:11

搭建Flink编程f的开发环境

职业技能大赛训练学习#搭建Flink编程f的开发环境Flink是一个以java和scala作为开发语言的开源大数据的一个项目对于我们初次使用者来说javamavengit这三个辅助工具必不可少java安装步骤
YaoYan..·2024-01-23 16:40

用户侧智能配电与智能用电系统的应用及未来——安科瑞赵嘉敏

1、智能配电概述1.1概念：智能配电是在现有配电系统的基础上，通过引入先进的信息通信技术（ICT）、物联网技术和大数据技术，实现配电系统的实时监控、优化控制和自动运行，从而提高配电系统的
Acrel_zjm·2024-01-23 14:44

大数据开发之Scala

第1章：scala入门1.1概述scala将面向对象和函数式编程结合成一种简洁的高级语言特点1、scala和java一样属于jvm语言，使用时都需要先编译为class字节码文件，并且scala能够直接调用
Key-Key·2024-01-23 11:00

ROLEX: A Scalable RDMA-oriented Learned Key-Value Store for Disaggregated Memory Systems——论文泛读

FAST2023Paper论文阅读笔记整理问题分离内存系统将单一的服务器分成不同的组件，包括计算节点和内存节点，以享受高资源利用率、灵活的硬件可扩展性和高效的数据共享。通过利用高性能的RDMA（远程直接内存访问），计算节点可以直接访问远程内存池，而无需涉及远程CPU。有序键-值（KV）存储（例如B树和学习索引）将所有数据排序以通过高性能网络提供范围查询服务。然而，在分离的内存系统上，现有的有序KV
妙BOOK言·2024-01-23 11:27

论文阅读笔记整理（持续更新）

KV存储ROLEX:AScalableRDMA-orientedLearnedKey-ValueStoreforDisaggregatedMemorySystemsFAST2023Paper泛读笔记针对分离式内存系统中
妙BOOK言·2024-01-23 11:56

向量点乘（内积）

向量点乘：（内积）点乘（DotProduct）的结果是点积，又称数量积或标量积（ScalarProduct）。几何意义：点乘和叉乘的区别向量乘向量得到一个数为点乘向量乘向量得到一个向量为叉乘
pythonSuperman·2024-01-23 10:58

flink1.18 广播流 The Broadcast State Pattern 官方案例scala版本

nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/broadcast_state/测试数据*广播流官方案例scala
Thomas2143·2024-01-23 08:49

深度学习与大数据技术的进步：自然语言处理的显著突破

引言：随着深度学习和大数据技术的迅速发展，自然语言处理（NaturalLanguageProcessing，简称NLP）在过去几年取得了令人瞩目的进步。
梓德原·2024-01-23 08:33

【TEE】片外内存保护：AES分组算法+MAC完整性验证

（密码反馈模式）5.OFB模式（输出反馈模式）保护完整性Xom新鲜性，MerkelTree防重放优化：Counter的压缩模式优化：AISE其他优化方向现有TEE完整性保护IntelSGXSGXV2/ScalableSGXIntelTDX
Destiny·2024-01-23 07:18

聊聊flink Table的groupBy操作

/org/apache/flink/table/api/table.scalaclassTable(private[flink]valtableEnv:TableEnvironment,private[
go4it·2024-01-23 06:35

用graphx实现Bronkerbosch计算极大团

{SparkConf,SparkContext}importscala.collection.i
不加班程序员·2024-01-23 06:25

zeppelin部署文档

支持多种语言：Scala(ApacheSpark)、Python(ApacheSpark)、SparkSQL、Hive、Markdown、Shell等。开发者可以通过实现
不加班程序员·2024-01-23 06:54

C语言小案例_微信小程序开发（教学大纲） | 附视频

《微信小程序开发》教学大纲01.课程说明课程名称微信小程序开发学时45适用对象电子信息类、通信工程、计算机科学与技术、软件工程专业、物联网工程、数据科学与大数据技术、信息安全、网络工程和电子商务等专业先修课程
weixin_39640845·2024-01-23 04:14

Spark运行流程

Spark相对于Hadoop的优势Hadoop虽然已成为大数据技术的事实标准，但其本身还存在诸多缺陷，最主要的缺陷是其MapReduce计算模型延迟过高，无法胜任实时、快速计算的需求，因而只适用于离线批处
Cool_Pepsi·2024-01-23 02:12

数据操作——Column 对象

Column对象1.什么是Column对象Column表示了Dataset中的一个列,并且可以持有一个表达式,这个表达式作用于每一条数据,对每条数据都生成一个值2.Column对象如何创建’单引号’在Scala
我像影子一样·2024-01-23 02:34

【问题记录】AttributeError: module ‘numpy‘ has no attribute ‘bool‘

/imgaug/augmenters/meta.py:3368:FutureWarning:Inthefuturenp.boolwillbedefinedasthecorrespondingNumPyscalar.augmenter
超好的小白·2024-01-22 21:31

MongoDB相关基础概念

•HighScalability&&HighAvailability-对数据库的高可扩展性和高可用性的需求。而Mo
程序员波特·2024-01-22 21:28

NaN可能出现的情况-Scala

scala中出现NaN的情况当表达式的一个或多个操作数是NaN时，其结果也是NaN.0.0/0.0其结果是NaN.当0做为除数时会报除零错误；当0.0(doubleorfloat)做除数是结果是无穷或者
由木人_番茄·2024-01-22 20:28

3.大数据技术之Flink（基础篇）

文章目录1、Flink简介1.1Flink的引入1.2什么是Flink2、Flink架构体系2.1Flink中的重要角⾊JobManager处理器：TaskManager处理器：2.2无界数据流与有界数据流无界数据流：有界数据流：3、Flink集群操作4、DataSetAPI开发4.1案例4.1.1Flink批处理程序的一般流程4.1.2JAVA示例5、DataStreamAPI开发5.1案例5.
数据带你飞·2024-01-22 19:28

大数据学习之Flink，10分钟教你快速上手Flink

前摘代码示例将全部用Scala实现一、环境准备提前安装Java8和Scala2.12集成开发环境（IDE）使用IntelliJIDEA安装的插件——Maven、Git和ScalaMaven用来管理项目依赖
十二点的泡面·2024-01-22 19:24

protocol buffers指南----基本类型

Scalar值类型基本消息字段可以有下列类型其中之一-下面的表格显示在.proto文件中指明的类型和在自动生成类中的相应类型。
Sirius_lwq·2024-01-22 17:17

Flink入门教程

使用flink时需要提前准备好scala环境一、创建maven项目二、添加pom依赖2.11.12org.scala-langscala-library${scala.version}org.scala-langscala-compiler
fengchengwu2012·2024-01-22 14:52

scala第一次使用的问题

1.idea创建scala的project发现没有module，error：addingmoduletoproject:null关闭项目，并从idea的目录重新导入即可2.无法创建scala的类在工程目录结构下的
不疯魔不成活q1·2024-01-22 13:52

深度学习bug笔记

ValueError:check_hostnamerequiresserver_hostname3、ValueError:onlyoneelementtensorscanbeconvertedtoPythonscalars4
机器学习杨卓越·2024-01-22 10:33

Spark groupByKey和reduceByKey

我们通过简单的WC看看两者的区别groupByKey实现WCscala>valrdd=sc.parallelize(List(1,1,2,2,3,3)).map((_,1))rdd:org.apache.spark.rdd.RDD
喵星人ZC·2024-01-22 09:23

大数据技术原理及应用课实验3 ：熟悉常用的HBase操作

目录实验3熟悉常用的HBase操作一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现以下指定功能，并用Hadoop提供的HBaseShell命令完成相同任务：1.列出HBase所有的表的相关信息，例如表名；2.在终端打印出指定的表的所有记录数据；3.向已经创建好的表添加和删除指定的列族或列；4.统计表的行数。（二）HBase数据库操作1.现有以下关系型数据库中的表和数据
Blossom i·2024-01-22 08:08

大数据技术原理及应用课实验4： NoSQL和关系数据库的操作比较

目录实验4NoSQL和关系数据库的操作比较一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）MySQL数据库操作1.根据上面给出的Student表，在MySQL数据库中完成如下操作：(1)在MySQL中创建Student表，并录入数据；(3)查询zhangsan的Computer成绩；(4)修改lisi的Math成绩，改为95。2.根据上面已经设计出的Student表，使用My
Blossom i·2024-01-22 08:04

flink1.13环境搭建

具体安装步骤如下：1.1下载安装包进入Flink官网，下载1.13.0版本安装包flink-1.13.0-bin-scala_2.12.tgz，注意此处选用对应scala版本为scala2.12的安装包
201001070·2024-01-22 08:31

Hadoop基本概论

Hadoop概述1.Hadoop定义2.Hadoop发展历史3.Hadoop发行版本4.Hadoop优势5.Hadoop1.x/2.x/3.x6.HDFS架构7.Yarn架构8.MapReduce架构9.大数据技术生态体系一
LzYuY·2024-01-22 08:25
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他