大数据技术-Scala

Spring Cloud Stream 整合MQ 完整版

1、SpringCloudStream概述官方表述是：SpringCloudStreamisaframeworkforbuildinghighlyscalableevent-drivenmicroservicesconnectedwithsharedmessagingsystems
HLucas·2024-01-26 15:03

LLM-大模型训练-常见错误：RuntimeError: expected scalar type Half but found Float

RuntimeError:expectedscalartypeHalfbutfoundFloat原因一Peft版本不兼容，尝试使用不同版本的Peft原因二1.问题描述  使用GPUV100(32GB)对
u013250861·2024-01-26 11:52

解决ChatGML启动报错：RuntimeError: expected scalar type Half but found Float

1、编辑web_demo2.py文件2、在原始命令加上.half()原始命令：model=AutoModel.from_pretrained("/app/model/chatglm2-6b",trust_remote_code=True).half().cuda()改为：model=AutoModel.from_pretrained("/app/model/chatglm2-6b",trust_r
Levi_·2024-01-26 11:46

大模型微调报错：RuntimeError: expected scalar type Half but found Float

微调chatglm报错RuntimeError:expectedscalartypeHalfbutfoundFloat1.背景博主显卡：3090最初的设置：bfloat16开始训练后，线性层报错2.解决
N1cez·2024-01-26 11:14

【01】深度学习——数学基础 | 线性代数 | 微积分 |概率

深度学习1.线性代数1.1标量(scalar)1.2向量(Vector)1.2.1模长和范数1.2.2单位向量1.2.3向量的内积1.2.4向量的外积1.3矩阵(Matrix)1.3.1矩阵转置1.3.2
花落指尖❀·2024-01-26 10:53

error: scala.reflect.internal.MissingRequirementError: object java.lang.Object in compiler mirror

IDEA打包scala程序时报错。解决：更换jdk版本，更换成jdk8就行。project和Modules的jdk都得改。
二楼后座。·2024-01-26 09:30

【程序人生】研二上快结束了~整理最近的思路

日在整理NoCRouter执行流程和Chisel环境Setup流程：NoCRouter执行流程Chisel安装流程总结：先安装jdk，配置环境变量安装sbt，不用配置环境变量安装idea社区版离线安装scala
农民真快落·2024-01-26 09:58

MongoDB相关概念

HighScalability&&HighAvailability-对数据库的高可扩展性和高可用性的需求。MongoDB应用场景社交场景：使
理智很乏味清醒最孤独·2024-01-26 09:27

Hadoop3.x学习笔记

文章目录一、Hadoop入门1、Hadoop概述1.1简介1.2hadoop优势1.3hadoop组成1.4大数据技术生态体系2、环境准备(重点)2.1模板机配置2.2模板创建3、本地运行模式（官方WordCount
魅Lemon·2024-01-26 09:24

一年一度的星环开发者奇妙之旅招募活动开始啦

来自国内外政府、金融、交通、能源、制造等行业的超过1500名嘉宾将出席会议，共同探讨最新的大数据技术发展趋势、国产化数据库、数字化转型、数据安全、数据要素与流通等热门话题。
星环科技·2024-01-26 07:39

在linux、window环境搭建kafka环境

源代码包含kafka的代码文件，使用scala编写的。
Everybody_up·2024-01-26 06:25

9.scala 伴生对象、伴生类、case class、case object

.默认实现了序列化接口caseclassvscaseobject1.caseclass修饰的类，必须要有参数列表2.caseobject修饰的对象，必须不能有参数列表伴生packagecom.fun.scalaobjectPerson
流月up·2024-01-26 05:45

PySpark常见操作

frompyspark.sqlimportSparkSessioncolumns=["language","users_count"]data=[("Java","20000"),("Python","100000"),("Scala
kang0709·2024-01-26 02:37

大数据时代的新命题：谁在满足中国企业的实时性需求?

作者|思杭编辑|皮爷出品|产业家从540亿元到1286亿元——这是中国通信标准化协会大数据技术标准推进委员会在2023年做出的一份预测报告。
产业家·2024-01-26 01:25

管理好班级的建议

詹姆·爱克兰特(JaimeEscalante)电影《为人师表》在现实生活中的原型，他的教学生涯很好地诠释了“付出总有回报”。只要不断地为维护师生感情而投资，你就会得到回报：学生
让人生开出绚丽的花·2024-01-26 00:15

2022-03-08 面试总结

device-width是指这个设备最理想的viewport宽度user-scalable是否允许用户手动缩放页面initial-scale定义初始缩放比例maximum-scale/minimum-scale
网恋被骗二块二·2024-01-26 00:47

OpenCV基本绘图

rectangle（）绘制矩形使用OpenCV函数circle（）绘制圆使用OpenCV函数fillPoly（）绘制填充多边形OpenCV理论在本教程中，我们将大量使用两种结构：cv：:Point和cv：：Scalar
人工智能小豪·2024-01-25 23:06

大数据技术之Spark

Spark概述1.1Spark是什么官方解释：Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2SparkandHadoopHadoop的MapReduce是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架Spark呢，这里简单说一下Spark和Hadoop的关系。在时间节点上（重要）HadoppSpark2006年1月，DougCutting加入Yahoo，领导Ha
严同学正在努力·2024-01-25 21:38

Chapter 20. Analyzing Architecture Risk

Everyarchitecturehasriskassociatedwithit,whetheritberiskinvolvingavailability,scalability,ordataintegrity.Analyzingarchitectureriskisoneofthekeyactivitiesofarchitecture.Bycontinuallyanalyzingrisk
城里的月光_欧阳·2024-01-25 20:50

Linux 安装 pySpark

1.1、Java参考Java安装运行1.2、Scale安装1）下载并解压官网地址：https://www.scala-lang.org/download/wgethttps://downloads.lightbend.com
兰叶书·2024-01-25 20:00

spark 关联外部数据

{SparkConf,SparkContext}importscala.collection.mutable.ListBufferobjectlesson04_rdd_partitions{defmain
新鲜氧气·2024-01-25 19:54

RocketMQ面试题及答案

kafka：scala开发，面向日志，功能丰富，性能最高，当你的业务
会_飞_的猪·2024-01-25 19:51

Scala入门到入坟

1.编译scala为java文件解析在编写完成scala文件后，会生成.class文件objectTest{defTest(args:Array[String]):Unit{println("hello
.英杰·2024-01-25 19:12

JDK 1.8 Lamda表达式

Java8最值得学习的特性就是Lambda表达式和StreamAPI,如果有用过Scala语言,对理解Lambda表达式有很大帮助.lambda写的好可以极大的减少代码冗余，同时可读性也好过冗长的内部类
随手点灯·2024-01-25 17:36

大数据技术原理与应用 概念、存储、处理、分析和应用（林子雨）——第五章 NoSQL数据库

第五章NoSQL数据库NoSQL（NotOnlySQL）是指非关系型数据库，它的出现是为了解决关系型数据库在某些场景下的不足。NoSQL数据库相对于传统的关系型数据库，具有更高的可扩展性、更好的性能、更灵活的数据模型以及更低的成本等优势。在传统的关系型数据库中，数据被存储在严格的表结构中，这样的结构导致关系型数据库在处理大规模数据、高并发访问等场景时，面临很大的挑战。NoSQL数据库则采用了更加灵
m0_62096596·2024-01-25 17:05

CalvinFS: Consistent WAN Replication and Scalable Metadata Management for Distributed File...——论文泛读

FAST2015Paper元数据论文阅读汇总问题现有的文件系统，即使是存储数百PB数据的可伸缩系统，也会将文件元数据存储在单个服务器上，或通过共享磁盘架构，以确保元数据的一致性和有效性。文件系统在可扩展性和跨数据中心实现方面还有不足。尽管已经开发了许多分布式文件系统以扩展到数千台计算机的集群，但由于在地理距离上提供期望的文件系统语义和工具（如线性化操作、分层访问控制、标准命令行工具等）的困难，这些
妙BOOK言·2024-01-25 14:02

【易混区分】 tensor张量 Numpy张量的各种矩阵乘法、点积的函数对比 (dot, multiply,*,@matmul)

文章目录1矩阵运算基本概念1.1点积1.2矩阵乘法2dot()3multiply（）和*4matmul和@1矩阵运算基本概念1.1点积又称为数量积、标量积（scalarproduct）或者内积（innerproduct
Qodicat·2024-01-25 13:16

hadoop集群部署

hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是一个存储系统+计算框架的软件框架，主要解决海量数据存储与计算的问题，是大数据技术中的基石。
Cat God 007·2024-01-25 12:45

自然语言处理（NLP）的发展

自然语言处理的发展随着深度学习和大数据技术的进步，自然语言处理取得了显著的进步。人们正在研究如何使计算机更好地理解和生成人类语言，以及如何应用NLP技术改善搜索引擎、语音助手、机器翻译等领域。
志尊宝·2024-01-25 12:17

自然语言处理的发展

自然语言处理的发展随着深度学习和大数据技术的进步，自然语言处理取得了显著的进步。人们正在研究如何使计算机更好地理解和生成人类语言，以及如何应用NLP技术改善搜索引擎、语音助手、机器翻译等领域。
胡图不迷糊·2024-01-25 12:17

FlinkAPI开发之FlinkSQL

org.apache.flinkflink-table-api-java-bridge${flink.version}这里的依赖是一个Java的“桥接器”（bridge），主要就是负责TableAPI和下层DataStreamAPI的连接支持，按照不同的语言分为Java版和Scala
Appreciate(欣赏)·2024-01-25 11:27

大数据技术-Hudi学习笔记

目录hudi学习相关文档hudi源码编译Hudi基本使用操作步骤集成Flink-SQL-Client方式环境准备数据写入集成Flink-代码编写方式代码地址环境准备编写代码提交运行集成Hive环境准备同步Hive使用HiveCatalog查询Hive外部表实时视图查询增量视图查询MOR表查询Hudi实战CDC数据同步离线批量导入全量接增量离线Compaction常见问题汇总mor模式存储一直看不到
笑一笑、·2024-01-25 09:51

【零碎知识】pip install 与 conda install 的区别

conda是一个跨平台的包管理和环境管理系统，可以用于安装Python软件包以及其他语言（如R,Scala等）的包。它是为Anaconda发行版特别设计的，但也可以在Miniconda中单独
同学小张·2024-01-25 09:25

Hadoop-MapReduce-跟着日志理解整体流程

数据准备viinput_01.txtviinput_02.txtviinput_03.txt文本内容如下：-----------------input_01.txt----------------javascalapythonc
隔着天花板看星星·2024-01-25 09:49

天津大数据培训班推荐，数据分析过程的常见错误

大数据就业方向大数据开发方向：掌握Java、Python、Scala等开发语言，以及关系型与非关系
qq_38453958·2024-01-25 06:57

Scala基础知识

scala1、scala简介scala是运行在JVM上的多范式编程语言，同时支持面向对象和面向函数式编程。
坐在风口上de猪·2024-01-25 06:48

starrocks3.0 编写自定义UDF java/scala版本 clickhouse中countResample

文章主线通过自定义UDAF实现clickhouse中的内置函数countResample官方文档JavaUDF|StarRocksUDFjavascala都可以UDAFjava可以scala一直报错类找不到实际上类在的
Thomas2143·2024-01-25 06:35

jemalloc linux快速上手

我们看看作者自己的介绍：jemallocisageneralpurposemalloc(3)implementationthatemphasizesfragmentationavoidanceandscalableconcurrencysupport
weixin_41772366·2024-01-25 00:26

基于Python Django的大数据招聘数据分析系统，包括数据大屏和后台管理

基于PythonDjango的大数据招聘数据分析系统是一个综合利用大数据技术和数据可视化技术的招聘行业解决方案。
叫我：松哥·2024-01-24 21:19

Hudi0.14.0 集成 Spark3.2.3（IDEA编码方式）

本次在IDEA下使用Scala语言进行开发，具体环境搭建查看文章IDEA下ScalaMaven开发环境搭建。
跟着大数据和AI去旅行·2024-01-24 11:46

Hbas简介：数据模型和概念、物理视图

BigTable一Hbase简介二HBase访问接口简介三行式&列式存储四HBase数据模型4.1HBase列族数据模型4.2数据模型的相关概念4.3数据坐标五概念&物理视图说明本文参考自林子雨老师的大数据技术原理与应用
缘友一世·2024-01-24 08:17

数据采集与预处理01： 项目1 数据采集与预处理准备

大数据技术的意义确实不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从而分析和挖掘出有价值的信息，但前提是拥有大量的数据。数据采集过程中涉
深竹清风·2024-01-24 08:16

美创科技参编《数据安全风险评估实务：问题剖析与解决思路》正式发布

近日，由数据安全推进计划（DSI）联合中国通信标准化协会大数据技术标准推进委员会（CCSATC601），携手业内四十家企业、百余名专家撰写的《数据安全风险评估实务：问题剖析与解决思路》正式发布。
数据库安全·2024-01-24 06:05

Hadoop大数据技术有什么市场价值？2019年Hadoop大数据技术7大应用领域

由于国家对大数据、AI等等技术的关注，在多次发展规划中都提高了大数据技术，因此大数据技术对于这个时代的发展来说至关重要，大数据也正处于发展期、巩固期，基于已有的技术去完善和不断的发展大数据技术产品，满足互联网不符按发在的需求
金光闪闪耶·2024-01-24 01:08

自然语言处理的发展

自然语言处理的发展随着深度学习和大数据技术的进步，自然语言处理取得了显著的进步。人们正在研究如何使计算机更好地理解和生成人类语言，以及如何应用NLP技术改善搜索引擎、语音助手、机器翻译等领域。
十二点的泡面·2024-01-23 21:28

Scala-11.方法

和Java的不同：指定方法的访问控制（可见性）：默认是public，和Java相比，Scala提供了更细粒度的作用域控制：对象私有作用域（Object-private），只有当前对象的实例可见，用private
悠扬前奏·2024-01-23 19:33

深度学习与大数据推动下的自然语言处理革命

引言：在当今数字化时代，深度学习和大数据技术的迅猛发展为自然语言处理（NaturalLanguageProcessing,NLP）领域注入了新的活力。
韩小浪~~·2024-01-23 19:12

Haproxy版本更新说明

version2.9:reverse-http,logbackends,zero-copyforwarding,memoryusagereduction,increasedbandwidth,bettergeneralscalability
云计算DevOps-韩老师·2024-01-23 17:06

使用Flink处理Kafka中的数据

目录使用Flink处理Kafka中的数据前提：一，使用Flink消费Kafka中ProduceRecord主题的数据具体代码为（scala）执行结果二，使用Flink消费Kafka中ChangeRecord
佛系爱学习·2024-01-23 16:46

自然语言处理的发展

近年来，随着深度学习和大数据技术的突破，NLP取得了显著的进步，为许多领域带来了革命性的变革。一、技术进步在NLP的发展中，关键技术的突破起到了至关重要的作用。
佛系爱学习·2024-01-23 16:15
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他