Scala编程实例

Spark 分布式环境搭建

Spark分布式环境搭建1.scala环境搭建1）下载scala安装包scala2.12.10.tgz安装到/usr/scala[root@hadoop001scala]#tar-zxvfscala-2.12.10
陈同学�·2023-11-30 02:01

Spark完全分布式搭建

完全分布式搭建教程(Standalone:Master+Slave）分析:1.配置好IP2.修改主机名3.做好IP主机映射4.关闭防火墙5.配置SSH免密登入6.安装Java7.安装Hadoop(完全分布式)8.安装scala9
明天要开心·2023-11-30 02:00

Spark2.3.1的安装运行(伪分布式)

一、spark的安装1、本地安装1、在安装spark之前需要先安装JDK和scala环境，hadoop环境2、解压安装即可2、standalone安装模式1、解压安装，配置环境变量(通过spark-shell
翻斗花园牛爷爷..·2023-11-30 02:30

Spark Standalone 伪分布模式安装

在linux系统中安装Spark需要先安装JDK，Scala等所需的依赖。
小-枝-丫·2023-11-30 02:00

spark-submit：未找到命令

在执行过程中出现错误hadoop@Master:~/sparkapp$spark-submit--class"hw10_1_CountLine"/usr/local/spark/sparkapp/target/scala
ZYT＿庄彦涛·2023-11-29 22:02

spark-submit 提交报错

Exceptioninthread"main"java.lang.NoSuchMethodError:scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/
North drift boy·2023-11-29 22:31

Spark-Shell 及 Spark-Submit

Spark-SubmitSpark-Shell说明操作命令Spark-Submit说明操作命令常用参数示例Spark-Shell说明spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala
半吊子Kyle·2023-11-29 22:01

Spark_spark参数配置优先级

总结：优先级低-》优先级高spark-submit提交的优先级<scala/java代码中的配置参数
高达一号·2023-11-29 22:32

idea配置依赖后package打包失败，导入jar包爆红的解决方案

对写好的代码执行打包操作，会报以下错误：Failedtoexecutegoalnet.alchim31.maven:scala-maven-plugin:4.0.1:compile(scala-compile-first
星夜读书人·2023-11-29 19:54

flink任务编程-java版-基础环境准备

依赖包引入基础依赖包org.apache.flinkflink-streaming-scala_${scala.binary.version}${flink.version}provided这里的scala.binary.version
李征兵·2023-11-29 18:35

给Vim配置Scala语法高亮显示

第一步，执行下面这个脚本：mkdir-p~/.vim/{ftdetect,indent,syntax}&&fordinftdetectindentsyntax;docurl-o~/.vim/$d/scala.vimhttps
iarchitect·2023-11-29 17:05

（一）tensorflow笔记：Tensor数据类型

缺点不适合存储较大的数据，如图片np.array:解决同类型大数据数据的载体，方便数据运算，缺点是在深度学习之前就设计好的，不支持GPUtf.tensor:更适合深度学习，支持GPUTensor是什么scalar
阿松丶·2023-11-29 14:30

Spark 学习笔记3. spark-submit + spark-shell

/root/training/spark-2.1.0-bin-hadoop2.7/examples/spark-examples_2.11-2.1.0.jar#javapythonrresourcesscala
aimmon·2023-11-29 12:05

spark-RDD

Bin/spark-shell码的代码,用Eclipse码一下;(分别使用Java和Scala)Rdd:容器,多台服务器共享的容器;算子:transformaction算子和action算子;RDDAPI
墨染繁华执念心悠·2023-11-29 12:34

【IDEA】spark-scala快速返回数据类型的方法

目录1、需求说明2、操作1、需求说明在使用scala语言做spark项目时，在IDEA中需要快速返回带类型的值；2、操作
郝少·2023-11-29 12:02

c++ opencv使用drawKeypoints、line实现特征点的连线显示

核心代码//画出特征点并连线voiddrawFilterLinePoints(cv::Mat&srcMat,cv::Point2fpointStart,cv::Point2fpointEnd,cv::Scalarcolor
费码程序猿·2023-11-29 12:48

编程语言发展史：新兴编程语言的趋势和发展

二、新兴编程语言的特点多样性：新兴编程语言具有非常多样化的特点，既有专门面向某一领域的语言，也有更通用的语言，例如，处理大数据的Scala、机器学习的Python、Web开
Kali与编程～·2023-11-29 11:35

使用Spark Streaming处理Kafka数据流

1系统软件本文实验基于的各软件版本如下：Java1.8.0_191Scala2.11hadoop-3.0.3zookeeper-3.4.10Spark2.3.2kafka_2.12-2.0.1kafka-manager
打酱油的葫芦娃·2023-11-29 07:28

Spark---资源、任务调度

Spark资源调度源码在Master.scala类中的schedule()中进行的。2、Spark资源调度源码结论Executor在集群
30岁老阿姨·2023-11-29 07:25

Spark_spark shell退出方式

解决方案SparkShell是一个交互式的Spark环境，基于Scala编程语言，可以用于快速开发和调试Spark应用程序。
高达一号·2023-11-29 07:54

go python java scala_以太坊Go、Java、Python、Ruby、JS客户端介绍

####Go-ethereum简介go-ethereum客户端通常被称为geth，它是个命令行界面，执行在Go上实现的完整以太坊节点。通过安装和运行geth，可以参与到以太坊前台实时网络并进行以下操作挖掘真的以太币在不同地址间转移资金创建合约，发送交易探索区块历史及很多其他GoEthereum链接：Pyethapp介绍Pyethapp是以python为基础的客户端，实现以太坊加密经济状态机。pyt
weixin_39571219·2023-11-29 05:03

Scala写入文件时乱码解决

今天在需要将spark操作后的数据保存到本地文件时出现乱码问题,现在记录下来valwriter=newPrintWriter(newFile("E://data/gps_bus_data01.txt"),"utf8")for(i<-1to10){writer.write(i+"\n")}
鬼古神月·2023-11-29 03:49

【Spark入门】基础入门

后续会继续分享其他重要知识点总结，如果喜欢这篇文章，点个赞，关注一下吧】上一篇文章：《【YOLOv5入门】目标检测》1.Spark框架概述1.1Spark是什么定义：ApacheSpark是用于大规模数据（large-scaladata
爱干饭的猿·2023-11-29 02:30

Tensorboard下载所有点的数据的方法

若要下载完整的数据，可以在启动tensorboard时加上如下参数--samples_per_pluginscalars=999999999即可显示所有数据
lgc0208·2023-11-29 01:39

「RIA学习力」《深度倾听》No.14，小芳

实际上，接下来要发生的事可以用一个系统基本模式来描述，叫做“恶性竞争”(escalation)，与军备竞赛的结构相同。A辩论得越是起劲儿，B感受到
小芳_a598·2023-11-28 21:24

AWS Simple Storage Service (S3)学习笔记

AmazonS3providesdevelopersandITteamswithsecure,durable,andhighly-scalablecloudstorage.CommonusecasesforAmazonS3storageinclude
pg_edb·2023-11-28 10:26

移动端项目——布局方案

1）宽度：1.视口宽度：每个浏览器有一个默认宽度，980pxwidth=device-width:视口宽度等于设备宽度2.设备宽度：initial-scale=1.0:默认内容缩放比例1.0user-scalable
littlefish_305a·2023-11-28 08:59

数据算法 Hadoop/Spark大数据处理---第十章

本章实现方式基于传统spark来实现基于传统Scala来实现本章实现方式的思路-spark：1.先创建JavaSparkContext，textFile读入文件。
_Kantin·2023-11-28 08:05

Java8 λ(Lambda)表达式

很多JVM平台上的语言（Groovy、Scala等）从诞生之日就支持λ表达式，但是Java开发者没有选择，只能使用匿名内部类代替λ表达式。从形式上看，λ表达式只是为你节省了几行代码。
东方灵龙·2023-11-28 07:57

网络爬虫的分类和抓取的目标的不同

通用网络爬虫通用网络爬虫又称全网爬虫（ScalableWebC
柊铉老师·2023-11-28 07:55

Scala LeetCode 965. 单值二叉树

https://leetcode-cn.com/problems/univalued-binary-tree/classTreeNode(var_value:Int){varvalue:Int=_valuevarleft:TreeNode=_varright:TreeNode=_}objectMain{defisUnivalTree(root:TreeNode):Boolean={varb=Lis
yaoyuan-yy·2023-11-28 06:19

MFC入门基础（十一）控件编程示例

参考博客：VS2010/MFC编程入门之二十三（常用控件：按钮控件的编程实例）-软件开发-鸡啄米以下内容主要来自于上述大神博客，稍作修改1、首先还是新建一个mfc的应用程序（基于对话框的）2、删除掉对话框中原有的一些默认控件
Littlehero_121·2023-11-28 04:20

PyTorch学习笔记（二）——TensorBoard

2、模型在不同阶段的输出2需要导入的类和常用的方法fromtorch.utils.tensorboardimportSummaryWriterwriter.add_image()writer.add_scalar
routine1o1oo·2023-11-28 01:18

Pytorch中的Tensorboard常用API

默认会在当前程序所在的文件夹下创建个runs文件夹存储flush_secs：表示写入tensorboard文件的时间间隔comment：文件夹名称的后缀filename_suffix：文件名字后缀add_scalar
u013308709·2023-11-28 01:15

来自 Google、YouTube、Twitter、Amazon、eBay、Facebook 和 Instagram 的可扩展性经验教训

【搬运】文章来源：https://www.dodgycoder.net/2012/04/scalability-lessons-from-google-youtube.html我在一个地方收集了来自七个流量最大的网站的一些可扩展性课程
粥粥粥少女的拧发条鸟·2023-11-27 23:06

spark体验

几大特点快-100*hadoop运行易用-搭好框架之后，支持Java,Scala,Python,R,andSQL.通用-sql、流式计算、复杂分析灵活运行-hadoop集群，mesos、k8s等有广泛集成使用体验在接触
scofielong·2023-11-27 12:00

Kafka 设计原理

Round-robinRandomnessKey-ordering2.4、消费者2.4.1、消息队列模型2.4.2、消费方式2.4.3、分区策略RangeRoundRobin2.5、消息可靠性1、Kafka使用场景Kafka是采用Scala
摸鱼呀·2023-11-27 10:20

Kafka分布式设计原理

Kafka是啥Kafka是一个由Scala语言开发的，多分区，多副本，可扩展，分布式流式平台。
夜晚在编程·2023-11-27 10:16

Kafka基本原理详解

，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala
昙花逐月·2023-11-27 10:46

spark篇（一）——Spark核心概念与操作

Spark是用Scala语言编写
许志辉Albert·2023-11-27 08:53

Intellij之Spark Scala开发环境搭建

https://www.jianshu.com/p/200473f264bchttps://blog.csdn.net/a2011480169/article/details/52712421参考博客：1、http://wwwlouxuemingcom.blog.163.com/blog/static/20974782201321953144457/2、http://blog.csdn.net/s
piziyang12138·2023-11-27 08:32

Spark分布式机器学习源码分析：线性模型

本文结合机器学习思想与Spark框架代码结构来实现分布式机器学习过程，希望与大家一起学习进步～本文采用的组件版本为：Ubuntu19.10、Jdk1.8.0_241、Scala2.11.12、Had
大数据之眸·2023-11-27 06:55

【漏洞复现】OpenTSDB 2.4.0 命令注入(CVE-2020-35476)漏洞复现

漏洞描述官方文档这样描述：OpenTSDBisadistributed,scalableTimeSeriesDatabase(TSDB)writtenontopofHBase；翻译过来就是，基于Hbase
丢了少年失了心1·2023-11-27 05:34

window环境下安装spark

0环境先给出安装好后的各个软件版本:win1064bitjava1.8.0scala2.12.8
FTDdata·2023-11-26 22:42

记录Windows系统上传文件至虚拟机的方法

获取虚拟机的ip地址ifconfig2.于Window系统传输文件至虚拟机打开cmdscpwin文件路径虚拟机ip:需要保存的文件路径示例：scpC:\Work\Flink\flink-1.14.4-bin-scala
黑洞边界·2023-11-26 22:08

平台环境部署的相关大数据

本文利用云服务器对大数据平台进行环境部署，包含：服务器使用、环境准备、Hadoop集群完全分布式安装、Zookeeper集群完全分布式安装、HBase完全分布式安装、Hive、Scala、Spark、Sqoop
云建站架构师rain·2023-11-26 19:45

【基础架构】part-2 可扩展性

文章目录可扩展性（Scalability）2.1水平扩展2.2垂直扩展2.3弹性扩展三、可靠性（Reliability）3.1容错机制3.2错误处理和恢复策略3.3监控和自动化运维四、安全性（Security
我の唯一·2023-11-26 18:28

[架构相关]基础架构设计原则

基础架构设计原则文章目录基础架构设计原则一、可用性（Availability）1.1、引入冗余1.2、负载均衡1.3、故障转移1.4、备份和恢复策略二、可扩展性（Scalability）2.1水平扩展2.2
我の唯一·2023-11-26 18:52

SOFAJRaft-RheaKV 分布式锁实现剖析 | SOFAJRaft 实现原理

SOFAStack(ScalableOpenFinancialArchitectureStack)是蚂蚁金服自主研发的金融级分布式架构，包含了构建金融级云原生架构所需的各个组件，是在金融场景里锤炼出来的最佳实践
SOFAStack·2023-11-26 16:39

MongoDB丨（一）MongoDB 快速入门

:::tip补充三高：HighPerformance：对数据高并发读写的需求HugeStorage：对海量数据的高效率存储和访问的需求HighScalability&&HighAvailabi
-Hedon·2023-11-26 13:06
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他