E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
rdd
C语言 udp通信
32.lib")#include#include#pragmacomment(lib,"Winmm.lib")voidReiveData();HANDLEhThreadHandle_page1;DWO
RDd
wThr
紫色_麦迪
·
2023-10-28 13:17
c语言
udp
Scala【集合常用方法和函数操作(下)】
集合常用方法和函数操作(上)的内容),当时Scala差不多是过了一遍了,但是由于学习Spark的过程中,好多方法和函数都是Scala中的,而且思路基本和Scala中的集合操作是差不多的,毕竟Spark的
RDD
让线程再跑一会
·
2023-10-28 03:50
Scala
scala
开发语言
后端
修改SAP系统标准字段描述的方法 .
此处以修改物料主数据中的描述为例:首先,事务MM03进入物料主数据的基本数据2视图或者其他视图中,将鼠标光标放在需要更改的字段(例如:“IndustryStanda
rdD
escription”)上,然后按
点点也存在?
·
2023-10-28 02:27
SAP
ABAP
SAP
ABAP
Python 模块使用
Python模块使用内置模块randomkeywo
rdd
atetimetimeredecimalmathfunctoolssysoscalendarurllibjsonshutiltkinterstringcsvgetpassconfigparserloggingwarningsglobtarfiletextwrapsmtplibemailcsvhashlibpicklecopycollectio
sankgao
·
2023-10-27 21:00
Python
1024程序员节
39 深度学习(三):tensorflow.data模块的使用(基础,可跳)
文章目录data模块的使用基础api的介绍csv文件tfreco
rdd
ata模块的使用在训练的过程中,当数据量一大的时候,我们纯读取一个文件,然后每次训练都调用相同的文件,然后进行处理是很不科学的,或者说
Micoreal
·
2023-10-27 20:09
个人python流程学习
深度学习
tensorflow
人工智能
Spark 初探总结
1.spark:分布式/流式数据处理,学习算法2.数据处理:
RDD
->ResilientDistributedDatasets转换map,floatMap,groupByKey...动作count,collect
shaun_x
·
2023-10-27 18:06
概率分布、正态分布、假设检验概念及基础
它以钟形曲线的形式呈现,具有均值(mean)和标准差(standa
rdd
eviation)两个参数来描述分布的特性。正态分布在数理统计中具有重要的地位,因为根据
zg1g
·
2023-10-27 17:01
机器学习
人工智能
获取全局开机启动项windows
#include#include#include#include#includeintmain(){HKEYhKey;charszSubKey[256];DWO
RDd
wSubKeyLength=256;
季截
·
2023-10-27 13:41
windows
模块隐藏
模块隐藏遍历模块HANDLEWINAPICreateToolhelp32Snapshot(DWO
RDd
wFlags,DWORDth32ProcessID)//dwFlags:TH32CS_SNAPMODULE
Asura_Luo
·
2023-10-27 10:40
influxdb基本使用及其源码解析
文章目录基本介绍简介属性特点场景相关概念seriesseriescardinalityShardShardgroupSha
rdD
urationRetentionpolicyTSMLSM源码解析编译IDE
编程小栈
·
2023-10-26 18:36
数据库
时序数据库
Ubuntu环境下挂载新硬盘
一、硬盘分区|Ha
rdd
iskaddnewpartition1、显示硬盘及所属分区情况。在终端窗口中输入如下命令:sudofdisk-l显示当前的硬盘及所属分区的情况。
MiracleJQ
·
2023-10-26 14:27
浅谈Transformer
Embedding位置EmbeddingSelf-Attention结构Q,K,V的计算Self-Attention的输出Multi-HeadAttentionEncoder结构残差模块FeedForwa
rdD
ecoder
43v3rY0unG
·
2023-10-26 08:01
NLP
娱于那美丽的花
Cemorceaudemer,ouaubo
rdd
elarivière,oudansleparter
共通语言
·
2023-10-26 05:58
SparkSQL执行流程与Catalyst优化器
目录一、SparkSQL运行流程与Catalyst优化器(1)
RDD
运行流程(2)SparkSQL自动优化(3)Catalyst优化器流程(4)Catalyst优化器总结(5)SparkSQL执行流程一
吗喽也是命
·
2023-10-25 23:21
大数据
LeetCode-139-单词拆分
给定一个非空字符串s和一个包含非空单词的列表wo
rdD
ict,判定s是否可以被空格拆分为一个或多个在字典中出现的单词。说明:拆分时可以重复使用字典中的单词。你可以假设字典中没有重复的单词。
刻苦驴哝
·
2023-10-25 21:25
大数据面试题汇总
5.
RDD
持久化原理?6.checkpoint检查点机制?7.checkpoint和持久化机制的区别?8.SparkStreaming
kuntoria
·
2023-10-25 20:28
Spark-Core
Spark简介Spark-Core核心算子Spark-Core文章目录一、
RDD
编程1、
RDD
序列化1.2Kryo序列化框架2、
RDD
依赖关系2.1查看血缘关系2.2查看依赖关系2.3窄依赖2.4宽依赖
ha_lydms
·
2023-10-25 09:56
大数据
1024程序员节
spark-core
spark
Hadoop+Hive+Spark+Hbase开发环境练习
hdfsdfs-mkdir-p/app/data/exam查看csv文件行数[root@kb129~]#hdfsdfs-cat/app/data/exam/meituan_waimai_meishi.csv|wc-l2.分别使用
RDD
不吃香菜lw
·
2023-10-24 23:45
hadoop
hive
spark
hbase
【量化交易笔记】12.海龟交易策略
海龟交易策略(TurtleTrading)起源于美国,由著名的交易员理查德·丹尼斯(Richa
rdD
ennis)创立。这种交易策略属于趋势跟踪策略,适用于中长线投资者。
cndrip
·
2023-10-24 21:36
量化交易
1024程序员节
centos 利用iptables来配置linux禁止所有端口登陆和开放指定端口的方法
下面是命令实现:iptables-PINPUTDROPiptables-PFORWA
RDD
ROPiptables-POUTPUTDROP再用命令iptables-L-n查看是否设置好,好看到全部DROP
jiecy
·
2023-10-24 21:00
linux
centos
运维
安装docker ,更换docker版本
dockerdockerd&containe
rdD
ockerd(Docker守护进程)在其底层使用Containerd来管理容器。
云海0478
·
2023-10-24 15:52
云原生
1024程序员节
Spark简单回顾
的个人主页 大鹏一日同风起,扶摇直上九万里文章目录1、Spark1.1Spark入门1.1.1Spark部署模式1.1.2常用端口1.2SparkCore1.2.1
RDD
星光下的赶路人star
·
2023-10-24 11:32
Spark
1024程序员节
大数据
spark
SparkSQL的Shuffle分区设定及异常数据处理API(去重、缺失值处理)
一、SparkSQL的Shuffle分区数目设定在允许spark程序时,查看WEBUI监控页面发现,某个Stage中有200个Task任务,也就是说
RDD
有200分区Partion。
菜鸟一千零八十六号
·
2023-10-24 08:49
ajax
前端
javascript
Spark之DataFrame操作大全
一、DataFrame对象的生成Spark-SQL可以以其他
RDD
对象、parquet文件、json文件、Hive表,以及通过JDBC连
果粒多
·
2023-10-24 07:23
#
Spark
Java回形数
importjava.util.Scanner;/**`在这里插入代码片`*@autho
rDD
man*@create2020-08-19-11:28*/publicclassLoopNumber{publicstaticvoidmain
ddman_豪
·
2023-10-24 01:53
IOS中输入框被软键盘遮挡的解决办法
有的解决方案是通过一个通知UIKeyboa
rdD
idShowNotification去实现的,需要用到事件监听,而且需要
NOHACKCC
·
2023-10-23 23:22
IOS
+
Mac
OS
Objective-C
(7.1)标准DH和修正DH雅克比矩阵的差异
一、两种雅克比矩阵的公式及差异说明:在前面的文章(7)中我们介绍了雅克比矩阵,并给出了标准DH(standa
rdD
H)参数下的雅克比矩阵的矢量积公式;这篇文章里我们也给出修正DH(modifiedDH)
公子文刀
·
2023-10-23 19:13
机械臂
矩阵
线性代数
Spark-checkpoint检查点
对一个
RDD
设置检查点,回将
RDD
序列化为二进制文件,并存储在设定的路径下,该路径通过SparkContext对象的setCheckPointDir()方法进行设置。在设
布莱安托
·
2023-10-23 16:43
Spark常用
RDD
算子详解!!!
文章目录1.Transformation转换算子1.1Value类型1.1.1map()映射1.1.2mapPartitions()以分区为单位执行Map1.1.3map()和mapPartitions()区别1.1.4mapPartitionsWithIndex()带分区号1.1.5flatMap()压平1.1.6glom()分区转换数组1.1.7groupBy()分组1.1.8GroupBy之
子清.
·
2023-10-23 14:16
#
SparkCore
spark
RDD
常用算子总结
一、转换算子(Transformation)返回一个新的
RDD
;惰性,遇到动作算子才会触发执行;不存储实际数据,只存储转换规则,遇到动作算子根据规则对数据进行处理。
鹿吥羁
·
2023-10-23 14:15
大数据
spark
spark
rdd
算子的简单练习
数据格式:从左往右的列分别表示:职位编号、职位名称、薪资范围、工作区域、职位简述、工作年限、学历要求、职位详情等。统计发布招聘岗位最多的五个地区objectfrist_test{defmain(args:Array[String]):Unit={valsparkConf=newSparkConf().setMaster("local[*]").setAppName("first")valconte
南辰x
·
2023-10-23 14:15
spark
scala
intellij-idea
Spark核心编程—
RDD
算子(转换算子)
文章目录持续更新中一、
RDD
转换算子(一)Value类型1、map2、mapPartitions3、mapPartitionWithIndex4、flatMap5、glom6、groupBy7、filter8
Jerry Hong
·
2023-10-23 14:43
Spark
大数据面试
spark
big
data
hadoop
spark 算子详解 java_spark
RDD
算子详解3
Actions算子本质上在Actions算子中通过SparkContext执行提交作业的runJob操作,触发了
RDD
DAG的执行。
拐个王子回古墓
·
2023-10-23 14:12
spark
算子详解
java
Spark
RDD
算子详解
RDD
方法=>
RDD
算子(Operator操作)
RDD
的方法和Scala集合对象的方法不一样,集合对象的方法都是在同一个节点的内存中完成的。
数据求学家
·
2023-10-23 14:42
spark
大数据开发
big
data
spark
大数据
scala
利用pyspark练习spark
RDD
算子的操作练习实验
实验名称
RDD
算子的操作实验实验目的掌握
RDD
算子的基本用法实验资源student.txt实验环境VMwareWorkstationUbuntu16.04JupyterNotebookPyspark实验内容
墨风 倾城
·
2023-10-23 14:11
python
spark
Spark中transformation和Action的
RDD
算子
Spark中transformation和Action的
RDD
算子区别transformationtransformation是在现有的
RDD
上通过一定方法转换生成新的
RDD
,转换时延时执行(lazy)
lds_include
·
2023-10-23 14:41
大数据
Spark
大数据的Spark
大数据
RDD
常见转化算子和行动算子
RDD
被创建后是只读的,不允许被修改。spark提供了丰富的用于操作
RDD
的方法,这些方法被称为算子。一个创建完成的
RDD
只支持两种算子:转化算子和行动算子。
东流-beyond the label
·
2023-10-23 14:41
spark学习
Spark
RDD
&算子 基本操作
1.
RDD
Spark提供了两种创建
RDD
的方式:(1)由一个已经存在的Scala集合进行创建。
傍ྂ离ྂ
·
2023-10-23 14:40
Scala
Spark
spark
scala
RDD
算子操作(基本算子和常见算子)
目录一、基本算子1.map算子2.flatMap算子3.filter算子4.foreach算子5.saveAsTextFile算子6.redueceByKey算子二、常用Transformation算子1.mapValues算子2.groupBy算子3.distinct算子4.union算子5.join算子6.intersection算子7.glom算子8.groupByKey算子9.sortBy
菜鸟一千零八十六号
·
2023-10-23 14:09
大数据
大数据
spark
Linux基础
inode中保存信息如下:SizePermissionOwner/GroupLocationoftheha
rdd
rive(硬盘)Date/time
就叫汉堡吧
·
2023-10-23 13:57
Spark任务中Partition分区与HDFS中的Block数据块
spark-partition位于计算空间;hdfs-block的大小是固定的;spark-partition大小是不固定的;hdfs-block是有冗余的、不会轻易丢失;spark-partition(
RDD
liuzx32
·
2023-10-23 07:32
spark-core-转载
第1章
RDD
概念1.1
RDD
为什么会产生
RDD
:ResilientDistributedDataset弹性分布式数据集
RDD
是Spark的基石,是实现Spark数据处理的核心抽象。
zuoseve01
·
2023-10-23 05:28
spark
大数据Spark对SogouQ日志分析
SogouRecord3业务实现3.1读取数据3.2搜索关键词统计3.3用户搜索点击统计3.4搜索时间段统计3.5完整代码1业务需求使用搜狗实验室提供【用户查询日志(SogouQ)】数据,使用Spark框架,将数据封装到
RDD
赵广陆
·
2023-10-23 05:56
spark
Spark内核调度
Spark内存迭代计算三、spark的并行度(1)并行度设置(2)集群中如何规划并行度四、spark任务调度五、Spark运行概念名词(1)概率名词(2)Spark运行层级梳理一、DAGSpark的核心是根据
RDD
菜鸟一千零八十六号
·
2023-10-23 05:55
spark
大数据
分布式
RDD
的持久化
一、
RDD
的数据是过程数据
RDD
之间进行相互迭代计算(Transformation的转换),当执行开启后,新
RDD
的生成,代表老
RDD
的消失。
菜鸟一千零八十六号
·
2023-10-23 05:54
大数据
大数据
GRASP 、SOLID 与 GoF 设计模式
这是被称为职责驱动设计(
RDD
)的一部分。在
RDD
中,我们认为软件对象具有职责,即对其所作所为的抽象。UML把职责定义为“类的协约或义务”。就对象
阿波罗.2012
·
2023-10-23 05:53
设计模式
架构
系统架构
软件构建
代码随想录算法训练营day46|| 第八章 动态规划
139.单词拆分给你一个字符串s和一个字符串列表wo
rdD
ict作为字典。请你判断是否可以利用字典中出现的单词拼接出s。
wsq06209023
·
2023-10-23 04:34
算法
动态规划
数据结构
coredns介绍
文章目录1coredns的用途2coredns的部署3co
rdd
ns配置3.1K8sDNS策略3.2resolv.conf3.3coreDNSCorefile文件4nodelocaldns4.1DNS间歇性
Tony.Cheng
·
2023-10-22 17:16
云原生
kubernetes
讲解:STATA、domCO2Opop 、STATA、RstudioMatlab|Python
GradedAssignmentPleasesubmitallanswersinonewo
rdd
ocument.WhereappropriatecopyandpasteSTATAoutputandcodeintothisdocument.PleasesubmityouranswersonlineviatheHubbefore12
vukplk0
·
2023-10-22 16:27
K8s可视化界面Kubernetes Dashboard&Kuboard
Kuboard3.1部署2.2访问UI一、简介本文给大家介绍两个K8s集群的可视化工具KubernetesDashboard和Kuboard二、KubernetesDashboard2.1部署dashboa
rdd
ashboardGithub
Liu_Shihao
·
2023-10-22 06:49
云原生
kubernetes
docker
容器
上一页
16
17
18
19
20
21
22
23
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他