spark新特性

前端技术栈简介 和 ES6新特性

前后端技术栈类比ES6简介ES6新特性let新特性作用域//var声明的变量往往会越域//let声明的变量有严格的局部作用域{vara=1;letb=2;}console.log(a);//1console.log
魔舞清华-方·2024-02-20 14:19

【Java前端技术栈】Promise

4.从语法上说，Promise是一个对象，从它可以获取异步操作的消息5.Promise也是ES6的新特性，因
yinhai1114·2024-02-20 14:47

spark CTAS nuion all （union all的个数很多）导致超过spark.driver.maxResultSize配置（2G）

背景该sql运行在spark版本3.1.2下的thriftserver下现象在运行包含多个union的sparksql的时候报错（该sql包含了50多个uinon，且每个union字查询中会包含join
鸿乃江边鸟·2024-02-20 13:29

JDK11新特性

一、JShell除了表达式之外，还可以创建Java类和方法。jshell也有基本的代码完成功能。二、DynamicClass-FileConstants类文件新添的一种结构Java的类型文件格式将被拓展，支持一种新的常量池格式：CONSTANT_Dynamic，加载CONSTANT_Dynamic会将创建委托给bootstrap方法。其目标是降低开发新形式的可实现类文件约束带来的成本和干扰。三、局
星梦客·2024-02-20 13:31

Flink理论—Flink架构设计

它集成了所有常见的集群资源管理器，例如HadoopYARN，但也可以设置作为独立集群甚至库运行,例如Spark的StandaloneMode本节概述了Flink架构，并且描述了其主要组件如何交互以执行应用程序和从故障中恢复
不二人生·2024-02-20 12:59

XXL-CONF v1.5.0 发布，分布式配置中心

v1.5.0新特性1、配置中心Agent服务增强：针对非Java应用提供Agent服务获取配置，提供同步、异步两种Http请求方式，原生支持long-polling（Http）的方式获取配置数据、并实时感知配置变更
许雪里·2024-02-20 10:51

ansible中的角色使用

ansibleroles1、ansible中的角色简介角色（roles）是ansible自1.2版本开始引入的新特性，用于层次性、结构化的组织playbook；roles能够根据层次型结构自动装载变量文件
李牛克斯小学生·2024-02-20 10:26

大数据 - Spark系列《六》- RDD详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-20 10:55

大数据 - Spark系列《七》- 分区器详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-20 10:55

Hive切换引擎(MR、Tez、Spark)

Hive切换引擎(MR、Tez、Spark)1.MapReduce计算引擎(默认)sethive.execution.engine=mr;2.Tez引擎sethive.execution.engine=
落空空。·2024-02-20 10:54

8.0 新特性 - Caching SHA-2 Pluggable Authentication

文章目录前言1.mysql_native_password介绍2.caching_sha2_password介绍3.常见问题3.1连接报错3.2复制配置3.3组复制配置后记前言升级到MySQL8.0后，可能会遇到如下报错，常发生在连接MySQL或配置复制关系的时候。ERROR2061(HY000):Authenticationplugin‘caching_sha2_password’reporte
Bing@DBA·2024-02-20 07:07

8.2 新特性 - 透明的读写分离

文章目录前言1.安装部署1.1下载安装包1.2MySQLShell1.3配置MySQL实例1.4启动ReplicaSet1.5启动8.2Router2.测试路由总结前言MySQL8.0官方推出过一个高可用方案ReplicaSet主要由Router、MySQLShell、MySQLServer三个组件组成。MySQLShell负责管理ReplicaSet包括部署、切换、节点加入等，都可以通过内置Ad
Bing@DBA·2024-02-20 07:59

Hbase - 自定义Rowkey规则

中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制`TableInputFormat`来实现我们的需求了，我们还可以采用Flink的`DataSet`的方式读取,另外下面还有`Spark
kikiki5·2024-02-20 07:17

php实现讯飞星火大模型3.5

星火大模型-科大讯飞2.修改对应php文件中的key等可以参考文档说明，以及下载demo星火认知大模型WebAPI文档|讯飞开放平台文档中心其中appid等都需要修改还有uid，3.5模型wss://spark-ap
随风万里无云·2024-02-20 07:38

2024.2.19 阿里云Flink

一、Flink基本介绍Spark底层是微批处理,Flink底层则是实时流计算流式计算特点:数据是源源不断产生,两大问题,乱序和延迟Stateful:有状态Flink的三个部分Source:Transactions
白白的wj·2024-02-20 07:05

Flink Catalog 解读与同步 Hudi 表元数据的最佳实践

在当前的大数据格局中，Spark/Hive/Flink是最为主流的ETL或Strea
　Laurence·2024-02-20 06:28

面试系列之《Spark》（持续更新...）

stage：一个job任务中从后往前划分，分区间每产生了shuffle也就是宽依赖则划分为一个stage，stage这体现了spark的pipeline思想，即数据在内存中尽可能的往后多计算，最后落盘，
atwdy·2024-02-20 06:07

以内存为核心的开源分布式存储系统

Tachyon为不同的大数据计算框架（如ApacheSpark，HadoopMapReduce,ApacheFlink等）提供可靠的内存级的数据共享服务。
这次靠你了·2024-02-20 05:26

Redis

同时不影响继续服务如果断电，redis可以自主把内存里的数据写入硬盘，下次有电直接找回，不用再从mysql拷贝高可用架构搭配单机，主从，哨兵，集群缓存穿透击穿雪崩分布式锁队列排行榜+点赞优势小总结redis7新特性安装默认在
若水uy·2024-02-20 03:29

Android 增加滑动刷新特性

Google释放的一个针对Android支持库的更新引入了一个激动人心的标准实现，它是正通过诸如GMail或者GoogleNow这些应用逐渐引介给大家的一种模式.QQ图片20190423203750.gif这一模式被称作滑动刷新,使用一个对用户向上拉动作的反馈，来通知app发生了一种数据刷新的请求.这完成了另外一种常见的模式，无线滚动，其使用一种向下动作来载入更多的数据.我们已经更新了我们的组件来
Android姿态·2024-02-20 02:21

mysql 2-16

安全等于最大最小LEAST,GREATESTBETWEENAND条件一是下限INLIKE关键字转移字符逻辑运算符位运算符排序数据升序降序，默认升序二级排序8.0新特性小拓展多表查询多表查询别名多表查询的分类非等值连接自连接内连接与外连接
s2532478980·2024-02-20 02:52

matlab 2012数学计算与工程分析从入门到精通,MATLAB 2012数学计算与工程分析从入门到精通...

前言第1章MATLAB入门1．1MATLAB概述1．1．1什么是MATLAB1．1．2MATLAB的发展历程1．1．3MATLAB语言的特点1．1．4MATLAB系统1．1．5MATLABR2012a的新特性
黄文池·2024-02-20 01:08

Java基础：枚举和注解

2.3自定义枚举类与使用enum定义枚举类的联系3.枚举类常用方法4.使用enum关键字定义的枚举类实现接口二、注解1.概述2.注解示例3.JDK提供的4种元注解4.自定义注解5.注意事项6.JDK8新特性
QianZhiSanyao·2024-02-20 01:09

十二：枚举与注解

关键字定义的枚举类实现接口02、注解的使用2.1、注解的理解2.3、如何自定义注解2.4、jdk中4个基本的元注解的使用12.5、jdk中4个基本的元注解的使用22.6、利用反射获取注解信息2.7、jdk8新特性
老干妈拌士力架·2024-02-20 01:05

手机远程控制树莓派-BLINKER应用（物联网基础）

由于我买了坚果云这个软件服务，所以我对云储存并无太大的兴趣，只是有时候要远程回家翻翻服务器上的东西，或者挂着下载个东西，跑个pyspark之类的。
crossni·2024-02-20 00:15

html从零开始8：css3新特性、动画、媒体查询、雪碧图、字体图标【搬代码】

css3新特性div{width:200px;height:200px;background-color:aqua;position:relative;border-radius:20px;/*圆角属性
搬代码·2024-02-20 00:47

无依赖单机尝鲜 Nebula Exchange 的 SST 导入

无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式（单机、容器化Spark、Hadoop、NebulaGraph），快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph·2024-02-19 23:51

前端Vue3开发 “硬核” 新书来了

二是Vue3引入了大量新特性，如全面拥抱TypeScript、使用Vite替换Webpack等，大家担心这些新技术难以掌握，因此不敢在实际项目中应用。
前端组件开发·2024-02-19 23:14

C++11新特性（一）

目录C++11简介统一的列表初始化变量类型推导std::initializer_list声明autodecltypenullptrSTL的一些变化右值引用右值引用和左值引用右值引用适用场景移动构造和移动语义对类的影响可变参数模板递归函数方式展开参数包STL容器中的empalce相关接口函数大家新年快乐！C++11简介在2003年C++标准委员会曾经提交了一份技术勘误表(简称TC1)，使得C++03
翼蛇湖-纪宁·2024-02-19 23:26

Linux下Spark offline安装graphframes包

文章目录背景安装步骤背景GraphX是Spark中用于图计算的模块.Spark安装包中内置Scala语言的GraphX库,但是对于Python语言的安装包,需要额外进行安装.对于内网服务器,不能访问外网
ithiker·2024-02-19 22:45

【编程】C++语言编程规范-1

可移植类和函数高内聚、低耦合SOLID法则1迪米特法则2复用原则保证静态类型安全C++由于如下特性，不利于实现静态类型安全：Union类型类型转换、退化缩窄转换范围错误void*指针应约束这些的使用，或用新特性如
CS_Zero·2024-02-19 20:35

Zilliz Cloud 再发新版本：性能提升超 10 倍，AI 应用开发流程再简化！

以下为本次发布的新特性一览：Cardinal搜索引擎正式上线了与Milvus2.3相同的功能基于角色的访问控制和权限
·2024-02-19 18:40

AWS Serverless PySpark 指定 Python 版本（qbit）

的最新版本是6.15，自带的Python版本是3.7，尝试上传使用Python3.11Python环境打包技术栈Ubuntu22.04（x86）Linuxversion5.15Python3.11.5pyspark3.4.1conda23.10.0conda-pack0.7.1
·2024-02-19 16:05

新特性速览！Sermant重磅更新，1.3.0 release版本发布

Sermant社区在12月份正式发布了1.3.0release版本，这次更新中，Sermant新增服务治理插件：消息队列禁止消费插件。该插件允许在微服务运行时动态地控制消费者（如Kafka、RocketMQ）的消费行为，实现禁止或开启消费，强化了Sermant的可用性治理能力。除此之外，本次版本更新还对Seramnt框架存在的已知问题和部分功能进行了修复和优化。（Sermant官网：https:/
·2024-02-19 15:24

《尚硅谷Redis7教程》笔记（小白篇）

documentation.html作者GitHubhttps://github.com/antirezRedisGitHub源码https://github.com/redis/redisGithubreleases新特性
newProxyInstance·2024-02-19 14:19

Quick introduction to Apache Spark

什么是SparkApacheSpark是一种快速通用的集群计算系统。它提供Java，Scala，Python和R中的高级API，以及支持通用执行图的优化引擎。
Liam_ml·2024-02-19 13:29

Spark中多分区写文件前可以不排序么

背景Spark3.5.0目前Spark中的实现中，对于多分区的写入默认会先排序，这是没必要的。
鸿乃江边鸟·2024-02-19 13:10

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

【大数据面试题】006介绍一下Parquet存储格式的优势

同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python
Jiweilai1·2024-02-19 13:34

七天爆肝flink笔记

一.flink整体介绍及wordcount案例代码1.1整体介绍从上到下包含有界无界流支持状态特点与spark对比应用场景架构分层1.2示例代码了解了后就整个demo吧数据源准备这里直接用的文本文件gradle
我才是真的封不觉·2024-02-19 13:01

前端八股文

了解详细...HTML5有哪些新特性？包括语义化标签（如、等）、音视频支持、本地存储、Canvas绘图等特性。了解详细...CSS八股文什么是盒模型？盒模型指
╰゛Maud·2024-02-19 12:02

js之es新特性

ES6(ECMAScript2015)1.let和constlet允许声明一个块作用域的变量。const允许声明一个块作用域的常量。letx=10;if(x===10){letx=20;//这里的x和外面的x不是同一个变量console.log(x);//20}console.log(x);//10consty=5;//y=10;//会抛出错误，因为y是一个常量2.模板字符串允许字符串内嵌表达式，
大超-无痕·2024-02-19 11:57

(15)Hive调优——数据倾斜的解决指南

目录前言一、什么是数据倾斜二、发生数据倾斜的表现2.1MapReduce任务2.2Spark任务三、如何定位发生数据倾斜的代码四、发生数据倾斜的原因3.1key分布不均匀3.1.1某些key存在大量相同值
爱吃辣条byte·2024-02-19 11:50

[前端开发] CSS基础知识 [下]

上篇:CSS基础知识[上]CSS基础知识[下]CSS新特性媒体查询雪碧图字体图标CSS新特性圆角(border-radius)通过border-radius属性为元素添加圆角。
YuanDaima2048·2024-02-19 10:46

精读《What‘s new in javascript》

2019年GoogleI/O介绍了一些激动人心的JS新特性，这些特性有些已经被主流浏览器实现，并支持polyfill，有些还在草案阶段。
可口可乐Vip·2024-02-19 10:54

Hive on Spark配置

前提条件1、安装好Hive，参考：Hive安装部署-CSDN博客2、下载好Spark安装包，链接：https://pan.baidu.com/s/1plIBKPUAv79WJxBSbdPODw?
在下区区俗物·2024-02-15 10:51

配置hive on spark

配置hiveonspark1、上传Spark纯净版jar包到HDFS：hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改
空白格2519·2024-02-15 10:51

hive on spark配置经验

常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode
小五冲冲冲·2024-02-15 10:21

HTML5与CSS3总结

3.HTML5新特性（面试）1）增加了audio和video音频播放，抛弃了Flash2）新增了canvas画布（绘画，制作动画（如小游戏开发等））3）地理定位4）增加了离线缓存5）硬件加速6）WebSocket
胡小七·2024-02-15 08:31

Hbase - 自定义Rowkey规则

中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark
kikiki2·2024-02-15 06:39
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他