E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kryo
在Spark中自定义
Kryo
序列化输入输出API
在Spark中内置支持两种系列化格式:(1)、Javaserialization;(2)、
Kryo
serialization。
nysyxxg
·
2015-09-06 13:00
序列化框架比较:
kryo
& hessian & Protostuff & java
序列化框架性能对比(
kryo
、hessian、java、protostuff)简介: 优点缺点
Kryo
速度快,序列化后体积小跨语言支持较复杂Hessian默认支持跨语言较慢Protostuff速度快,基于
·
2015-08-16 13:00
框架
序列化
kryo
com.esotericsoftware.
kryo
.
kryo
exception java.util.ConcurentModificationException
最近有网友看我的“整合Kafka到SparkStreaming——代码示例和挑战”文章,讲kafka对象放到pool并通过broadcast广播出去:然后在开发测试阶段报错如下:然后就找我,说“代码都跟你的差不多呀,为什么就报这个错呢?”其实对于广播操作,spark肯定要序列号的,还有尽量不要把大对象广播出去,后来把代码要过来看了下,发现createKafkaProducerPool这个方法,单独
stark_summer
·
2015-08-11 15:00
spark
对象
Broadcast
kryo
Kryo
序列化学习笔记
参考资料:https://github.com/EsotericSoftware/
kryo
#quickstart开始
Kryo
是一种基于java的快速高效序列化框架,该框架的目标是速度,效率以及容易使用的
fanshuangquan
·
2015-07-30 14:17
基于memcached-session-manager的负载均衡
环境CentOS6.5,Nginx1.7.2,Memcached 1.4.20一.导出lib1.利用maven,构建并导出基于
kryo
-serializer的lib,可以将下面的依赖版本和配置如下
jwdstef
·
2015-07-24 09:00
透过byte数组简单分析Java序列化、
Kryo
、ProtoBuf序列化
序列化在高性能网络编程、分布式系统开发中是举足轻重的之前有用过Java序列化、ProtocolBuffer等,在这篇文章这里中简单分析序列化后的byte数组观察各种序列化的差异与性能,这里主要分析Java序列化、
Kryo
·
2015-07-17 02:00
protobuf
使用
Kryo
Kryo
SerializerGitHub标签:
Kryo
Serialization使用
Kryo
简单例子下面我们使用
Kryo
来将一个class(ImmutableBytesWritable)的instance
u011491148
·
2015-07-16 15:00
kryo
Serializer
Spark中的序列化机制
Spark中的序列化机制GitHub标签:Spark
Kryo
在写Spark的应用时,尝尝会碰到序列化的问题。
u011491148
·
2015-07-16 13:00
spark
序列化
Tomcat+Memcached实现Session共享
Memcached-Session-Manager将Session序列化到Memcache中,序列化的组件有很多,比如:msm-
kryo
-serializer、msm
小旋风007
·
2015-07-10 11:14
tomcat
nginx
memcached
session共享
Tomcat+Memcached实现Session共享
Memcached-Session-Manager将Session序列化到Memcache中,序列化的组件有很多,比如:msm-
kryo
-serializer、msm-javolut
手不要乱摸
·
2015-07-10 11:14
tomcat
memcached
ngi
Tomcat
Tomcat+Memcached实现Session共享
Memcached-Session-Manager将Session序列化到Memcache中,序列化的组件有很多,比如:msm-
kryo
-serializer、msm
小旋风007
·
2015-07-10 11:14
tomcat
nginx
memcached
session共享
spark 笔记(二) 参数设置和调优
对有些地方的配置进行了调整和优化,总结起来,常用的一些设置如下:1. spark.serializer对象的序列化设置可以设置成spark的序列化类型,相对比较高效和紧凑,网络传输性能比较好 2. spark.
kryo
serializer.buffer.mb
xyl520
·
2015-06-26 10:00
mapreduce
spark
tomcat+nginx+mem配置session共享
将对应的jar都放到tomcat的lib文件夹中 javolution-5.5.1.jar
kryo
-1.03.jar
kryo
-serializers-0.10.jar memcached-2.5
lovewen_2004
·
2015-06-16 18:00
session共享
MSM实现tomcat集群中session共享的高可用
MSM简介2.1、MSM的特性2.2、MSM要解决的问题2.3、MSM的工作原理3、环境搭建3.1、memcached安装3.2、jdk与tomcat安装配置3.3、MSMstickysession+
kryo
sky_551
·
2015-05-18 22:46
tomcat
session
msm
[集群]
MSM实现tomcat集群中session共享的高可用
MSM的特性 2.2、MSM要解决的问题 2.3、MSM的工作原理3、环境搭建 3.1、memcached安装 3.2、jdk与tomcat安装配置 3.3、MSMstickysession+
kryo
sky_551
·
2015-05-18 22:46
tomcat
session
msm
MSM实现tomcat集群中session共享的高可用
MSM的特性 2.2、MSM要解决的问题 2.3、MSM的工作原理3、环境搭建 3.1、memcached安装 3.2、jdk与tomcat安装配置 3.3、MSMstickysession+
kryo
sky_551
·
2015-05-18 22:46
tomcat
session
msm
基于
kryo
net的RPC,使用
kryo
进行序列化
Kryo
是一个序列化框架。
Kryo
net是一个基于
kryo
的RPC框架,它实现了一套高效简洁的API,它通过NIO实现了TCP和UDP通讯,目前还不支持Http。
·
2015-05-11 13:00
序列化
Tuning Spark
tuning.html Data Serialization 数据序列化,对于任意分布式系统都是性能的关键点 Spark默认使用Java serialization,这个比较低效 推荐使用,
Kryo
·
2015-04-21 19:00
tuning
【Java.ThirdParty】序列化框架性能对比(
kryo
、hessian、java、protostuff)
转自:http://blog.csdn.net/jmppok/article/details/44409693序列化框架性能对比(
kryo
、hessian、java、protostuff)简介: 优点缺点
robinjwong
·
2015-04-03 16:00
Java.ThirdParty
序列化框架性能对比(
kryo
、hessian、java、protostuff)
序列化框架性能对比(
kryo
、hessian、java、protostuff)简介: 优点缺点
Kryo
速度快,序列化后体积小跨语言支持较复杂Hessian默认支持跨语言较慢Protostuff速度快,基于
jmppok
·
2015-03-25 10:00
序列化
Kryo
为什么比 Hessian 快
Kryo
是一个快速高效的Java对象图形序列化框架,它原生支持java,且在java的序列化上甚至优于google著名的序列化框架protobuf。
jmppok
·
2015-03-25 10:00
序列化
kryo
Spark不常用的参数调节
建议采用
Kryo
serialization的序列化方法,但是此种方法的不足之处在于
canglingye
·
2015-03-18 15:00
spark
序列化框架性能对比(
kryo
、hessian、java、protostuff)
序列化框架性能对比(
kryo
、hessian、java、protostuff)简介: 优点缺点
Kryo
速度快,序列化后体积小跨语言支持较复杂Hessian默认支持跨语言较慢Protostuff速度快,基于
jmppok
·
2015-03-18 00:00
Java
基于
kryo
序列化方案的memcached-session-manager多memcached节点配
基于JavaIO的序列化方案配置了memcached-session-manager,但是性能不好,现在先简单配置成基于
kryo
的 注意customConverter配置的com.test.serializer.Custom
Kryo
Registration
凯文加内特
·
2015-03-10 13:00
JAVA序列化工具的比较
阅读更多这次由于使用原生的序列化,貌似系统很慢,当系统的快慢不仅是一方面的因素,但在集群中,2个系统,不同架构间切换显的很慢,一开始使用
kryo
来解决,但最后发现不支持原生的序列化,SimpleSession
DR-YangLong
·
2014-12-30 13:00
java
序列化
JAVA序列化工具的比较
这次由于使用原生的序列化,貌似系统很慢,当系统的快慢不仅是一方面的因素,但在集群中,2个系统,不同架构间切换显的很慢,一开始使用
kryo
来解决,但最后发现不支持原生的序列化,SimpleSession为了避免序列化产生的冗余问题
DR-YangLong
·
2014-12-30 13:00
java
序列化
JAVA序列化工具的比较
这次由于使用原生的序列化,貌似系统很慢,当系统的快慢不仅是一方面的因素,但在集群中,2个系统,不同架构间切换显的很慢,一开始使用
kryo
来解决,但最后发现不支持原生的序列化,SimpleSession为了避免序列化产生的冗余问题
DR-YangLong
·
2014-12-30 13:00
java
序列化
Kryo
序列化
磁盘序列化
Kryo
kryo
= new
Kryo
(); // ...
kavy
·
2014-12-23 13:00
序列化
hive0.14 config
hive.exec.script.wrapper hive.exec.plan hive.plan.serialization.format
kryo
Admirals
·
2014-12-03 14:00
hive0.14配置参数项的功能介绍
null或者没有设置,那么该脚本将会直接以""的命令形式调用-->hive.exec.script.wrapperhive.exec.planhive.plan.serialization.format
kryo
Queryplanformatserializationbetweenclientandtasknodes.Twos
jsjw18
·
2014-11-26 16:02
hadoop
hive0.14配置参数项的功能介绍
那么该脚本将会直接以""的命令形式调用--> hive.exec.script.wrapper hive.exec.plan hive.plan.serialization.format
kryo
jsjw18
·
2014-11-26 16:00
hadoop
hive
聊聊序列化(一)关于序列化协议的一些思考和问题
有很多种序列化协议可以选择,比如Java原生的序列化协议,Protobuf,Thrift,Hessian,
Kryo
等等,这里说的序列化协议专指Java的基于二进制的协议,不是基于XML,JSON这种格式的协议
ITer_ZC
·
2014-11-04 22:00
序列化
protobuf
当当网开源Dubbox,扩展Dubbo服务框架支持REST风格远程调用
当当网近日开源了Dubbox项目,可为Dubbo服务框架提供多项扩展功能,包括REST风格远程调用、
Kryo
/FST序列化等等。
沈理
·
2014-10-22 00:00
当当网开源Dubbox,扩展Dubbo服务框架支持REST风格远程调用
当当网近日开源了Dubbox项目,可为Dubbo服务框架提供多项扩展功能,包括REST风格远程调用、
Kryo
/FST序列化等等。
沈理
·
2014-10-22 00:00
Kryo
的变长序列化底层在AS3的实现
packageyxcq.
kryo
{importflash.utils.ByteArray;importyxcq.utils.math.Long;publicclassInput{protectedvarbuffer
chzcb
·
2014-08-20 14:00
java
as3
kryo
序列化
Kryo
的变长序列化底层在AS3的实现
package yxcq.
kryo
{ import flash.utils.ByteArray; import yxcq.utils.math.Long; public class
chzcb
·
2014-08-20 14:00
java
序列化
as3
kryo
Kryo
的变长序列化底层在AS3的实现
packageyxcq.
kryo
{importflash.utils.ByteArray;importyxcq.utils.math.Long;publicclassInput{protectedvarbuffer
chzcb
·
2014-08-20 14:00
java
as3
kryo
序列化
Kryo
Kryo
是一个快速高效的Java对象图形序列化框架,它原生支持java,且在java的序列化上甚至优于google著名的序列化框架protobuf。
m635674608
·
2014-07-22 10:00
r
浅谈Spark
Kryo
serialization
为了减少内存的消耗,测试了一下
Kryo
serialization的使用代码包含三个类,
Kryo
Test、MyRegistrator、Qualify。我们知道在Spark默认使用的是Java自带的序列化
tovin
·
2014-07-09 17:00
2.基于memcached-session-manager的负载均衡
环境CentOS6.5,Nginx1.7.2,Memcached 1.4.20一.导出lib1.利用maven,构建并导出基于
kryo
-serializer的lib,可以将下面的依赖版本和配置如下 1.8.2
sgq0085
·
2014-07-07 22:00
快速序列化工具
kryo
kryo
是个高效的Java序列化库,
kryo
net是一个基于
kryo
的RPC库,使用TCP和UDP通讯,目前不支持http协议。
kavy
·
2014-07-02 17:00
序列化
使用
Kryo
的序列化方式提升Netty性能
为什么选择
Kryo
?首先,
Kryo
的序列化方式,在性能方面是比较好的,和Protobuf差不多,比Java原生的序列化方式快多了。
terrymanu
·
2014-06-03 13:00
序列化
netty
kryo
通信框架
Centos6.5实现memcached对session共享配置
conf/server.xml中的三个端口:8080,8081,8082memcached:memcached-1.4准备的Jarmemcached有多种session管理方式,这里采用官网称最有效率的一种
kryo
hitxiaya
·
2014-05-08 14:00
XMemcached客户端序列化方式
SerializingTranscoder见XMemcachedClientBuilder的代码:Transcodertranscoder=newSerializingTranscoder();也可使用
Kryo
xiemingmei
·
2014-03-18 12:00
memcached
xmemcached
Kryo
与Hessian序列化使用区别
Kryo
序列化: (1)Java 数据类中必须拥有无参构造函数; (2)Java 数据类的字段增、减, 无法兼容; (3)Java 数据类无需实现Serializable接口。
xiemingmei
·
2014-03-17 18:00
hessian
序列化
kryo
Cassandra Database(4)
Kryo
Cassandra Database(4)
Kryo
Really useful document, I need to read them when I have time if I plan
sillycat
·
2014-02-06 00:00
cassandra
TCP Socket的通讯框架
simple-socketshttp://www.oschina.net/p/cwsshttp://www.oschina.net/p/tcpproxyhttp://www.oschina.net/p/
kryo
nethttp
·
2013-12-17 15:00
socket
STL 中 sort 函数用法简介
url=qdq-ZuGJpdK6
KrYo
GF_x6HTz6jLNVIzksd2D-AXh7SyNRzkx4KuGLl-UAAOBhAVNTrvaPUgYk0Lw1n6L93FpfnbNWoM2VwQ-IlDK3Or4W2O
wuxinliulei
·
2013-12-09 00:00
C++
C语言
使用
kryo
作为spring data redis的序列化器
kryo
是个高性能的序列化器,目前无人能出其右。
Kryo
RedisSerializer实现,
kryo
是非线程安全的,每个现成要使用自己的
kryo
。
skmbw
·
2013-10-21 11:00
redis
kryo
Netty+
Kryo
实现高性能网络通信
netty 是 开源的基于java的网络通信框架,其中java对象的传输,netty使用的是java原生的序列化/反序列化实现的,而
Kryo
是性能更好的java序列化框架,能否让netty和
kryo
结合
dreamworker
·
2013-09-23 19:00
java序列化
netty
kryo
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他