UQI-LIUWJ
UQI-LIUWJ

论文笔记：AttnMove: History Enhanced Trajectory Recovery via AttentionalNetwork

AAAI 2021

1 intro

1.1 背景

  • 将用户稀疏的轨迹数据恢复至细粒度的轨迹数据是十分重要的
  • 恢复稀疏轨迹数据至细粒度轨迹数据是非常困难的
    • 已观察到的用户位置数据十分稀疏，使得未观察到的用户位置存在较多的不确定性
    • 真实数据中存在大量噪声，如何有效的挖掘周期性规律存在一定困难
    • 经常在历史轨迹中被访问的地点并不一定会是目标时间窗缺失的地点，如何利用用户历史上的位置数据是另一个挑战

1.2 论文思路

  • 提出了一个基于注意力机制的神经网络结构AttnMove用以恢复用户的移动位置
  • 主要从以下三个方面着手解决数据稀疏问题
    • 为了获取用户移动特征及推测缺失数据中最有可能访问的地点，本文利用轨迹内注意力机制设计了一个当前处理器用以初步填补缺失位置
    • 利用另一个轨迹内注意力机制设计了一个历史处理器用以挖掘不同历史轨迹的周期性特征
    • 为了融合当前处理器以及历史处理器提取出来的特征并预测用户缺失地点，本文提出了一个基于轨迹间注意力及地点生成注意力机制的轨迹恢复模块
      • 轨迹间注意力机制——用于生成历史轨迹对于当前移动状态影响的权重
      • 地点生成注意力机制——用于考虑时空约束

2 问题定义

  • 轨迹：一个用户一天内按时间顺序的活动位置序列
    • \tau_{u}^n=l_u^{n,1}\rightarrow l_u^{n,2}\rightarrow \cdots,l_u^{n,l}\rightarrow l_u^{n,\tau}
      • l_{u}^{n,t}表示用户u在第n天第t个时间间隙所处的位置
      • 如果用户在t个时间间隙的位置信息未被观察到，则l_{u}^{n,t}为空
    • \tau_u^n为用户当前轨迹，\{\tau_u^1,\tau_u^2,\cdots,\tau_u^{n-1}\}为用户u的历史轨迹

本文将轨迹恢复问题定义为，给定一个用户当前轨迹及历史轨迹，恢复当前轨迹中的缺失位置信息，用以重建当前轨迹

3 模型

论文笔记：AttnMove: History Enhanced Trajectory Recovery via AttentionalNetwork_第1张图片

4 实验结果

4.1 数据

  • 分别在Tencent及Geolife两个数据集上进行了实验。
  • 将北京地区划分成10655个格子，每个格子平均256平方米，每条轨迹的时间间隙设定为30分钟

论文笔记：AttnMove: History Enhanced Trajectory Recovery via AttentionalNetwork_第2张图片

4.2 结果

MAP是平均Precision

论文笔记：AttnMove: History Enhanced Trajectory Recovery via AttentionalNetwork_第3张图片

论文笔记：AttnMove: History Enhanced Trajectory Recovery via AttentionalNetwork_第4张图片

你可能感兴趣的:(论文笔记,论文阅读)

  • 《论文阅读》EmpDG：多分辨率交互式移情对话生成 COLING 2020 365JHWZGo 情感对话论文阅读共情回复回复生成对话系统多分辨率对抗学习
    《论文阅读》EmpDG：多分辨率交互式移情对话生成COLING2020前言简介模型架构共情生成器交互鉴别器损失函数前言亲身阅读感受分享，细节画图解释，再也不用担心看不懂论文啦~无抄袭，无复制，纯手工敲击键盘~今天为大家带来的是《EmpDG:Multi-resolutionInteractiveEmpatheticDialogueGeneration》出版：COLING时间：2020类型：共情回复关
  • 论文阅读——SpectralGPT じんじん 论文计算机视觉人工智能
    SpectralGPT:SpectralFoundationModelSpectralGPT的通用RS基础模型，该模型专门用于使用新型3D生成预训练Transformer（GPT）处理光谱RS图像。重建损失由两个部分组成：令牌到令牌和频谱到频谱下游任务：
  • 【视觉三维重建】【论文笔记】Deblurring 3D Gaussian Splatting CS_Zero 论文阅读
    去模糊的3D高斯泼溅，看Demo比3D高斯更加精细，对场景物体细节的还原度更高，[官网]（https://benhenryl.github.io/Deblurring-3D-Gaussian-Splatting/）背景技术Volumetricrendering-basednerualfields：NeRF.Rasterizationrendering:3D-GS.Rasterization比vol
  • [论文笔记] Transformer-XL 心心喵 论文笔记transformer深度学习人工智能
    这篇论文提出的Transformer-XL主要是针对Transformer在解决长依赖问题中受到固定长度上下文的限制，如Bert采用的Transformer最大上下文为512（其中是因为计算资源的限制，不是因为位置编码，因为使用的是绝对位置编码正余弦编码）。Transformer-XL能学习超过固定长度的依赖性，而不破坏时间一致性。它由段级递归机制和一种新的位置编码方案组成。该方法不仅能够捕获长期
  • 论文阅读：2020GhostNet华为轻量化网络 A_my_* 论文阅读人工智能计算机视觉深度学习
    创新：（1）对卷积进行改进（2）加残差连接1、GhostModule1、利用1x1卷积获得输入特征的必要特征浓缩。利用1x1卷积对我们输入进来的特征图进行跨通道的特征提取，进行通道的压缩，获得一个特征浓缩。2、利用深度可分离卷积获得特征浓缩的相似特征图（Ghost）。在获得特征浓缩之后，利用深度可分离卷积进行逐层卷积，进行跨特征点的特征提取，获得额外的特征图，也就是Ghost。将这两个进行堆叠就是
  • 《论文阅读》e-CARE：探索可解释因果推理的新数据集 ACL2022 365JHWZGo NLP论文阅读因果推理eCARE可解释性数据集
    《论文阅读》e-CARE：探索可解释因果推理的新数据集ACL2022前言简介数据集优势数据集语料级别的统计数据集示例评分标准前言今天为大家带来的是《e-CARE:aNewDatasetforExploringExplainableCausalReasoning》出版：ACL时间：2022类型：因果推理关键词：情绪原因；可解释的因果推理；数据集作者：LiDu,XiaoDing,KaiXiong,Ti
  • 论文阅读笔记《SimpleShot: Revisiting Nearest-Neighbor Classification for Few-Shot Learning》 深视 论文阅读笔记#小样本学习深度学习小样本学习
    小样本学习&元学习经典论文整理||持续更新核心思想  本文提出一种基于最近邻方法的小样本学习算法（SimpleShot），作者指出目前大量的小样本学习算法都采用了元学习的方案，而作者却发现使用简单的特征提取器+最近邻分类器的方法就能实现非常优异的小样本分类效果。本文首先用特征提取网络fθf_{\theta}fθ+线性分类器在一个基础数据集上对网络进行训练，将训练得到的特征提取网络增加一个简单的特征
  • SimpleShot: Revisiting Nearest-Neighbor Classification for Few-Shot Learning 论文笔记 头柱碳只狼 小样本学习
    前言目前大多数小样本学习器首先使用一个卷积网络提取图像特征，然后将元学习方法与最近邻分类器结合起来，以进行图像识别。本文探讨了这样一种可能性，即在不使用元学习方法，而仅使用最近邻分类器的情况下，能否很好地处理小样本学习问题。本文发现，对图像特征进行简单的特征转换，然后再进行最近邻分类，也可以产生很好的小样本学习结果。比如，使用DenseNet特征的最近邻分类器，在结合均值相减（meansubtra
  • 多模态相关论文笔记 靖待 大模型人工智能论文阅读
    (cilp)LearningTransferableVisualModelsFromNaturalLanguageSupervision从自然语言监督中学习可迁移的视觉模型openAI2021年2月48页PDFCODECLIP(ContrastiveLanguage-ImagePre-Training)对比语言图像预训练模型引言它比ImageNet模型效果更好，计算效率更高。尤其是zero-sho
  • 论文阅读：四足机器人对抗运动先验学习稳健和敏捷的行走 u小鬼 论文阅读论文阅读强化学习四足机器人
    论文：LearningRobustandAgileLeggedLocomotionUsingAdversarialMotionPriors进一步学习：AMP，baseline方法，TO摘要：介绍了一种新颖的系统，通过使用对抗性运动先验(AMP)使四足机器人在复杂地形上实现稳健和敏捷的行走。主要贡献包括为机器人生成AMP数据集，并提出一种教师-学生训练框架来学习稳健和敏捷的运动技能。该系统在现实世界
  • 【论文阅读】【yolo系列】YOLO-Pose的论文阅读 magic_ll yolo系列深度学习相关的论文阅读论文阅读YOLO
    Abstract我们介绍YOLO-pose，一种无热图联合检测的新方法，基于流行的YOLO目标检测框架的图像二维多人姿态估计。【现有方法的问题】现有的基于热图的两阶段方法是次优的，因为它们不是端到端可训练的，训练依赖于surrogateL1loss，该损失不能直接优化评估指标–目标关键点相似度（OKS）。【ours优势：端到端训练，并优化OKS指标本身，无复杂的后处理】该模型学习了在一次前向传递中
  • 【论文笔记 · PFM】Lag-Llama: Towards Foundation Models for Time Series Forecasting lokol. 论文笔记论文阅读llama
    Lag-Llama:TowardsFoundationModelsforTimeSeriesForecasting摘要本文提出Lag-Llama，在大量时间序列数据上训练的通用单变量概率时间序列预测模型。模型在分布外泛化能力上取得较好效果。模型使用平滑破坏幂律（smoothlybrokenpower-laws）。介绍目前任务主要集中于在相同域的数据上训练模型。当前已有的大规模通用模型在大规模不同数
  • 【论文阅读笔记】（2015 ICML）Unsupervised Learning of Video Representations using LSTMs 小吴同学真棒 学习人工智能LSTM动作识别无监督自监督self-supervised
    UnsupervisedLearningofVideoRepresentationsusingLSTMs（2015ICML）NitishSrivastava,ElmanMansimov,RuslanSalakhutdinovNotesContributionsOurmodelusesanencoderLSTMtomapaninputsequenceintoafixedlengthrepresent
  • 【论文笔记】Unsupervised Learning of Video Representations using LSTMs 奶茶不加糖え lstm深度学习自然语言处理
    摘要翻译我们使用长短时记忆（LongShortTermMemory,LSTM）网络来学习视频序列的表征。我们的模型使用LSTM编码器将输入序列映射到一个固定长度的表征向量。之后我们用一个或多个LSTM解码器解码这个表征向量来实现不同的任务，比如重建输入序列、预测未来序列。我们对两种输入序列——原始的图像小块和预训练卷积网络提取的高层表征向量——都做了实验。我们探索不同的设计选择，例如解码器的LST
  • 论文阅读-Hydra: 用于持久内存和RDMA网络的分散文件系统 向来痴_ 负载均衡论文网络
    论文名称：Hydra:ADecentralizedFileSystemforPersistentMemoryandRDMANetworks摘要新兴的字址持久内存（PM）有可能颠覆内存和存储之间的边界。结合高速RDMA网络，分布式基于PM的存储系统提供了通过紧密耦合PM和RDMA特性来实现存储性能大幅提升的机会。然而，现有的分布式文件系统采用为传统磁盘设计的传统集中式客户端-服务器架构，导致访问延迟
  • TRS 2024 论文阅读 | 基于点云处理和点Transformer网络的人体活动连续识别 R.X. NLOS #无线感知/雷达成像论文速递论文阅读transformer深度学习毫米波雷达点云
    注1:本文系“无线感知论文速递”系列之一,致力于简洁清晰完整地介绍、解读无线感知领域最新的顶会/顶刊论文(包括但不限于Nature/Science及其子刊;MobiCom,Sigcom,MobiSys,NSDI,SenSys,Ubicomp;JSAC,雷达学报等)。本次介绍的论文是:文章DOI:10.1109/TRS.2023.3341230。基于点云处理和点Transformer网络的人体活动连
  • 使用动态网格的流体动画 Fluid Animation with Dynamic Meshes 论文阅读笔记 hijackedbycsdn FluidSimulation笔记
    目录引言背景方法离散化离散化的导数算子速度插值广义的半拉格朗日步重新网格化双向流固耦合和质量守恒原文：Klingner,BryanM.,etal.“Fluidanimationwithdynamicmeshes.”ACMSIGGRAPH2006Papers.2006.820-825.引言使用[Alliezetal.,2005]的方法动态生成不规则的四面体网格根据边界的位置、边界的形状、基于流体和速
  • 论文阅读-基于动态权重的一致性哈希微服务负载均衡优化 向来痴_ 负载均衡论文论文阅读微服务负载均衡
    论文名称：基于动态权重的一致性哈希微服务负载均衡优化摘要随着互联网技术的发展，互联网服务器集群的负载能力正面临前所未有的挑战。在这样的背景下，实现合理的负载均衡策略变得尤为重要。为了达到最佳的效率，可以利用一致性哈希算法对集群负载均衡系统进行负载分配。针对微服务架构的服务器集群场景，本文分析了集群负载均衡的特性，并提出了一种基于虚拟节点的一致性哈希环设计与分割方法，以及基于动态权值的分配策略。在一
  • 论文阅读 - Non-Local Spatial Propagation Network for Depth Completion 七元权 论文阅读论文阅读深度图补全NLSPNSPN深度学习
    文章目录1概述2模型说明2.1局部SPN2.2非局部SPN2.3结合置信度的亲和力学习2.3.1传统正则化2.3.2置信度引导的affinity正则化3效果3.1NYUDepthV23.2KITTIDepthCompletion参考资料1概述本文提出了一种非局部的空间传播网络用于深度图补全，简称为NLSPN。（1）为什么需要深度图补全？在AR、无人机控制、自动驾驶和运动规划等应用当中，需要知道物体
  • 【论文阅读笔记】AutoAugment:Learning Augmentation Strategies from Data 少写代码少看论文多多睡觉 #论文阅读笔记论文阅读笔记
    AutoAugment:LearningAugmentationStrategiesfromData摘要研究方法:本文描述了一种名为AutoAugment的简单程序，通过这个程序可以自动寻找改进的数据增强策略。研究设计了一个策略空间，其中策略包含多个子策略，在每个小批量数据中针对每张图片随机选择一个子策略。每个子策略由两个操作组成，每个操作是图像处理函数（如平移、旋转或剪切），以及应用这些函数的概
  • MOSSE算法论文笔记以及代码解释 five days 计算机视觉深度学习机器学习
    论文《VisualObjectTrackingusingAdaptiveCorrelationFilters》代码github1.论文idea提出以滤波器求相关的形式，找到最大响应处的位置，也就是我们所跟踪的目标的中心，进而不断的更新跟踪目标框和滤波器。2.跟踪策略如图，根据初始帧圈出的目标框训练滤波器，最大响应处为目标框的中心点，当移动到下一帧时，根据滤波器求相关的算法获得最大响应值，进而得出下
  • 『论文阅读|利用深度学习在热图像中实现无人机目标检测』 Dymc 深度学习目标检测论文论文阅读深度学习无人机
    利用深度学习在热图像中实现无人机目标检测摘要1引言1.1小物体检测1.2物体检测中的模型组合1.3热图像处理2提出的模型2.1预测头数量2.2骨干网络优化2.3Transformerencoder模块2.4使用滑动窗口和注意力进行卷积2.5训练和运行过程3结果3.1数据集3.2评估指标和平台3.3评估结果4结论论文题目：ObjectDetectioninThermalImagesUsingDeep
  • 『论文阅读|研究用于视障人士户外障碍物检测的 YOLO 模型』 Dymc 论文深度学习目标检测论文阅读YOLO
    研究用于视障人士户外障碍物检测的YOLO模型摘要1引言2相关工作2.1障碍物检测的相关工作2.2物体检测和其他基于CNN的模型3问题的提出4方法4.1YOLO4.2YOLOv54.3YOLOv64.4YOLOv74.5YOLOv84.6YOLO-NAS5实验和结果5.1数据集和预处理5.2训练和实现细节5.3性能指标5.4性能分析5.4.1YOLOv5的结果5.4.2YOLOv6的结果5.4.3Y
  • 草图三维模型生成论文阅读整理 fisherisfish 论文阅读
    论文终于接收啦！给草图研究做个收尾就去投实习！仅为个人整理，如有错误，欢迎指出！因为想给论文找创新点，所以需要大量阅读论文，部分论文会精读到实现的步骤，部分论文就记录一下思路。目前基于大模型和深度学习的三维重建任务可以简单分类为text23D，也就是文本控制转三维模型，一般使用语言模型提取文本的特征，然后去噪概率扩散模型生成多视角图像，最后再用NeRF进行三维重建，例如Dreamfusion、Ma
  • 论文阅读-PIM-tree：一种面向内存处理的抗偏移索引 向来痴_ 论文阅读
    论文名称：PIM-tree:ASkew-resistantIndexforProcessing-in-Memory摘要当今的内存索引性能受到内存延迟/带宽瓶颈的限制。Processing-in-memory(PIM)是一种新兴的方法，可能通过实现低延迟内存访问，其聚合内存带宽随PIM节点数量扩展，来缓解这种瓶颈。然而，在工作负载偏斜的情况下，PIM系统在最小化节点间通信和实现负载平衡之间存在固有的
  • 【论文阅读笔记】Contrastive Learning with Stronger Augmentations 少写代码少看论文多多睡觉 #论文阅读笔记论文阅读笔记
    ContrastiveLearningwithStrongerAugmentations摘要基于提供的摘要，该论文的核心焦点是在对比学习领域提出的一个新框架——利用强数据增强的对比学习（ContrastiveLearningwithStrongerAugmentations，简称CLSA）。以下是对摘要的解析：问题陈述：表征学习（representationlearning）已在对比学习方法的推动
  • Attention Is All Your Need论文笔记 xiaoyan_lu 论文笔记论文阅读
    论文解决了什么问题？提出了一个新的简单网络架构——transformer，仅仅是基于注意力机制，完全免去递推和卷积，使得神经网络训练地速度极大地提高。Weproposeanewsimplenetworkarchitecture,theTransformer,basedsolelyonattentionmechanisms,dispensingwithrecurrenceandconvolution
  • 使用八叉树模拟水和烟雾 Simulating Water and Smoke with an Octree Data Structure 论文阅读笔记 hijackedbycsdn FluidSimulation笔记
    原文：Losasso,Frank,FrédéricGibou,andRonFedkiw.“Simulatingwaterandsmokewithanoctreedatastructure.”Acmsiggraph2004papers.2004.457-462.引言这篇文章扩展了[Popinet2003]的工作，拓展到表面自由流，并且使得八叉树不受限制自适应网格划分的一个缺点是，它的模板不是均匀的，
  • PointMixer论文阅读笔记 ZHANG8023ZHEN 论文阅读笔记
    MLP-mixer是最近很流行的一种网络结构，比起Transformer和CNN的节构笨重，MLP-mixer不仅节构简单，而且在图像识别方面表现优异。但是MLP-mixer在点云识别方面表现欠佳，PointMixer就是在保留了MLP-mixer优点的同时，还可以很好的处理点云问题。PointMixer可以很好的处理intra-set,inter-set,hierarchical-set的点云。
  • MTR++论文阅读 ZHANG8023ZHEN 论文阅读
    https://zhuanlan.zhihu.com/p/654070149文章亮点：DenseFuturePredictionforAllAgent：将预测的结果也encode起来，用于平衡障碍物之间的预测结果。不过在infer的时候这一部分不会进行用数据集聚类获得query轨迹点（goal点）：将goal点也进行Transformer，并且让上一帧模型的结果用于下一帧的模型推理，可以使模型的推
  • LeetCode[位运算] - #137 Single Number II Cwind javaAlgorithmLeetCode题解位运算
    原题链接：#137 Single Number II  要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现三次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间   难度：中等   分析： 与#136类似，都是考察位运算。不过出现两次的可以使用异或运算的特性 n XOR n = 0, n XOR 0 = n，即某一
  • 《JavaScript语言精粹》笔记 aijuans JavaScript
    0、JavaScript的简单数据类型包括数字、字符创、布尔值（true/false）、null和undefined值，其它值都是对象。 1、JavaScript只有一个数字类型，它在内部被表示为64位的浮点数。没有分离出整数，所以1和1.0的值相同。 2、NaN是一个数值，表示一个不能产生正常结果的运算结果。NaN不等于任何值，包括它本身。可以用函数isNaN(number)检测NaN,但是
  • 你应该更新的Java知识之常用程序库 Kai_Ge java
    在很多人眼中，Java 已经是一门垂垂老矣的语言，但并不妨碍 Java 世界依然在前进。如果你曾离开 Java，云游于其它世界，或是每日只在遗留代码中挣扎，或许是时候抬起头，看看老 Java 中的新东西。 Guava Guava[gwɑ:və]，一句话，只要你做Java项目，就应该用Guava（Github）。 guava 是 Google 出品的一套 Java 核心库，在我看来，它甚至应该
  • HttpClient 120153216 httpclient
    /** * 可以传对象的请求转发，对象已流形式放入HTTP中 */ public static Object doPost(Map<String,Object> parmMap,String url) { Object object = null; HttpClient hc = new HttpClient(); String fullURL
  • Django model字段类型清单 2002wmj django
    Django 通过 models 实现数据库的创建、修改、删除等操作，本文为模型中一般常用的类型的清单，便于查询和使用： AutoField：一个自动递增的整型字段，添加记录时它会自动增长。你通常不需要直接使用这个字段；如果你不指定主键的话，系统会自动添加一个主键字段到你的model。(参阅自动主键字段) BooleanField：布尔字段,管理工具里会自动将其描述为checkbox。 Cha
  • 在SQLSERVER中查找消耗CPU最多的SQL 357029540 SQL Server
    返回消耗CPU数目最多的10条语句 SELECT TOP 10    total_worker_time/execution_count AS avg_cpu_cost, plan_handle,    execution_count,    (SELECT SUBSTRING(text, statement_start_of
  • Myeclipse项目无法部署，Undefined exploded archive location 7454103 eclipseMyEclipse
    做个备忘！ 错误信息为：       Undefined exploded archive location 原因：           在工程转移过程中，导致工程的配置文件出错； 解决方法：    
  • GMT时间格式转换 adminjun GMT时间转换
    普通的时间转换问题我这里就不再罗嗦了，我想大家应该都会那种低级的转换问题吧，现在我向大家总结一下如何转换GMT时间格式，这种格式的转换方法网上还不是很多，所以有必要总结一下，也算给有需要的朋友一个小小的帮助啦。 1、可以使用 SimpleDateFormat SimpleDateFormat    EEE-三位星期 d-天 MMM-月 yyyy-四位年
  • Oracle数据库新装连接串问题 aijuans oracle数据库
    割接新装了数据库，客户端登陆无问题，apache/cgi-bin程序有问题，sqlnet.log日志如下： Fatal NI connect error 12170.   VERSION INFORMATION:         TNS for Linux: Version 10.2.0.4.0 - Product
  • 回顾java数组复制 ayaoxinchao java数组
    在写这篇文章之前，也看了一些别人写的，基本上都是大同小异。文章是对java数组复制基础知识的回顾，算是作为学习笔记，供以后自己翻阅。首先，简单想一下这个问题：为什么要复制数组？我的个人理解：在我们在利用一个数组时，在每一次使用，我们都希望它的值是初始值。这时我们就要对数组进行复制，以达到原始数组值的安全性。java数组复制大致分为3种方式：①for循环方式 ②clone方式 ③arrayCopy方
  • java web会话监听并使用spring注入 bewithme Java Web
            在java web应用中，当你想在建立会话或移除会话时，让系统做某些事情，比如说，统计在线用户，每当有用户登录时，或退出时，那么可以用下面这个监听器来监听。        import java.util.ArrayList; import java.ut
  • NoSQL数据库之Redis数据库管理(Redis的常用命令及高级应用) bijian1013 redis数据库NoSQL
    一 .Redis常用命令         Redis提供了丰富的命令对数据库和各种数据库类型进行操作，这些命令可以在Linux终端使用。         a.键值相关命令         b.服务器相关命令 1.键值相关命令       &
  • java枚举序列化问题 bingyingao java枚举序列化
    对象在网络中传输离不开序列化和反序列化。而如果序列化的对象中有枚举值就要特别注意一些发布兼容问题: 1.加一个枚举值 新机器代码读分布式缓存中老对象，没有问题，不会抛异常。 老机器代码读分布式缓存中新对像，反序列化会中断，所以在所有机器发布完成之前要避免出现新对象，或者提前让老机器拥有新增枚举的jar。 2.删一个枚举值 新机器代码读分布式缓存中老对象，反序列
  • 【Spark七十八】Spark Kyro序列化 bit1129 spark
    当使用SparkContext的saveAsObjectFile方法将对象序列化到文件，以及通过objectFile方法将对象从文件反序列出来的时候，Spark默认使用Java的序列化以及反序列化机制，通常情况下，这种序列化机制是很低效的，Spark支持使用Kyro作为对象的序列化和反序列化机制，序列化的速度比java更快，但是使用Kyro时要注意，Kyro目前还是有些bug。 Spark
  • Hybridizing OO and Functional Design bookjovi erlanghaskell
      推荐博文： Tell Above, and Ask Below - Hybridizing OO and Functional Design 文章中把OO和FP讲的深入透彻，里面把smalltalk和haskell作为典型的两种编程范式代表语言，此点本人极为同意，smalltalk可以说是最能体现OO设计的面向对象语言，smalltalk的作者Alan kay也是OO的最早先驱，
  • Java-Collections Framework学习与总结-HashMap BrokenDreams Collections
            开发中常常会用到这样一种数据结构，根据一个关键字，找到所需的信息。这个过程有点像查字典，拿到一个key，去字典表中查找对应的value。Java1.0版本提供了这样的类java.util.Dictionary(抽象类)，基本上支持字典表的操作。后来引入了Map接口，更好的描述的这种数据结构。  &nb
  • 读《研磨设计模式》-代码笔记-职责链模式-Chain Of Responsibility bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /** * 业务逻辑：项目经理只能处理500以下的费用申请，部门经理是1000，总经理不设限。简单起见，只同意“Tom”的申请 * bylijinnan */ abstract class Handler { /*
  • Android中启动外部程序 cherishLC android
    1、启动外部程序 引用自： http://blog.csdn.net/linxcool/article/details/7692374 //方法一 Intent intent=new Intent(); //包名 包名+类名（全路径） intent.setClassName("com.linxcool", "com.linxcool.PlaneActi
  • summary_keep_rate coollyj SUM
    BEGIN /*DECLARE minDate varchar(20) ; DECLARE maxDate varchar(20) ;*/ DECLARE stkDate varchar(20) ; DECLARE done int default -1; /* 游标中 注册服务器地址 */ DE
  • hadoop hdfs 添加数据目录出错 daizj hadoophdfs扩容
    由于原来配置的hadoop data目录快要用满了，故准备修改配置文件增加数据目录，以便扩容，但由于疏忽，把core-site.xml, hdfs-site.xml配置文件dfs.datanode.data.dir 配置项增加了配置目录，但未创建实际目录，重启datanode服务时，报如下错误： 2014-11-18 08:51:39,128 WARN org.apache.hadoop.h
  • grep 目录级联查找 dongwei_6688 grep
           在Mac或者Linux下使用grep进行文件内容查找时，如果给定的目标搜索路径是当前目录，那么它默认只搜索当前目录下的文件，而不会搜索其下面子目录中的文件内容，如果想级联搜索下级目录，需要使用一个“-r”参数： grep -n -r "GET" .   上面的命令将会找出当前目录“.”及当前目录中所有下级目录
  • yii 修改模块使用的布局文件 dcj3sjt126com yiilayouts
    方法一：yii模块默认使用系统当前的主题布局文件，如果在主配置文件中配置了主题比如: 'theme'=>'mythm', 那么yii的模块就使用 protected/themes/mythm/views/layouts 下的布局文件； 如果未配置主题，那么 yii的模块就使用  protected/views/layouts 下的布局文件， 总之默认不是使用自身目录 pr
  • 设计模式之单例模式 come_for_dream 设计模式单例模式懒汉式饿汉式双重检验锁失败无序写入
                    今天该来的面试还没来，这个店估计不会来电话了，安静下来写写博客也不错，没事翻了翻小易哥的博客甚至与大牛们之间的差距，基础知识不扎实建起来的楼再高也只能是危楼罢了，陈下心回归基础把以前学过的东西总结一下。   *********************************
  • 8、数组 豆豆咖啡 二维数组数组一维数组
      一、概念       数组是同一种类型数据的集合。其实数组就是一个容器。   二、好处       可以自动给数组中的元素从0开始编号，方便操作这些元素   三、格式   //一维数组 1,元素类型[] 变量名 = new 元素类型[元素的个数] int[] arr =
  • Decode Ways hcx2013 decode
    A message containing letters from A-Z is being encoded to numbers using the following mapping: 'A' -> 1 'B' -> 2 ... 'Z' -> 26 Given an encoded message containing digits, det
  • Spring4.1新特性——异步调度和事件机制的异常处理 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • squid3(高命中率)缓存服务器配置 liyonghui160com
        系统:centos 5.x   需要的软件:squid-3.0.STABLE25.tar.gz 1.下载squid wget http://www.squid-cache.org/Versions/v3/3.0/squid-3.0.STABLE25.tar.gz tar zxf squid-3.0.STABLE25.tar.gz &&
  • 避免Java应用中NullPointerException的技巧和最佳实践 pda158 java
    1) 从已知的String对象中调用equals()和equalsIgnoreCase()方法，而非未知对象。 　　总是从已知的非空String对象中调用equals()方法。因为equals()方法是对称的，调用a.equals(b)和调用b.equals(a)是完全相同的，这也是为什么程序员对于对象a和b这么不上心。如果调用者是空指针，这种调用可能导致一个空指针异常 Object unk
  • 如何在Swift语言中创建http请求 shoothao httpswift
    概述：本文通过实例从同步和异步两种方式上回答了”如何在Swift语言中创建http请求“的问题。 如果你对Objective-C比较了解的话，对于如何创建http请求你一定驾轻就熟了，而新语言Swift与其相比只有语法上的区别。但是，对才接触到这个崭新平台的初学者来说，他们仍然想知道“如何在Swift语言中创建http请求？”。 在这里,我将作出一些建议来回答上述问题。常见的
  • Spring事务的传播方式 uule spring事务
    传播方式：        新建事务       required       required_new   - 挂起当前         非事务方式运行       supports   &nbs
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他