frank_hetest
frank_hetest

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统

DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems

Ruoxi Wang, Rakesh Shivanna, Derek Z. Cheng, Sagar Jain, Dong Lin, Lichan Hong, Ed H. Chi

Google

https://arxiv.org/pdf/2008.13535.pdf

构建推荐系统的关键之一在于学习到有效的特征交叉。

但是，稀疏大规模特征空间中识别有效特征交互非常耗时。DCN可以自动并且高效学习限定度的预测性特征交互。在大规模流量的十亿级别的训练样本中建模时，DCN在学习预测性更强的特征交互时，交叉网络暴露出了它在表示性方面的局限性。虽然一些重要研究成果涌现出来，很多生产环境中的深度学习模型依然依赖传统前向传播神经网络来学习特征交互，这种方式并不高效。

基于DCN和现有特征交互学习方法的优缺点，作者们提出一种改进的框架，DCN-V2，这种改进可以使得DCN更适用于大规模工业界场景中。通过大量超参搜索和模型调优，作者们发现DCN-V2在比较流行的基准数据集上效果优于其它STOA算法。

改进的DCN-v2表达能力更强，在特征交互学习中也比较高效，尤其是跟低秩混合结构融合时。DCN-v2比较简单，很容易作为堆叠的块，在谷歌的很多大规模学习排序系统中不仅线下准确率有显著提升，而且线上业务指标也有显著提升。

这篇文章的主要贡献如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第1张图片

相关模型主要有以下几种

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第2张图片

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第3张图片

作者们所提模型图示如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第4张图片

其中堆叠式中，cross网络跟deep部分是串行的，并行式中，cross网络跟deep部分是并行的

嵌入层简介及特点描述如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第5张图片

下面是cross网络简介

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第6张图片

作者们所提出的cross网络图示如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第7张图片

深层网络的表达式如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第8张图片

目标函数形式如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第9张图片

权重矩阵的奇异值变化趋势以及低秩专家的组合图示如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第10张图片

在子空间中学习特征交互可以借助moe来实现

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第11张图片

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第12张图片

复杂度分析如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第13张图片

作者们所提模型跟DCN的区别如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第14张图片

跟dlrm和deepfm之间的关系如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第15张图片

跟xdeepfm之间的关系如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第16张图片

跟autoint的区别在于

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第17张图片

跟pnn的关系如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第18张图片

DCN DCN-V2和深度神经网络在人工数据集上的效果对比如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第19张图片

DCN和DCN-V2对于不同的特征交互的阶效果对比如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第20张图片

层数对DCN和DCN-v2的影响如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第21张图片

数据集简介及分割策略如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第22张图片

数据集信息统计如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第23张图片

几种模型的关键表达式和目标函数形式对比如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第24张图片

嵌入层单元数如何定，推荐方案如下

优化方法如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第25张图片

下面是参数设置

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第26张图片

几种模型的效果对比如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第27张图片

多个模型的整体效果对比如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第28张图片

其中几个模型的区别如下

不同的资源限制下，模型效果对比如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第29张图片

层数以及矩阵的秩对模型效果影响如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第30张图片

不同特征交互的重要性图示如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第31张图片

不同模型在不同paper中效果汇总如下

谷歌提出改进版DCN(DCNV2)用于大规模推荐系统_第32张图片

              我是分割线

您可能感兴趣

ADKDD2017|深度交叉网络DCN在广告点击预估中的应用

WWW2018|FwFM加权域分解机在CTR预估中的应用

WSDM2020|InterHAt分层注意力可解释CTR预估(已开源)

CIKM2019|Fi-GNN图神经网络学习特征交互在CTR预估中的应用(已开源)

CIKM2019|AutoInt自注意力神经网络自动学习特征交互(已开源)

WSDM2019|近似解耦随机游走RecWalk在top-N推荐中的应用(已开源)

CIKM2013|深层结构语意模型DSSM在web搜索中的应用

WSDM2019|社交注意力记忆网络在推荐系统中的应用(已开源)

SIGIR2020|基于序贯行为的高效迁移学习在用户建模及推荐中的应用(已开源)

WSDM2019|门限注意力自编码在内容感知推荐中的应用(已开源)

WWW2019|对偶图注意力网络在推荐系统中的应用(已开源)

KDD2019|个性化注意力在新闻推荐中的应用

SIGIR2020|序贯元学习方法在重新训练推荐系统中的应用(已开源)

WSDM2019|动态图注意力网络在基于会话的社交推荐中的应用

IJCAI2017|基于注意力机制的FM模型AFM在学习特征交互权重中的应用(已开源)

KDD2020|自动特征交互选择(AutoFIS)分解机模型在CTR预估中的应用(已开源)

SIGIR2020|LightGCN图卷积网络在推荐系统中的应用(已开源)

WWW2019|图神经网络在社交推荐中的应用

AAAI2019|自注意力度量学习在下一个商品推荐中的应用

WWW2020|基于隐含意图的注意力序列模型在下一个商品推荐中的应用

WWW2015|深度学习在推荐系统跨域用户建模中的应用

ICDE2020|多图卷积网络在草药推荐中的应用

ATM|注意力转移模型在预测下一个商品中的应用

IJCAI2019|深层自注意力网络在序列推荐中的应用

AAAI2020|深度学习在表格分析中的应用

NIPS论文系列|复数域RNN,深层生成模型,DRL在MDP中的应用(已开源)

AAAI2020|结合时空信息的分层注意力网络在大规模社交网络中的应用

ICDE2020|基于深度学习的关系抽取

只有正样本和无标签样本时如何构建分类器

ICDE2020|图卷积网络在价格感知推荐中的应用

WSDM2020|基于强化学习的多轮对话推荐系统(EAR, 即将开源)

WWW2020|如何利用未来数据协助训练基于会话的推荐(GRec)

ICML2018|基于自注意力的序列推荐模型SASRec(已开源)

IJCAI2018|分层时空LSTM在位置预测中的应用(HST-LSTM)

IJCAI2019|基于会话和注意力机制的CTR预估模型DSIN(已开源)

AISTATS2018|密歇根大学提出新型在线boosting算法用于多标签排序(已开源)

AAAI2020|一种新型高效兼容多行为的推荐系统模型EHCF(已开源)

ICML2007|深度学习用于协同过滤的开篇作之一(出自深度学习鼻祖之一Hinton)

SIGIR2019|基于BERT的深度学习模型在信息检索中的应用(已开源)

SIGIR2019|深度学习如何更好地用于学习排序(LTR)(已开源)

你可能感兴趣的:(神经网络,机器学习,深度学习,人工智能,python)

  • aiohttp: AttributeError: ‘NoneType‘ object has no attribute ‘get_extra_info‘ zzzzls~ Pythonpythonaiohttpasyncio
    使用Proxyman分析aiohttp请求时遇到如上错误:报错环境系统:macPython:Python3.8.11aiohttp:3.8.0抓包软件:Proxyman解决方案:修改***/python3.8/site-packages/aiohttp/connector.py1211行:#注释如下行#runtime_has_start_tls=self._loop_supports_start_
  • Holoviews 创建复杂的可视化布局 步入烟尘 Python超入门指南全册Holoviewspython
    如何使用Holoviews创建复杂的可视化布局在数据科学和数据可视化领域，Holoviews是一个非常强大的Python库，它可以帮助我们轻松地创建各种复杂的可视化布局。Holoviews提供了一个高层次的接口，使得创建交互式和静态可视化变得简单而直观。本文将介绍如何使用Holoviews来创建复杂的可视化布局，让你的数据以最直观的方式展现出来。安装Holoviews首先，确保你已经安装了Holo
  • Python---AttributeError: 'NoneType' object has no attribute 'xxxx'问题 Jeffrey-J pythonpython
    做剑指找中位数题时发现如下代码报该错误data=[]data=data.append(num)会报:AttributeError:‘NoneType’objecthasnoattribute'append’错误。原因是什么呢？这时我查看了一下data的类型为。说明我们在某对象上试图使用某个方法或访问某个属性，但该对象为空。空对象肯定不会有append属性，所以报错。解决：既然新生成的对象为空，那只
  • Python教学 | 有备无患！详解 Python 异常处理（try-except） 企研数据 pythonPython异常处理try-except语法错误程序异常
    更多详情请点击查看原文：Python教学|有备无患！详解Python异常处理（try-except）Python教学专栏，旨在为初学者提供系统、全面的Python编程学习体验。通过逐步讲解Python基础语言和编程逻辑，结合实操案例，让小白也能轻松搞懂Python！>>>点击此处查看往期Python教学内容本文目录引言一、关于异常二、try-except用法三、哪些情况下需要使用try-excep
  • 【Python】解决AttributeError: ‘NoneType‘ object has no attribute ‘xxxx‘ 云天徽上 Pandaspython开发语言pandas机器学习numpy
    【Python】解决AttributeError:'NoneType'objecthasnoattribute'xxxx'报错欢迎莅临我的个人主页这里是我深耕Python编程、机器学习和自然语言处理（NLP）领域，并乐于分享知识与经验的小天地！博主简介：我是云天徽上，一名对技术充满热情的探索者。多年的Python编程和机器学习实践，使我深入理解了这些技术的核心原理，并能够在实际项目中灵活应用。尤其
  • python的魔法方法 zhongguo_boy python
    python的魔法方法python中的魔法方法是一些可以让你对类添加“魔法”的特殊方法，它们经常是两个下划线包围来命名的，比如__init__,__call__。魔法方法可以使Python的自由度变得更高，在面向对象方面表现的更好。python有很多魔法方法，根据其作用和特点，归纳总结为以下几类1.基础魔法方法1.1__new____new__是真正的构造函数，在实例化对象时被调用，通常你不会实现
  • Sora文本生成影像模型背后的创新原理与挑战 noVonN c语言深度学习算法区块链人工智能
    引言随着人工智能技术的飞速发展，OpenAI作为行业领导者，在文本生成领域取得重大突破之后，近日又推出了其在影像生成领域的最新力作——Sora。这款模型将自然语言处理与计算机视觉技术相结合，旨在通过输入文本描述来快速创作出逼真的电影场景，为内容创作者提供了前所未有的艺术表达工具。然而，正如OpenAI所指出的那样，尽管Sora展现出了令人惊叹的创造力，但它在仿真复杂物理现象和理解具体事例因果关系方
  • 出现 xxx missing 1 required positional argument: ‘self‘ 解决方法 码农研究僧 BUGpythonbug
    目录1.问题所示2.原理分析3.解决方法1.问题所示编译代码的时候，出现如下问题：E:\software\anaconda3\envs\py3.10\python.exeF:\python_project\test\main.pyTraceback(mostrecentcalllast):File"F:\python_project\test\main.py",line36,
  • 【Hopfield 网络】 记忆和联想 Deno_V 人工智能神经网络算法
    Hopfield网络：记忆和联想这篇内容是观看这个视频（神经网络是如何联想和记忆的）之后的emmm可以说是总结吧！开篇如果我们突然听到了一首歌，我们为什么能快速的反应出这是哪首歌？这很不可思议，对吧！我们听到了一首歌，如果我们要把这首歌和我们记忆中存储的成千上万首歌一一比较才能知道这是哪首歌的话，那大脑早就超载爆炸了！所以我们不可能通过搜索的方式还原出一首歌是啥样。蛋白质是由肽链折叠而成的，蛋白质
  • 12.2 Python绝对路径和相对路径详解 愿与你共信仰 第12章Python文件操作（I/O）python基础超详细
    在介绍绝对路径和相对路径之前，先要了解一下什么是当前工作目录。什么是当前工作目录每个运行在计算机上的程序，都有一个“当前工作目录”（或cwd）。所有没有从根文件夹开始的文件名或路径，都假定在当前工作目录下。注意，虽然文件夹是目录的更新的名称，但当前工作目录（或当前目录）是标准术语，没有当前工作文件夹这种说法。在Python中，利用os.getcwd()函数可以取得当前工作路径的字符串，还可以利用o
  • python爬虫处理滑块验证_python selenium爬虫滑块验证 用户6731453637 python爬虫处理滑块验证
    importrandomimporttimefromPILimportImagefromioimportBytesIOimportrequestsasrqfrombs4importBeautifulSoupasbsfromseleniumimportwebdriverfromselenium.webdriverimportActionChainsfromselenium.webdriverimpo
  • pandas读取带有表头的数据文件，读取无表头的数据文件 小桥流水---人工智能 人工智能深度学习Python程序代码pandas
    在Python中使用pandas库读取数据时，常见的问题之一就是如何处理数据文件中的表头。1.引入pandas库在开始之前，我们首先需要导入pandas库。如果你的环境中还未安装pandas，可以使用pip安装：pipinstallpandas导入pandas库：importpandasaspd2.读取带有表头的数据文件当数据文件中包含表头时，pandas会默认将第一行数据作为DataFrame的
  • python unittest TypeError setUpClass missing 1 required positional argument cls Kelly雨薇 python框架
    pythonunittest框架使用可以用两种方法：（1）所有内容写在一个python文件里eg：https://blog.csdn.net/panyueke/article/details/85305223（2）function与主框架隔离eg：functions.pydeffun_div(x):returnx/2deffun_add(x):returnx+2deffun_minus(x):re
  • 程式语言区分 白总Server htmlpythonjavac++开发语言
    程序语言有很多种，每种都有其特定的用途和特点。以下是一些广泛使用的编程语言：1.Python：易于学习，广泛用于数据科学、机器学习、网络开发、自动化等领域。2.Java：广泛应用于企业级应用、安卓开发、大型系统开发等。3.C：一种基础语言，广泛用于系统编程、嵌入式开发、操作系统等领域。4.C++：C语言的扩展，支持面向对象编程，用于游戏开发、高性能应用等。5.JavaScript：主要用于网页前端
  • 【python3.3.2】 首次接触python print 出现SyntaxError: invalid syntax 唯落瑾年 python
    3.0以后的print都改为了print();>>>print'hello'SyntaxError:invalidsyntax>>>print('hello')hello>>>print(2*8)16
  • missing 1 required positional argument: ‘self‘ baidu_huihui selfstaticmethodclassmethod
    missing1requiredpositionalargument:'self'解释：这个错误通常发生在Python中使用类方法时，你没有正确地使用self参数。在Python中，实例方法必须至少有一个参数，通常被命名为self，它代表实例本身。当你在类中定义一个方法时，Python会自动将这个self参数加入到方法参数列表中。解决方法：确保你在类的方法定义中使用了self参数，并且在调用这个方
  • 2024年Python最全Python-Matplotlib可视化（1）——一文详解常见统计图的绘制(1) 2401_84558452 程序员pythonmatplotlib开发语言
    importmatplotlib.pyplotaspltx=range(50)y=[value*2forvalueinx]plt.plot(x,y)plt.show()上述代码将会绘制曲线y=2*x，其中x在[0，50]范围内，如下所示：可以看到窗口上方还包含多个图标，其中：|项目|Value||—|—|||此按钮用于将所绘制的图形另存为所需格式的图片，包括png，jpg，pdf，svg等常见格式
  • Python魔法之旅-魔法方法(01) 神奇夜光杯 python开发语言魔法方法学习和成长基础知识
    目录一、概述1、定义2、作用二、主要应用场景1、构造和析构2、操作符重载3、字符串和表示4、容器管理5、可调用对象6、上下文管理7、属性访问和描述符8、迭代器和生成器9、数值类型10、复制和序列化11、自定义元类行为12、自定义类行为13、类型检查和转换14、自定义异常三、学习方法1、理解基础2、查阅文档3、编写示例4、实践应用5、阅读他人代码6、参加社区讨论7、持续学习8、练习与总结9、注意兼容
  • Python中的绝对路径与相对路径详解 小桥流水---人工智能 人工智能Python程序代码机器学习算法python开发语言
    对路径与相对路径Python中的绝对路径与相对路径详解什么是路径？绝对路径优点：缺点：示例：相对路径优点：缺点：示例：Python中如何使用**重点内容**：**在Python中，建议使用`os.path.join`来构建路径，这样可以确保代码在不同操作系统上的兼容性。同时，理解并正确使用绝对路径和相对路径，对于开发可移植和可维护的应用程序至关重要。**结论Python中的绝对路径与相对路径详解在
  • python列表添加列表_Python中列表（List）方法（基础） weixin_39843338 python列表添加列表
    列表是最常用的Python数据类型，它可以作为一个方括号内的逗号分隔值出现。列表的数据项不需要具有相同的类型。Python列表赋值list1=[‘physics’,‘chemistry’,1997,2000];list2=[1,2,3,4,5];list3=[“a”,“b”,“c”,“d”];Python调用列表中的值list1=[‘physics’,‘chemistry’,1997,2000];
  • Python安装NumPy 0阿齐兹0 阿齐兹的PyCV学习笔记pythonnumpy
    打开cmd通过python和pip安装：C:\"ProgramFiles"\Python36\python.exe-mpipinstall--usernumpyscipymatplotlibipythonjupyterpandassympynose参考资料：https://www.scipy.org/install.html
  • python-列表list（详细） 一个小白白YYDS python开发语言
    文章目录1、列表概念2、列表对象的创建3、列表访问3.1.索引获取列表元素3.2、嵌套列表索引获取列表元素3.3、获取指定元素的索引4、查询列表5、列表增加6、列表删除7、列表修改8、列表排序9、列表生成式1、列表概念语法：使用方括号[]括起来以逗号分隔的数据特性：列表是有序的同一个列表可以包含不同类型的数据列表中的元素可以重复出现可以通过索引的方式来访问列表的元素列表可以嵌套列表列表的元素可以修
  • python numpy安装步骤-NumPy 安装 编程大乐趣
    NumPy安装Python官网上的发行版是不包含NumPy模块的。我们可以使用以下几种方法来安装。1、使用已有的发行版本对于许多用户，尤其是在Windows上，最简单的方法是下载以下的Python发行版，它们包含了所有的关键包（包括NumPy，SciPy，matplotlib，IPython，SymPy以及Python核心自带的其它包）：Anaconda:免费Python发行版，用于进行大规模数据
  • python中列表的常见操作 945048125 pythonpython
    列表的相关操作列表中存放的数据是可以进行修改的，比如"增"、"删"、"改""添加元素("增"append,extend,insert)1.append:在列表的末尾进行添加>>>a=[123,345]>>>a.append(678)>>>a[123,345,678]2.extend可以将另一个集合中的元素逐一添加到列表中a=['a','b','c']b=['d','e','f']>>>a.exte
  • Python的字符串操作 心繁 python开发语言
    1、获取元素1.1索引索引是最简单的获取元素的方式。根据元素在字符串的下标位置直接输出想要获取的一个元素。例：print（str[1])str="Imissyousomuch,let'smeet."print(str[2])#输出结果为：“m”1.2切片切片可以根据元素的下标位置获取想要的多个元素。例:print(str[2:10:1]),即：print(字符串名称[起始元素下标：结束元素下标+1
  • 【Python/Java/C++三种语言】20天拿下华为OD笔试之【位运算】2023B-出错的或电路【欧弟算法】全网注释最详细分类最全的华为OD真题 闭着眼睛学算法 最新华为OD真题#数学#位运算算法pythonjava
    文章目录题目描述与示例题目描述输入描述输出描述示例一输入输出说明示例二输入输出说明解题思路代码PythonJavaC++时空复杂度华为OD算法/大厂面试高频题算法练习冲刺训练题目描述与示例题目描述某生产门电路的厂商发现某一批次的或门电路不稳定，具体现象为计算两个二进制数的或操作时，第一个二进制数中某两个比特位会出现交换，交换的比特位置是随机的，但只交换这两个位，其他位不变。很明显，这个交换可能会影
  • 【附源码】基于flask框架基于物联网技术的水质实时监测系统设计与实现 后台(python+mysql+论文) node-php毕设程序源码 pythonflaskmysql
    本系统（程序+源码）带文档lw万字以上文末可获取本课题的源码和程序系统程序文件列表系统的选题背景和意义选题背景：随着物联网技术的迅猛发展，其在环境监测方面的应用日益广泛，特别是水质监测这一重要领域。传统的水质监测方法通常需要人工采集样本后送至实验室分析，这种方法不仅耗时耗力，而且实时性差，难以满足快速响应和预警的需求。因此，基于物联网技术的水质实时监测系统应运而生，通过传感器网络实时收集水质数据，
  • 备战2024数学建模国赛（模型三十）：遗传算法 优秀案例（三） 变循环发动机部件法建模及优化 2024年数学建模国赛 备战2024数学建模国赛2024数学建模（不代写论文请勿盲目订阅）数学建模2024年数学建模国赛备战数学建模国赛算法遗传算法2024
    专栏内容(赛前预售价99，比赛期间299):2024数学建模国赛期间会发布思路、代码和优秀论文。（本专栏达不到国一的水平，适用于有一点点基础冲击省奖的同学，近两年有二十几个国二，但是达不到国一，普遍获得省奖，请勿盲目订阅）python全套教程（一百篇博客）：从新手到掌握使用python，可以对数学建模问题进行建模分析。35套模型算法（优秀论文示例）：马尔科夫模型、遗传算法、逻辑回归、逐步回归、蚁群
  • SpringMVC的架构有什么优势？——视图与模型（二） 不会编程的小孩子 架构
    #SpringMVC的架构有什么优势？——视图与模型（二）前言关键字：机器学习人工智能AIchatGPT学习实现使用搭建深度python事件远程dockermysql安全技术部署技术自动化代码视图(View)视图是展示结果的组件，它们负责渲染模型数据并生成HTML输出。SpringMVC支持多种视图技术，包括JSP、Thymeleaf等。视图(View)是SpringMVC中渲染并呈现结果的组件，
  • 【华为笔试题汇总】2024-05-22-华为春招笔试题-三语言题解(Python/Java/Cpp) 春秋招笔试突围 华为春秋招笔试题汇总最新互联网春秋招试题合集华为pythonjava算法
    大家好这里是清隆学长，一枚热爱算法的程序员✨本系列打算持续跟新小米近期的春秋招笔试题汇总～ACM银牌|多次AK大厂笔试｜编程一对一辅导感谢大家的订阅➕和喜欢清隆这边最近正在收集近一年互联网各厂的笔试题汇总，如果有需要的小伙伴可以关注后私信一下清隆领取，会在飞书进行同步的跟新。文章目录01.获取公共链表片段问题描述输入格式输出格式样例输入样例输出数据范围题解参考代码02.矿车运输成本问题描述输入格式
  • html页面js获取参数值 0624chenhong html
    1.js获取参数值js function GetQueryString(name) {      var reg = new RegExp("(^|&)"+ name +"=([^&]*)(&|$)");      var r = windo
  • MongoDB 在多线程高并发下的问题 BigCat2013 mongodbDB高并发重复数据
    最近项目用到 MongoDB , 主要是一些读取数据及改状态位的操作. 因为是结合了最近流行的 Storm进行大数据的分析处理，并将分析结果插入Vertica数据库，所以在多线程高并发的情境下, 会发现 Vertica 数据库中有部分重复的数据. 这到底是什么原因导致的呢？笔者开始也是一筹莫 展，重复去看 MongoDB 的 API , 终于有了新发现 ： com.mongodb.DB 这个类有
  • c++ 用类模版实现链表(c++语言程序设计第四版示例代码) CrazyMizzz 数据结构C++
    #include<iostream> #include<cassert> using namespace std; template<class T> class Node { private: Node<T> * next; public: T data;
  • 最近情况 麦田的设计者 感慨考试生活
       在五月黄梅天的岁月里，一年两次的软考又要开始了。到目前为止，我已经考了多达三次的软考，最后的结果就是通过了初级考试（程序员）。人啊，就是不满足，考了初级就希望考中级，于是，这学期我就报考了中级，明天就要考试。感觉机会不大，期待奇迹发生吧。这个学期忙于练车，写项目，反正最后是一团糟。后天还要考试科目二。这个星期真的是很艰难的一周，希望能快点度过。   
  • linux系统中用pkill踢出在线登录用户 被触发 linux
    由于linux服务器允许多用户登录，公司很多人知道密码，工作造成一定的障碍所以需要有时踢出指定的用户 1/#who   查出当前有那些终端登录（用 w 命令更详细） # who root     pts/0        2010-10-28 09:36 (192
  • 仿QQ聊天第二版 肆无忌惮_ qq
    在第一版之上的改进内容:  第一版链接: http://479001499.iteye.com/admin/blogs/2100893   用map存起来号码对应的聊天窗口对象,解决私聊的时候所有消息发到一个窗口的问题. 增加ViewInfo类,这个是信息预览的窗口,如果是自己的信息,则可以进行编辑.   信息修改后上传至服务器再告诉所有用户,自己的窗口
  • java读取配置文件 知了ing
    1，java读取.properties配置文件 InputStream in; try { in = test.class.getClassLoader().getResourceAsStream("config/ipnetOracle.properties");//配置文件的路径 Properties p = new Properties()
  • __attribute__ 你知多少？ 矮蛋蛋 C++gcc
    原文地址: http://www.cnblogs.com/astwish/p/3460618.html GNU C 的一大特色就是__attribute__ 机制。__attribute__ 可以设置函数属性（Function Attribute ）、变量属性（Variable Attribute ）和类型属性（Type Attribute ）。 __attribute__ 书写特征是：
  • jsoup使用笔记 alleni123 java爬虫JSoup
    <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.7.3</version> </dependency> 2014/08/28 今天遇到这种形式，
  • JAVA中的集合 Collectio 和Map的简单使用及方法 百合不是茶 listmapset
             List ,set ,map的使用方法和区别 java容器类类库的用途是保存对象，并将其分为两个概念：     Collection集合：一个独立的序列，这些序列都服从一条或多条规则;List必须按顺序保存元素  ，set不能重复元素；Queue按照排队规则来确定对象产生的顺序（通常与他们被插入的
  • 杀LINUX的JOB进程 bijian1013 linuxunix
    今天发现数据库一个JOB一直在执行，都执行了好几个小时还在执行，所以想办法给删除掉   系统环境：    ORACLE 10G    Linux操作系统   操作步骤如下： 第一步.查询出来那个job在运行，找个对应的SID字段 select * from dba_jobs_running--找到job对应的sid &n
  • Spring AOP详解 bijian1013 javaspringAOP
            最近项目中遇到了以下几点需求，仔细思考之后，觉得采用AOP来解决。一方面是为了以更加灵活的方式来解决问题，另一方面是借此机会深入学习Spring AOP相关的内容。例如，以下需求不用AOP肯定也能解决，至于是否牵强附会，仁者见仁智者见智。 1.对部分函数的调用进行日志记录，用于观察特定问题在运行过程中的函数调用
  • [Gson六]Gson类型适配器(TypeAdapter) bit1129 Adapter
    TypeAdapter的使用动机  Gson在序列化和反序列化时，默认情况下，是按照POJO类的字段属性名和JSON串键进行一一映射匹配，然后把JSON串的键对应的值转换成POJO相同字段对应的值，反之亦然，在这个过程中有一个JSON串Key对应的Value和对象之间如何转换(序列化/反序列化)的问题。   以Date为例，在序列化和反序列化时，Gson默认使用java.
  • 【spark八十七】给定Driver Program， 如何判断哪些代码在Driver运行，哪些代码在Worker上执行 bit1129 driver
    Driver Program是用户编写的提交给Spark集群执行的application，它包含两部分 作为驱动： Driver与Master、Worker协作完成application进程的启动、DAG划分、计算任务封装、计算任务分发到各个计算节点(Worker)、计算资源的分配等。 计算逻辑本身，当计算任务在Worker执行时，执行计算逻辑完成application的计算任务
  • nginx 经验总结 ronin47 nginx 总结
    　　　深感nginx的强大，只学了皮毛，把学下的记录。 　　　获取Header 信息，一般是以$http_XX（ＸＸ是小写）            获取body,通过接口，再展开，根据Ｋ取Ｖ 　　　获取uri,以$arg_XX      &n
  • 轩辕互动-1.求三个整数中第二大的数2.整型数组的平衡点 bylijinnan 数组
    import java.util.ArrayList; import java.util.Arrays; import java.util.List; public class ExoWeb { public static void main(String[] args) { ExoWeb ew=new ExoWeb(); System.out.pri
  • Netty源码学习-Java-NIO-Reactor bylijinnan java多线程netty
    Netty里面采用了NIO-based Reactor Pattern 了解这个模式对学习Netty非常有帮助 参考以下两篇文章： http://jeewanthad.blogspot.com/2013/02/reactor-pattern-explained-part-1.html http://gee.cs.oswego.edu/dl/cpjslides/nio.pdf
  • AOP通俗理解 cngolon springAOP
    1.我所知道的aop     初看aop,上来就是一大堆术语，而且还有个拉风的名字，面向切面编程，都说是OOP的一种有益补充等等。一下子让你不知所措，心想着：怪不得很多人都和 我说aop多难多难。当我看进去以后，我才发现：它就是一些java基础上的朴实无华的应用，包括ioc，包括许许多多这样的名词，都是万变不离其宗而 已。 2.为什么用aop&nb
  • cursor variable 实例 ctrain variable
    create or replace procedure proc_test01 as type emp_row is record( empno emp.empno%type, ename emp.ename%type, job emp.job%type, mgr emp.mgr%type, hiberdate emp.hiredate%type, sal emp.sal%t
  • shell报bash: service: command not found解决方法 daizj linuxshellservicejps
    今天在执行一个脚本时，本来是想在脚本中启动hdfs和hive等程序，可以在执行到service hive-server start等启动服务的命令时会报错，最终解决方法记录一下：   脚本报错如下： ./olap_quick_intall.sh: line 57: service: command not found ./olap_quick_intall.sh: line 59
  • 40个迹象表明你还是PHP菜鸟 dcj3sjt126com 设计模式PHP正则表达式oop
    你是PHP菜鸟，如果你：1. 不会利用如phpDoc 这样的工具来恰当地注释你的代码2. 对优秀的集成开发环境如Zend Studio 或Eclipse PDT 视而不见3. 从未用过任何形式的版本控制系统，如Subclipse4. 不采用某种编码与命名标准 ，以及通用约定，不能在项目开发周期里贯彻落实5. 不使用统一开发方式6. 不转换（或）也不验证某些输入或SQL查询串（译注：参考PHP相关函
  • Android逐帧动画的实现 dcj3sjt126com android
    一、代码实现： private ImageView iv; private AnimationDrawable ad; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout
  • java远程调用linux的命令或者脚本 eksliang linuxganymed-ssh2
    转载请出自出处： http://eksliang.iteye.com/blog/2105862        Java通过SSH2协议执行远程Shell脚本(ganymed-ssh2-build210.jar)   使用步骤如下： 1.导包 官网下载: http://www.ganymed.ethz.ch/ssh2/ ma
  • adb端口被占用问题 gqdy365 adb
    最近重新安装的电脑，配置了新环境，老是出现： adb server is out of date. killing... ADB server didn't ACK * failed to start daemon * 百度了一下，说是端口被占用，我开个eclipse，然后打开cmd，就提示这个，很烦人。 一个比较彻底的解决办法就是修改
  • ASP.NET使用FileUpload上传文件 hvt .netC#hovertreeasp.netwebform
    前台代码： <asp:FileUpload ID="fuKeleyi" runat="server" /> <asp:Button ID="BtnUp" runat="server" onclick="BtnUp_Click" Text="上 传" />
  • 代码之谜（四）- 浮点数（从惊讶到思考） justjavac 浮点数精度代码之谜IEEE
    在『代码之谜』系列的前几篇文章中，很多次出现了浮点数。 浮点数在很多编程语言中被称为简单数据类型，其实，浮点数比起那些复杂数据类型（比如字符串）来说， 一点都不简单。 单单是说明 IEEE浮点数 就可以写一本书了，我将用几篇博文来简单的说说我所理解的浮点数，算是抛砖引玉吧。 一次面试 记得多年前我招聘 Java 程序员时的一次关于浮点数、二分法、编码的面试， 多年以后，他已经称为了一名很出色的
  • 数据结构随记_1 lx.asymmetric 数据结构笔记
    第一章   1.数据结构包括数据的 逻辑结构、数据的物理/存储结构和数据的逻辑关系这三个方面的内容。 2.数据的存储结构可用四种基本的存储方法表示，它们分别是 顺序存储、链式存储 、索引存储 和 散列存储。 3.数据运算最常用的有五种，分别是  查找/检索、排序、插入、删除、修改。 4.算法主要有以下五个特性：  输入、输出、可行性、确定性和有穷性。 5.算法分析的
  • linux的会话和进程组 网络接口 linux
    会话： 一个或多个进程组。起于用户登录，终止于用户退出。此期间所有进程都属于这个会话期。会话首进程：调用setsid创建会话的进程1.规定组长进程不能调用setsid，因为调用setsid后，调用进程会成为新的进程组的组长进程.如何保证？ 先调用fork，然后终止父进程，此时由于子进程的进程组ID为父进程的进程组ID，而子进程的ID是重新分配的，所以保证子进程不会是进程组长，从而子进程可以调用se
  • 二维数组 元素的连续求解 1140566087 二维数组ACM
    import java.util.HashMap; public class Title { public static void main(String[] args){ f(); } // 二位数组的应用 //12、二维数组中，哪一行或哪一列的连续存放的0的个数最多，是几个0。注意，是“连续”。 public static void f(){
  • 也谈什么时候Java比C++快 windshome javaC++
      刚打开iteye就看到这个标题“Java什么时候比C++快”，觉得很好笑。   你要比，就比同等水平的基础上的相比，笨蛋写得C代码和C++代码，去和高手写的Java代码比效率，有什么意义呢？   我是写密码算法的，深刻知道算法C和C++实现和Java实现之间的效率差，甚至也比对过C代码和汇编代码的效率差，计算机是个死的东西，再怎么优化，Java也就是和C
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他