清筱筱
清筱筱

Notes on 数据挖掘

绪论

数据的特点：有效、有用、非直观

邦弗朗尼原理：避免过度挖掘

聚类

K-Means

基本流程

  1. 选择类的数目
    • 根据最终类的平均半径选取
  2. 初始化每个类：选取一个点作为中心
    • 随机选取一个点，然后尽量发散地选取其它点
  3. 将每个点放入到类中心最近的类
  4. 调整每个类的中心
  5. 重复3~4

目标函数

计算复杂度

线性

例：BFR算法-在高维欧式空间进行聚类

基本假设

簇是以簇心为期望的正态分布

三种对象

废弃集、压缩集（迷你簇）、留存集

基本流程
  1. 加载一个块到内存
  2. 将块中离类中心足够近的点放入该类并放入废弃集
    • 马氏距离
  3. 将其他点与留存集内的点进行聚类，并将这些类加入压缩集
  4. 调整每个类的类中心
  5. 将距离近的压缩集合并
  6. 重复1~5，直到最后一轮
  7. 将压缩集和留存集放入最近的簇

层次聚类

分裂式、合并式

非线性聚类

在复杂数据下被经常使用

社区网络

模块度（Modularity）算法

目的

选取社区个数

目标函数

  • ：相连为 1，不相连为 0

    ：顶点度数

  • ： 和 间变的期望数量

归一化割（Normalized-cut）算法

目标函数

优点

相比最小割，可以使得分割后的社区网络大小更加平衡

推荐系统

基于内容

特点

考察项的性质与用户模型的匹配度

优点

  1. 不需要其他用户的数据，可以单独评价某一用户
  2. 处理新的项或不流行的项较容易
  3. 可解释性强

缺点

  1. 难以寻找合适的特征作为项的性质
  2. 难以评价新的用户
  3. 不能利用其他用户给予的信息

基于协同过滤

特点

考察相似的用户对项的评价来判断匹配度

优点

  1. 适用于各种类型的项，不用选取特征
  2. 充分利用不同用户给予的信息

缺点

  1. 需要大量的用户的数据
  2. 用户的评价矩阵稀疏
  3. 难以评价新的或不流行的项
  4. 具有关注度偏差

数据流挖掘

基本策略

查找近似解，侧重最近的样本点信息

数据抽样

固定比例（fixed proportion）

hash算法

固定大小（fixed size）

蓄水池算法（Reservoir Sampling）

  • 基本流程

    1. 选定蓄水池大小为
    2. 将前 个数据放入蓄水池
    3. 对于第 个数据，以 的概率随机替换蓄水池中的元素

  • 证明：算法可以抽取精确比例的样本

    1. 当 时，每个元素选中概率为 1。

    2. 假设 时，每个元素被选中概率为

    3. 当 时，蓄水池中元素被保留的概率为

      第 个元素加入蓄水池的概率也为

    4. 由数学归纳法，抽取比例为

窗口计数

DGIM算法

基本流程
  1. 利用桶（bucket）对滑动窗口进行划分
    • 每个桶保存以下信息
      • 桶的大小，该数目为2的幂
      • 桶的最右边位即最后进入流的位的时间戳
      • 桶中1的个数
    • 对滑动窗口进行划分时遵循以下5条规则
      • 桶最右边的位必须是1
      • 1个位最多属于1个桶
      • 每种大小的桶有1个或者2个
      • 每个桶的大小是2的幂
      • 桶的大小从右到左非降序排列
  2. 有新加入的位时，对桶进行更新
    • 如果最左边的桶已经没有处于窗口中的位，则丢弃这个桶
    • 新加入的位如果其为0，则无操作；否则建立一个包含新加入位的大小为1的桶
    • 从右往左将连续出现三个相同大小的桶的左边两个进行合并
  3. 查询最近 位
    • 寻找含查询位的最左的桶
    • 查询结果为 右边所有桶包含1的数量总和，加上b的大小的一半
估计值误差（fractional error）
  • 至少是正确值的50%：最差情况b中都是1
  • 最多超过正确值的50%：最差情况b只有最右边一位为1

PageRank

基本流程

  1. 所有网页初始值为

  2. 使用幂迭代（Power Iteration）直到收敛

    • 证明：幂迭代可以计算出 的主特征向量

      设 有 个特征向量分别为 ，分别对应特征值

      不失一般性假设
      \begin{align} r^{(0)}&=c_1x_1+c_2x_2+\dots+c_nx_n\\\\ Mr^{(0)}&=M(c_1x_1+c_2x_2+\dots+c_nx_n)\\ &=c_1\lambda_1x_1+c_2\lambda_2x_2+\dots+c_n\lambda_nx_n\\\\ M^kr^{(0)}&=M(c_1x_1+c_2x_2+\dots+c_nx_n)\\ &=c_1\lambda_1^kx_1+c_2\lambda_2^kx_2+\dots+c_n\lambda_n^kx_n\\ &=\lambda_1^k[c_1x_1+c_2(\frac{\lambda_2}{\lambda_1})^kx_2+\dots+c_n(\frac{\lambda_n}{\lambda_1})^kx_n] \end{align}
      由于

      当 时 ，则

终止点与采集器陷阱

终止点

没有出链的网页

采集器陷阱

一系列没有指向集合之外的节点的集合

抽税法

进行随机跳转（teleport），避免终止点和采集器陷阱

在线广告

在线二分图匹配

最大匹配

极大匹配（Maximal Matching）：在当前已完成的匹配下，无法再增加匹配边的匹配

最大匹配（maximum matching）：所有极大匹配当中边数最大的一个匹配

完全匹配

所有的顶点都是匹配点的匹配

贪心算法

优先匹配最大收益的边

竞争率

在最差的情况下，在线算法匹配数与离线算法匹配数之比

证明：贪心算法竞争率

设 为最大匹配， 为贪心算法匹配

为在 中匹配但在 中不匹配的左节点的集合， 为 中所有左顶点所连接的右顶点的集合

可以得到

由 可得到 ，再结合 可以得到 ，即

频繁项集

基本定义

项集

包含 个二值属性项（item）构成的集合

支持度

频繁项集

其中 为支持度阈值

最大频繁项集

任意超集均是非频繁项集的频繁项集

闭合项集

任意超集的支持度均小于本身的支持度的项集

关联规则

表示集合 出现引起 出现

其中， 且

置信度

兴趣度

A-priori算法

原理

如果一个项集是非频繁的，那么它的所有超集也是非频繁的

基本流程

  1. 对所有项计数，去除非频繁的项
  2. 剩下的项进行组合以生成包含两个元素的二元项集
  3. 类似地，使用剩余项集组成多元组，直到所有项集都被去掉

相似项发现

Shingling

k-shingle

文档中任意长度为k的子串

文档签名

特征矩阵的最小hash

选择行的任意一个重置后，每行排列次序下第一个列值为1的行号组成的向量

最小hash与Jaccard相似度

Jaccard相似度

关联

两个集合置换后的最小哈希值相等的概率等于Jaccard相似度

最小hash签名

随机选取 个置换，得到的最小hash 构成的向量

计算签名矩阵

设 为签名矩阵中第 个hash函数在第 列上的元素

  1. 初始化 为
  2. 计算
  3. 如果 在 行为 0，则什么也不做；否则，将 替换为

局部敏感hash

使用局部敏感hash函数线性时间区分低距离对和高距离对

你可能感兴趣的:(Notes on 数据挖掘)

  • 《How to Take Smart Notes》读书笔记1 LY320
    最近在读一本书，题为《HowtoTakeSmartNotes:OneSimpleTechniquetoBoostWriting,LearningandThinking–forStudents,AcademicsandNonfictionBookWriters》1。尚未读完，分享一些读这本书的感想，我的一些心得，和不解。这本书让我觉得最有收获的点是更新了我对记录和整理笔记的认识。通常我们在记录笔记时
  • 推荐文章：《同济大学软件学院万院长谈择业》 weixin_34087301
    同济大学软件学院万院长谈择业一、关于企业计算方向企业计算（EnterpriseComputing）是稍时髦较好听的名词，主要是指企业信息系统，如ERP软件（企业资源规划）、CRM软件（客户关系管理）、SCM软件（供应链管理，即物流软件），银行证券软件，财务软件，电子商务/政务（包括各种网站），数据仓库，数据挖掘，商务智能等企业信息管理系统。企业计算领域对人才的需求显然永远是数量最大的，因为这是计算
  • 计算机系毕业生的前途在哪（一个牛人对计算机系的阐述） 蚊子 嵌入式嵌入式操作系统wincelinux手机游戏j2me
    值得未毕业的、刚毕业的、或想转行的朋友们揣摩参考。一、关于企业计算方向企业计算(EnterpriseComputing)是稍时髦较好听的名词，主要是指企业信息系统如：ERP软件(企业资源规划)、CRM软件(客户关系管理)、SCM软件(供应链管理，即物流软件)，银行证券软件财务软件电子商务/政务(包括各种网站)，数据仓库，数据挖掘，商务智能等企业信息管理系统。企业计算领域对人才的需求显然永远是数量最
  • 大学生学软件必看 欧巴Godwin 日志嵌入式嵌入式操作系统wincelinux手机游戏j2me
    一、关于企业计算方向企业计算(EnterpriseComputing)是稍时髦较好听的名词，主要是指企业信息系统,如ERP软件（企业资源规划）、CRM软件（客户关系管理）、SCM软件（供应链管理，即物流软件）,银行证券软件,财务软件,电子商务/政务（包括各种网站），数据仓库，数据挖掘，商务智能等企业信息管理系统.企业计算领域对人才的需求显然永远是数量最大的,因为这是计算机应用最多的领域.搞这方面的
  • WIFI7新特性浅析及Linux内核对其的支持 winter91 LinuxNetWorklinuxWIFI
    WIFI7新特性浅析及Linux内核对其的支持|DD'NotesWIFI7新特性浅析及Linux内核对其的支持wifi7新特性Wi-Fi7（IEEE802.11be）作为下一代无线网络标准，在速度、延迟、容量和稳定性等方面实现了显著提升。以下是其核心新特性：1.更高带宽与速率320MHz信道带宽支持连续320MHz或非连续160+160MHz带宽（6GHz频段），相比WiFi6的160MHz实现速
  • 基于Python的健身数据分析工具的搭建流程day1 weixin_45677320 python开发语言数据挖掘爬虫
    基于Python的健身数据分析工具的搭建流程分数据挖掘、数据存储和数据分析三个步骤。本文主要介绍利用Python实现健身数据分析工具的数据挖掘部分。第一步：加载库加载本文需要的库，如下代码所示。若库未安装，请按照python如何安装各种库（保姆级教程）_python安装库-CSDN博客https://blog.csdn.net/aobulaien001/article/details/133298
  • 图神经网络：挖掘关系数据中的宝藏
    图神经网络：挖掘关系数据中的宝藏在浩瀚的数据海洋中，蕴藏着一类特殊而强大的资源——关系数据。它们不是孤立的点，而是相互连接、彼此影响的复杂网络：社交平台上朋友的朋友、电商系统中商品与用户的互动、蛋白质分子内原子的结合、城市交通网中的道路连接……这些数据天然以图的形式存在，节点代表实体，边则承载着实体间千丝万缕的关系。传统的数据挖掘工具面对这些盘根错节的结构往往力不从心，而图神经网络（GNN）的崛起
  • 深入解析Golang中的defer机制：从cch123/golang-notes看实现原理
    深入解析Golang中的defer机制：从cch123/golang-notes看实现原理golang-notesGosourcecodeanalysis(zh-cn)项目地址:https://gitcode.com/gh_mirrors/go/golang-notes前言在Go语言中，defer语句是一种非常实用的特性，它允许我们在函数返回前执行某些操作。本文将基于cch123/golang-n
  • 搜广推校招面经九十一
    美团机器学习/数据挖掘算法工程师_二面一、介绍一下ESMM模型，是否有进行过函数推导传统的转化率建模方式：只用发生点击（click=1）的样本来训练CVR模型。CVR定义如下：CVR=P(y=1∣x,z=1)CVR=P(y=1|x,z=1)CVR=P(y=1∣x,z=1)y=1表示用户发生了转化（如购买）z=1表示用户点击了广告这样做的问题：样本选择偏差（SampleSelectionBias,S
  • JAX study notes[16]
    文章目录PytreesreferencesPytreesinessence,JAXfunctionandtransformactonarrays,actuallymostopeartionhandlingarraysbaseonthecollectionofarrays.JAXusethePytreewhichisanabstractobjecttocontrolalotofcollections
  • 【字节跳动】数据挖掘面试题0010：解释全国人均收入下降，各省份人均收入增加的现象，属于辛普森悖论（开放性问题） 言析数智 数据挖掘常见面试题辛普森悖论局部与整体分析差异归因数据分析面试题
    文章大纲一、辛普森悖论的核心定义二、现象成因：加权平均中的“权重偏移”三、数学逻辑与案例说明1.数学表达式2.具体案例四、辛普森悖论的本质：忽略“混杂因素”的影响五、生活中常见的辛普森悖论案例及应对策略1.医疗疗法效果评估2.大学录取率的性别偏差3.篮球运动员投篮效率4.公司员工绩效与部门规模如何利用辛普森悖论？（数据分析中的价值）六、总结全国人均收入下降而各省份人均收入增加的现象，确实属于辛普森
  • 数据挖掘：从理论到实践的深度探索 代码老y 数据挖掘人工智能
    在当今数字化时代，数据已经成为企业决策的重要依据。数据挖掘作为一门从大量数据中提取有价值信息的技术，已经广泛应用于各个领域，如金融、医疗、零售、互联网等。本文将深入探讨数据挖掘的基本概念、主要技术和实际应用案例，帮助读者更好地理解数据挖掘的价值和应用。一、数据挖掘的基本概念（一）数据挖掘的定义数据挖掘（DataMining）是从大量数据中提取有用信息的过程。它结合了统计学、机器学习、数据库技术和人
  • 【力扣（LeetCode）】数据挖掘面试题0003： 356. 直线镜像
    文章大纲题目描述**坐标变化规律**解题方案题目描述在一个二维平面空间中，给你n个点的坐标。问，是否能找出一条平行于y轴的直线，让这些点关于这条直线成镜像排布？平行于y轴的直线（即垂直于x轴的直线，其方程形式为(x=a)，其中(a)为常数）的对称点具有以下显著特点：坐标变化规律设直线为(x=a)，平面内任意一点(P(x,y))关于该直线的对称点为(P’(x’,y’))，则两者坐标满足：纵坐标不变：
  • 【机器学习-08】参数调优宝典：网格搜索与贝叶斯搜索等攻略 云天徽上 机器学习机器学习人工智能
    博主简介：曾任某智慧城市类企业算法总监，目前在美国市场的物流公司从事高级算法工程师一职，深耕人工智能领域，精通python数据挖掘、可视化、机器学习等，发表过AI相关的专利并多次在AI类比赛中获奖。CSDN人工智能领域的优质创作者，提供AI相关的技术咨询、项目开发和个性化解决方案等服务，如有需要请站内私信或者联系任意文章底部的的VX名片（ID：xf982831907）博主粉丝群介绍：①群内初中生、
  • Python爬虫在社交平台数据挖掘中的应用：深入探索用户互动 程序员威哥 python爬虫数据挖掘
    引言社交媒体已经成为全球用户互动的主要平台，每天都有大量的信息生成，用户之间的互动行为如点赞、评论、分享、转发等构成了宝贵的数据资源。如何利用这些互动数据为商业决策、用户行为分析以及产品优化提供支持，已经成为数据科学与大数据分析领域的一个重要课题。Python作为一款强大的编程语言，凭借其丰富的爬虫库和数据分析工具，已经成为挖掘社交平台数据的重要工具。在本文中，我们将通过Python爬虫技术，深入
  • AI人工智能与机器学习的大数据融合应用 AI智能探索者 人工智能机器学习大数据ai
    AI人工智能与机器学习的大数据融合应用关键词：AI人工智能、机器学习、大数据、融合应用、数据挖掘摘要：本文深入探讨了AI人工智能与机器学习在大数据融合应用方面的相关内容。首先介绍了研究的背景、目的、预期读者和文档结构，对核心术语进行了清晰定义。接着阐述了AI、机器学习和大数据的核心概念及相互联系，给出了形象的文本示意图和Mermaid流程图。详细讲解了核心算法原理，并通过Python源代码进行说明
  • Next.js 开发指南 实战篇 | React Notes | 项目介绍与创建 人工智能_SYBH 课程推荐javascriptreact.js前端开发语言Next.js
    Next.js开发指南-冴羽-掘金小册前言欢迎来到实战篇！基础篇的目标是带大家复习基础知识，以及用作使用手册，方便大家在以后的项目开发中查询API用法，属于这本小册的“赠送面积”。从本篇起就进入小册的正式内容了。我们的第一个实战项目是ReactNotes，因为Next.jsv14基于ReactServerComponent构建的AppRouter，而ReactServerComponent的起源是
  • Python爬虫实战：利用Selenium与反反爬技术高效爬取天眼查企业信息 Python爬虫项目 2025年爬虫实战项目python爬虫开发语言scrapyselenium
    摘要本文将详细介绍如何使用Python爬虫技术获取天眼查的企业信息数据。我们将从爬虫基础开始，逐步深入到高级反反爬技术，最终构建一个能够稳定获取天眼查数据的爬虫系统。文章包含完整的代码实现、技术原理分析以及实际应用场景，帮助读者全面掌握企业信息爬取的核心技术。关键词：Python爬虫、天眼查、Selenium、反反爬技术、企业信息采集、数据挖掘一、引言在当今大数据时代，企业信息数据对于市场分析、商
  • Python 爬虫实战：京东商品数据采集（登录态验证 + 价格监控系统） Python核芯 Python爬虫实战项目python爬虫开发语言
    一、引言在电商飞速发展的当下，京东作为国内头部电商平台之一，拥有海量商品数据。对于商家而言，精准掌握这些数据能助力优化定价策略、洞察市场动态；对消费者来说，追踪商品价格走势有助于把握最佳购买时机。本文将深入剖析如何借助Python爬虫技术实现京东商品数据采集，包括突破登录态验证以及搭建价格监控系统，为读者呈上一份实用的电商数据挖掘指南。二、环境搭建安装Python库：执行以下命令安装所需的库：pi
  • 青少年编程与数学 02-022 专业应用软件简介 20 法律专业软件：Westlaw
    青少年编程与数学02-022专业应用软件简介20法律专业软件：Westlaw一、Westlaw法律专业软件概述（一）软件简介1.软件发展历程2.软件的主要特点（二）软件的应用领域1.法律研究2.法律实践3.法律教育二、Westlaw软件的功能模块（一）检索功能1.多种检索方式2.检索结果筛选与排序（二）法律研究工具1.KeyCite关键引用2.Headnotes判例摘要3.NotesofDecis
  • AI“大航海”时代：企业人力资源的AI-HR实践与效能提升策略
    在数字化浪潮的推动下，人工智能（AI）正以前所未有的速度渗透各行各业，人力资源管理（HR）领域也不例外。AI技术的引入与应用落地，不仅提升HR管理效率，更在深层次上带来人力资源运作模式的变革。什么是AI-HR所谓AI-HR，是指将人工智能技术应用于人力资源管理，并通过机器学习、自然语言处理、数据挖掘等技术，优化招聘、培训、绩效评估、员工关系等人力资源各个业务模块。近年来，随着AI技术的成熟和普及，
  • 【PaddleOCR】快速集成 PP-OCRv5 的 Python 实战秘籍--- 实例化 OCR 对象的 predict() 方法介绍
    博主简介：曾任某智慧城市类企业算法总监，目前在美国市场的物流公司从事高级算法工程师一职，深耕人工智能领域，精通python数据挖掘、可视化、机器学习等，发表过AI相关的专利并多次在AI类比赛中获奖。CSDN人工智能领域的优质创作者，提供AI相关的技术咨询、项目开发和个性化解决方案等服务，如有需要请站内私信或者联系任意文章底部的的VX名片（ID：xf982831907）博主粉丝群介绍：①群内初中生、
  • 满血DeepSeek加持的AlphaGPT，助力高文律师事务所全面拥抱AI
    2025年初,中国团队精心雕琢的通用大模型DeepSeek凭借其创新的架构优化以及深入的数据挖掘技术,在逻辑推理、多轮对话和知识搜索等关键领域大放异彩,其为诸多垂直领域,特别是法律行业的智能化转型,开拓了全新的方向。2月8日,法律科技领域的领军者iCourt将旗下的AlphaGPT与DeepSeek深度融合,重磅推出业内首款“DeepSeek+法律专业”AI大模型。这一创举彻底打破了传统法律智能工
  • 量化策略进阶：事件驱动与另类数据挖掘实战
    前面的章节，我们已经详细探讨了量化系统的基础架构：从数据的获取与管理（数据层），到策略的研发与验证（回测层），再到指令的高速执行（交易执行层），以及确保资金安全的防线（风控与监控运维层），我们共同构建了一套完整的量化交易体系。今天，我们将深入探讨量化策略的更高维度：事件驱动型策略和另类数据挖掘。这不仅仅是技术栈的扩展，更是对市场洞察力和信息处理能力的全面提升，旨在帮助您的策略在传统量价数据之外，捕
  • 【PaddleOCR】OCR文本检测与文本识别数据集整理，持续更新......
    博主简介：曾任某智慧城市类企业算法总监，目前在美国市场的物流公司从事高级算法工程师一职，深耕人工智能领域，精通python数据挖掘、可视化、机器学习等，发表过AI相关的专利并多次在AI类比赛中获奖。CSDN人工智能领域的优质创作者，提供AI相关的技术咨询、项目开发和个性化解决方案等服务，如有需要请站内私信或者联系任意文章底部的的VX名片（ID：xf982831907）博主粉丝群介绍：①群内初中生、
  • 【力扣（LeetCode）】数据挖掘面试题0013：1264. 页面推荐（泛化后，基于MySQL题解） 言析数智 数据挖掘常见面试题leetcode数据挖掘mysql笔试笔试题
    文章大纲一、题目要求：二、模拟数据构建三、题解参考方案朋友关系列表：Friendship+---------------+---------+|ColumnName|Type|+---------------+---------+|user1_id|int||user2_id|int|+---------------+---------+(user1_id,user2_id)是这张表具有唯一值的列
  • R 语言安装使用教程 小奇JAVA面试 安装使用教程r语言开发语言
    一、R语言简介R是一种用于统计分析、数据挖掘和可视化的编程语言和环境。它在学术界和数据分析领域中广泛使用，拥有丰富的统计函数库和绘图功能。二、安装R语言2.1下载R安装包前往CRAN官网下载适合你操作系统的安装程序：官网地址：https://cran.r-project.org/2.2Windows安装下载.exe安装包；双击安装程序，按默认选项一路安装即可；安装完成后，可通过RGUI或命令行启动
  • Ubuntu18.04中默认的软件源sources.list AlwaysSimple ubuntu
    文件位置：etc/apt/sources.list#debcdrom:[Ubuntu18.04.3LTS_BionicBeaver_-Releaseamd64(20190805)]/bionicmainrestricted#Seehttp://help.ubuntu.com/community/UpgradeNotesforhowtoupgradeto#newerversionsofthedist
  • Python scikit-learn 【机器学习库】全面讲解
    让AI成为我们的得力助手：《用Cursor玩转AI辅助编程——不写代码也能做软件开发》scikit-learn（简称sklearn）是Python最流行的机器学习库之一，提供简单高效的数据挖掘和数据分析工具。它基于NumPy、SciPy和Matplotlib构建，广泛应用于工业界和学术界。核心优势统一API设计：所有模型使用一致的接口（fit()、predict()、score()）丰富的算法：覆
  • webPack基础 真的不想起床 webpackwebpack前端node.js
    package.jsonname包名称version版本号语义化main包执行的入口scripts自定义脚本//package.json{"name":"try","version":"1.0.0","description":"","main":"module.js","scripts":{"test":"echo\"Error:notestspecified\"&&exit1"},"autho
  • 数据采集高并发的架构应用 3golden .net
    问题的出发点：          最近公司为了发展需要，要扩大对用户的信息采集，每个用户的采集量估计约2W。如果用户量增加的话，将会大量照成采集量成3W倍的增长，但是又要满足日常业务需要，特别是指令要及时得到响应的频率次数远大于预期。       &n
  • 不停止 MySQL 服务增加从库的两种方式 brotherlamp linuxlinux视频linux资料linux教程linux自学
    现在生产环境MySQL数据库是一主一从，由于业务量访问不断增大，故再增加一台从库。前提是不能影响线上业务使用，也就是说不能重启MySQL服务，为了避免出现其他情况，选择在网站访问量低峰期时间段操作。  一般在线增加从库有两种方式，一种是通过mysqldump备份主库，恢复到从库，mysqldump是逻辑备份，数据量大时，备份速度会很慢，锁表的时间也会很长。另一种是通过xtrabacku
  • Quartz——SimpleTrigger触发器 eksliang SimpleTriggerTriggerUtilsquartz
    转载请出自出处：http://eksliang.iteye.com/blog/2208166 一.概述 SimpleTrigger触发器，当且仅需触发一次或者以固定时间间隔周期触发执行；   二.SimpleTrigger的构造函数 SimpleTrigger(String name, String group)：通过该构造函数指定Trigger所属组和名称； Simpl
  • Informatica应用（1） 18289753290 sqlworkflowlookup组件Informatica
    1.如果要在workflow中调用shell脚本有一个command组件，在里面设置shell的路径；调度wf可以右键出现schedule，现在用的是HP的tidal调度wf的执行。 2.designer里面的router类似于SSIS中的broadcast（多播组件）;Reset_Workflow_Var：参数重置 （比如说我这个参数初始是1在workflow跑得过程中变成了3我要在结束时还要
  • python 获取图片验证码中文字 酷的飞上天空 python
    根据现成的开源项目 http://code.google.com/p/pytesser/改写 在window上用easy_install安装不上  看了下源码发现代码很少  于是就想自己改写一下   添加支持网络图片的直接解析   #coding:utf-8 #import sys #reload(sys) #sys.s
  • AJAX 永夜-极光 Ajax
    1.AJAX功能:动态更新页面,减少流量消耗,减轻服务器负担   2.代码结构:    <html> <head> <script type="text/javascript"> function loadXMLDoc() { .... AJAX script goes here ...
  • 创业OR读研 随便小屋 创业
            现在研一，有种想创业的想法，不知道该不该去实施。因为对于的我情况这两者是矛盾的，可能就是鱼与熊掌不能兼得。                研一的生活刚刚过去两个月，我们学校主要的是
  • 需求做得好与坏直接关系着程序员生活质量 aijuans IT 生活
            这个故事还得从去年换工作的事情说起，由于自己不太喜欢第一家公司的环境我选择了换一份工作。去年九月份我入职现在的这家公司，专门从事金融业内软件的开发。十一月份我们整个项目组前往北京做现场开发，从此苦逼的日子开始了。        系统背景：五月份就有同事前往甲方了解需求一直到6月份，后续几个月也完
  • 如何定义和区分高级软件开发工程师 aoyouzi
    在软件开发领域，高级开发工程师通常是指那些编写代码超过 3 年的人。这些人可能会被放到领导的位置，但经常会产生非常糟糕的结果。Matt Briggs 是一名高级开发工程师兼 Scrum 管理员。他认为，单纯使用年限来划分开发人员存在问题，两个同样具有 10 年开发经验的开发人员可能大不相同。近日，他发表了一篇博文，根据开发者所能发挥的作用划分软件开发工程师的成长阶段。 　　初
  • Servlet的请求与响应 百合不是茶 servletget提交java处理post提交
      Servlet是tomcat中的一个重要组成,也是负责客户端和服务端的中介     1,Http的请求方式(get  ,post);   客户端的请求一般都会都是Servlet来接受的,在接收之前怎么来确定是那种方式提交的,以及如何反馈,Servlet中有相应的方法,  http的get方式 servlet就是都doGet(
  • web.xml配置详解之listener bijian1013 javaweb.xmllistener
    一.定义 <listener> <listen-class>com.myapp.MyListener</listen-class> </listener>   二.作用        该元素用来注册一个监听器类。可以收到事件什么时候发生以及用什么作为响
  • Web页面性能优化（yahoo技术） Bill_chen JavaScriptAjaxWebcssYahoo
    1.尽可能的减少HTTP请求数 content 2.使用CDN server 3.添加Expires头(或者 Cache-control) server 4.Gzip 组件 server 5.把CSS样式放在页面的上方。 css 6.将脚本放在底部(包括内联的) javascript 7.避免在CSS中使用Expressions css 8.将javascript和css独立成外部文
  • 【MongoDB学习笔记八】MongoDB游标、分页查询、查询结果排序 bit1129 mongodb
    游标   游标，简单的说就是一个查询结果的指针。游标作为数据库的一个对象，使用它是包括 声明 打开 循环抓去一定数目的文档直到结果集中的所有文档已经抓取完 关闭游标   游标的基本用法，类似于JDBC的ResultSet(hasNext判断是否抓去完,next移动游标到下一条文档)，在获取一个文档集时，可以提供一个类似JDBC的FetchSize
  • ORA-12514 TNS 监听程序当前无法识别连接描述符中请求服务 的解决方法 白糖_ ORA-12514
    今天通过Oracle SQL*Plus连接远端服务器的时候提示“监听程序当前无法识别连接描述符中请求服务”，遂在网上找到了解决方案： ①打开Oracle服务器安装目录\NETWORK\ADMIN\listener.ora文件，你会看到如下信息：   # listener.ora Network Configuration File: D:\database\Oracle\net
  • Eclipse 问题 A resource exists with a different case bozch eclipse
    在使用Eclipse进行开发的时候，出现了如下的问题： Description Resource Path Location TypeThe project was not built due to "A resource exists with a different case: '/SeenTaoImp_zhV2/bin/seentao'.&
  • 编程之美-小飞的电梯调度算法 bylijinnan 编程之美
    public class AptElevator { /** * 编程之美 小飞 电梯调度算法 * 在繁忙的时间，每次电梯从一层往上走时，我们只允许电梯停在其中的某一层。 * 所有乘客都从一楼上电梯，到达某层楼后，电梯听下来，所有乘客再从这里爬楼梯到自己的目的层。 * 在一楼时，每个乘客选择自己的目的层，电梯则自动计算出应停的楼层。 * 问：电梯停在哪
  • SQL注入相关概念 chenbowen00 sqlWeb安全
    SQL Injection：就是通过把SQL命令插入到Web表单递交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。 具体来说，它是利用现有应用程序，将（恶意）的SQL命令注入到后台数据库引擎执行的能力，它可以通过在Web表单中输入（恶意）SQL语句得到一个存在安全漏洞的网站上的数据库，而不是按照设计者意图去执行SQL语句。 首先让我们了解什么时候可能发生SQ
  • [光与电]光子信号战防御原理 comsci 原理
          无论是在战场上,还是在后方,敌人都有可能用光子信号对人体进行控制和攻击,那么采取什么样的防御方法,最简单,最有效呢?       我们这里有几个山寨的办法,可能有些作用,大家如果有兴趣可以去实验一下       根据光
  • oracle 11g新特性:Pending Statistics daizj oracledbms_stats
    oracle 11g新特性:Pending Statistics 转 从11g开始，表与索引的统计信息收集完毕后，可以选择收集的统信息立即发布，也可以选择使新收集的统计信息处于pending状态，待确定处于pending状态的统计信息是安全的，再使处于pending状态的统计信息发布，这样就会避免一些因为收集统计信息立即发布而导致SQL执行计划走错的灾难。 在 11g 之前的版本中，D
  • 快速理解RequireJs dengkane jqueryrequirejs
    RequireJs已经流行很久了，我们在项目中也打算使用它。它提供了以下功能： 声明不同js文件之间的依赖 可以按需、并行、延时载入js库 可以让我们的代码以模块化的方式组织 初看起来并不复杂。 在html中引入requirejs 在HTML中，添加这样的 <script> 标签： <script src="/path/to
  • C语言学习四流程控制if条件选择、for循环和强制类型转换 dcj3sjt126com c
    # include <stdio.h> int main(void) { int i, j; scanf("%d %d", &i, &j); if (i > j) printf("i大于j\n"); else printf("i小于j\n"); retu
  • dictionary的使用要注意 dcj3sjt126com IO
    NSDictionary *dict = [NSDictionary dictionaryWithObjectsAndKeys: user.user_id , @"id", user.username , @"username",
  • Android 中的资源访问(Resource) finally_m xmlandroidStringdrawablecolor
    简单的说，Android中的资源是指非代码部分。例如，在我们的Android程序中要使用一些图片来设置界面，要使用一些音频文件来设置铃声，要使用一些动画来显示特效，要使用一些字符串来显示提示信息。那么，这些图片、音频、动画和字符串等叫做Android中的资源文件。 在Eclipse创建的工程中，我们可以看到res和assets两个文件夹，是用来保存资源文件的，在assets中保存的一般是原生
  • Spring使用Cache、整合Ehcache 234390216 springcacheehcache@Cacheable
    Spring使用Cache            从3.1开始，Spring引入了对Cache的支持。其使用方法和原理都类似于Spring对事务管理的支持。Spring Cache是作用在方法上的，其核心思想是这样的：当我们在调用一个缓存方法时会把该方法参数和返回结果作为一个键值对存放在缓存中，等到下次利用同样的
  • 当druid遇上oracle blob(clob) jackyrong oracle
    http://blog.csdn.net/renfufei/article/details/44887371 众所周知，Oracle有很多坑, 所以才有了去IOE。 在使用Druid做数据库连接池后，其实偶尔也会碰到小坑，这就是使用开源项目所必须去填平的。【如果使用不开源的产品，那就不是坑，而是陷阱了，你都不知道怎么去填坑】 用Druid连接池，通过JDBC往Oracle数据库的
  • easyui datagrid pagination获得分页页码、总页数等信息 ldzyz007
    var grid = $('#datagrid');  var options = grid.datagrid('getPager').data("pagination").options;  var curr = options.pageNumber;  var total = options.total;  var max =
  • 浅析awk里的数组 nigelzeng 二维数组array数组awk
    awk绝对是文本处理中的神器，它本身也是一门编程语言，还有许多功能本人没有使用到。这篇文章就单单针对awk里的数组来进行讨论，如何利用数组来帮助完成文本分析。   有这么一组数据：   abcd,91#31#2012-12-31 11:24:00 case_a,136#19#2012-12-31 11:24:00 case_a,136#23#2012-12-31 1
  • 搭建 CentOS 6 服务器(6) - TigerVNC rensanning centos
    安装GNOME桌面环境 # yum groupinstall "X Window System" "Desktop" 安装TigerVNC # yum -y install tigervnc-server tigervnc 启动VNC服务 # /etc/init.d/vncserver restart # vncser
  • Spring 数据库连接整理 tomcat_oracle springbeanjdbc
    1、数据库连接jdbc.properties配置详解 　　jdbc.url=jdbc:hsqldb:hsql://localhost/xdb 　　jdbc.username=sa 　　jdbc.password= 　　jdbc.driver=不同的数据库厂商驱动，此处不一一列举 　　接下来，详细配置代码如下： 　　 Spring连接池    
  • Dom4J解析使用xpath java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常 xp9802
    用Dom4J解析xml,以前没注意,今天使用dom4j包解析xml时在xpath使用处报错      异常栈：java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常       导入包 jaxen-1.1-beta-6.jar 解决; &nb
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他