金融测试民工
金融测试民工

RF自动化测试框架扩展：扩展自定义库

    RF库其实和用selenium自动化测试调用一些方法是类似的，在selenium中，我们会定义一些类和方法然后调用，但是RF框架是用关键字的，所以有时候需要我们用python进行方法和库的定义，然后把一些关键字传给RF框架。

    我们举一个例子，首先，我这里新建了个userdata.txt文本，具体内容如下，然后我想通过定义方法，来获取这个文本中每一行的内容。具体代码：

# -*- coding:utf-8 -*-

def Load_Userdata(fname):

    udata = []

    with open(fname) as f:

        for line in f:

            r =line.strip().split(' ')

            udata.append(r)

    return udata

if __name__ == '__main__':

    fpath = r'C:\Users\Administrator\Desktop\userdata.txt'

    result= Load_Userdata(fpath)

    #print(result)

    for i in result:

        print(i)

运行结果如下：

这样的话，我们现在就完成了读取txt文本的每行内容，现在如何RF框架来调用呢，继续上图：

step1：通过cmd运行ride.py打开RobotFrameWork，然后新建一个工程，在工程下新建一个suite，再在suite下新建一个case用例命名为test_library：然后鼠标选中Search，点击界面中的‘Library’，之后会弹出来个对话框，把data_read添加到该路径即可。

然后返回到主界面就可以看到已经添加的库了：

我们新建一个test_library来测试一下：具体代码如下

运行结果，没有报错表明我们自己新建的库可以正常使用。

实践：

     最近我们项目要测试图库(neo4j)同步，而Robot Framework不支持图库API,所以我就写了一个neo4j的测试库，今天跟大家分享下。 (Neo4j是一个高性能的,NOSQL图形数据库，它完全支持ACID(原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）)数据库事务属性，采用JAVA语音编写，由于其良好的图数据模型设计，Neo4j的速度非常快。对于连接的数据操作，Neo4j的速度要比传统的关系型数据库快1000倍。部署一个neo4j服务器便可以承载上亿级的节点和关系。当单节点无法承载我们的数据需求时，我们可以进行分布式集群部署.)

【需求】

neo4j图库从pg数据库同步数据，检查同步后数据源和目标库数据是否一致

【实现步骤】

1.测试设计

根据测试的需求我们设计如下的测试。

因为本次同步设计到多个节点和多个关系。基本的思路是：

1）编写sql脚本，Robot Framework调用Execute Sql Script关键字，增加如上的一个子图（包括节点和关系）到pg源数据库

2）通过远程ssh调用同步代码，进行neo4j图库同步

3）待同步完成，调用Library进行neo4j数据获取,调用自带的DatabaseLibrary进行源数据获取

4) 使用padas的dataframe进行数据比较，输出判断结果

5）编写sql脚本，进行子图更新

6）重复2-4步骤

7）编写sql脚本，进行子图删除

8）重复2-4步骤

2.编写Library

首先我们编写第3,4步骤的代码。编写完成后放到site-packages目录下。

主要提供如下功能：

主要方法1：get_node_and_relation

功能：封装neo4j的调用，实现查询图库的实体和关系的功能

核心代码：

def get_node_and_relation(self,url,username=None,password=None,queryType=None):

      # 定义匹配,查询查询neo4j

      logger.info('开始查询neo4j中%s的检查'%( queryType))

      graph = Graph(url,username=username,password=password)

      # print(graph)

      if queryType.find('_') > -1:

          rels = graph.match((), r_type=queryType)

      else:

          matcher = NodeMatcher(graph)

          rels = matcher.match(queryType)

      logger.info('数据长度为:%d'%(len(rels)))

      # print(len(rels))

      neo4jDf = pd.DataFrame(data=list(rels))

      # print(queryType)

      columns = self.getColumnsByType(queryType)[0]

      # print(columns)

      if columns != None:

          neo4jDf.rename(columns=columns, inplace=True)

      logger.info('neo4j表中%s的原始数据长度为:%d'%(queryType, neo4jDf.shape[0]))

      return neo4jDf

主要方法2：getCompareAll

功能：对比源数据库pg取到的数据，与目标数据库Neo4j取到的数据库进行比较

1.首先确定是关系还是实体，如果是关系，去掉实体不存在的关系

2.比较neo4jDf，pgDf，计算出addset，diffset.并把不一致的结果输出成文件，并把不一致的条数返回

核心代码：

def getCompareAll(self, pgDf, neo4jDf, type,node1Result=None,node2Result=None):

      logger.info('开始比较数据')

      logger.info(type)

      columnList = self.getColumnsByType(type)[1] 

      # 如果是关系，去掉实体不存在的关系

      if type.find('_') > -1:

          node1 = type.split("_", 2)[0]

          node2 = type.split("_", 2)[2]

          logger.info('开始检查关系实体数据是否存在')

          nodedf1 = self.convertDbResultToDataframe(node1Result,node1)

          node1list = list(set(list(nodedf1['code'])))

          nodedf2 = self.convertDbResultToDataframe(node2Result,node2)

          node2list = list(set(list(nodedf2['code'])))

          pgDf = pgDf[pgDf['relation_code'].map(

                  lambda x: (x.split("_", 1)[0] in node1list) and (x.split("_", 1)[1] in node2list))]

      logger.info('kettle表中%s的去掉无实体的关系后数据长度为:%d'%( type, pgDf.shape[0]))

      # 去重

      if type.find('_') > -1:

          pgDf.drop_duplicates(['relation_code'], keep='first', inplace=True)

      else:

          pgDf.drop_duplicates(['code'], keep='first', inplace=True)

      logger.info('kettle表中%s的去重后数据长度为:%d'%( type, pgDf.shape[0]))

      returnCount = 0

      if (pgDf is not None):

          neo4jset = set(neo4jDf[columnList[0]])

          pgDfset = set(pgDf[columnList[0]])

          addset = neo4jset - pgDfset

          diffset = pgDfset - neo4jset

          if neo4jset != pgDfset:

              logger.error('[' + type + ']数据重复的主键条数为: %d条' % len(addset))

              # logger.error('[' + type + ']数据重复的主键数据为: %s条', addset)

              logger.error('[' + type + ']数据缺失的主键条数为: %d条' % len(diffset))

              # logger.error('[' + type + ']数据缺失的主键数据为: %s条', diffset)

              if len(addset) > 0:

                  adddf = pd.DataFrame(list(addset))

                  returnCount = returnCount + adddf.shape[0]

                  adddf.to_csv('neo4j_' + type + 'addset.csv', encoding='UTF-8-SIG')

              if len(diffset) > 0:

                  diffdf = pd.DataFrame(list(diffset))

                  returnCount = returnCount + diffdf.shape[0]

                  diffdf.to_csv('neo4j_' + type + 'diffset.csv', encoding='UTF-8-SIG')

          else:

              logger.info('数据条数一致，开始输出结果')

              comparedf = pd.merge(neo4jDf, pgDf, on=columnList[0], how='outer')

              comparedf['judge'] = 1

              comparedf.fillna('', inplace=True)

              i = 0

              for column in columnList:

                  if i == 0:

                      i = i + 1

                      continue

                  comparedf[column + '_compare'] = comparedf.apply(

                      lambda x: True if x[column] == x[column + '_neo4j'] else False, axis=1)

                  comparedf[column + '_compare'] = comparedf[column + '_compare'].map(lambda x: 1 if x == True else 0)

                  comparedf['judge'] = comparedf['judge'] * comparedf[column + '_compare']

                  i = i + 1

              comparedf['judge'] = comparedf['judge'].apply(lambda x: True if x == 1 else False)

              deltadf = comparedf[comparedf['judge'] == False]

              logger.info('完成比较neo4j数据')

              logger.info('[' + type + ']数据不对应的条数为: %d条' % deltadf.shape[0])

              # logger.info("数据不对应的条数为： %d条", deltadf.shape[0])

              if deltadf.shape[0] > 0:

                  returnCount = returnCount + deltadf.shape[0]

                  deltadf.to_csv('neo4j_' + type + 'deltadf.csv', encoding='UTF-8-SIG')

      return returnCount

3.编写测试脚本

如下脚本反映主要步骤：

脚本1：

*** Settings ***

Suite Setup       Connect To Database Using Custom Params    psycopg2    database=${pg_database},user= ${pg_username}, password=${pg_password} ,host=${pg_host}, port=${pg_port}

Suite Teardown    Disconnect From Database

Library           DatabaseLibrary

Library           Neo4jLibrary

Library           SSHLibrary

#Suite setup时候连接数据库，Suite teardown时候关闭数据库连接


脚本2：

*** Test Cases ***

dataInitial

    [Tags]    P1

    Execute Sql Script    ${rootDir}${sql_add_path


脚本3：

graphSync

    [Tags]    P0

    Open Connection    ${graph_ip}    timeout=1 hour

    Login    ${graph_username}    ${graph_password}

    Write    cd /app/graph

    Write    sh kg_job.sh

    Read Until    Program running status written to log library successfully!step_no:8510    INFO

    Close All Connections

#调用SSHLibrary进行远程调用，执行数据同步，完成pg库到neo4j图库的数据同步过程


脚本4:

fundcompany

    [Tags]    P0 

    log    ${neo4j_url}

    log    ${neo4j_username}

    ${pg_sql}    getSqlByType    fundcompany

    ${result_kettle}    query    ${pg_sql}

    ${df_pg}    Convert Db Result To Dataframe    ${result_kettle}    fundcompany

    ${df_neo4j}    Get Node And Relation    ${neo4j_url}    ${neo4j_username}    ${neo4j_password}    fundcompany

    ${returnCount}    getCompareAll    ${df_pg}    ${df_neo4j}    fundcompany

    log    ${returnCount}

    Should Be Equal As Integers    0    ${returnCount}    'fundcompany compare failed'

脚本解析：

进行各个实体，关系的比较，这里以一个实体fundcompany为例

【pg源数据查询】

首先获取到实体查询语句

    ${pg_sql}    getSqlByType    fundcompany

进行查询

    ${result_kettle}    query    ${pg_sql}

把查询结果转换为dataframe

 ${df_pg}    Convert Db Result To Dataframe    ${result_kettle}    fundcompany

【neo4j目标数据查询】

调用自定义library查询

  ${df_neo4j}    Get Node And Relation    ${neo4j_url}    ${neo4j_username}    ${neo4j_password}    fundcompany

【源数据和目标数据比较】

 ${returnCount}    getCompareAll    ${df_pg}    ${df_neo4j}    fundcompany

    log    ${returnCount}

    Should Be Equal As Integers    0    ${returnCount}    'fundcompany compare failed'


脚本5：更新子图数据，模拟update场景

data Update

    Execute Sql Script    ${rootDir}${sql_update_path}


脚本6：调用同步

graphSync

    [Tags]    P0

    Open Connection    ${graph_ip}    timeout=1 hour

    Login    ${graph_username}    ${graph_password}

    Write    cd /app/graph

    Write    sh kg_job.sh

    Read Until    Program running status written to log library successfully!step_no:8510    INFO

    Close All Connections


脚本7：进行各个实体，关系的比较

fundcompany

    [Tags]    P0

    [Setup]    log    hello liuqiong

    log    ${neo4j_url}

    log    ${neo4j_username}

    ${pg_sql}    getSqlByType    fundcompany

    ${result_kettle}    query    ${pg_sql}

    ${df_pg}    Convert Db Result To Dataframe    ${result_kettle}    fundcompany

    ${df_neo4j}    Get Node And Relation    ${neo4j_url}    ${neo4j_username}    ${neo4j_password}    fundcompany

    ${returnCount}    getCompareAll    ${df_pg}    ${df_neo4j}    fundcompany

    log    ${returnCount}

    Should Be Equal As Integers    0    ${returnCount}    'fundcompany compare failed'


脚本8：更新子图数据，模拟delete场景

dataClear

    [Tags]    P1

    Execute Sql Script    ${rootDir}${sql_delete_path}


脚本9:调用同步

graphSync

    [Tags]    P0

    Open Connection    ${graph_ip}    timeout=1 hour

    Login    ${graph_username}    ${graph_password}

    Write    cd /app/graph

    Write    sh kg_job.sh

    Read Until    Program running status written to log library successfully!step_no:8510    INFO

    Close All Connections


脚本10：进行各个实体，关系的比较

fundcompany

    [Tags]    P0

    [Setup]    log    hello liuqiong

    log    ${neo4j_url}

    log    ${neo4j_username}

    ${pg_sql}    getSqlByType    fundcompany

    ${result_kettle}    query    ${pg_sql}

    ${df_pg}    Convert Db Result To Dataframe    ${result_kettle}    fundcompany

    ${df_neo4j}    Get Node And Relation    ${neo4j_url}    ${neo4j_username}    ${neo4j_password}    fundcompany

    ${returnCount}    getCompareAll    ${df_pg}    ${df_neo4j}    fundcompany

    log    ${returnCount}

    Should Be Equal As Integers    0    ${returnCount}    'fundcompany compare failed'


4.对测试库进行测试

如果是开发环境/本地执行，直接使用Ride的Run界面。

如果是测试环境/生产环境，调用命令行执行，可编写如下的shell脚本定时执行：

export LANG=en_US.UTF-8

# up to env

log_path=/var/log/rbpaa/batch

ROBOT_HOME=/app/rbppTest/RobotFramework/RobotAdvisorProject/Graph

day=$(date +%Y%m%d)

log_file=${log_path}/cron_neo4j_job_${day}.log

err_file=${log_path}/error/rbpaa_${day}.err

echo $(date '+%Y-%m-%d %H:%M:%S') start execute job GraphTest

varabileFile=variables.py

case_list=( 'UpdateTest.txt' )

while [[ i -lt ${#case_list[@]} ]]; do

    bh=${case_list[i]}

    echo execute ${bh}

/var/python3.6.5/bin/robot -d $ROBOT_HOME -V $ROBOT_HOME/${varabileFile}:test $ROBOT_HOME/${bh} |tee -a ${log_file}

    result=$?

    echo $(date '+%Y-%m-%d %H:%M:%S') ${bh} result=${result}

    if [ ${result} -ne 0 ]; then

        echo error exit.

        echo ${bh} error >> ${err_file}

        exit

    fi

    let i++

done

echo $(date '+%Y-%m-%d %H:%M:%S') job GraphTest end.

核心语句为斜体部分，调用robot命令执行

-d设置代码目录

-V设置变量文件

你可能感兴趣的:(RF自动化测试框架扩展：扩展自定义库)

  • OC语言多界面传值五大方式 Magnetic_h iosui学习objective-c开发语言
    前言在完成暑假仿写项目时，遇到了许多需要用到多界面传值的地方，这篇博客来总结一下比较常用的五种多界面传值的方式。属性传值属性传值一般用前一个界面向后一个界面传值，简单地说就是通过访问后一个视图控制器的属性来为它赋值，通过这个属性来做到从前一个界面向后一个界面传值。首先在后一个界面中定义属性@interfaceBViewController:UIViewController@propertyNSSt
  • UI学习——cell的复用和自定义cell Magnetic_h ui学习
    目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
  • element实现动态路由+面包屑 软件技术NINI vue案例vue.js前端
    el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • c++ 的iostream 和 c++的stdio的区别和联系 黄卷青灯77 c++算法开发语言iostreamstdio
    在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
  • LocalDateTime 转 String igotyback java开发语言
    importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
  • mysql禁用远程登录 igotyback mysql
    去mysql库中的user表里，将host都改成localhost之后刷新权限FLUSHPRIVILEGES;
  • Linux下QT开发的动态库界面弹出操作（SDL2） 13jjyao QT类qt开发语言sdl2linux
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • 腾讯云技术深度探索：构建高效云原生微服务架构 我的运维人生 云原生架构腾讯云运维开发技术共享
    腾讯云技术深度探索：构建高效云原生微服务架构在当今快速发展的技术环境中，云原生技术已成为企业数字化转型的关键驱动力。腾讯云作为行业领先的云服务提供商，不断推出创新的产品和技术，助力企业构建高效、可扩展的云原生微服务架构。本文将深入探讨腾讯云在微服务领域的最新进展，并通过一个实际案例展示如何在腾讯云平台上构建云原生应用。腾讯云微服务架构概览腾讯云微服务架构基于云原生理念，旨在帮助企业快速实现应用的容
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • Google earth studio 简介 陟彼高冈yu 旅游
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
  • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器） 编程经验分享 开发工具服务器sshlinux
    目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
  • 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
  • SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQLServer数据库sqlserver
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
  • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库python
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
  • 利用LangChain的StackExchange组件实现智能问答系统 nseejrukjhad langchainmicrosoft数据库python
    利用LangChain的StackExchange组件实现智能问答系统引言在当今的软件开发世界中，StackOverflow已经成为程序员解决问题的首选平台之一。而LangChain作为一个强大的AI应用开发框架，提供了StackExchange组件，使我们能够轻松地将StackOverflow的海量知识库集成到我们的应用中。本文将详细介绍如何使用LangChain的StackExchange组件
  • 在一台Ubuntu计算机上构建Hyperledger Fabric网络 落叶无声9 区块链超级账本Hyperledgerfabric区块链ubuntu构建hyperledgerfabric
    在一台Ubuntu计算机上构建HyperledgerFabric网络Hyperledgerfabric是一个开源的区块链应用程序平台，为开发基于区块链的应用程序提供了一个起点。当我们提到HyperledgerFabric网络时，我们指的是使用HyperledgerFabric的正在运行的系统。即使只使用最少数量的组件，部署Fabric网络也不是一件容易的事。Fabric社区创建了一个名为Cello
  • MongoDB Oplog 窗口 喝醉酒的小白 MongoDB运维
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
  • webpack图片等资源的处理 dmengmeng
    需要的loaderfile-loader（让我们可以引入这些资源文件）url-loader（其实是file-loader的二次封装）img-loader（处理图片所需要的）在没有使用任何处理图片的loader之前，比如说css中用到了背景图片，那么最后打包会报错的，因为他没办法处理图片。其实你只想能够使用图片的话。只加一个file-loader就可以，打开网页能准确看到图片。{test:/\.(p
  • Faiss Tips：高效向量搜索与聚类的利器 焦习娜Samantha
    FaissTips：高效向量搜索与聚类的利器faiss_tipsSomeusefultipsforfaiss项目地址:https://gitcode.com/gh_mirrors/fa/faiss_tips项目介绍Faiss是由FacebookAIResearch开发的一个用于高效相似性搜索和密集向量聚类的库。它支持多种硬件平台，包括CPU和GPU，能够在海量数据集上实现快速的近似最近邻搜索（AN
  • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • 高级 ECharts 技巧：自定义图表主题与样式 SnowMan1993 echarts信息可视化数据分析
    ECharts是一个强大的数据可视化库，提供了多种内置主题和样式，但你也可以根据项目的设计需求，自定义图表的主题与样式。本文将介绍如何使用ECharts自定义图表主题，以提升数据可视化的吸引力和一致性。1.什么是ECharts主题？ECharts的主题是指定义图表样式的配置项，包括颜色、字体、线条样式等。通过预设主题，你可以快速更改图表的整体风格，而自定义主题则允许你在此基础上进行个性化设置。2.
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • 【PG】常见数据库、表属性设置 江无羡 数据库
    PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
  • Faiss：高效相似性搜索与聚类的利器 网络·魚 大数据faiss
    Faiss是一个针对大规模向量集合的相似性搜索库，由FacebookAIResearch开发。它提供了一系列高效的算法和数据结构，用于加速向量之间的相似性搜索，特别是在大规模数据集上。本文将介绍Faiss的原理、核心功能以及如何在实际项目中使用它。Faiss原理：近似最近邻搜索：Faiss的核心功能之一是近似最近邻搜索，它能够高效地在大规模数据集中找到与给定查询向量最相似的向量。这种搜索是近似的，
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1） 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
  • java数字签名三种方式 知了ing javajdk
    以下3钟数字签名都是基于jdk7的 1，RSA String password="test"; // 1.初始化密钥 KeyPairGenerator keyPairGenerator = KeyPairGenerator.getInstance("RSA"); keyPairGenerator.initialize(51
  • Hibernate学习笔记 caoyong Hibernate
    1>、Hibernate是数据访问层框架，是一个ORM(Object Relation Mapping)框架，作者为:Gavin King 2>、搭建Hibernate的开发环境      a>、添加jar包:      aa>、hibernatte开发包中/lib/required/所
  • 设计模式之装饰器模式Decorator（结构型） 漂泊一剑客 Decorator
    1. 概述        若你从事过面向对象开发，实现给一个类或对象增加行为，使用继承机制，这是所有面向对象语言的一个基本特性。如果已经存在的一个类缺少某些方法，或者须要给方法添加更多的功能（魅力），你也许会仅仅继承这个类来产生一个新类—这建立在额外的代码上。      
  • 读取磁盘文件txt，并输入String 一炮送你回车库 String
    public static void main(String[] args) throws IOException {    String fileContent = readFileContent("d:/aaa.txt");    System.out.println(fileContent);   
  • js三级联动下拉框 3213213333332132 三级联动
    //三级联动 省/直辖市<select id="province"></select> 市/省直辖<select id="city"></select> 县/区 <select id="area"></select>
  • erlang之parse_transform编译选项的应用 616050468 parse_transform游戏服务器属性同步abstract_code
             最近使用erlang重构了游戏服务器的所有代码，之前看过C++/lua写的服务器引擎代码，引擎实现了玩家属性自动同步给前端和增量更新玩家数据到数据库的功能，这也是现在很多游戏服务器的优化方向，在引擎层面去解决数据同步和数据持久化，数据发生变化了业务层不需要关心怎么去同步给前端。由于游戏过程中玩家每个业务中玩家数据更改的量其实是很少
  • JAVA JSON的解析 darkranger java
    // { // “Total”：“条数”， // Code: 1, // // “PaymentItems”:[ // { // “PaymentItemID”:”支款单ID”, // “PaymentCode”:”支款单编号”, // “PaymentTime”:”支款日期”, // ”ContractNo”:”合同号”， //
  • POJ-1273-Drainage Ditches aijuans ACM_POJ
    POJ-1273-Drainage Ditches http://poj.org/problem?id=1273 基本的最大流，按LRJ的白书写的 #include<iostream> #include<cstring> #include<queue> using namespace std; #define INF 0x7fffffff int ma
  • 工作流Activiti5表的命名及含义 atongyeye 工作流Activiti
    activiti5 - http://activiti.org/designer/update在线插件安装 activiti5一共23张表 Activiti的表都以ACT_开头。 第二部分是表示表的用途的两个字母标识。 用途也和服务的API对应。 ACT_RE_*: 'RE'表示repository。 这个前缀的表包含了流程定义和流程静态资源 （图片，规则，等等）。 A
  • android的广播机制和广播的简单使用 百合不是茶 android广播机制广播的注册
          Android广播机制简介 在Android中，有一些操作完成以后，会发送广播，比如说发出一条短信，或打出一个电话，如果某个程序接收了这个广播，就会做相应的处理。这个广播跟我们传统意义中的电台广播有些相似之处。之所以叫做广播，就是因为它只负责“说”而不管你“听不听”，也就是不管你接收方如何处理。另外，广播可以被不只一个应用程序所接收，当然也可能不被任何应
  • Spring事务传播行为详解 bijian1013 javaspring事务传播行为
            在service类前加上@Transactional，声明这个service所有方法需要事务管理。每一个业务方法开始时都会打开一个事务。         Spring默认情况下会对运行期例外(RunTimeException)进行事务回滚。这
  • eidtplus operate 征客丶 eidtplus
    开启列模式: Alt+C 鼠标选择   OR   Alt+鼠标左键拖动 列模式替换或复制内容(多行): 右键-->格式-->填充所选内容-->选择相应操作 OR Ctrl+Shift+V(复制多行数据,必须行数一致) -------------------------------------------------------
  • 【Kafka一】Kafka入门 bit1129 kafka
    这篇文章来自Spark集成Kafka(http://bit1129.iteye.com/blog/2174765)，这里把它单独取出来，作为Kafka的入门吧   下载Kafka http://mirror.bit.edu.cn/apache/kafka/0.8.1.1/kafka_2.10-0.8.1.1.tgz 2.10表示Scala的版本，而0.8.1.1表示Kafka
  • Spring 事务实现机制 BlueSkator spring代理事务
    Spring是以代理的方式实现对事务的管理。我们在Action中所使用的Service对象，其实是代理对象的实例，并不是我们所写的Service对象实例。既然是两个不同的对象，那为什么我们在Action中可以象使用Service对象一样的使用代理对象呢？为了说明问题，假设有个Service类叫AService，它的Spring事务代理类为AProxyService，AService实现了一个接口
  • bootstrap源码学习与示例：bootstrap-dropdown（转帖） BreakingBad bootstrapdropdown
    bootstrap-dropdown组件是个烂东西，我读后的整体感觉。 一个下拉开菜单的设计： <ul class="nav pull-right"> <li id="fat-menu" class="dropdown">
  • 读《研磨设计模式》-代码笔记-中介者模式-Mediator bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /* * 中介者模式（Mediator）：用一个中介对象来封装一系列的对象交互。 * 中介者使各对象不需要显式地相互引用，从而使其耦合松散，而且可以独立地改变它们之间的交互。 * * 在我看来，Mediator模式是把多个对象（
  • 常用代码记录 chenjunt3 UIExcelJ#
      1、单据设置某行或某字段不能修改 //i是行号,"cash"是字段名称 getBillCardPanelWrapper().getBillCardPanel().getBillModel().setCellEditable(i, "cash", false); //取得单据表体所有项用以上语句做循环就能设置整行了 getBillC
  • 搜索引擎与工作流引擎 comsci 算法工作搜索引擎网络应用
          最近在公司做和搜索有关的工作，(只是简单的应用开源工具集成到自己的产品中)工作流系统的进一步设计暂时放在一边了，偶然看到谷歌的研究员吴军写的数学之美系列中的搜索引擎与图论这篇文章中的介绍，我发现这样一个关系(仅仅是猜想)   -----搜索引擎和流程引擎的基础--都是图论，至少像在我在JWFD中引擎算法中用到的是自定义的广度优先
  • oracle Health Monitor daizj oracleHealth Monitor
    About Health Monitor Beginning with Release 11g, Oracle Database includes a framework called Health Monitor for running diagnostic checks on the database. About Health Monitor Checks Health M
  • JSON字符串转换为对象 dieslrae javajson
        作为前言,首先是要吐槽一下公司的脑残编译部署方式,web和core分开部署本来没什么问题,但是这丫居然不把json的包作为基础包而作为web的包,导致了core端不能使用,而且我们的core是可以当web来用的(不要在意这些细节),所以在core中处理json串就是个问题.没办法,跟编译那帮人也扯不清楚,只有自己写json的解析了.   
  • C语言学习八结构体，综合应用，学生管理系统 dcj3sjt126com C语言
    实现功能的代码： # include <stdio.h> # include <malloc.h> struct Student { int age; float score; char name[100]; }; int main(void) { int len; struct Student * pArr; int i,
  • vagrant学习笔记 dcj3sjt126com vagrant
    想了解多主机是如何定义和使用的, 所以又学习了一遍vagrant   1. vagrant virtualbox 下载安装 https://www.vagrantup.com/downloads.html https://www.virtualbox.org/wiki/Downloads   查看安装在命令行输入vagrant     2.
  • 14.性能优化-优化-软件配置优化 frank1234 软件配置性能优化
    1.Tomcat线程池 修改tomcat的server.xml文件： <Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" maxThreads="1200" m
  • 一个不错的shell 脚本教程 入门级 HarborChung linuxshell
    一个不错的shell 脚本教程 入门级 建立一个脚本 　　Linux中有好多中不同的shell，但是通常我们使用bash (bourne again shell) 进行shell编程，因为bash是免费的并且很容易使用。所以在本文中笔者所提供的脚本都是使用bash（但是在大多数情况下，这些脚本同样可以在 bash的大姐，bourne shell中运行）。 　　如同其他语言一样
  • Spring4新特性——核心容器的其他改进 jinnianshilongnian spring动态代理spring4依赖注入
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • Linux设置tomcat开机启动 liuxingguome tomcatlinux开机自启动
    执行命令sudo gedit /etc/init.d/tomcat6 然后把以下英文部分复制过去。（注意第一句#!/bin/sh如果不写，就不是一个shell文件。然后将对应的jdk和tomcat换成你自己的目录就行了。 #!/bin/bash # # /etc/rc.d/init.d/tomcat # init script for tomcat precesses
  • 第13章 Ajax进阶（下） onestopweb Ajax
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • Troubleshooting Crystal Reports off BW blueoxygen BO
    http://wiki.sdn.sap.com/wiki/display/BOBJ/Troubleshooting+Crystal+Reports+off+BW#TroubleshootingCrystalReportsoffBW-TracingBOE   Quite useful, especially this part: SAP BW connectivity For t
  • Java开发熟手该当心的11个错误 tomcat_oracle javajvm多线程单元测试
    #1、不在属性文件或XML文件中外化配置属性。比如，没有把批处理使用的线程数设置成可在属性文件中配置。你的批处理程序无论在DEV环境中，还是UAT（用户验收 测试）环境中，都可以顺畅无阻地运行，但是一旦部署在PROD 上，把它作为多线程程序处理更大的数据集时，就会抛出IOException，原因可能是JDBC驱动版本不同，也可能是#2中讨论的问题。如果线程数目 可以在属性文件中配置，那么使它成为
  • 正则表达式大全 yang852220741 html编程正则表达式
    今天向大家分享正则表达式大全，它可以大提高你的工作效率 正则表达式也可以被当作是一门语言，当你学习一门新的编程语言的时候，他们是一个小的子语言。初看时觉得它没有任何的意义，但是很多时候，你不得不阅读一些教程，或文章来理解这些简单的描述模式。 一、校验数字的表达式 数字：^[0-9]*$ n位的数字：^\d{n}$ 至少n位的数字：^\d{n,}$ m-n位的数字：^\d{m,n}$
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他