时序数据库DolphinDB历史数据回放教程

一个量化策略在用于实际交易时，处理实时数据的程序通常为事件驱动。而研发量化策略时，需要使用历史数据进行回测，这时的程序通常不是事件驱动。因此同一个策略需要编写两套代码，不仅耗时而且容易出错。在 DolphinDB database 中，用户可将历史数据按照时间顺序以“实时数据”的方式导入流数据表中，这样就可以使用同一套代码进行回测和实盘交易。

DolphinDB的流数据处理框架采用发布-订阅-消费的模式。数据生产者将实时数据继续地以流的形式发布给所有数据订阅者。订阅者收到消息以后，可使用自定义函数或者DolphinDB内置的聚合引擎来处理消息。DolphinDB流数据接口支持多种语言的API，包括C++, C#, Java, 和Python等。用户可以使用这些API来编写更加复杂的处理逻辑，更好地与实际生产环境相结合。详情请参考DolphinDB流数据教程。

本文介绍replay和replayDS函数，然后使用金融数据展示数据回放的过程与应用场景。

1. 函数介绍

replay

replay(inputTables, outputTables, [dateColumn], [timeColumn], [replayRate], [parallelLevel=1])

replay函数的作用是将若干表或数据源同时回放到相应的输出表中。用户需要指定输入的数据表或数据源、输出表、日期列、时间列、回放速度以及并行度。

replay函数参数概念如下：

• inputTables: 单个表或包含若干表或数据源（见replayDS介绍）的元组。
• outputTables: 单个表或包含若干个表的元组，这些表通常为流数据表。输入表和输出表的个数一致，且一一对应，每对输入、输出表的结构相同。
• dateColumn, timeColumn: string, 表示输入表的日期和时间列，若不指定则默认第一列为日期列。若输入表中时间列同时包含日期和时间，需要将dateColumn和timeColumn设为同一列。回放时，系统将根据dateColumn和timeColumn的设定，决定回放的最小时间精度。在此时间精度下，同一时刻的数据将在相同批次输出。比如一张表同时有日期列和时间列，但是replay函数只设置了dateColumn，那么同一天的所有数据会在一个批次输出。
• replayRate: 整数, 表示每秒钟回放的数据条数。由于回放时同一个时刻数据在同一批次输出，因此当replayRate小于一个批次的行数时，实际输出的速率会大于replayRate。
• parallelLevel: 整数, 表示读取数据的并行度。当源数据大小超过内存大小的时候，需要使用replayDS函数将源数据划分为若干个小的数据源，依次从磁盘中读取数据并回放。指定多个读取数据的线程数可提升数据读取速度。

replayDS

replayDS(sqlObj, [dateColumn], [timeColumn], [timeRepartitionSchema])

replayDS函数可以将输入的SQL查询转化为数据源，结合replay函数使用。其作用是根据输入表的分区以及timeRepartitionSchema，将原始的SQL查询按照时间顺序拆分成若干小的SQL查询。

replayDS函数参数概念如下：

• sqlObj: SQL元代码，表示回放的数据，如。
  dateColumn: 字符串, 表示日期列。若不指定，默认第一列为日期列。replayDS函数默认日期列是数据源的一个分区列，并根据分区信息将原始SQL查询拆分为多个查询。
  timeColumn: 字符串, 表示时间列，配合timeRepartitionSchema使用。
  timeRepartitionSchema: 时间类型向量，如08:00:00 .. 18:00:00。若同时指定了timeColumn, 则对SQL查询在时间维度上进一步拆分。

  单个内存表回放

  单内存表回放只需要设置输入表、输出表、日期列、时间列和回放速度即可。

  replay(inputTable, outputTable, `date, `time, 10)

  使用data source的单表回放

  当单表行数过多时，可以配合使用replayDS进行回放。首先使用replayDS生成data source，本例中指定了日期列和timeRepartitionColumn。回放调用与单个内存表回放相似，但是可以指定回放的并行度。replay内部实现使用了pipeline框架，取数据和输出分开执行。当输入为data source时，多块数据可以并行读取，以避免输出线程等待的情况。此例中并行度设置为2，表示有两个线程同时执行取数据的操作。

  inputDS = replayDS(

  , `date, `time, 08:00:00.000 + (1..10) * 3600000) replay(inputDS, outputTable, `date, `time, 1000, 2)

  使用data source的多表回放

  replay也支持多张表的同时回放，只需要将多张输入表以元组的方式传给replay,并且分别指定输出表即可。这里输出表和输入表应该一一对应，每一对都必须有相同的表结构。如果指定了日期列或时间列，那么所有表中都应当有存在相应的列。

  ds1 = replayDS(, `date, `time, 08:00:00.000 + (1..10) * 3600000)
  ds2 = replayDS(, `date, `time, 08:00:00.000 + (1..10) * 3600000)
  ds3 = replayDS(, `date, `time, 08:00:00.000 + (1..10) * 3600000)
  replay([ds1, ds2, ds3], [out1, out2, out3], `date, `time, 1000, 2) 
    
  取消回放
   
    
  如果replay函数是通过submitJob调用，可以使用getRecentJob获取jobId，然后用cancelJob取消回放。
   
    
  getRecentJobs()
  cancelJob(jobid)
   
    
  如果是直接调用，可在另外一个GUI session中使用getConsoleJobs获取jobId，然后使用cancelConsoleJob取消回放任务。
   
    
  getConsoleJobs()
  cancelConsoleJob(jobId)
   
    
  2．如何使用回放数据
   
    
  回放的数据以流数据形式存在，我们可以使用以下三种方式来订阅消费这些数据：
   
    
   
     
  在DolphinDB中订阅，使用DolphinDB脚本自定义回调函数来消费流数据。
   
     
  在DolphinDB中订阅，使用内置的流计算引擎来处理流数据，譬如时间序列聚合引擎、横截面聚合引擎、异常检测引擎等。DolphinDB内置的聚合引擎可以对流数据进行实时聚合计算，使用简便且性能优异。在3.2中，我们使用横截面聚合引擎来处理回放的数据，并计算ETF的内在价值。横截面聚合引擎的具体用法参见DolphinDB用户手册。
   
     
  第三方客户端通过DolphinDB的流数据API来订阅和消费数据。
   
    
   
    
  ３. 金融示例
   
    
  回放美国股市一天的level1交易数据，并计算ETF价值
   
    
  本例中使用美国股市2007年8月17日的level1交易数据，利用replayDS进行数据回放，并通过DolphinDB内置的横截面聚合引擎计算ETF价值。数据存放在分布式数据库dfs://TAQ的quotes表，下面是quotes表的结构以及数据预览。
   
    
  //加载数据库中quotes表的数据，查看表结构
  quotes = database("dfs://TAQ").loadTable("quotes");
  quotes.schema().colDefs;
  
  name    typeString    typeInt
  time    SECOND        10
  symbol  SYMBOL        17
  ofrsiz  INT           4
  ofr     DOUBLE        16
  mode    INT           4
  mmid    SYMBOL        17
  ex      CHAR          2
  date    DATE          6
  bidsize INT           4
  bid     DOUBLE        16
  
  //查看quotes表内前十行的数据
  select top 10 * from quotes;
  
  symbol    date         time       bid     ofr     bidsiz    ofrsiz    mode    ex    mmid
  A         2007.08.17   04:15:06   0.01    0       10        0         12      80
  A         2007.08.17   06:21:16   1       0       1         0         12      80
  A         2007.08.17   06:21:44   0.01    0       10        0         12      80
  A         2007.08.17   06:49:02   32.03   0       1         0         12      80
  A         2007.08.17   06:49:02   32.03   32.78   1         1         12      80
  A         2007.08.17   07:02:01   18.5    0       1         0         12      84
  A         2007.08.17   07:02:01   18.5    45.25   1         1         12      84
  A         2007.08.17   07:54:55   31.9    45.25   3         1         12      84
  A         2007.08.17   08:00:00   31.9    40      3         2         12      84
  A         2007.08.17   08:00:00   31.9    35.5    3         2         12      84
   
    
  （1）对要进行回放的数据进行划分。由于一天的数据共有336,305,414条，一次性导入内存再回放会有较长延迟，还有可能导致内存溢出，因此先使用replayDS函数并指定参数timeRepartitionSchema，将数据按照时间戳分为62个部分。
   
    
  sch = select name,typeString as type from quotes.schema().colDefs
  trs = cutPoints(09:30:00.001..18:00:00.001, 60)
  rds = replayDS(, `date, `time,  trs);

  （2）定义输出表outQuotes，一般为流数据表。

  share streamTable(100:0, sch.name,sch.type) as outQuotes

  （3）定义股票权重字典weights以及聚合函数etfVal，用于计算ETF价值。在本例中，我们仅计算AAPL、IBM、MSFT、NTES、AMZN、GOOG这几只股票的ETF价值。

  defg etfVal(weights,sym, price) {
      return wsum(price, weights[sym])
  }
  weights = dict(STRING, DOUBLE)
  weights[`AAPL] = 0.1
  weights[`IBM] = 0.1
  weights[`MSFT] = 0.1
  weights[`NTES] = 0.1
  weights[`AMZN] = 0.1
  weights[`GOOG] = 0.5

  （4）创建流聚合引擎，并订阅数据回放的输出表outQuotes。订阅outQuotes表时，我们指定了发布表的过滤条件，只有symbol为AAPL、IBM、MSFT、NTES、AMZN、GOOG的数据才会发布到横截面聚合引擎，减少不必要的网络开销和数据传输。

  setStreamTableFilterColumn(outQuotes, `symbol)
  outputTable = table(1:0, `time`etf, [TIMESTAMP,DOUBLE])
  tradesCrossAggregator=createCrossSectionalAggregator("etfvalue", <[etfVal{weights}(symbol, ofr)]>, quotes, outputTable, `symbol, `perBatch)
  subscribeTable(,"outQuotes","tradesCrossAggregator",-1,append!{tradesCrossAggregator},true,,,,,`AAPL`IBM`MSFT`NTES`AMZN`GOOG) 

  （5）开始回放，设定每秒回放10万条数据，聚合引擎则会实时地对回放的数据进行消费。

  submitJob("replay_quotes", "replay_quotes_stream",  replay,  [rds],  [`outQuotes], `date, `time,100000,4)

  （6）查看不同时间点下我们选择的股票的ETF价值。

  //查看outputTable表内前15行的数据,其中第一列时间为聚合计算发生的时间
  >select top 15 * from outputTable;
  
  time                  　　etf
  2019.06.04T16:40:18.476   14.749
  2019.06.04T16:40:19.476	  14.749
  2019.06.04T16:40:20.477	  14.749
  2019.06.04T16:40:21.477	  22.059
  2019.06.04T16:40:22.477	  22.059
  2019.06.04T16:40:23.477	  34.049
  2019.06.04T16:40:24.477	  34.049
  2019.06.04T16:40:25.477	  284.214
  2019.06.04T16:40:26.477	  284.214
  2019.06.04T16:40:27.477	  285.68
  2019.06.04T16:40:28.477	  285.68
  2019.06.04T16:40:29.478	  285.51
  2019.06.04T16:40:30.478	  285.51
  2019.06.04T16:40:31.478	  285.51
  2019.06.04T16:40:32.478	  285.51

  4. 性能测试

  我们在服务器上对DolphinDB的数据回放功能进行了性能测试。服务器配置如下：

  主机：DELL PowerEdge R730xd

  CPU：Intel Xeon(R) CPU E5-2650 v4（24核 48线程 2.20GHz）

  内存：512 GB （32GB × 16, 2666 MHz）

  硬盘：17T HDD （1.7T × 10, 读取速度222 MB/s，写入速度210 MB/s）

  网络：万兆以太网

  测试脚本如下：

  sch = select name,typeString as type from  quotes.schema().colDefs
  trs = cutPoints(09:30:00.001..18:00:00.001,60)
  rds = replayDS(, `date, `time,  trs);
  share streamTable(100:0, sch.name,sch.type) as outQuotes
  jobid = submitJob("replay_quotes","replay_quotes_stream",  replay,  [rds],  [`outQuotes], `date, `time, , 4) 
    
  在不设定回放速率（即以最快的速率回放），并且输出表没有任何订阅时，回放336,305,414条数据耗时仅需要90~110秒。
   
    
  
                              
                          
                      
                      
                      
  
                      
                      
                      
  
                  
                  
  
                      
  
                          
                          
  
                              
   
                          
                          
                          
  
                              
  
                          
                          
                          
  
                              
  
                          
                      
                  
              
          
      
      
  
          
  你可能感兴趣的:(时序数据库使用教程,DolphinDDB,数据库,量化金融,工业物联网,大数据)
          
  
              
  
                  
  
                      
  Google earth studio 简介
                          陟彼高冈yu
  旅游
                          
  GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
                      
                      
  linux中sdl的使用教程,sdl使用入门
                          Melissa Corvinus
  linux中sdl的使用教程
                          
  本文通过一个简单示例讲解SDL的基本使用流程。示例中展示一个窗口，窗口里面有个随机颜色快随机移动。当我们鼠标点击关闭按钮时间窗口关闭。基本步骤如下：1.初始化SDL并创建一个窗口。SDL_Init()初始化SDL_CreateWindow()创建窗口2.纹理渲染存储RGB和存储纹理的区别：比如一个从左到右由红色渐变到蓝色的矩形，用存储RGB的话就需要把矩形中每个点的具体颜色值存储下来；而纹理只是一
                      
                      
  使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器）
                          编程经验分享
  开发工具服务器sshlinux
                          
  目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
                      
                      
  关于提高复杂业务逻辑代码可读性的思考
                          编程经验分享
  开发经验java数据库开发语言
                          
  目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
                      
                      
  SQL Server_查询某一数据库中的所有表的内容
                          qq_42772833
  SQLServer数据库sqlserver
                          
  1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
                      
                      
  深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具
                          nseejrukjhad
  数据库python
                          
  深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
                      
                      
  MongoDB Oplog 窗口
                          喝醉酒的小白
  MongoDB运维
                          
  在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
                      
                      
  python os 环境变量
                          CV矿工
  python开发语言numpy
                          
  环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
                      
                      
  【PG】常见数据库、表属性设置
                          江无羡
  数据库
                          
  PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
                      
                      
  福袋生活邀请码在哪里填写，福袋生活app邀请码使用教程
                          小小编007
  
                          
  很多人下载福袋生活后，注册使用时需要填写邀请码。因为福袋生活是注册邀请制，所以首次使用填写邀请码才可以正常登录使用。福袋生活是广州市福袋生活信息科技有限公司旗下一家多元化社交电商导购平台，以APP为载体，社群为媒介，汇集衣食住行、吃喝玩乐生活服务板块，使用福袋生活可以领到淘宝，拼多多等电商平台的商品优惠券和返利，还可以兼职去分享赚钱。我为什么从福袋生活转到果冻宝盒呢？当然是因为福袋生活返利更高，注
                      
                      
  nosql数据库技术与应用知识点
                          皆过客，揽星河
  NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
                          
  Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
                      
                      
  insert into select 主键自增_mybatis拦截器实现主键自动生成
                          weixin_39521651
  insertintoselect主键自增mybatisdelete返回值mybatisinsert返回主键mybatisinsert返回对象mybatisplusinsert返回主键mybatisplus插入生成id
                          
  前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
                      
                      
  ES聚合分析原理与代码实例讲解
                          光剑书架上的书
  大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
                          
  ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
                      
                      
  关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解
                          秋刀prince
  mysqlmysql数据库
                          
  提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
                      
                      
  Java爬虫框架（一）--架构设计
                          狼图腾-狼之传说
  java框架java任务html解析器存储电子商务
                          
  一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
                      
                      
  MongoDB知识概括
                          GeorgeLin98
  持久层mongodb
                          
  MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
                      
                      
  Mongodb Error: queryTxt ETIMEOUT xxxx.wwwdz.mongodb.net
                          佛一脚
  errorreactmongodb数据库
                          
  背景每天都能遇到奇怪的问题，做个记录，以便有缘人能得到帮助！换了一台电脑开发nextjs程序。需要连接mongodb数据，对数据进行增删改查。上一台电脑好好的程序，新电脑死活连不上mongodb数据库。同一套代码，没任何修改，搞得我怀疑人生了，打开浏览器进入mongodb官网毫无问题，也能进入线上系统查看数据，网络应该是没问题。于是我尝试了一下手机热点，这次代码能正常跑起来，连接数据库了！！！是不
                      
                      
  入门MySQL——查询语法练习
                          K_un
  
                          
  前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
                      
                      
  WebMagic：强大的Java爬虫框架解析与实战
                          Aaron_945
  Javajava爬虫开发语言
                          
  文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
                      
                      
  博客网站制作教程
                          2401_85194651
  javamaven
                          
  首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
                      
                      
  ubuntu安装wordpress
                          lissettecarlr
  
                          
  1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
                      
                      
  深入浅出 -- 系统架构之负载均衡Nginx的性能优化
                          xiaoli8748_软件开发
  系统架构系统架构负载均衡nginx
                          
  一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
                      
                      
  【RabbitMQ 项目】服务端：数据管理模块之绑定管理
                          月夜星辉雪
  rabbitmq分布式
                          
  文章目录一.编写思路二.代码实践一.编写思路定义绑定信息类交换机名称队列名称绑定关键字：交换机的路由交换算法中会用到没有是否持久化的标志，因为绑定是否持久化取决于交换机和队列是否持久化，只有它们都持久化时绑定才需要持久化。绑定就好像一根绳子，两端连接着交换机和队列，当一方不存在，它就没有存在的必要了定义绑定持久化类构造函数：如果数据库文件不存在则创建，打开数据库，创建binding_table插入
                      
                      
  计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署）
                          java毕设程序源码王哥
  php课程设计vue.js
                          
  该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
                      
                      
  免费的GPT可在线直接使用（一键收藏）
                          kkai人工智能
  gpt
                          
  1、LuminAI（https://kk.zlrxjh.top）LuminAI标志着一款融合了星辰大数据模型与文脉深度模型的先进知识增强型语言处理系统，旨在自然语言处理（NLP）的技术开发领域发光发热。此系统展现了卓越的语义把握与内容生成能力，轻松驾驭多样化的自然语言处理任务。VisionAI在NLP界的应用领域广泛，能够胜任从机器翻译、文本概要撰写、情绪分析到问答等众多任务。通过对大量文本数据的
                      
                      
  如何利用大数据与AI技术革新相亲交友体验
                          h17711347205
  回归算法安全系统架构交友小程序
                          
  在数字化时代，大数据和人工智能（AI）技术正逐渐革新相亲交友体验，为寻找爱情的过程带来前所未有的变革（编辑h17711347205）。通过精准分析和智能匹配，这些技术能够极大地提高相亲交友系统的效率和用户体验。大数据的力量大数据技术能够收集和分析用户的行为模式、偏好和互动数据，为相亲交友系统提供丰富的信息资源。通过分析用户的搜索历史、浏览记录和点击行为，系统能够深入了解用户的兴趣和需求，从而提供更
                      
                      
  3.增删改查--连接查询
                          问女何所忆
  
                          
  关系型数据库的一个特点就是，多张表之间存在关系，以致于我们可以连接多张表进行查询操作，所以连接查询会是关系型数据库中最常见的操作。连接查询主要分为三种，交叉连接、内连接和外连接，我们一个个说。1、交叉连接交叉连接其实连接查询的第一个阶段，它简单表现为两张表的笛卡尔积形式，具体例子：如果你没学过数学中的笛卡尔积概念，你可以这样简单的理解这里的交叉连接：两张表的交叉连接就是一个连接合并的过程，T1表中
                      
                      
  docker from指令的含义_多个FROM-含义
                          weixin_39722188
  dockerfrom指令的含义
                          
  小编典典什么是基本图片？一组文件，加上EXPOSE端口ENTRYPOINT和CMD。您可以添加文件并基于该基础图像构建新图像，Dockerfile并以FROM指令开头：后面提到的图像FROM是新图像的“基础图像”。这是否意味着如果我neo4j/neo4j在FROM指令中声明，则在运行映像时，neo数据库将自动运行并且可在端口7474的容器中使用？仅当您不覆盖CMD和时ENTRYPOINT。但是图像
                      
                      
  Redis:缓存击穿
                          我的程序快快跑啊
  缓存redisjava
                          
  缓存击穿(热点key)：部分key(被高并发访问且缓存重建业务复杂的)失效,无数请求会直接到数据库，造成巨大压力1.互斥锁：可以保证强一致性线程一：未命中之后，获取互斥锁，再查询数据库重建缓存，写入缓存，释放锁线程二：查询未命中，未获得锁(已由线程一获得)，等待一会，缓存命中互斥锁实现方式：redis中setnxkeyvalue:改变对应key的value,仅当value不存在时执行，以此来实现互
                      
                      
  mysql学习教程，从入门到精通，TOP 和MySQL LIMIT 子句（15）
                          知识分享小能手
  大数据数据库MySQLmysql学习oracle数据库开发语言adb大数据
                          
  1、TOP和MySQLLIMIT子句内容在SQL中，不同的数据库系统对于限制查询结果的数量有不同的实现方式。TOP关键字主要用于SQLServer和Access数据库中，而LIMIT子句则主要用于MySQL、PostgreSQL（通过LIMIT/OFFSET语法）、SQLite等数据库中。下面将分别详细介绍这两个功能的语法、语句以及案例。1.1、TOP子句（SQLServer和Access）1.1
                      
                                  
  ASM系列六 利用TreeApi 添加和移除类成员
                                      lijingyao8206
  jvm动态代理ASM字节码技术TreeAPI
                                      
      同生成的做法一样，添加和移除类成员只要去修改fields和methods中的元素即可。这里我们拿一个简单的类做例子，下面这个Task类，我们来移除isNeedRemove方法，并且添加一个int 类型的addedField属性。 
    
  package asm.core;
  
  /**
   * Created by yunshen.ljy on 2015/6/
                                  
                                  
  Springmvc-权限设计
                                      bee1314
  springWebjsp
                                      
   
   万丈高楼平地起。 
   
  权限管理对于管理系统而言已经是标配中的标配了吧，对于我等俗人更是不能免俗。同时就目前的项目状况而言，我们还不需要那么高大上的开源的解决方案，如Spring Security，Shiro。小伙伴一致决定我们还是从基本的功能迭代起来吧。 
  目标：  
  1.实现权限的管理（CRUD）
  2.实现部门管理 （CRUD)
  3.实现人员的管理 （CRUD）
  4.实现部门和权限
                                  
                                  
  算法竞赛入门经典（第二版）第2章习题
                                      CrazyMizzz
  c算法
                                      
  2.4.1 输出技巧 
  #include <stdio.h> 
   
  int 
  main() 
  { 
   int i, n; 
   
   scanf("%d", &n); 
   for (i = 1; i <= n; i++) 
   printf("%d\n", i); 
   return 0; 
  } 
   
  习题2-2 水仙花数(daffodil
                                  
                                  
  struts2中jsp自动跳转到Action
                                      麦田的设计者
  jspwebxmlstruts2自动跳转
                                      
  1、在struts2的开发中，经常需要用户点击网页后就直接跳转到一个Action，执行Action里面的方法，利用mvc分层思想执行相应操作在界面上得到动态数据。毕竟用户不可能在地址栏里输入一个Action（不是专业人士） 
    
  2、＜jsp:forward page="xxx.action" /＞ ，这个标签可以实现跳转，page的路径是相对地址,不同与jsp和j
                                  
                                  
  php 操作webservice实例
                                      IT独行者
  PHPwebservice
                                      
  首先大家要简单了解了何谓webservice，接下来就做两个非常简单的例子，webservice还是逃不开server端与client端。我测试的环境为：apache2.2.11 php5.2.10做这个测试之前，要确认你的php配置文件中已经将soap扩展打开，即extension=php_soap.dll; 
  OK 现在我们来体验webservice 
  //server端 serve
                                  
                                  
  Windows下使用Vagrant安装linux系统
                                      _wy_
  windowsvagrant
                                      
  准备工作： 
  下载安装 VirtualBox ：https://www.virtualbox.org/ 
  下载安装 Vagrant ：http://www.vagrantup.com/ 
  下载需要使用的 box ： 
  官方提供的范例：http://files.vagrantup.com/precise32.box 
  还可以在 http://www.vagrantbox.es/ 
                                  
                                  
  更改linux的文件拥有者及用户组(chown和chgrp)
                                      无量
  clinuxchgrpchown
                                      
  本文（转）  
  http://blog.163.com/yanenshun@126/blog/static/128388169201203011157308/   
  http://ydlmlh.iteye.com/blog/1435157   
  一、基本使用：    
  使用chown命令可以修改文件或目录所属的用户： 
         命令
                                  
                                  
  linux下抓包工具
                                      矮蛋蛋
  linux
                                      
  原文地址： 
  http://blog.chinaunix.net/uid-23670869-id-2610683.html 
  tcpdump -nn -vv -X udp port 8888 
  上面命令是抓取udp包、端口为8888 
  netstat -tln 命令是用来查看linux的端口使用情况 
   
  13 . 列出所有的网络连接 
  lsof -i 
  14. 列出所有tcp 网络连接信息 
  l
                                  
                                  
  我觉得mybatis是垃圾！：“每一个用mybatis的男纸，你伤不起”
                                      alafqq
  mybatis
                                      
  最近看了  
  每一个用mybatis的男纸，你伤不起 
  原文地址 ：http://www.iteye.com/topic/1073938 
  发表一下个人看法。欢迎大神拍砖； 
   
  个人一直使用的是Ibatis框架，公司对其进行过小小的改良； 
  最近换了公司，要使用新的框架。听说mybatis不错；就对其进行了部分的研究； 
   
  发现多了一个mapper层；个人感觉就是个dao； 
   
   
                                  
                                  
  解决java数据交换之谜
                                      百合不是茶
  数据交换
                                      
  交换两个数字的方法有以下三种  ，其中第一种最常用
   
    
  /*
  输出最小的一个数
  */
  public class jiaohuan1 {
  
  	public static void main(String[] args) {
  	int a =4;
  	int b = 3;
  		if(a<b){
           //  第一种交换方式
  		int tmep =
                                  
                                  
  渐变显示
                                      bijian1013
  JavaScript
                                      
  <style type="text/css">
   #wxf {
    FILTER: progid:DXImageTransform.Microsoft.Gradient(GradientType=0, StartColorStr=#ffffff, EndColorStr=#97FF98);
    height: 25px;
   }
  </style>
                                  
                                  
  探索JUnit4扩展：断言语法assertThat
                                      bijian1013
  java单元测试assertThat
                                      
  一.概述 
          JUnit 设计的目的就是有效地抓住编程人员写代码的意图，然后快速检查他们的代码是否与他们的意图相匹配。 JUnit 发展至今，版本不停的翻新，但是所有版本都一致致力于解决一个问题，那就是如何发现编程人员的代码意图，并且如何使得编程人员更加容易地表达他们的代码意图。JUnit 4.4 也是为了如何能够
                                  
                                  
  【Gson三】Gson解析{"data":{"IM":["MSN","QQ","Gtalk"]}}
                                      bit1129
  gson
                                      
     
  如何把如下简单的JSON字符串反序列化为Java的POJO对象? 
  {"data":{"IM":["MSN","QQ","Gtalk"]}} 
    
  下面的POJO类Model无法完成正确的解析： 
    
  import com.google.gson.Gson;
                                  
                                  
  【Kafka九】Kafka High Level API vs. Low Level API
                                      bit1129
  kafka
                                      
  1. Kafka提供了两种Consumer API 
   
   High Level Consumer API 
   Low Level Consumer API(Kafka诡异的称之为Simple Consumer API，实际上非常复杂) 
   
  在选用哪种Consumer API时，首先要弄清楚这两种API的工作原理，能做什么不能做什么，能做的话怎么做的以及用的时候，有哪些可能的问题 
   
                                  
                                  
  在nginx中集成lua脚本：添加自定义Http头，封IP等
                                      ronin47
  nginx lua
                                      
  Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com 
  Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 
  location /{
                                  
                                  
  java-归并排序
                                      bylijinnan
  java
                                      
  
  import java.util.Arrays;
  
  
  public class MergeSort {
  
  	
  	public static void main(String[] args) {
  
  		int[] a={20,1,3,8,5,9,4,25};
  		mergeSort(a,0,a.length-1);
  		System.out.println(Arrays.to
                                  
                                  
  Netty源码学习-CompositeChannelBuffer
                                      bylijinnan
  javanetty
                                      
  CompositeChannelBuffer体现了Netty的“Transparent Zero Copy” 
   
  查看API（ 
  http://docs.jboss.org/netty/3.2/api/org/jboss/netty/buffer/package-summary.html#package_description） 
  可以看到，所谓“Transparent Zero Copy”是通
                                  
                                  
  Android中给Activity添加返回键
                                      hotsunshine
  Activity
                                      
         
  // this need android:minSdkVersion="11"
   getActionBar().setDisplayHomeAsUpEnabled(true);
   
   
   
     
   @Override
      public boolean onOptionsItemSelected(MenuItem item) {
          
                                  
                                  
  静态页面传参
                                      ctrain
  静态
                                      
  
  $(document).ready(function () {
  	var request = {
  		QueryString :
  		function (val) {
  			var uri = window.location.search;
  			var re = new RegExp("" + val + "=([^&?]*)", &
                                  
                                  
  Windows中查找某个目录下的所有文件中包含某个字符串的命令
                                      daizj
  windows查找某个目录下的所有文件包含某个字符串
                                      
  findstr可以完成这个工作。 
       
  [html]  
  view plain 
  copy       
   
   >findstr /s /i "string" *.*   
    
  上面的命令表示，当前目录以及当前目录的所有子目录下的所有文件中查找"string&qu
                                  
                                  
  改善程序代码质量的一些技巧
                                      dcj3sjt126com
  编程PHP重构
                                      
  有很多理由都能说明为什么我们应该写出清晰、可读性好的程序。最重要的一点，程序你只写一次，但以后会无数次的阅读。当你第二天回头来看你的代码 时，你就要开始阅读它了。当你把代码拿给其他人看时，他必须阅读你的代码。因此，在编写时多花一点时间，你会在阅读它时节省大量的时间。让我们看一些基本的编程技巧：    尽量保持方法简短    尽管很多人都遵
                                  
                                  
  SharedPreferences对数据的存储
                                      dcj3sjt126com
  
                                      
  SharedPreferences简介：                                                   &nbs
                                  
                                  
  linux复习笔记之bash shell (2) bash基础
                                      eksliang
  bashbash shell
                                      
  转载请出自出处：
  http://eksliang.iteye.com/blog/2104329  
  1.影响显示结果的语系变量（locale） 
   1.1locale这个命令就是查看当前系统支持多少种语系，命令使用如下： 
  [root@localhost shell]# locale
  LANG=en_US.UTF-8
  LC_CTYPE="en_US.UTF-8"
  
                                  
                                  
  Android零碎知识总结
                                      gqdy365
  android
                                      
  1、CopyOnWriteArrayList add(E) 和remove(int index)都是对新的数组进行修改和新增。所以在多线程操作时不会出现java.util.ConcurrentModificationException错误。 
  所以最后得出结论：CopyOnWriteArrayList适合使用在读操作远远大于写操作的场景里，比如缓存。发生修改时候做copy，新老版本分离，保证读的高
                                  
                                  
  HoverTree.Model.ArticleSelect类的作用
                                      hvt
  Web.netC#hovertreeasp.net
                                      
  ArticleSelect类在命名空间HoverTree.Model中可以认为是文章查询条件类，用于存放查询文章时的条件，例如HvtId就是文章的id。HvtIsShow就是文章的显示属性，当为-1是，该条件不产生作用，当为0时，查询不公开显示的文章，当为1时查询公开显示的文章。HvtIsHome则为是否在首页显示。HoverTree系统源码完全开放，开发环境为Visual Studio 2013
                                  
                                  
  PHP 判断是否使用代理 PHP Proxy Detector
                                      天梯梦
  proxy
                                      
  1. php 类 
  I found this class looking for something else actually but I remembered I needed some while ago something similar and I never found one. I'm sure it will help a lot of developers who try to 
                                  
                                  
  apache的math库中的回归——regression（翻译）
                                      lvdccyb
  Mathapache
                                      
  这个Math库，虽然不向weka那样专业的ML库，但是用户友好，易用。 
  多元线性回归，协方差和相关性（皮尔逊和斯皮尔曼），分布测试（假设检验，t，卡方，G），统计。 
    
  数学库中还包含，Cholesky，LU，SVD，QR，特征根分解，真不错。 
    
  基本覆盖了：线代，统计，矩阵， 
  最优化理论 
  曲线拟合 
  常微分方程 
  遗传算法（GA）， 
  还有3维的运算。。。 
  
                                  
                                  
  基础数据结构和算法十三：Undirected Graphs (2)
                                      sunwinner
  Algorithm
                                      
    
  Design pattern for graph processing.  
  Since we consider a large number of graph-processing algorithms, our initial design goal is to decouple our implementations from the graph representation
                                  
                                  
  云计算平台最重要的五项技术
                                      sumapp
  云计算云平台智城云
                                      
  云计算平台最重要的五项技术 
   
   
   
  1、云服务器 
   
   
  云服务器提供简单高效，处理能力可弹性伸缩的计算服务，支持国内领先的云计算技术和大规模分布存储技术，使您的系统更稳定、数据更安全、传输更快速、部署更灵活。 
   
   
  特性 
   
  机型丰富 
   
  通过高性能服务器虚拟化为云服务器，提供丰富配置类型虚拟机，极大简化数据存储、数据库搭建、web服务器搭建等工作； 
   
  仅需要几分钟，根据CP
                                  
                                  
  《京东技术解密》有奖试读获奖名单公布
                                      ITeye管理员
  活动
                                      
  ITeye携手博文视点举办的12月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。  
   
   
  12月试读活动回顾： 
  http://webmaster.iteye.com/blog/2164754 
   
   
  本次技术图书试读活动获奖名单及相应作品如下： 
   
   
  一等奖（两名） 
   
   
   Microhardest：http://microhardest.ite
                                  
                  
              
          
      
  
  
      
  
          
  
              按字母分类：
              ABCDEFGHIJKLMNOPQRSTUVWXYZ其他
          
      
  
  
      
  
          
  
              首页 -
              关于我们 -
              站内搜索 -
              Sitemap -
              侵权投诉
          
          
  版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.