量化交易干货丨如何使用DolphinDB计算K线

DolphinDB提供了功能强大的内存计算引擎，内置时间序列函数，分布式计算以及流数据处理引擎，在众多场景下均可高效的计算K线。本教程将介绍DolphinDB如何通过批量处理和流式处理计算K线。

• 历史数据批量计算K线

其中可以指定K线窗口的起始时间；一天中可以存在多个交易时段，包括隔夜时段；K线窗口可重叠；使用交易量作为划分K线窗口的维度。需要读取的数据量特别大并且需要将结果写入数据库时，可使用DolphinDB内置的Map-Reduce函数并行计算。

• 流式计算K线

使用API实时接收市场数据，并使用DolphinDB内置的流数据时序计算引擎(TimeSeriesAggregator)进行实时计算得到K线数据。

1. 历史数据K线计算

使用历史数据计算K线，可使用DolphinDB的内置函数bar，dailyAlignedBar，或wj。

1.1 不指定K线窗口的起始时刻，根据数据自动生成K线结果

bar(X,Y)返回X减去X除以Y的余数，一般用于将数据分组。

date = 09:32m 09:33m 09:45m 09:49m 09:56m 09:56m;
bar(date, 5);

返回以下结果：

[09:30m,09:30m,09:45m,09:45m,09:55m,09:55m]

例子1：使用以下数据模拟美国股票市场：

n = 1000000
date = take(2019.11.07 2019.11.08, n)
time = (09:30:00.000 + rand(int(6.5*60*60*1000), n)).sort!()
timestamp = concatDateTime(date, time)
price = 100+cumsum(rand(0.02, n)-0.01)
volume = rand(1000, n)
symbol = rand(`AAPL`FB`AMZN`MSFT, n)
trade = table(symbol, date, time, timestamp, price, volume).sortBy!(`symbol`timestamp)
undef(`date`time`timestamp`price`volume`symbol)

计算5分钟K线：

barMinutes = 5
OHLC = select first(price) as open, max(price) as high, min(price) as low, last(price) as close, sum(volume) as volume from trade group by symbol, date, bar(time, barMinutes*60*1000) as barStart

请注意，以上数据中，time列的精度为毫秒。若time列精度不是毫秒，则应当将 barMinutes601000 中的数字做相应调整。

1.2 需要指定K线窗口的起始时刻

需要指定K线窗口的起始时刻，可使用dailyAlignedBar函数。该函数可处理每日多个交易时段，亦可处理隔夜时段。

请注意，使用dailyAlignedBar函数时，时间列必须含有日期信息，包括 DATETIME, TIMESTAMP 或 NANOTIMESTAMP 这三种类型的数据。指定每个交易时段窗口起始时刻的参数 timeOffset 必须使用相应的去除日期信息之后的 SECOND，TIME 或 NANOTIME 类型的数据。

例子2（每日一个交易时段）：计算美国股票市场7分钟K线。数据沿用例子1中的trade表。

barMinutes = 7
OHLC = select first(price) as open, max(price) as high, min(price) as low, last(price) as close, sum(volume) as volume from trade group by symbol, dailyAlignedBar(timestamp, 09:30:00.000, barMinutes*60*1000) as barStart

例子3（每日两个交易时段）：中国股票市场每日有两个交易时段，上午时段为9:30至11:30，下午时段为13:00至15:00。

使用以下数据模拟：

n = 1000000
date = take(2019.11.07 2019.11.08, n)
time = (09:30:00.000 + rand(2*60*60*1000, n/2)).sort!() join (13:00:00.000 + rand(2*60*60*1000, n/2)).sort!()
timestamp = concatDateTime(date, time)
price = 100+cumsum(rand(0.02, n)-0.01)
volume = rand(1000, n)
symbol = rand(`600519`000001`600000`601766, n)
trade = table(symbol, timestamp, price, volume).sortBy!(`symbol`timestamp)
undef(`date`time`timestamp`price`volume`symbol)

计算7分钟K线：

barMinutes = 7
sessionsStart=09:30:00.000 13:00:00.000
OHLC = select first(price) as open, max(price) as high, min(price) as low, last(price) as close, sum(volume) as volume from trade group by symbol, dailyAlignedBar(timestamp, sessionsStart, barMinutes*60*1000) as barStart

例子4（每日两个交易时段，包含隔夜时段）：某些期货每日有多个交易时段，且包括隔夜时段。本例中，第一个交易时段为8:45到下午13:45，另一个时段为隔夜时段，从下午15:00到第二天05:00。

使用以下数据模拟:

daySession =  08:45:00.000 : 13:45:00.000
nightSession = 15:00:00.000 : 05:00:00.000
n = 1000000
timestamp = rand(concatDateTime(2019.11.06, daySession[0]) .. concatDateTime(2019.11.08, nightSession[1]), n).sort!()
price = 100+cumsum(rand(0.02, n)-0.01)
volume = rand(1000, n)
symbol = rand(`A120001`A120002`A120003`A120004, n)
trade = select * from table(symbol, timestamp, price, volume) where timestamp.time() between daySession or timestamp.time()>=nightSession[0] or timestamp.time()

计算7分钟K线：

barMinutes = 7
sessionsStart = [daySession[0], nightSession[0]]
OHLC = select first(price) as open, max(price) as high, min(price) as low, last(price) as close, sum(volume) as volume from trade group by symbol, dailyAlignedBar(timestamp, sessionsStart, barMinutes*60*1000) as barStart

1.3 重叠K线窗口：使用wj函数

以上例子中，K线窗口均不重叠。若要计算重叠K线窗口，可以使用wj函数。使用wj函数，可对左表中的时间列，指定相对时间范围，在右表中进行计算。

例子5 （每日两个交易时段，重叠的K线窗口）：模拟中国股票市场数据，每5分钟计算30分钟K线。

n = 1000000
sampleDate = 2019.11.07
symbols = `600519`000001`600000`601766
trade = table(take(sampleDate, n) as date, 
    (09:30:00.000 + rand(7200000, n/2)).sort!() join (13:00:00.000 + rand(7200000, n/2)).sort!() as time, 
    rand(symbols, n) as symbol, 
    100+cumsum(rand(0.02, n)-0.01) as price, 
    rand(1000, n) as volume)

首先根据时间来生成窗口，并且用cross join来生成股票和交易窗口的组合。

barWindows = table(symbols as symbol).cj(table((09:30:00.000 + 0..23 * 300000).join(13:00:00.000 + 0..23 * 300000) as time))

然后使用wj函数计算重叠窗口的K线数据：

OHLC = wj(barWindows, trade, 0:(30*60*1000), 
        <[first(price) as open, max(price) as high, min(price) as low, last(price) as close, sum(volume) as volume]>, `symbol`time)

1.4 使用交易量划分K线窗口

上面的例子我们均使用时间作为划分K线窗口的维度。在实践中，也可以使用其他维度作为划分K线窗口的依据。譬如用累计的交易量来计算K线。

例子6 （每日两个交易时段，使用累计的交易量计算K线）：模拟中国股票市场数据，交易量每增加10000计算K线。

n = 1000000
sampleDate = 2019.11.07
symbols = `600519`000001`600000`601766
trade = table(take(sampleDate, n) as date, 
    (09:30:00.000 + rand(7200000, n/2)).sort!() join (13:00:00.000 + rand(7200000, n/2)).sort!() as time, 
    rand(symbols, n) as symbol, 
    100+cumsum(rand(0.02, n)-0.01) as price, 
    rand(1000, n) as volume)
    
volThreshold = 10000
select first(time) as barStart, first(price) as open, max(price) as high, min(price) as low, last(price) as close 
from (select symbol, price, cumsum(volume) as cumvol from trade context by symbol)
group by symbol, bar(cumvol, volThreshold) as volBar

代码采用了嵌套查询的方法。子查询为每个股票生成累计的交易量cumvol，然后在主查询中根据累计的交易量用bar函数生成窗口。

1.5 使用MapReduce函数加速

若需从数据库中提取较大量级的历史数据，计算K线，然后存入数据库，可使用DolphinDB内置的Map-Reduce函数mr进行数据的并行读取与计算。这种方法可以显著提高速度。

本例使用美国股票市场精确到纳秒的交易数据。原始数据存于"dfs://TAQ"数据库的"trades"表中。"dfs://TAQ"数据库采用复合分区：基于交易日期Date的值分区与基于股票代码Symbol的范围分区。

(1) 将存于磁盘的原始数据表的元数据载入内存：

login(`admin, `123456)
db = database("dfs://TAQ")
trades = db.loadTable("trades")

(2) 在磁盘上创建一个空的数据表，以存放计算结果。以下代码建立一个模板表（model），并根据此模板表的schema在数据库"dfs://TAQ"中创建一个空的 OHLC 表以存放K线计算结果：

model=select top 1 Symbol, Date, Time.second() as bar, PRICE as open, PRICE as high, PRICE as low, PRICE as close, SIZE as volume from trades where Date=2007.08.01, Symbol=`EBAY
if(existsTable("dfs://TAQ", "OHLC"))
    db.dropTable("OHLC")
db.createPartitionedTable(model, `OHLC, `Date`Symbol)

(3) 使用mr函数计算K线数据，并将结果写入 OHLC 表中：

def calcOHLC(inputTable){
    tmp=select first(PRICE) as open, max(PRICE) as high, min(PRICE) as low, last(PRICE) as close, sum(SIZE) as volume from inputTable where Time.second() between 09:30:00 : 15:59:59 group by Symbol, Date, 09:30:00+bar(Time.second()-09:30:00, 5*60) as bar
    loadTable("dfs://TAQ", `OHLC).append!(tmp)
    return tmp.size()
}
ds = sqlDS()
mr(ds, calcOHLC, +)
在以上代码中，ds是函数sqlDS生成的一系列数据源，每个数据源代表从一个数据分区中提取的数据；自定义函数calcOHLC为Map-Reduce算法中的map函数，对每个数据源计算K线数据，并将结果写入数据库，返回写入数据库的K线数据的行数；"+"是Map-Reduce算法中的reduce函数，将所有map函数的结果，亦即写入数据库的K线数据的行数相加，返回写入数据库的K线数据总数。
2. 实时K线计算
DolphinDB database 中计算实时K线的流程如下图所示：

DolphinDB中计算实时K线流程图
实时数据供应商一般会提供基于Python、Java或其他常用语言的API的数据订阅服务。本例中使用Python来模拟接收市场数据，通过DolphinDB Python API写入流数据表中。DolphinDB的流数据时序聚合引擎(TimeSeriesAggregator)可以对实时数据按照指定的频率与移动窗口计算K线。
本例使用的模拟实时数据源为文本文件trades.csv。该文件包含以下4列（一同给出一行样本数据）：

以下三小节介绍实时K线计算的三个步骤：
2.1 使用 Python 接收实时数据，并写入DolphinDB流数据表

DolphinDB 中建立流数据表

share streamTable(100:0, `Symbol`Datetime`Price`Volume,[SYMBOL,DATETIME,DOUBLE,INT]) as Trade

Python程序从数据源 trades.csv 文件中读取数据写入DolphinDB。

实时数据中Datetime的数据精度是秒，由于pandas DataFrame中仅能使用DateTime[64]即nanatimestamp类型，所以下列代码在写入前有一个数据类型转换的过程。这个过程也适用于大多数数据需要清洗和转换的场景。
import dolphindb as ddb
import pandas as pd
import numpy as np
csv_file = "trades.csv"
csv_data = pd.read_csv(csv_file, dtype={'Symbol':str} )
csv_df = pd.DataFrame(csv_data)
s = ddb.session();
s.connect("127.0.0.1",8848,"admin","123456")
#上传DataFrame到DolphinDB，并对Datetime字段做类型转换
s.upload({"tmpData":csv_df})
s.run("data = select Symbol, datetime(Datetime) as Datetime, Price, Volume from tmpData")
s.run("tableInsert(Trade,data)")
2.2 实时计算K线
本例中使用时序聚合引擎createTimeSeriesAggregator函数实时计算K线数据，并将计算结果输出到流数据表OHLC中。
实时计算K线数据，根据应用场景不同，可以分为以下2种情况：

仅在每次时间窗口结束时触发计算
时间窗口完全不重合，例如每隔5分钟计算过去5分钟的K线数据
时间窗口部分重合，例如每隔1分钟计算过去5分钟的K线数据
在每个时间窗口结束时触发计算，同时在每个时间窗口内数据也会按照一定频率更新
例如每隔1分钟计算过去1分钟的K线数据，但最近1分钟的K线不希望等到窗口结束后再计算。希望每隔1秒钟更新一次

下面针对上述的几种情况分别介绍如何使用createTimeSeriesAggregator函数实时计算K线数据。请根据实际需要选择相应场景创建时间序列聚合引擎。
2.2.1 仅在每次时间窗口结束时触发计算
仅在每次时间窗口结束时触发计算的情况下，又可以分为时间窗口完全不重合和部分重合两种场景。这两种情况可通过设定createTimeSeriesAggregator函数的windowSize参数和step参数以实现。下面具体说明。
首先定义输出表:
share streamTable(100:0, `datetime`symbol`open`high`low`close`volume,[DATETIME, SYMBOL, DOUBLE,DOUBLE,DOUBLE,DOUBLE,LONG]) as OHLC
然后根据使用场景不同，选择以下任意一种场景创建时间序列聚合引擎。
场景一：每隔5分钟计算一次过去5分钟的K线数据，使用以下脚本定义时序聚合引擎，其中，windowSize参数取值与step参数取值相等
tsAggrKline = createTimeSeriesAggregator(name="aggr_kline", windowSize=300, step=300, metrics=<[first(Price),max(Price),min(Price),last(Price),sum(volume)]>, dummyTable=Trade, outputTable=OHLC, timeColumn=`Datetime, keyColumn=`Symbol)
场景二：每隔1分钟计算过去5分钟的K线数据，可以使用以下脚本定义时序聚合引擎。其中，windowSize参数取值是step参数取值的倍数
tsAggrKline = createTimeSeriesAggregator(name="aggr_kline", windowSize=300, step=60, metrics=<[first(Price),max(Price),min(Price),last(Price),sum(volume)]>, dummyTable=Trade, outputTable=OHLC, timeColumn=`Datetime, keyColumn=`Symbol)
最后，定义流数据订阅。若此时流数据表Trade中已经有实时数据写入，那么实时数据会马上被订阅并注入聚合引擎：
subscribeTable(tableName="Trade", actionName="act_tsaggr", offset=0, handler=append!{tsAggrKline}, msgAsTable=true)
场景一的输出表前5行数据：

2.2.2 在每个时间窗口结束触发计算，同时按照一定频率更新计算结果
以窗口时间1分钟计算vwap价格为例，10:00更新了聚合结果以后，那么下一次更新至少要等到10:01。按照计算规则，这一分钟内即使发生了很多交易，也不会触发任何计算。这在很多金融交易场景中是无法接受的，希望以更高的频率更新信息，为此引入了时序聚合引擎的updateTime参数。
updateTime参数表示计算的时间间隔，如果没有指定updateTime，只有在每个时间窗口结束时，时间序列聚合引擎才会触发一次计算。但如果指定了updateTime，在以下3种情况下都会触发计算：

在每个时间窗口结束时，时间序列聚合引擎会触发一次计算
每过updateTime个时间单位，时间序列聚合引擎都会触发一次计算
如果数据进入后超过2updateTime个时间单位（如果2updateTime不足2秒，则设置为2秒），当前窗口中仍有未计算的数据，时间序列聚合引擎会触发一次计算

这样就能保证时序聚合引擎能在每个时间窗口结束触发计算，同时在每个时间窗口内部也会按照一定频率触发计算。
需要说明的是，时序聚合引擎要求在使用updateTime参数时，必须使用keyedTable作为输出表。具体原因如下：

若将普通的table或streamTable作为输出表
table与streamTable不会对重复的数据进行写入限制，因此在数据满足触发updateTime的条件而还未满足触发step的条件时，时序聚合引擎会不断向输出表添加同一个time的计算结果，最终得到的输出表就会有大量时间相同的记录，这个结果就没有意义。
若将keyedStreamTable作为输出表
keyedStreamTable不允许更新历史记录，也不允许往表中添加key值相同的记录。往表中添加新记录时，系统会自动检查新记录的主键值，如果新纪录的主键值与已有记录的主键值重复时，新纪录不会被写入。在本场景下表现的结果是，在数据还没有满足触发step的条件，但满足触发updateTime的条件时，时序聚合引擎将最近窗口的计算结果写入到输出表，却因为时间相同而被禁止写入，updateTIme参数同样失去了意义。
使用keyedTable作为输出表
keyedTable允许更新，往表中添加新记录时，系统会自动检查新记录的主键值，如果新纪录的主键值与已有记录的主键值重复时，会更新表中对应的记录。在本场景下表现的结果是，同一个时间计算结果可能会发生更新。在数据还没有满足触发step的条件，但满足触发updateTime的条件时，计算结果会被修改为根据最近窗口内的数据进行计算的结果，而不是向输出表中添加一条新的记录。直到数据满足触发step的条件时，才会向输出表中添加新的记录。而这个结果才是我们预期想要达到的效果，因此时序聚合引擎要求在使用updateTime参数时，必须使用keyedTable作为输出表。

例如，要计算窗口为1分钟的K线，但最近1分钟的K线不希望等到窗口结束后再计算。希望每隔1秒钟都更新一次近1分钟的K线数据。我们可以通过如下步骤实现这个场景。
首先，我们需要创建一个keyedTable作为输出表，并将时间列和股票代码列作为主键。当有新的数据注入输出表时，如果新纪录的时间在表中已存在，会更新表中对应时间的记录。这样就能保证每次查询时每个时刻的数据是最新的。
share keyedTable(`datetime`Symbol, 100:0, `datetime`Symbol`open`high`low`close`volume,[DATETIME,SYMBOL,DOUBLE,DOUBLE,DOUBLE,DOUBLE,LONG]) as OHLC

请注意：在使用时序聚合引擎时将
keyedTable作为输出表，若时序聚合引擎指定了keyColumn参数，那么kyedTable需要同时将时间相关列和keyColumn列作为主键。

每隔1分钟计算一次过去1分钟的K线数据，并且每隔1秒钟都更新一次近1分钟的K线数据，可以使用以下脚本定义时序聚合引擎。其中，windowSize参数取值与step参数取值相等，并指定updateTime参数取值为1秒钟，即每隔1秒种更新最近1分钟的数据。下例中的useWindowStartTime参数则用于指定输出表中的时间为数据窗口的起始时间。
tsAggrKline = createTimeSeriesAggregator(name="aggr_kline", windowSize=60, step=60, metrics=<[first(Price),max(Price),min(Price),last(Price),sum(volume)]>, dummyTable=Trade, outputTable=OHLC, timeColumn=`Datetime, keyColumn=`Symbol,updateTime=1, useWindowStartTime=true)

请注意，在使用时间序列聚合引擎时，windowSize必须是step的整数倍，并且step必须是updateTime的整数倍。

最后，定义流数据订阅。若此时流数据表Trade中已经有实时数据写入，那么实时数据会马上被订阅并注入聚合引擎：
subscribeTable(tableName="Trade", actionName="act_tsaggr", offset=0, handler=append!{tsAggrKline}, msgAsTable=true)
输出表的前5行数据：

2.3 在Python中展示K线数据
在本例中，聚合引擎的输出表也定义为流数据表，客户端可以通过Python API订阅输出表，并将计算结果展现到Python终端。
以下代码使用Python API订阅实时聚合计算的输出结果表OHLC，并将结果通过print函数打印出来。
import dolphindb as ddb
import pandas as pd
import numpy as np
#设定本地端口20001用于订阅流数据
s.enableStreaming(20001)
def handler(lst):         
    print(lst)
# 订阅DolphinDB(本机8848端口)上的OHLC流数据表
s.subscribe("127.0.0.1", 8848, handler, "OHLC")
也可通过Grafana等可视化系统来连接DolphinDB database，对输出表进行查询并将结果以图表方式展现。














 















你可能感兴趣的:(量化交易干货丨如何使用DolphinDB计算K线)



P1427 小鱼的数字游戏P1028 数的计算
少年负剑去
每日算法题算法
小鱼的数字游戏题目描述小鱼最近被要求参加一个数字游戏，要求它把看到的一串数字aia_iai（长度不一定，以000结束），记住了然后反着念出来（表示结束的数字000就不要念出来了）。这对小鱼的那点记忆力来说实在是太难了，你也不想想小鱼的整个脑袋才多大，其中一部分还是好吃的肉！所以请你帮小鱼编程解决这个问题。输入格式一行内输入一串整数，以000结束，以空格间隔。输出格式一行内倒着输出这一串整数，以空格

单片机在医疗设备中的应用实例教程
kkchenjj
单片机单片机嵌入式硬件
单片机在医疗设备中的应用实例教程单片机基础单片机概述单片机，全称为单片微型计算机（Single-ChipMicrocomputer），是一种将中央处理器（CPU）、存储器、输入输出接口等主要计算机部件集成在一块芯片上的微型计算机系统。它具有体积小、功耗低、成本低廉、控制功能强大等特点，广泛应用于工业控制、家用电器、汽车电子、医疗设备等多个领域。特点集成度高：单片机将计算机的主要部件集成在一块芯片上

单片机与传感器接口技术应用实例教程
kkchenjj
单片机单片机nosql嵌入式硬件
单片机与传感器接口技术应用实例教程单片机基础单片机概述单片机，全称为单片微型计算机（Single-ChipMicrocomputer），是一种将中央处理器（CPU）、存储器、输入输出接口等主要计算机部件集成在一块芯片上的微型计算机系统。它具有体积小、功耗低、成本低廉、控制功能强大等特点，广泛应用于工业控制、家用电器、汽车电子、通信设备、医疗器械等领域。特点集成度高：单片机将计算机的主要部件集成在一

AWS云计算助理开发考试指南：笑中带泪的学爸之路
zhutoutoutousan
学习程序人生云计算aws
引子嘿，亲爱的云计算小伙伴们！听说你们准备踏上AWS云计算助理开发考试的征途，我这里有点小经验和一堆幽默笑话，说不定能给你们点灵感。心路历程从小白到AWS云计算助理开发，这段旅程真的像是一场奇幻冒险。刚开始，我对云计算的概念还是一头雾水，就像小时候不明觉厉的魔法一样。但是我坚信，只要肯努力，我也能成为这个领域的巫师。开始学习的时候，我像是一只狗啃骨头，啃啃停停，看着云端的那些服务就像是看天书。La

【SWUST Online Judge】C语言《程序设计基础》作业一（1283、1284题）
保证安全，保证寿终正寝
科技c语言开发语言学习算法
〇、前言学姐纯粹是为爱发电，整理不易。所以小可爱们动动小手，点个免费的赞吧~以防找不到本文，收藏本文也完全不吃亏哟~一、题目列表链接指路：1.1283:输出语句练习2.1284:温度转换计算二、题目与题解（一）1283:输出语句练习题目描述在屏幕上输出以下信息：*******************欢迎使用小新通讯录[1]显示全部联系人[2]新增联系人[3]查找联系人[4]删除联系人[5]退出**

面子
星辰大海的波涛
晚上小区散步，和朋友一起边走边聊，经过小区车库时，我随口说了一句，我小区的人真有钱，大部分人都换车了，随处可见的都是奔驰，宝马，奥迪，还有好多国际二线品牌的豪车，朋友的老婆却说，车是高端，只是高档会牌的配置低端车，我想，你们家真有钱，散步回家，仔细想想，她的话也对，国人的面子观念很强，别人都说你们在广州工作，工资待遇这几年成几何增长，回老家最有面子的不就是开一高档车吗？至于配置又有谁关心？别人看到

一天认识一个硬件之CPU
哲伦贼稳妥
一天认识一个硬件IT技术电脑硬件电脑运维硬件工程其他
CPU，全称为中央处理器（CentralProcessingUnit），是计算机硬件系统的核心部件之一，负责执行计算机程序中的指令和处理数据。它相当于计算机的大脑，今天就来给大家分享一下台式机和笔记本大脑的对比。性能差异核心数量和频率：台式机CPU通常支持更多的核心数量和更高的运行频率，这使得它们在处理多线程任务和多任务处理方面更具优势。性能释放：笔记本CPU受限于散热和供电条件，功耗通常较低，导

不想在街上停留
纯水陆零
图片发自App不想在街上停留流动的汽车，好看的姑娘，大风吹起气球人头涌动，摩托电瓶车满街漂流左躲右闪，险些栽个大跟头红灯阻止，黄灯停留绿色灯亮了才能走看看街景，花坛锦绣街头闹热，泉喷假山细水流姑娘好看，裙子舞动，大爷咋也看不够闪动的光影，流动的马路斑马线边静等候汽车摩托争着走等待守候，守着人少了再走等得他，在马路上心犯愁车人拥挤，啥时候是个头红绿灯变换，斑马线上挤着走右转弯汽车，咋规矩又不守左闪闪

Go 小知识之 Go 中如何使用 set
jzpfbpx
golang开发语言后端
Go的数据结构Go内置的数据结构并不多。工作中，我们最常用的两种数据结构分别是slice和map，即切片和映射。其实，Go中也有数组，切片的底层就是数组，只不过因为切片的存在，我们平时很少使用它。除了Go内置的数据结构，还有一些数据结构是由Go的官方container包提供，如heap堆、list双向链表和ring回环链表。但今天我们不讲它们，这些数据结构，对于熟手来说，看看文档就会使用了。我们今

剧本杀【红豆】复盘解析+凶手是谁+剧透结局+测评+怎么玩？
VX搜_彤彤速递
每天持续更新复盘有15000＋：线下剧本杀·百变大侦探·我是谜·谁是凶手·玩吧·剧本杀线上·戏精大侦探·魔王杀·儿童剧本杀...所有谜题在等着你去揭开。为了你获得更好的游戏体验，本文仅显示《红豆》剧本杀部分真相复盘，获取完整真相复盘只需两步①【微信关注公众号：云云复盘】②回复【红豆】即可查看获取哦红豆测评（有剧透）她不言相思，只说天上的满月和南方的红豆。《红豆》是民国类型的家国情感本，主亲情线爱情

安全隔离上网的有效途径：沙箱
Canon_YK
零信任防泄密源代码防泄密安全网络服务器网络安全web安全
在数字化浪潮日益汹涌的今天，网络安全成为了不可忽视的重要议题。沙箱技术作为一种高效的隔离机制，为企业和个人提供了一种在享受网络便利的同时，保障系统安全的解决方案。本文旨在深入探讨沙箱技术如何做到隔离上网，从而为用户提供一个安全、可靠的上网环境。一、沙箱技术的原理与定义沙箱技术，顾名思义，就像是在计算机系统中构建一个“沙箱”，将应用程序或系统进程的运行限制在这个“沙箱”内，使其无法访问或修改系统核心

使用MLOps进行AI部署的顶级公司
AI研报
人工智能
自从AI技术进入主流领域以来，MLOps（机器学习运维）已成为在生产环境中部署和管理机器学习模型的一系列实践，这对企业的成败起着关键作用。各种背景的公司都在采用MLOps技术，以简化操作、提高模型效率和扩展AI解决方案。本文介绍了在AI部署方面表现突出的顶尖公司，它们的策略以及成功案例。使用MLOps进行AI部署的公司1.谷歌谷歌在MLOps领域处于领先地位，凭借其在云计算和机器学习研发方面的深厚

打水仗
TT天天开心
2019年5月15日星期三今天体能课老师组织我们打水仗（班内对战），这是学期初老师就答应我们的。因为体能课在上午，时间比较短，老师催促着我们赶紧往体育馆赶。到了后，我们迅速分队，我和兜兜孙思源吉祥一队，水战就这样拉开了序幕。每组有一个垃圾桶，桶里装满了水，还浮有水气球，没人有一把水枪。可以用水枪也可以用水气球砸对方的人，孙思源不顾一切的冲了上去刺对方的人，但中间有一条白线，双方都不可以越过。我们这

EG边缘计算网关连接中移ONENET物联网平台（MQTT协议）
成都纵横智控科技官方账号
边缘计算网关物联网工业网关边缘计算物联网MQTT中移ONENET
上文：EG边缘计算网关连接阿里云物联网平台（MQTT协议）需求概述本章节主要实现一个流程：EG8200mini采集ModbusRTU数据，通过MQTT协议连接中移ONENET物联网平台ModbusRTU采集此处不做过多赘述，可参考其他案例（串口读取Modbus传感器数据）介绍。下文默认已经采集到ModbusRTU数据。要采集的Modbus点位表：地址(Doc)数据类型属性名称00001Boolea

命令行工具部署达梦数据库 DMDPC（BP 多副本架构）
百代繁华一朝都-绮罗生
数据库架构网络
解达梦数据库DPC集群的主要使用场景：DMDPC关注和解决的是大数据、计算与存储分离、高可用、支持全部的SQL标准、拥有完整的事务处理能力和集群规模能够动态伸缩的业务场景：大量的复杂查询操作要求优化器能够生成优良的执行计划，并且执行引擎能够充分利用多机器、多核的硬件资源某些行业对数据一致性和多副本备份容灾有较高要求，同时希望维护成本足够低和故障恢复时间足够短；用户的业务规模有峰值，要求所需的机器资

随笔4
三三耶
哈哈又来凑更新了！！《延禧攻略》还不错，果然是史上最毒舌最通透的皇帝，至少前四集看的是这样！！魏璎珞这个人设真的是太喜欢了，不是傻白甜，不是软柿子，又聪明又懂事，emmm反正看起来就是很好的，高贵妃这个人好像一直在模仿甄嬛传里面的华妃，不知道是不是错觉，感觉一直照着蒋欣的演法来演戏！唉，计算机教程真的是太无聊了，太无聊了太无聊了，可是没办法啊，还是要硬着头皮看下去！最新一期的快本还是挺有意思的，前

JS浮点数(小数)计算加减乘除
世界太过浮夸
JavaScript
/****除法函数，用来得到精确的除法结果**说明：javascript的除法结果会有误差，在两个浮点数相除的时候会比较明显。这个函数返回较为精确的除法结果。**调用：accDiv(arg1,arg2)**返回值：arg1除以arg2的精确结果**/functionaccDiv(arg1,arg2){vart1=0,t2=0,r1,r2;try{t1=arg1.toString().split("

从MVC到DDD的架构演进
洛蕾
计算机mvc架构
Python微信订餐小程序课程视频https://edu.csdn.net/course/detail/36074Python实战量化交易理财系统https://edu.csdn.net/course/detail/35475DDD这几年越来越火，资料也很多，大部分的资料都偏向于理论介绍，有给出的代码与传统MVC的三层架构差异较大，再加上大量的新概念很容易让初学者望而却步。本文从MVC架构角度来讲

DM8 分布计算集群（DMDPC）Docker 命令行部署指南
69岁法外狂徒
docker容器数据库分布式
简介DMDPC是一款同时支持在线分析处理(OLAP)和在线事务处理(OLTP)的新型分布式数据库系统。它不仅保留了传统单机数据库的大部分功能，还提供了分布式计算集群所特有的高可用性、高扩展性、高性能、高吞吐量以及对用户透明等高级特性。本文借助命令行工具部署DPC集群。系统架构DMDPC的架构由三个核心组件组成：计划生成节点(SP)：对外提供分布式数据库服务，负责接收用户请求、生成执行计划，并调度计

VR Outdoor Cinema VR户外电影院环境模场景型
逑乐
Unity各类资源展示资源vrUnity资源U3D模型环境
VR户外影院-类似于OculusCinema、Netflix、照片查看器、GearVR的VR菜单的VR视频播放器环境。即使在低端手机上也能使用-8K分辨率的6幅HQ立体全景图像-用于显示照片/视频的电视平面-GearVR的6个场景和主菜单下载：Unity资源商店链接资源下载链接效果图：

.NET常见面试题汇总
.Net Core 爱好者
.netc#
首先，汇总一共分为三部分：一是关于.NET技术的面试问题，二是关于.NET项目中的实际问题，三是历年出现过一些面试题汇总一、.NET技术面试问题请简述.NET中的装箱和拆箱。什么是泛型，以及它在.NET中的用途？请解释一下C#中的委托是什么，以及它们如何工作？什么是事件，如何使用它们？请解释一下C#中的特性(Attributes)及其应用场景。.NET中的异步编程模式有哪些？什么是LINQ，它在.

AWS Nitro架构简介
河马虚拟化
计算机架构虚拟化aws虚拟机架构
AWS（AmazonWebServices）Nitro架构为Amazon的云服务提供了底层的支持。Nitro架构的总体设计思想是：轻量化的hypervisor配合定制化的硬件，让用户无法区分出运行在虚拟机内和运行在裸金属上操作系统的性能差异。为了实现定制化的硬件（ASIC），Amazon和以色列的一家芯片公司——Annapurna实验室合作，并在后面将其收购，其芯片的logo就是Annapurna

购买莆田鞋有哪些套路和陷阱？怎样避免踩坑
芒果不芒
购买莆田鞋有哪些套路和陷阱？怎样避免踩坑小白在购买莆田鞋时有很多不懂的问题，而且莆田鞋商家卖的货又良莠不齐，为了避免踩坑今天我就把经验分享给大家，记住最重要的一点就是找到一个比较实在的良心商家购买，因为真正做生意的诚信商家是不会为了一点蝇头小利去坑人的，假如找到一个无良商家，它变着法的想着坑你，你怎样都会被骗的，俗话说得好：不怕贼偷就怕贼惦记！今天我顺便给大家推荐三家专门做高品质的莆田鞋商家也：k

我这样的人
清梦予你
觉得在开始我的文字乱舞之前，还是应该先写写自己，以防多年以后，会忘记自己曾经历过什么才过着这样混沌的人生。年少时曾觉得自己与别人不一样，拥有不一样的理想，也会有很特别的人生，多年以后，当自己回忆起走过的时光，可以很坦然地说出，人生无憾。而现实很快便戳醒了我的梦，快得猝不及防。大学毕业的我，业已工作五年，五年在同一个公司，重复着同样的工作，生活在一个1.5线城市，有属于自己的房子，月薪也算过万吧，有

阿里云服务器2核4G配置多少钱？不同地域收费标准与最新活动价格分享
阿里云最新优惠和活动汇总
阿里云服务器2核4G配置多少钱？2核4G配置的阿里云服务器选择不同实例规格和地域，其收费标准和活动价格都是不一样的，本文为大家展示阿里云服务器2核4G配置可选的实例规格有哪些？不同地域之间的收费价格是多少？目前最新的活动价格是多少？以供大家了解参考。一、阿里云服务器2核4G配置可选实例规格2核4G配置的阿里云服务器目前可选实例规格有共享标准型s6、计算型c8y、计算型c7、AMD计算型c7a、高主

ssm框架下实现手机营业厅连签送流量
码来码去（未来可期）
JavaWebjava数据库
功能概述模拟常见手机营业厅APP登录签到领取流量功能，利用SSM框架完成登录签到领取流量，具体功能如下：用户登录之后方可签到，点击签到，领取10积分，每天最多签到一次一个月内只要连续登录签到7天，除每日10积分之外，额外奖励流量30M如果中间遗漏签到，则之前累积天数清零，重新计算，但签到积分保留数据库设计项目结构实体类packagecom.xszx.beans;importjava.sql.Dat

六、二叉树（1）
小霖同学onism
算法基础python
六、二叉树（1）理论基础种类存储方式遍历方式定义144.二叉树的前序遍历递归法，后面见迭代145.二叉树的后序遍历，递归94.二叉树的中序遍历,递归定义特点和区别适用场景迭代遍历前序迭代中序迭代后序迭代中序遍历（InorderTraversal）后序遍历（PostorderTraversal）思路上的主要区别统一迭代（标记法）层序遍历理论基础种类满二叉树：节点都是满的，节点个数2^k-1完全二叉树

K13-02/15《赋能领导力》-构筑人脉
吴笠
今天是《赋能领导力》学习的第二天，晚上有回来打卡的自我要求，提前结束了应酬，由此也可以得出一个心得：有愿望要实现的时候，意志力就开始起作用了。今天读的是《赋能领导力》的第七章（第三部分的第一章），这张的标题是“你认识谁比你是谁更重要-构筑人脉”。选择这章的原因，取决于第一天对目录的阅读，知道了第三部分是能力，能力在我看来即使赋能领导力的基础更是自我能力对照发现自我不足的起点，所以本着学以致用、自我

计算机网络基础2-网络设备
一条无趣的咸鱼
网络设备中继器中继器：在一种网络中，每一网段的传输媒介均有其最大的传输距离，如细缆最大网段长度为185m,粗缆为500m,双绞线为100m,超过这个长度，传输介质中的数据信号就会衰减。中继器可以“延长”网络的距离，在网络数据传输中起到放大信号的作用。中继器工作于OSI模型的物理层。集线器集线器:对信号进行放大整形，延长网络距离，每个端口都可以与传输介质相连。数据传输是以广播的方式将数据包发送到所有

月入十万第三十七天
赵小虎虎
嘿嘿，今天注册了好多交易所，接下来学会搬砖，这样每天就可以不用早出晚归的去上班啦，理想很丰满，现实也不算太骨感，就看自己的行动能力了。网格交易可能是投入本金较小，网格密度不够，每天盈利1块不到[手动捂脸]，一个月下来连我买阿里云服务器的零头钱都不够[在捂一次脸]。好在对网格交易的理论摸清楚了，轻量化服务器也懂得是个啥东东了。哈哈，学习点东西总要交点学费及智商税。今天下午大盘往下走，one也不知中了

java Illegal overloaded getter method with ambiguous type for propert的解决
zwllxs
javajdk
好久不来iteye,今天又来看看，哈哈,今天碰到在编码时，反射中会抛出
Illegal overloaded getter method with ambiguous type for propert这么个东东，从字面意思看，是反射在获取getter时迷惑了，然后回想起java在boolean值在生成getter时，分别有is和getter，也许我们的反射对象中就有is开头的方法迷惑了jdk，

IT人应当知道的10个行业小内幕
beijingjava
工作互联网
10. 虽然IT业的薪酬比其他很多行业要好，但有公司因此视你为其“佣人”。
　　尽管IT人士的薪水没有互联网泡沫之前要好，但和其他行业人士比较，IT人的薪资还算好点。在接下的几十年中，科技在商业和社会发展中所占分量会一直增加，所以我们完全有理由相信，IT专业人才的需求量也不会减少。
　　然而，正因为IT人士的薪水普遍较高，所以有些公司认为给了你这么多钱，就把你看成是公司的“佣人”，拥有你的支配

java 实现自定义链表
CrazyMizzz
java数据结构
1.链表结构
  链表是链式的结构
2.链表的组成
   链表是由头节点，中间节点和尾节点组成
   节点是由两个部分组成：
      1.数据域
      2.引用域
3.链表的实现
&nbs

web项目发布到服务器后图片过一会儿消失
麦田的设计者
struts2上传图片永久保存
  作为一名学习了android和j2ee的程序员，我们必须要意识到，客服端和服务器端的交互是很有必要的，比如你用eclipse写了一个web工程，并且发布到了服务器（tomcat）上，这时你在webapps目录下看到了你发布的web工程，你可以打开电脑的浏览器输入http://localhost:8080/工程/路径访问里面的资源。但是，有时你会突然的发现之前用struts2上传的图片

CodeIgniter框架Cart类 name 不能设置中文的解决方法
IT独行者
CodeIgniterCart框架　
今天试用了一下CodeIgniter的Cart类时遇到了个小问题，发现当name的值为中文时，就写入不了session。在这里特别提醒一下。 在CI手册里也有说明，如下：
$data = array(
'id' => 'sku_123ABC',
'qty' => 1,
'

linux回收站
_wy_
linux回收站
今天一不小心在ubuntu下把一个文件移动到了回收站，我并不想删，手误了。我急忙到Nautilus下的回收站中准备恢复它，但是里面居然什么都没有。     后来我发现这是由于我删文件的地方不在HOME所在的分区，而是在另一个独立的Linux分区下，这是我专门用于开发的分区。而我删除的东东在分区根目录下的.Trash-1000/file目录下，相关的删除信息（删除时间和文件所在

jquery回到页面顶端
知了ing
htmljquerycss
html代码：
<h1 id="anchor">页面标题</h1>
<div id="container">页面内容</div>
<p><a href="#anchor" class="topLink">回到顶端</a><

B树、B-树、B+树、B*树
矮蛋蛋
B树
原文地址：
http://www.cnblogs.com/oldhorse/archive/2009/11/16/1604009.html
B树
       即二叉搜索树：
       1.所有非叶子结点至多拥有两个儿子（Left和Right）；
&nb

数据库连接池
alafqq
数据库连接池
http://www.cnblogs.com/xdp-gacl/p/4002804.html
@Anthor:孤傲苍狼
数据库连接池
用MySQLv5版本的数据库驱动没有问题，使用MySQLv6和Oracle的数据库驱动时候报如下错误：
java.lang.ClassCastException: $Proxy0 cannot be cast to java.sql.Connec

java泛型
百合不是茶
java泛型
泛型
在Java SE 1.5之前，没有泛型的情况的下，通过对类型Object的引用来实现参数的“任意化”，任意化的缺点就是要实行强制转换，这种强制转换可能会带来不安全的隐患
 
泛型的特点：消除强制转换 确保类型安全 向后兼容
 
简单泛型的定义：
     泛型：就是在类中将其模糊化，在创建对象的时候再具体定义
class fan

javascript闭包[两个小测试例子]
bijian1013
JavaScriptJavaScript
一.程序一
<script>
var name = "The Window";
var Object_a = {
　　name : "My Object",
　　getNameFunc : function(){
var that = this;
　　　　return function(){
　　　　

探索JUnit4扩展：假设机制（Assumption）
bijian1013
javaAssumptionJUnit单元测试
一.假设机制（Assumption）概述        理想情况下，写测试用例的开发人员可以明确的知道所有导致他们所写的测试用例不通过的地方，但是有的时候，这些导致测试用例不通过的地方并不是很容易的被发现，可能隐藏得很深，从而导致开发人员在写测试用例时很难预测到这些因素，而且往往这些因素并不是开发人员当初设计测试用例时真正目的，

【Gson四】范型POJO的反序列化
bit1129
POJO
在下面这个例子中，POJO(Data类)是一个范型类，在Tests中，指定范型类为PieceData，POJO初始化完成后，通过
String str = new Gson().toJson(data);
得到范型化的POJO序列化得到的JSON串，然后将这个JSON串反序列化为POJO
 
import com.google.gson.Gson;
import java.

【Spark八十五】Spark Streaming分析结果落地到MySQL
bit1129
Stream
几点总结：
1. DStream.foreachRDD是一个Output Operation，类似于RDD的action，会触发Job的提交。DStream.foreachRDD是数据落地很常用的方法
2. 获取MySQL Connection的操作应该放在foreachRDD的参数（是一个RDD[T]=>Unit的函数类型)，这样，当foreachRDD方法在每个Worker上执行时，

NGINX + LUA实现复杂的控制
ronin47
nginx lua
安装lua_nginx_module 模块
lua_nginx_module 可以一步步的安装，也可以直接用淘宝的OpenResty
Centos和debian的安装就简单了。。
这里说下freebsd的安装：
fetch http://www.lua.org/ftp/lua-5.1.4.tar.gz
tar zxvf lua-5.1.4.tar.gz
cd lua-5.1.4
ma

java-递归判断数组是否升序
bylijinnan
java

public class IsAccendListRecursive {
/*递归判断数组是否升序
* if a Integer array is ascending,return true
* use recursion
*/
public static void main(String[] args){
IsAccendListRecursiv

Netty源码学习-DefaultChannelPipeline2
bylijinnan
javanetty
Netty3的API
http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/ChannelPipeline.html
里面提到ChannelPipeline的一个“pitfall”：
如果ChannelPipeline只有一个handler（假设为handlerA）且希望用另一handler（假设为handlerB）
来

Java工具之JPS
chinrui
java
JPS使用
 
 
熟悉Linux的朋友们都知道，Linux下有一个常用的命令叫做ps（Process Status)，是用来查看Linux环境下进程信息的。同样的，在Java Virtual Machine里面也提供了类似的工具供广大Java开发人员使用，它就是jps（Java Process Status)，它可以用来

window.print分页打印
ctrain
window

function init() {
var tt = document.getElementById("tt");
var childNodes = tt.childNodes[0].childNodes;
var level = 0;
for (var i = 0; i < childNodes.length; i++) { 

安装hadoop时 执行jps命令Error occurred during initialization of VM
daizj
jdkhadoopjps
在安装hadoop时，执行JPS出现下面错误
 
[slave16][email protected]:/tmp/hsperfdata_hdfs# jps
Error occurred during initialization of VM
java.lang.Error: Properties init: Could not determine current working

PHP开发大型项目的一点经验
dcj3sjt126com
PHP重构
一、变量 最好是把所有的变量存储在一个数组中，这样在程序的开发中可以带来很多的方便，特别是当程序很大的时候。变量的命名就当适合自己的习惯，不管是用拼音还是英语，至少应当有一定的意义，以便适合记忆。变量的命名尽量规范化，不要与PHP中的关键字相冲突。 二、函数 PHP自带了很多函数，这给我们程序的编写带来了很多的方便。当然，在大型程序中我们往往自己要定义许多个函数，几十

android笔记之--向网络发送GET/POST请求参数
dcj3sjt126com
android
使用GET方法发送请求
private static boolean sendGETRequest (String path,
Map<String, String> params) throws Exception{
//发送地http://192.168.100.91:8080/videoServi

linux复习笔记 之bash shell (3) 通配符
eksliang
linux 通配符linux通配符
转载请出自出处：
http://eksliang.iteye.com/blog/2104387
在bash的操作环境中有一个非常有用的功能，那就是通配符。
下面列出一些常用的通配符，如下表所示 符号 意义 * 万用字符，代表0个到无穷个任意字符 ? 万用字符，代表一定有一个任意字符 [] 代表一定有一个在中括号内的字符。例如：[abcd]代表一定有一个字符，可能是a、b、c

Android关于短信加密
gqdy365
android
关于Android短信加密功能，我初步了解的如下（只在Android应用层试验）：
    1、因为Android有短信收发接口，可以调用接口完成短信收发；
        发送过程：APP（基于短信应用修改）接受用户输入号码、内容——>APP对短信内容加密——>调用短信发送方法Sm

asp.net在网站根目录下创建文件夹
hvt
.netC#hovertreeasp.netWeb Forms
假设要在asp.net网站的根目录下建立文件夹hovertree,C#代码如下：
string m_keleyiFolderName = Server.MapPath("/hovertree");
if (Directory.Exists(m_keleyiFolderName))
{
//文件夹已经存在
return;
}
else
{
try
{
D

一个合格的程序员应该读过哪些书
justjavac
程序员书籍
编者按：2008年8月4日，StackOverflow 网友 Bert F 发帖提问：哪本最具影响力的书，是每个程序员都应该读的？
“如果能时光倒流，回到过去，作为一个开发人员，你可以告诉自己在职业生涯初期应该读一本， 你会选择哪本书呢？我希望这个书单列表内容丰富，可以涵盖很多东西。”
很多程序员响应，他们在推荐时也写下自己的评语。 以前就有国内网友介绍这个程序员书单，不过都是推荐数

单实例实践
跑龙套_az
单例
 
 1、内部类
public class Singleton {
private static class SingletonHolder {
public static Singleton singleton = new Singleton();
}
public Singleton getRes

PO VO BEAN 理解
q137681467
VODTOpo
PO：
     全称是 persistant object持久对象 最形象的理解就是一个PO就是数据库中的一条记录。 好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。
 
 
BO：
    全称是 business object:业务对象 主要作用是把业务逻辑封装为一个对象。这个对

战胜惰性，暗自努力
金笛子
努力
偶然看到一句很贴近生活的话：“别人都在你看不到的地方暗自努力，在你看得到的地方，他们也和你一样显得吊儿郎当，和你一样会抱怨，而只有你自己相信这些都是真的，最后也只有你一人继续不思进取。”很多句子总在不经意中就会戳中一部分人的软肋，我想我们每个人的周围总是有那么些表现得“吊儿郎当”的存在，是否你就真的相信他们如此不思进取，而开始放松了对自己的要求随波逐流呢？
我有个朋友是搞技术的，平时嘻嘻哈哈，以

NDK/JNI二维数组多维数组传递
wenzongliang
二维数组jniNDK
多维数组和对象数组一样处理，例如二维数组里的每个元素还是一个数组 用jArray表示，直到数组变为一维的，且里面元素为基本类型，去获得一维数组指针。给大家提供个例子。已经测试通过。
Java_cn_wzl_FiveChessView_checkWin( JNIEnv* env,jobject thiz,jobjectArray qizidata)
{
jint i,j;
int s








按字母分类：
ABCDEFGHIJKLMNOPQRSTUVWXYZ其他






首页 -
关于我们 -
站内搜索 -
Sitemap -
侵权投诉

版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.