PostgreSQL 物流调度算法探索 - 基于PostGIS/pgrouting/机器学习
PostgreSQL 物流调度算法探索 - 基于PostGIS/pgrouting/机器学习
digoal
2016-07-20 17:57:13
浏览389
评论0
发表于： 阿里云数据库ApsaraDB
PostgreSQL 物流 O2O 路径规划 物流调度
摘要： 背景 物流行业是被电子商务催生的产业之一。 快件的配送和揽件的调度算法是物流行业一个非常重要的课题，直接关系到配送或揽件的时效，以及物流公司的运作成本。 好的算法，可以提高时效，降低成本，甚至可以更好的调动社会资源，就像滴滴打车一样，也许能全民参与哦。 以后也许上班路途还
背景
物流行业是被电子商务催生的产业之一。
快件的配送和揽件的调度算法是物流行业一个非常重要的课题，直接关系到配送或揽件的时效，以及物流公司的运作成本。
好的算法，可以提高时效，降低成本，甚至可以更好的调动社会资源，就像滴滴打车一样，也许能全民参与哦。
以后也许上班路途还能顺路提供快递服务呢。
本文将以物流行业为例，给大家分析一下PostgreSQL与Greenplum在地理位置信息处理，最佳路径算法，机器学习等方面的物流行业应用方法。
要素分析
物流做的事情很简单，寄件，送件。
物流环节的要素有几个，都与位置有关
- 寄件人
-
揽件员
PS，揽件人通常不是直接将货收到仓库，而是网点。所以网点到仓库也是需要调度的，本文未涉及。
调度方法与配送差不太多。 -
货物
-
仓库
-
运输工具
-
派件员
-
收件人
如果引入时间属性，则更具有想象空间，例如前面提到的像滴滴打车一样，也许能全民参与哦。
我们这里先从简单的入手，假设现在只关心位置信息。
1. 寄件
货物从寄件人到揽件员，通常是预约的操作，而且寄件人可以直接去网点办理寄件，所以没有太多的算法在里面。
如果派件和揽件混合在一起的话，可以用KNN算法来解决，再结合派件点路径调度，选出最佳的揽件人。
例如，寄件人当前位置，与快递员调度的下一个位置，进行KNN运算，因此B来揽件是成本最低的。
2. 货物在仓库之间流转的物流调度
假设上图为仓库的位置，两个仓库之间如果开通了线路的话，就以线段连接起来。
每个仓库负责一个区域，这个区域是一个几何的图形。
通过寄件人和收件人的位置，与仓库的区域进行点面判断，找出寄件人的仓库与收件人的仓库。
快件为点，仓库为面，寄件时根据寄件人填写的寄件和收件信息转换为寄件和收件两个经纬度，通过这两个经纬度与快递公司的仓库表进行点面包含的判断匹配，就可以找出快件对应的起点和重点的仓库。
点面判断
有了源和目标就可以通过pgrouting提供的各种最佳路径算法算出每件货物的最佳路径。
本文后面会有demo来讲解如何使用pgrouting计算最佳路径。
仓库之间的货车的工作就简单了，装满就走 或 分波次(考虑到时效) 的原则，负责好两个直连节点的来回运输，并不是一辆车完成整个货物的从起点到终点的运输。
例如负责A和B之间线路的货车，只在AB之间跑运输。
3. 货物从终点仓库到网点的物流调度
货物在抵达目标仓库后，首先要将货物分拣到派件的网点。
其实也是一个点面判断的过程，网点覆盖的派件范围为面，快件则为点，点面判断找出对应的网点。
从仓库到网点，也可以使用仓库建流转的原理，计算出最佳线路。货车只负责2个网点之间的货物流转即可。
4. 派件
进入派件的流程，也就是货物在抵达收件人手中的最后一公里要做的事情。
为了更好的实现派件调度，需要对快件进行聚合操作，根据位置进行聚合。
原理和前面类似，还是要做点面判断，只是目标更加精确，例如精确到小区或者很小的区域。
派件除了要考虑快件的目的地（聚合后的），还需要考虑快件的体积，重量，以及快递员的运货能力（体积与重量） 。
假设一个网点当前收到的快件覆盖了以下需要派送的点（聚合后的），同时每个点的货物体积总和如数字所表示。
路径规划与前面不一样的地方，这里规划的是多个点作为目标。
多点目标的最佳路径，用意是确保相邻目标的连续性，确保切分不同网点的快件后，拿到快件的人跑的是还是相邻的点。
例如中心是网点的位置，其他点是目标位置，目标位置的数字是体积，假设每个快递员一次运输的体积是7000，虚线是一个快递员拿到的一趟的快件。
这种方法确保了每趟的快件是连续的。
多点目标的最佳路径规划，在本文后面的部分也会有DEMO。
地址转换成坐标
如何将地址转换成坐标，不在本文的讨论范围，很多做导航的公司都可以输出这个能力。
但是作为快递公司，还有一种方法可以获得精确的坐标信息，例如快递员的手持GPS终端，收件时扫个条码，同时上报位置信息。
有了一定的基数后，通过文本分析和机器学习，也可以输出地址转坐标的能力。
如果基数非常庞大，可以选择基于PostgreSQL的Greenplum数据仓库，进行文本分析与机器学习(支持MADlib库，支持R)。
Greenplum支持文本分析，支持地理位置信息处理，支持MADlib机器学习库，还支持R语言自定义函数，python函数，支持分布式并行计算。 最重要的是它开源，绝对是有文本和地理位置分析需求的用户最好的选择。
最佳路径运算
以仓库之间的数据流转为例
需要用到PostgreSQL数据库的PostGIS与pgrouting。
http://workshop.pgrouting.org/chapters/topology.html
基础数据需求，用来表示开通了运输航线的仓库之间的线段数据，公里数据。
Road link ID (gid) 唯一，指路段号
Road class (class_id)
Road link length (length)，长度，公里数
Road name (name)，路名
Road geometry (the_geom)，线段（可以是多点线段，也可以是双点线段）
假设表名为ways，里面存储的就是仓库之间的线段信息
Table "public.ways"
Column | Type | Modifiers
----------+---------------------------+-----------
gid | bigint |
class_id | integer | not null
length | double precision |
name | character(200) |
osm_id | bigint |
the_geom | geometry(LineString,4326) |
Indexes:
"ways_gid_idx" UNIQUE, btree (gid)
"geom_idx" gist (the_geom)
1. 生成拓扑
要生成最佳路径，首先要生成合法的拓扑，否则怎么生成路径呢？
生成拓扑前，需要添加两个字段，用来存储线段的首尾编号
-- Add "source" and "target" column
ALTER TABLE ways ADD COLUMN "source" integer;
ALTER TABLE ways ADD COLUMN "target" integer;
调用pgr_createTopology生成拓扑，注意就是生成线段的首位编号的过程
pgr_createTopology(
'', -- 需要生成拓扑的表名
float tolerance, -- 容错值，例如线段的端不能完全吻合时，允许多少误差，单位一般为角度或公里数
'' , -- 线段列名
'' ) -- gid
例如，ABC三条线段，其中B线段的两端都没有和AC完全吻合，误差分别为1米和10米，所以需要设置容错。
生成线段，实际上就是设置source和target的ID，设置完后，可能就变成这样的了
例子
-- Run topology function
SELECT pgr_createTopology('ways', 0.00001, 'the_geom', 'gid');
2. 生成最佳路径
pgrouting支持的最佳路径算法很多
http://docs.pgrouting.org/2.2/en/doc/index.html
这里以Shortest Path A*和Shortest Path Dijkstra为例，介绍如何生成最佳路径
http://workshop.pgrouting.org/chapters/shortest_path.html
如果仓库之间的线段支持双向，回来的成本是多少？
如果回程要考虑堵车更多一点，那么成本就不仅仅是公里数了，还需要加上堵车的成本。
本例加上回程成本的字段，并设置为公里数，也就是说这条线段支持回程。
ALTER TABLE ways ADD COLUMN reverse_cost double precision;
UPDATE ways SET reverse_cost = length;
2.1 Shortest Path Dijkstra算法举例
调用
pgr_costResult[] pgr_dijkstra(
text sql, -- 用于计算最佳路径的数据来源, 用SQL表示, 例如
-- SELECT id (gid), source (线段起点id), target (线段重点ID), cost (起点到重点的成本) [,reverse_cost (重点到起点的成本)] FROM edge_table
integer source, -- 规划路径的起点
integer target, -- 规划路径的终点
boolean directed, -- if the graph is directed
boolean has_rcost -- if true, the reverse_cost column of the SQL generated set of rows will be used for the cost of the traversal of the edge in the opposite direction.
);
返回多行，即路径。
a set of pgr_costResult (seq (序号), id1 (起点id), id2 (目标ID, -1表示终点), cost (这一段的成本)) rows, that make up a path.
例子
从30到60的最佳路径
SELECT seq, id1 AS node, id2 AS edge, cost FROM pgr_dijkstra('
SELECT gid AS id,
source::integer,
target::integer,
length::double precision AS cost
FROM ways',
30, 60, false, false);
seq | node | edge | cost
-----+------+------+---------------------
0 | 30 | 53 | 0.0591267653820616
1 | 44 | 52 | 0.0665408320949312
2 | 14 | 15 | 0.0809556879332114
...
6 | 10 | 6869 | 0.0164274192597773
7 | 59 | 72 | 0.0109385169537801
8 | 60 | -1 | 0
(9 rows)
2.2 Shortest Path A*算法举例
与Shortest Path Dijkstra算法类似，只是SQL需要用到每条线段的起点和重点的坐标，其他参数和pgr_dijkstra都一样。
ALTER TABLE ways ADD COLUMN x1 double precision;
ALTER TABLE ways ADD COLUMN y1 double precision;
ALTER TABLE ways ADD COLUMN x2 double precision;
ALTER TABLE ways ADD COLUMN y2 double precision;
UPDATE ways SET x1 = ST_x(ST_PointN(the_geom, 1)); -- 线段起点坐标x
UPDATE ways SET y1 = ST_y(ST_PointN(the_geom, 1)); -- 线段起点坐标y
UPDATE ways SET x2 = ST_x(ST_PointN(the_geom, ST_NumPoints(the_geom))); -- 线段终点坐标x
UPDATE ways SET y2 = ST_y(ST_PointN(the_geom, ST_NumPoints(the_geom))); -- 线段终点坐标y
调用
pgr_costResult[] pgr_astar(
sql text, -- SELECT id, source, target, cost, x1, y1, x2, y2 [,reverse_cost] FROM edge_table ，包含了起点和重点坐标，计算速度比Shortest Path A*算法快一点
source integer,
target integer,
directed boolean,
has_rcost boolean
);
返回结果与pgr_dijkstra一样
a set of pgr_costResult (seq, id1, id2, cost) rows, that make up a path.
例子
SELECT seq, id1 AS node, id2 AS edge, cost FROM pgr_astar('
SELECT gid AS id,
source::integer,
target::integer,
length::double precision AS cost,
x1, y1, x2, y2
FROM ways',
30, 60, false, false);
结果
seq | node | edge | cost
-----+------+------+---------------------
0 | 30 | 53 | 0.0591267653820616
1 | 44 | 52 | 0.0665408320949312
2 | 14 | 15 | 0.0809556879332114
...
6 | 10 | 6869 | 0.0164274192597773
7 | 59 | 72 | 0.0109385169537801
8 | 60 | -1 | 0
(9 rows)
2.3 生成多目标最佳路径
在使用导航时，我们可以选择途径点，这其实就是多目标规划的一种常见场景。
例如从杭州到万载，途径江山去丈母娘家休息一晚。
本例使用的算法是Multiple Shortest Paths with kDijkstra
用法与kDijkstra类似，只有一个参数不一样，就是targets是使用数组表示的。
生成分段成本
pgr_costResult[] pgr_kdijkstraCost(text sql, integer source,
integer[] targets, boolean directed, boolean has_rcost);
例子
从10出发，到达60,70,80
SELECT seq, id1 AS source, id2 AS target, cost FROM pgr_kdijkstraCost('
SELECT gid AS id,
source::integer,
target::integer,
length::double precision AS cost
FROM ways',
10, array[60,70,80], false, false);
seq | source | target | cost
-----+--------+--------+------------------
0 | 10 | 60 | 13.4770181770774
1 | 10 | 70 | 16.9231630493294
2 | 10 | 80 | 17.7035050077573
(3 rows)
生成路径
pgr_costResult[] pgr_kdijkstraPath(text sql, integer source,
integer[] targets, boolean directed, boolean has_rcost);
例子
从10出发，到达60,70,80
SELECT seq, id1 AS path, id2 AS edge, cost FROM pgr_kdijkstraPath('
SELECT gid AS id,
source::integer,
target::integer,
length::double precision AS cost
FROM ways',
10, array[60,70,80], false, false);
seq | path | edge | cost
-----+------+------+---------------------
0 | 60 | 3163 | 0.427103399132954
1 | 60 | 2098 | 0.441091435851107
...
40 | 60 | 56 | 0.0452819891352444
41 | 70 | 3163 | 0.427103399132954
42 | 70 | 2098 | 0.441091435851107
...
147 | 80 | 226 | 0.0730263299529259
148 | 80 | 227 | 0.0741906229622583
(149 rows)
小结
本文用到哪些技术
-
点面判断
用法请参考PostGIS手册
-
点面判断后，按面进行聚合
-
路径规划
具体的用法请参考pgrouting的手册以及workshop
-
支持哪些最优算法
非常多，具体的用法请参考pgrouting的手册以及workshop
-
UDF
PostgreSQL支持python, R, C等各种自定义函数的语言
-
机器学习
PostgreSQL与Greenplum都支持MADlib库，对于Greenplum的R用户，可以使用Greenplum进行隐式的并行数据挖掘，处理大数据量的挖掘很有帮助
-
地址转换成坐标
-
聚类算法
如果小区信息在数据库中存储的不是面，而是点，那么派件的点面判断，可以用PostgreSQL或者Greenplum的K-Means聚类算法，将快件与小区进行聚合，达到同样的目的。
用法举例：
http://blog.163.com/digoal@126/blog/static/163877040201571745048121/
SELECT kmeans(ARRAY[x, y, z], 10) OVER (), * FROM samples;
SELECT kmeans(ARRAY[x, y], 2, ARRAY[0.5, 0.5, 1.0, 1.0]) OVER (), * FROM samples;
SELECT kmeans(ARRAY[x, y, z], 2, ARRAY[ARRAY[0.5, 0.5], ARRAY[1.0, 1.0]]) OVER (PARTITION BY group_key), * FROM samples;
第一个参数是需要参与聚类分析的数组，第二个参数是最终分成几类（输出结果时类是从0开始的，如分2类的话，输出是0和1）。
第三个参数是种子参数，可以是1维或2维数组，如果是1维数组，必须是第一个参数的元素个数乘以第二个元素的值。(可以认为是给每一个类分配一个种子)。
我们需要指定的种子数组，即网点覆盖的小区或写字楼等组成的点值数组。
PostgreSQL在地理位置处理的领域一直处于非常领先的地位，用户群体也非常的庞大，PostGIS和pgrouting只是这个领域的两插件。
以前还写过一篇point cloud的数据处理相关文章，有兴趣的童鞋可以参考如下
https://yq.aliyun.com/articles/57095
PostGIS和pgrouting在阿里云的RDS PG数据库都有提供，欢迎使用。
祝大家玩得开心，欢迎随时来 阿里云促膝长谈 业务需求 ，恭候光临。
阿里云的小伙伴们加油，努力做 最贴地气的云数据库 。
扫我，和云栖在线交流
【云栖快讯】首届阿里巴巴在线技术峰会，将于7月19日-21日20:00-21:30在线举办。峰会邀请到阿里集团9位技术大V，分享电商架构、安全、数据处理、数据库、多应用部署、互动技术、Docker持续交付与微服务等一线实战经验，解读最新技术在阿里集团的应用实践。 详情请点击
评论文章(
0)
(0)
(0)
-
分享到:
-
相关文章
- PostgreSQL 索引扫描offset内核优化 - …
- PostgreSQL 数据访问 offset 的质变 c…
- PostgreSQL 老湿机图解平安科技遇到的垃圾回收"…
- 从传统物流模式到“互联网+物流”
你可能感兴趣的:(大数据,算法)
- 【北上广深杭大厂AI算法面试题】深度学习篇...MobileNet 系列网络发展与高效性分析（附代码）（二）
努力毕业的小土博^_^
AI算法题库人工智能算法深度学习卷积神经网络
【北上广深杭大厂AI算法面试题】深度学习篇…MobileNet系列网络发展与高效性分析（附代码）（二）【北上广深杭大厂AI算法面试题】深度学习篇…MobileNet系列网络发展与高效性分析（附代码）（二）文章目录【北上广深杭大厂AI算法面试题】深度学习篇...MobileNet系列网络发展与高效性分析（附代码）（二）MobileNet系列网络发展与高效性分析（附代码）4.MobileNetV2（2
- ”天下第一神数“——紫微斗数的JAVA实现！紫微玄机速run~
钮钴禄·爱因斯晨
赛博算命JAVA实现javapython开发语言
各位佬儿们好呀~~互三必回哦~更多精彩：个人主页赛博算命精彩文章：梅花易数的java实现赛博算命系列文章不作溢美之词，不作浮夸文章，此文与功名进取毫不相关也！与各位共勉！！文章目录#前言：一、紫微斗数简介二、紫微斗数的数学原理1.**命盘构建规则**2.**星曜分布算法**3.**运势推导逻辑**三、Java实现步骤1.代码分布实现1.1**数据结构设计**1.2**命盘构建算法实现**1.3**
- 华为OD-不限经验，急招，机考资料，面试攻略，不过改推，捞人
2301_79125642
java
超星(学习通)-Java后端一面网易互娱40min（感觉是G了）一篇不太像面经的面经2023总结，前端大二上进小红书秋招面经第一波海康红外图像算法实习（微影）面经测试工程师社招-测试面试题大厂在职傻屌。TPlink图像算法工程师一二三面经深圳海康红外图像算法实习（微影）面经TPLink提前批面经（已OC）传统车辆转规控算法岗秋招记录腾讯TEG测试与质量管理全记录瑞幸Java开发校招一面腾讯金融科技
- 基于TableStore的海量气象格点数据解决方案实战
阿里云云栖号
数据存储与数据库exceptionJava核心技术
前言气象数据是一类典型的大数据，具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据，记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量，每天产生的数据量常在几十TB到上百TB的规模，且在爆发性增长。如何存储和高效的查询这些气象数据越来越成为一个难题。传统的方案常常采用关系型数据库加文件系统的方式实现这类气象数据的存储和实时查询，这种方案在可扩展性、可维护性和性能上都
- 【MATLAB源码-第269期】基于matlab的鱼鹰优化算法(OOA)无人机三维路径规划，输出做短路径图和适应度曲线.
Matlab程序猿小助手
路径规划matlab算法开发语言人工智能无人机网络机器人
操作环境：MATLAB2022a1、算法描述鱼鹰优化算法（OspreyOptimizationAlgorithm，简称OOA）是一种新兴的基于自然界生物行为的智能优化算法，其灵感来自于鱼鹰这种海鸟在捕猎过程中的独特行为。鱼鹰是一种生活在全球范围内的猛禽，以鱼类为主食。它们的捕猎方式非常高效和精准，能够通过快速调整飞行路径和俯冲角度来捕捉猎物。鱼鹰的捕猎行为不仅表现出高度的灵活性，还能在不同环境中表
- 【MATLAB源码-第164期】基于matlab的轴承故障三种谱图：细化谱，功率谱，倒谱对比分析仿真。
Matlab程序猿小助手
通信原理matlab开发语言算法机器人人工智能机器学习计算机视觉
操作环境：MATLAB2022a1、算法描述轴承故障分析是一种重要的维护和监控手段，能够帮助工程师及时发现和解决轴承在运行中可能遇到的各种问题。在轴承故障诊断中，通常会使用到三种谱图分析方法：细化谱（FineSpectrum）、功率谱（PowerSpectrum）和倒谱（Cepstrum）分析。这三种方法各有特点，适用于不同的故障类型和分析场景。以下是对这三种谱图的详细描述。细化谱分析理论基础细化
- 【MATLAB源码-第128期】基于matlab的雷达系统回波信号仿真，输出脉压，MTI,MTD等图像。
Matlab_猿助手
调制解调通信原理MATLABmatlab开发语言信息与通信
操作环境：MATLAB2022a1、算法描述雷达（RadioDetectionandRanging）是一种使用无线电波来探测和定位物体的系统。它的基本原理是发射无线电波，然后接收这些波从目标物体上反射回来的信号。通过分析这些反射波，雷达能够确定物体的位置、速度、方向和其他特性。历史背景雷达技术起源于20世纪初。最初的发展动机主要是军事上的需求，特别是在第二次世界大战期间，雷达在侦测敌机和舰船上发挥
- 大数据与物联网（IoT）的完美融合：驱动智能新时代
Echo_Wish
大数据高阶实战秘籍大数据物联网python人工智能
大数据与物联网（IoT）的完美融合：驱动智能新时代大家好，我是你们的大数据探索者Echo_Wish。今天，我们将深入探讨大数据与物联网（IoT）整合的重要性及其在现代科技中的应用。物联网通过连接大量智能设备，生成海量数据；而大数据技术则赋予我们从这些数据中提取有价值信息的能力。当两者结合在一起时，能够为各行各业带来革命性的变化，推动智能时代的到来。一、大数据与物联网的基本概念1.物联网（IoT）物
- 三维模型点云化工具V1.0使用介绍：将三维模型进行点云化生成
是刃小木啦~
pythonpyqt工业软件软件工程
三维软件绘制的三维模型导入之后，可以生成点云，用于替代实际的激光扫描过程，当然，主要是用于点云算法的测试和验证，没法真正模拟扫描的效果，因为太过于理想化了。功能介绍将三维软件绘制的三维模型变成点云，并且支持不同的点云密度。支持添加不同的噪声，高斯噪声比较柔和，随机噪声比较明显。功能视频介绍三维模型点云化工具V1.0使用介绍：将三维模型进行点云化生成，支持不同的分辨率，支持添加噪声下载地址三维模型点
- PCL 最小二乘拟合空间曲线
点云侠
点云进阶算法c++计算机视觉3d开发语言
目录一、曲线拟合1、算法原理2、参考文献二、代码实现三、结果展示四、测试数据本文由CSDN点云侠原创，原文链接。如果你不是在点云侠的博客中看到该文章，那么此处便是不要脸的爬虫与GPT。博客长期更新，最近一次更新时间为：2024年7月14日。①代码在PCL1.14.1中运行；②完善代码；③新增标准测试数据一、曲线拟合1、算法原理 电力线三维重建指将提取得到的单根电力线进行精确矢量化。在理想情况下，
- DeepSeek开源技术全景解析：从硬件榨取到AI民主化革命
大刘讲IT
开源人工智能
DeepSeek开源技术全景解析：从硬件榨取到AI民主化革命一、开源周核心成果概览2025年2月24日启动的"开源周"计划，DeepSeek团队连续发布三项底层技术突破：FlashMLA（2.24）：动态资源调度算法，Hopper架构GPU性能榨取专家DeepEP（2.25）：全球首个MoE全流程通信优化库DeepGEMM（2.26）：300行代码重构矩阵计算范式三项技术构成完整技术栈，覆盖大模型
- 分布式基本理论 - CAP,BASE 和 RAFT 算法
Yellow明
算法分布式
分布式基本理论-CAP,BASE和RAFT算法1.分布式基本理论1.1CAP理论在理论计算机科学中，CAP定理（CAPtheorem），又被称作布鲁尔定理（Brewer’stheorem），它指出对于一个分布式计算系统来说，不可能同时满足以下三点：[1][2]一致性（Consistency）（等同于所有节点访问同一份最新的数据副本）可用性（Availability）（每次请求都能获取到非错的响应—
- AdaBoost算法
Mr终游
机器学习算法决策树
目录一、核心原理：二、算法步骤三、关键优势：四.局限与解决五、代码示例（鸢尾花数据集）AdaBoost（AdaptiveBoosting）是一种经典的集成学习算法，通过组合多个弱分类器（如决策树）来构建强分类器。其核心思想是通过迭代优化残差（错误）和动态调整样本权重，逐步提升模型性能。以下是对AdaBoost的简明总结和关键要点：一、核心原理：提升法：通过顺序训练多个弱分类器，每轮专注修正前一个模
- 常见的限流算法有哪些
涛粒子
算法java网络
计数器算法原理：在固定的时间窗口内，对请求进行计数，当请求数量达到设定的阈值时，就开始限流，拒绝多余的请求。例如，设定1分钟的时间窗口内允许最多100个请求，那么在这1分钟内每来一个请求，计数器就加1，当计数器达到100后，后续的请求就会被拒绝，直到下一个1分钟开始，计数器重置为0重新计数。优点：实现简单，易于理解和部署，在一些对精度要求不是特别高的场景下能很好地控制流量。缺点：存在临界问题，比如
- 探索数据仓库自动化：ETL流程设计与实践
Echo_Wish
大数据高阶实战秘籍数据仓库自动化etl
探索数据仓库自动化：ETL流程设计与实践在大数据时代，数据仓库已成为企业数据管理和决策支持的核心工具。如何高效地提取、转换和加载数据（ETL），是数据仓库建设中的重要环节。本文将围绕数据仓库自动化的ETL流程设计展开，结合实际代码示例，探讨如何构建高效、稳定和可扩展的ETL解决方案。什么是ETL？ETL（Extract,Transform,Load）是指数据抽取、转换和加载，是数据仓库建设的重要步
- 代码随想录算法训练营第七天|Leetcode 344.反转字符串 541. 反转字符串II 卡码网：54.替换数字
昂子的博客
算法leetcodejava数据结构
344.反转字符串建议：本题是字符串基础题目，就是考察reverse函数的实现，同时也明确一下平时刷题什么时候用库函数，什么时候不用库函数题目链接/文章讲解/视频讲解：代码随想录思路非常简单，两个指针一个指向头一个指向尾巴，对于字符串，我们定义两个指针（也可以说是索引下标），一个从字符串前面，一个从字符串后面，两个指针同时向中间移动，并交换元素。classSolution{publicvoidre
- C++ 泛型编程
四代目 水门
C++学习笔记c++开发语言
C++泛型编程一、泛型编程基础1.核心概念实现算法与数据结构的分离基于模板技术（函数模板/类模板）本质：类型参数化，减少重复代码典型应用：STL容器、迭代器、算法2.类型本质内存布局的抽象不同类型对应不同的内存分配策略二、函数模板1.基本语法cpptemplate//或template返回类型函数名(参数列表){//函数体}2.关键特性支持隐式推导和显式指定类型可重载（包括与普通函数重载）可声明为
- 字节跳动2024校招后端开发面试题大全（含解题思路）
AI天才研究院
ChatGPTAI大模型企业级应用开发实战DeepSeekR1&大数据AI人工智能大模型大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
字节跳动2024校招后端开发面试题大全（含解题思路）关键词：字节跳动、校招、后端开发、面试题、解题思路摘要：本文将围绕字节跳动2024校招后端开发面试题进行深入分析，包括数据结构与算法、编程语言基础、后端技术栈、微服务架构、系统设计与优化等方面的面试题。通过详细解析这些面试题，帮助读者理解解题思路，提升后端开发面试技能。字节跳动2024校招后端开发面试背景字节跳动（ByteDance）是中国领先的
- JAVA排序
荔枝吃吃
java排序算法算法
1.冒泡排序/***使用冒泡排序算法对整数数组进行排序*冒泡排序是一种简单的排序算法，它重复地遍历要排序的数列，*一次比较两个元素，如果它们的顺序错误就把它们交换过来*遍历数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成*这个算法的名字由来是因为越小（或越大）的元素会经过交换慢慢“浮”到数列的顶端**@paramarr待排序的整数数组*/publicstaticvoidbubb
- 数据结构与算法--实现链表的复制(链表中节点比较特殊,含有一个rand指针,指向任意一个节点)
请叫我大虾
数据结构链表数据结构
已在leetcode上执行通过//https://leetcode.com/problems/copy-list-with-random-pointer/leetcode地址publicclassCopyListWithRandom{publicstaticclassNode{intval;Nodenext;Noderandom;publicNode(intval){this.val=val;th
- 【贪心算法1】
m0_46150269
贪心算法算法
力扣455.分发饼干链接:link思路尽可能让更多人吃到饼干并且尽可能少的造成浪费，大尺寸饼干能满足大胃口的人就应该优先分给大胃口的人。所以先将饼干和胃口大小排序，然后从后往前遍历。但是这时候又有一个问题，饼干和胃口哪个作为for循环哪个作为if呢？答案是只能胃口作为for，饼干作为if，因为for循环的i是固定每次移动，而饼干index只有满足条件才会移动。这里可以举一个反例，如果最大胃口大于最
- 贪心算法-移除K个数字
我是你的春哥！
贪心算法算法java
1、题目描述给定一个以字符串表示的非负整数num，移除这个数中的k位数字，使得剩下的数字最小。注意：num的长度小于10002且≥k。num不会包含任何前导零。2、题目分析：题目简介明了，就是把给定的数字删除指定个数的数字使删除之后的数字是同等位数数字中最小的那个。但是需要注意的是，题目中给的数字是字符串的形式并且输出结果也是字符串的形式，这就涉及到字符串和数字之间的相互转化问题。题目中要求删除的
- 企业信息查询系统的技术实现路径探析——以某大数据平台为例
探熵科技
大数据
引言在数字化转型加速的背景下，企业信息服务领域正经历着从传统工商查询向智能决策支持的演进。本文将以某企业信息查询系统为研究样本，解析其技术架构与实现路径，探讨大数据技术在企业服务场景中的落地应用。一、行业技术现状分析当前企业信息服务面临三大技术挑战：多源异构数据整合：需聚合工商数据（结构化）、招投标公告（半结构化）、企业新闻（非结构化）等差异化数据源数据实时性要求：企业经营状态变更、联系方式更新等
- 贪心算法-字符串数组能拼接出的最小字典序(java)
SP_1024
算法贪心算法算法java
最小字典序的贪心算法题目描述贪心算法的解题思路贪心算法自定义比较器贪心算法暴力递归解法题目描述给定一个由字符串组成的数组strs，必须把所有的字符串拼接起来，返回所有可能的拼接结果中字典序最小的结果贪心算法的解题思路首先我们很自然的能想到,遍历数组,比较数组中每一个元素,字典序越小的,就放前面.但这里右一个陷阱,比如ba和b两个字符串,b的字典序小于ba,如果拼成bba就错了,显然bab字典序更小
- 大数据面试系列之——Hadoop
潜心_守道
大数据面经面试大数据Hadoop
Hadoop的三个核心：HDFS（分布式存储系统）MapReduce（分布式计算系统）YARN(分布式资源调度)1.Hadoop集群的几种搭建模式1.单机模式：直接解压安装，不存在分布式存储系统2.伪分布式：NameNode和DataNode安装于同一个节点，无法体现分布式处理的优势。3.完全分布式：一个主节点，多个从节点，存在如果主节点宕机，集群就无法使用的缺点。4.高可用模式：多个主节点，多个
- 量子算法：英译名、概念、历史、现状与展望？
lisw05
量子计算计算机科学技术
李升伟整理####英译名量子算法的英文为**QuantumAlgorithm**。####概念量子算法是利用量子力学原理（如叠加态、纠缠态和干涉）设计的算法，旨在通过量子计算机高效解决经典计算机难以处理的问题。其核心在于利用量子比特（qubit）的并行计算能力，显著提升计算效率。####历史1.**1980年代**：RichardFeynman提出量子计算概念，认为量子计算机可以模拟经典计算机无法
- 数据结构难学吗，如何才能学会？
玩转C语言和数据结构
数据结构算法c语言
本教程发布以来，有很多读者想我请教学习数据结构和算法的方法。接下来，我就结合自己学习数据结构的经历，谈谈学习数据结构的门槛，告诉大家一些学习数据结构的方法，帮大家规避一些学习数据结构和算法过程中可能会踩的坑。提示：想系统学习数据结构的小伙伴，推荐一个网站：数据结构与算法教程（C语言版）https://xiexuewu.github.io/这里有一整套的数据结构和算法教程，提供有完整、可运行的C语言
- 【第10天】给定一个字符 c ，要求转换成大写进行输出 | 初识ASCII码
执 梗
《Java入门100练》c语言java算法蓝桥杯数据结构
本文已收录于专栏《Java入门一百例》学习指引序、专栏前言一、什么是ASCII？二、【例题2】2、解题思路3、模板代码4、代码解析三、【例题2】2、解题思路3、模板代码4、代码解析四、奇淫巧技五、推荐专栏六、课后习题序、专栏前言 本专栏开启，目的在于帮助大家更好的掌握学习Java，特别是一些Java学习者难以在网上找到系统地算法学习资料帮助自身入门算法，同时对于专栏内的内容有任何疑问都可在文章末
- 解空间树等算法的名词解释
产幻少年
算法算法
解空间树：所有可能的解构成的树搜索空间树：在解空间树上进行剪枝后的树，只保留了有希望产生最优解的部分画搜索空间树：一定要先画解空间树，搜索空间树一定是解空间树的一部分。只要访问过某个节点就要画出来，就算这个节点不满足要求，如果被剪枝，那只不过是这个节点的子树不用画目标函数：指最终需要最大或最小化的函数，是问题求解的目标。约束函数：用来排除不满足问题条件的解，约束函数必须满足，否则解是无效的限界函数
- 禁忌搜索算法求解考虑二维装箱的车辆路径问题
eternal1995
数学建模算法启发式算法
作者简介：本人擅长运筹优化建模及算法设计，包括各类车辆路径问题、生产车间调度、二三维装箱问题，熟悉CPLEX和gurobi求解器微信公众号：运筹优化与学习如有运筹优化相关建模或代码定制需求，可通过微信公众号联系我们前言之前和大家介绍了二维装箱问题、考虑二维装箱的车辆路径问题（2L-VRP），本篇推文算是前几篇推文的综合体，将介绍如何用禁忌搜索算法求解考虑二维装箱的车辆路径问题。禁忌搜索算法简介禁忌
- ASM系列五 利用TreeApi 解析生成Class
lijingyao8206
ASM字节码动态生成ClassNodeTreeAPI
前面CoreApi的介绍部分基本涵盖了ASMCore包下面的主要API及功能，其中还有一部分关于MetaData的解析和生成就不再赘述。这篇开始介绍ASM另一部分主要的Api。TreeApi。这一部分源码是关联的asm-tree-5.0.4的版本。
在介绍前，先要知道一点， Tree工程的接口基本可以完
- 链表树——复合数据结构应用实例
bardo
数据结构树型结构表结构设计链表菜单排序
我们清楚：数据库设计中，表结构设计的好坏，直接影响程序的复杂度。所以，本文就无限级分类（目录）树与链表的复合在表设计中的应用进行探讨。当然，什么是树，什么是链表，这里不作介绍。有兴趣可以去看相关的教材。
需求简介：
经常遇到这样的需求，我们希望能将保存在数据库中的树结构能够按确定的顺序读出来。比如，多级菜单、组织结构、商品分类。更具体的，我们希望某个二级菜单在这一级别中就是第一个。虽然它是最后
- 为啥要用位运算代替取模呢
chenchao051
位运算哈希汇编
在hash中查找key的时候，经常会发现用&取代%，先看两段代码吧，
JDK6中的HashMap中的indexFor方法：
/**
* Returns index for hash code h.
*/
static int indexFor(int h, int length) {
- 最近的情况
麦田的设计者
生活感悟计划软考想
今天是2015年4月27号
整理一下最近的思绪以及要完成的任务
1、最近在驾校科目二练车，每周四天，练三周。其实做什么都要用心，追求合理的途径解决。为
- PHP去掉字符串中最后一个字符的方法
IT独行者
PHP字符串
今天在PHP项目开发中遇到一个需求，去掉字符串中的最后一个字符 原字符串1,2,3,4,5,6, 去掉最后一个字符","，最终结果为1,2,3,4,5,6 代码如下：
$str = "1,2,3,4,5,6,";
$newstr = substr($str,0,strlen($str)-1);
echo $newstr;
- hadoop在linux上单机安装过程
_wy_
linuxhadoop
1、安装JDK
jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行：
export JAVA_HOME=/usr/java/jdk1.7.0_25
- JAVA进阶----分布式事务的一种简单处理方法
无量
多系统交互分布式事务
每个方法都是原子操作：
提供第三方服务的系统，要同时提供执行方法和对应的回滚方法
A系统调用B,C,D系统完成分布式事务
=========执行开始========
A.aa();
try {
B.bb();
} catch(Exception e) {
A.rollbackAa();
}
try {
C.cc();
} catch(Excep
- 安墨移动广 告：移动DSP厚积薄发 引领未来广 告业发展命脉
矮蛋蛋
hadoop互联网
“谁掌握了强大的DSP技术，谁将引领未来的广 告行业发展命脉。”2014年，移动广 告行业的热点非移动DSP莫属。各个圈子都在纷纷谈论，认为移动DSP是行业突破点，一时间许多移动广 告联盟风起云涌，竞相推出专属移动DSP产品。
到底什么是移动DSP呢?
DSP(Demand-SidePlatform)，就是需求方平台，为解决广 告主投放的各种需求，真正实现人群定位的精准广
- myelipse设置
alafqq
IP
在一个项目的完整的生命周期中，其维护费用，往往是其开发费用的数倍。因此项目的可维护性、可复用性是衡量一个项目好坏的关键。而注释则是可维护性中必不可少的一环。
注释模板导入步骤
安装方法：
打开eclipse/myeclipse
选择 window-->Preferences-->JAVA-->Code-->Code
- java数组
百合不是茶
java数组
java数组的 声明 创建 初始化； java支持C语言
数组中的每个数都有唯一的一个下标
一维数组的定义 声明： int[] a = new int[3];声明数组中有三个数int[3]
int[] a 中有三个数，下标从0开始，可以同过for来遍历数组中的数
- javascript读取表单数据
bijian1013
JavaScript
利用javascript读取表单数据，可以利用以下三种方法获取：
1、通过表单ID属性：var a = document.getElementByIdx_x_x("id");
2、通过表单名称属性：var b = document.getElementsByName("name");
3、直接通过表单名字获取：var c = form.content.
- 探索JUnit4扩展：使用Theory
bijian1013
javaJUnitTheory
理论机制（Theory）
一.为什么要引用理论机制（Theory）
当今软件开发中，测试驱动开发（TDD — Test-driven development）越发流行。为什么 TDD 会如此流行呢？因为它确实拥有很多优点，它允许开发人员通过简单的例子来指定和表明他们代码的行为意图。
TDD 的优点：
&nb
- [Spring Data Mongo一]Spring Mongo Template操作MongoDB
bit1129
template
什么是Spring Data Mongo
Spring Data MongoDB项目对访问MongoDB的Java客户端API进行了封装，这种封装类似于Spring封装Hibernate和JDBC而提供的HibernateTemplate和JDBCTemplate，主要能力包括
1. 封装客户端跟MongoDB的链接管理
2. 文档-对象映射，通过注解:@Document(collectio
- 【Kafka八】Zookeeper上关于Kafka的配置信息
bit1129
zookeeper
问题：
1. Kafka的哪些信息记录在Zookeeper中 2. Consumer Group消费的每个Partition的Offset信息存放在什么位置
3. Topic的每个Partition存放在哪个Broker上的信息存放在哪里
4. Producer跟Zookeeper究竟有没有关系？没有关系！！！
//consumers、config、brokers、cont
- java OOM内存异常的四种类型及异常与解决方案
ronin47
java OOM 内存异常
OOM异常的四种类型：
一： StackOverflowError ：通常因为递归函数引起（死递归，递归太深）。-Xss 128k 一般够用。
二： out Of memory: PermGen Space：通常是动态类大多，比如web 服务器自动更新部署时引起。-Xmx
- java-实现链表反转-递归和非递归实现
bylijinnan
java
20120422更新：
对链表中部分节点进行反转操作，这些节点相隔k个：
0->1->2->3->4->5->6->7->8->9
k=2
8->1->6->3->4->5->2->7->0->9
注意1 3 5 7 9 位置是不变的。
解法：
将链表拆成两部分：
a.0-&
- Netty源码学习-DelimiterBasedFrameDecoder
bylijinnan
javanetty
看DelimiterBasedFrameDecoder的API，有举例：
接收到的ChannelBuffer如下：
+--------------+
| ABC\nDEF\r\n |
+--------------+
经过DelimiterBasedFrameDecoder(Delimiters.lineDelimiter())之后，得到：
+-----+----
- linux的一些命令 -查看cc攻击-网口ip统计等
hotsunshine
linux
Linux判断CC攻击命令详解
2011年12月23日 ⁄ 安全 ⁄ 暂无评论
查看所有80端口的连接数
netstat -nat|grep -i '80'|wc -l
对连接的IP按连接数量进行排序
netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n
查看TCP连接状态
n
- Spring获取SessionFactory
ctrain
sessionFactory
String sql = "select sysdate from dual";
WebApplicationContext wac = ContextLoader.getCurrentWebApplicationContext();
String[] names = wac.getBeanDefinitionNames();
for(int i=0; i&
- Hive几种导出数据方式
daizj
hive数据导出
Hive几种导出数据方式
1.拷贝文件
如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。
hadoop fs –cp source_path target_path
2.导出到本地文件系统
--不能使用insert into local directory来导出数据，会报错
--只能使用
- 编程之美
dcj3sjt126com
编程PHP重构
我个人的 PHP 编程经验中，递归调用常常与静态变量使用。静态变量的含义可以参考 PHP 手册。希望下面的代码，会更有利于对递归以及静态变量的理解
header("Content-type: text/plain");
function static_function () {
static $i = 0;
if ($i++ < 1
- Android保存用户名和密码
dcj3sjt126com
android
转自：http://www.2cto.com/kf/201401/272336.html
我们不管在开发一个项目或者使用别人的项目，都有用户登录功能，为了让用户的体验效果更好，我们通常会做一个功能，叫做保存用户，这样做的目地就是为了让用户下一次再使用该程序不会重新输入用户名和密码，这里我使用3种方式来存储用户名和密码
1、通过普通 的txt文本存储
2、通过properties属性文件进行存
- Oracle 复习笔记之同义词
eksliang
Oracle 同义词Oracle synonym
转载请出自出处：http://eksliang.iteye.com/blog/2098861
1.什么是同义词
同义词是现有模式对象的一个别名。
概念性的东西，什么是模式呢？创建一个用户，就相应的创建了 一个模式。模式是指数据库对象，是对用户所创建的数据对象的总称。模式对象包括表、视图、索引、同义词、序列、过
- Ajax案例
gongmeitao
Ajaxjsp
数据库采用Sql Server2005
项目名称为:Ajax_Demo
1.com.demo.conn包
package com.demo.conn;
import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException;
//获取数据库连接的类public class DBConnec
- ASP.NET中Request.RawUrl、Request.Url的区别
hvt
.netWebC#asp.nethovertree
如果访问的地址是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree%3C&n=myslider#zonemenu那么Request.Url.ToString() 的值是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree<&
- SVG 教程 （七）SVG 实例，SVG 参考手册
天梯梦
svg
SVG 实例 在线实例
下面的例子是把SVG代码直接嵌入到HTML代码中。
谷歌Chrome，火狐，Internet Explorer9，和Safari都支持。
注意：下面的例子将不会在Opera运行，即使Opera支持SVG - 它也不支持SVG在HTML代码中直接使用。 SVG 实例
SVG基本形状
一个圆
矩形
不透明矩形
一个矩形不透明2
一个带圆角矩
- 事务管理
luyulong
javaspring编程事务
事物管理
spring事物的好处
为不同的事物API提供了一致的编程模型
支持声明式事务管理
提供比大多数事务API更简单更易于使用的编程式事务管理API
整合spring的各种数据访问抽象
TransactionDefinition
定义了事务策略
int getIsolationLevel()得到当前事务的隔离级别
READ_COMMITTED
- 基础数据结构和算法十一：Red-black binary search tree
sunwinner
AlgorithmRed-black
The insertion algorithm for 2-3 trees just described is not difficult to understand; now, we will see that it is also not difficult to implement. We will consider a simple representation known
- centos同步时间
stunizhengjia
linux集群同步时间
做了集群，时间的同步就显得非常必要了。 以下是查到的如何做时间同步。 在CentOS 5不再区分客户端和服务器，只要配置了NTP，它就会提供NTP服务。 1)确认已经ntp程序包： # yum install ntp 2)配置时间源（默认就行，不需要修改） # vi /etc/ntp.conf server pool.ntp.o
- ITeye 9月技术图书有奖试读获奖名单公布
ITeye管理员
ITeye
ITeye携手博文视点举办的9月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 9月试读活动回顾：http://webmaster.iteye.com/blog/2118112本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：
《NFC：Arduino、Andro