zx8167107
zx8167107

流动人口白名单

流动人口白名单需求是我写的第一个发布使用mapreduce算子，也是第一个在阿里云上开发的需求，这里简单讲下这个需求的实现和运用到的技术。

 

日期

版本

修订

审批

修订说明

2017.07.03

2.0

章鑫

 

需求变更

 

 

 

 

 

 


 

词汇解释：

ldrk

流动人口表

qlzdry

重点人员表

xm

姓名

xb

性别

sfzh

身份证号

csrq

出生日期

djrq

登记日期

dqrq

到期日期

hkxz

户口详址

zzdz

暂住地址

zzzh

暂住证号

pcs

pcs

jwh

居委会

lxbzsj

连续办证时间

fq_rksj

分区_入库时间

zdryxl

重点人员细类

 

1        简介

本文档主要内容是在阿里云平台的odps上通过阿里云版本的MapReduce机制来实现流口白名单业务。

 

2        需求分析

该需求涉及两张表，psis_ldrk、psis_qlzdry，需求的主要内容是在流动人口表中筛选出符合条件的人员并与重点人员表做碰撞，得出具体的暂住证信息和犯罪信息。求出每个身份证从最近一次办暂住证开始的连续办证区间、暂住地址最近变更时间等。

（1）详细需求内容

最后的到期时间，当页面点击查找后，输出的是从当日起，往后计算1个星期的时间。

图片

 

姓名

 

性别

 

年龄

 

身份证号

 

前科

 

户籍地

 

暂住地址

需要补全jwh字段
1、地址1
2、地址2
3、地址3

现居地派出所

 

连续办证时间

需要核对数据，只对在同一个地方连续办证两年的人才认定为白名单人员

联系电话

表里没有，字段先保留

登记时间

 

到期时间

根据到期时间顺序排序，如今天是6月19号，显示的日期最好是之后的一个星期，如6月26号

表1最终结果表

 

 （2）筛选优先级

 1、连续登记时间，（空余时间默认1个月）

 2、在有连续登记记录的基础上对pcs进行筛选，需要连续2年登记在同一个pcs

 3、暂住地址，因为需求方要求是对连续2年以上在同一个地址办理暂住证的人员才能认同为白名单，但实际上无法对地址进行比对，所以在现住地址列中把符合条件的所有地址全部加上，让用户自己判断

  总结，连续2年以上登记暂住证且是同一个pcs，就把地址都展示出来，让用户处理，输入的查找项是否可设置成到期时间（3天后到期、一个礼拜后到期等）。

（3）MR需求解析

Ø  注意表1中置灰的内容，在MR中不涉及，由后期的SQL操作来完成

Ø  暂住地址需要加上jwh信息，暂时的格式为“jwh”+“：”+“zzdz”

Ø  到期时间不做要求，当前时间下未过期的记录全部列出，由后续操作来筛选

Ø  连续办证时间限制为连续在同一pcs办证2年以上

 

2.1  流动人口表

（1）  表结构

+------------------------------------------------------------------------------------+

| Owner: ALIYUN$dtdep-29-2537448c-e348-4d0a-9be9-3fd147fd2ea8 | Project: rkfwglzd_odps_stsjck                        |

| TableComment: 暂住人口                                                          |

+------------------------------------------------------------------------------------+

| CreateTime:               2017-04-26 17:29:27                                      |

| LastDDLTime:              2017-04-26 17:29:27                                      |

| LastModifiedTime:         2017-05-26 16:10:18                                      |

| Lifecycle:                100000                                                   |

+------------------------------------------------------------------------------------+

| InternalTable: YES      | Size: 41646323424                                        |

+------------------------------------------------------------------------------------+

| Native Columns:                                                                    |

+------------------------------------------------------------------------------------+

| Field           | Type       | Label | Comment                                     |

+------------------------------------------------------------------------------------+

| zzzh            | string     |       | 暂住证号                                        |

| xm              | string     |       | 姓名                                          |

| sfzh            | string     |       | 身份证号                                        |

。。。

 

（2）  计算列名

业务算法涉及到的列有：

xm-姓名

xb-性别

csrq-出生日期

sfzh-身份证号

hkxz-户口详址

djrq-登记日期

dqrq-到期日期

pcs-pcs

zzdz-暂住地址

jwh-居委会

 

2.2  重点人员

（1）       表结构

+------------------------------------------------------------------------------------+

| Owner: ALIYUN$dtdep-29-2537448c-e348-4d0a-9be9-3fd147fd2ea8 | Project: qbzx_odps_stsjck                            |

| TableComment: 重点人员                                                            |

+------------------------------------------------------------------------------------+

| CreateTime:               2017-05-08 15:53:07                                      |

| LastDDLTime:              2017-05-08 15:53:07                                      |

| LastModifiedTime:         2017-05-26 16:51:36                                      |

| Lifecycle:                100000                                                   |

+------------------------------------------------------------------------------------+

| InternalTable: YES      | Size: 907101680                                          |

+------------------------------------------------------------------------------------+

| Native Columns:                                                                    |

+------------------------------------------------------------------------------------+

| Field           | Type       | Label | Comment                                     |

+------------------------------------------------------------------------------------+

| zj              | string     |       | 主键                                          |

。。。

 

（2）  计算涉及列名

sfzh-身份证号

zdryxl-重点人员细类

 

2.3  算法逻辑

当前的版本整个需求分为两部分实现：

Ø  借助阿里云的MapReduce在psis_ldrk表中计算得出临时结果表

Ø  SQL对psis_ldrk和psis_qlzdry进行join操作得到最终结果

第二部分涉及的主要是SQL操作，这里不作重点分析，主要分析第一部分。算法流程图如图2所示。算法分析图如图1所示。

流动人口白名单_第1张图片

         图1

       图1主要展示的是如何求出lxbzsj--连续办证时间，计算的思路是由当前时间开始，从后往前推，在前后暂住时间区间能够衔接的基础上加上同一派出所这个条件。这里需要额外考虑到一个到期的延期时间，暂时设置为30天,可配置。

    业务的整个计算流程如图2所示：

Ø  从psis_ldrk表中取数据（12列）

Ø  过滤掉掉非目标区域的记录

Ø  按sfzh将所有记录整合

Ø  按djsj降序排序后过滤掉当前时间下（注意：这里无需加上延期时间）已经过期的sfzh的所有记录

Ø  按照前后暂住时间区间和pcs计算出符合条件的连续办证区间并得到lxbzsj

Ø  将结果存入临时表

结果表中保存的djrq和dqrq对应于最近的一次办证记录。结果表以sfzh为主键，每个身份证号一条记录写入临时表，便于后续与psis_qlzdry的SQL操作。

                       流动人口白名单_第2张图片

图2


3        数据清洗

由于数据源的原因，业务涉及的两张表中有较多的脏数据和异常数据，对于数据的清洗过滤和过滤工作是该业务的主要工作量之一。

这里给出一条数据样例：


 

3.1  异常过滤

目前涉及到的主要是ldrk表中的csrq、sfzh、djrq、dqrq这几列，格式都为String。

    几种较为常见的异常：

Ø  数据为空

在代码里表示为””

Ø  数据为\N

在代码里表示为null

Ø  dqrq为”无效的日”

这三种异常暂时采取的办法是直接过滤，不做任何转换操作。

 

3.2  格式转换

由于源表中的主要数据格式几乎都为String，在使用过程中涉及到时间的计算和表示就需要对时间和日期字符串进行解析和转换。

    由于在阿里云上做string到date格式的转换对性能要求较大，所以结果表中时间相关列一律采用string格式保存。

临时结果表的列名和格式如表1所示。

列名

类型

例子

xm

string

张三

xb

string

1

csrq

string

19940909

sfzh

string

123456789012345678

hkxz

string

汉东省京州市

djrq

string

20170601

dqrq

string

20180531

pcs

string

123456

zzdz

string

123456123:汉东省吕州市黄河路108号，

123456124:汉东省吕州市长江路20号，

123456126:汉东省吕州市钱江路36号

lxbzsj

string

2.74(year)

表2 结果表格式

目前所涉及的源表中的csrq、djrq、dqrq格式均为yyyyMMdd，例如20170621，只给出到天的时间，没有具体的时分秒。另外源表中的fq_rksj格式为yyyy/MM/dd,不过结果表中暂时未涉及该列。新的zzdz由jwh和zzdz合并表示，采用的格式是jwh+”:”+zzdz，且将符合条件的所有zzdz都列出，以逗号隔开。

 

4        附录

后续工作：

Ø  jwh编号翻译

Ø  MR多表作为输入数据源如何实现

 

你可能感兴趣的:(流动人口白名单)

  • 政企终端安全综合治理方案（无技术人员） 兢谨网安 企业安全政务安全网络安全网络攻击模型渗透测试网络
    核心原则：制度管理为主，技术工具为辅，全员参与共治一、管理机制建设（关键措施，占比70%）行政指令强制规范发布《办公终端软件安装白名单制度》仅允许安装政务版杀毒软件、办公软件（如WPS政务版）、专用业务系统。白名单示例：360安全卫士政务版、奇安信、金山毒霸企业版（政务）、微软Office（正版授权）、企业微信政务版。明确禁止行为（纳入员工守则）：禁止安装娱乐软件（如视频播放器、游戏）、破解软件、
  • Python爬虫实战：研究Bleach库相关技术 ylfhpy 爬虫项目实战python爬虫php开发语言Bleach
    1.引言在大数据时代，网络内容采集已成为信息获取的重要手段。Python凭借其丰富的爬虫库（如Requests、Scrapy）和灵活的数据处理能力，成为网页爬虫开发的首选语言。然而，从互联网获取的内容往往包含恶意脚本、不安全标签等安全隐患，直接使用可能导致XSS(跨站脚本攻击)、数据泄露等风险。Bleach作为专业的HTML净化库，通过白名单机制提供了可靠的内容安全过滤方案。本文将结合实际案例，详
  • 若依vue版前端白名单处理 鱼见千寻 vue.js前端javascript
    需求如下：需要直接访问系统某个界面并且不需要登录找到permission.js文件NProgress.configure({showSpinner:false});constwhiteList=['/login','/register'];router.beforeEach((to,from,next)=>{NProgress.start()在这个whiteList添加界面的url就可以直接访问并
  • 组策略关闭 Windows 防火墙指南（企业版/专业版） qzy0621 电脑诊断电脑诊断
    组策略关闭Windows防火墙指南（企业版/专业版）背景一、防火墙：被低估的"智能安检员"二、优先尝试！90%问题无需关闭防火墙方案1：程序白名单（解决软件/工具被误拦截）方案2：开放特定端口（解决软件/工具被误拦截）方案3：切换Windows配置网络（解决网络环境适配与功能隔离）三、组策略关闭Windows防火墙四、必读安全警告（关闭前请三思！）关闭前关闭中关闭后结语：安全高于一切，风险意识常在
  • 通过【服务管理器】或【系统配置工具】禁用Windows防火墙 qzy0621 电脑诊断电脑诊断
    通过【服务管理器】或【系统配置工具】禁用Windows防火墙背景一、防火墙：被低估的"智能安检员"二、优先尝试！90%问题无需关闭防火墙方案1：程序白名单（解决软件/工具被误拦截）方案2：开放特定端口（解决软件/工具被误拦截）方案3：切换Windows配置网络（解决网络环境适配与功能隔离）三、禁用Windows防火墙服务管理器禁用操作步骤系统配置工具禁用操作步骤四、必读安全警告（关闭前请三思！）关
  • 通过注册表禁用Windows防火墙（高风险操作，务必谨慎！） qzy0621 电脑诊断电脑诊断
    通过注册表禁用Windows防火墙（高风险操作，务必谨慎！）背景一、防火墙：被低估的"智能安检员"二、优先尝试！90%问题无需关闭防火墙方案1：程序白名单（解决软件/工具被误拦截）方案2：开放特定端口（解决软件/工具被误拦截）方案3：切换Windows配置网络（解决网络环境适配与功能隔离）三、注册表永久禁用Windows防火墙四、必读安全警告（关闭前请三思！）关闭前关闭中关闭后结语：安全高于一切，
  • Nginx “Access-Control-Allow-Origin” 安全配置 七七&556 面试学习路线阿里巴巴nginx安全运维
    以下是Nginx中安全配置“Access-Control-Allow-Origin”头的实践指南：一、避免使用通配符（*）1.精确指定允许的域名通过白名单限制允许跨域的域名，避免使用Access-Control-Allow-Origin*，以减少CSRF等安全风险。示例：add_headerAccess-Control-Allow-Origin"https://example.com";2.动态匹
  • 高并发场景下接口安全实现方案：全方位构建防护体系 努力学习的明 接口安全高并发面试
    文章目录高并发场景下接口安全性实现方案一、身份认证与授权1.1无状态认证（JWT）1.2OAuth2.0/OpenIDConnect二、防刷机制与限流2.1接口限流2.2验证码与设备指纹三、数据加密与传输安全3.1HTTPS强制启用3.2敏感数据加密四、请求完整性校验4.1签名验证机制4.2防重放攻击方案五、访问控制与权限隔离5.1基于角色的访问控制（RBAC）5.2接口白名单机制六、异常处理与安
  • 开源组件hive页面安全问题 Azoner 安全
    原本直接登录无账户密码，无法通过攻防网络层面解决方法将ip换为本地127.0.0.1使用ngix代理白名单ss-ntpl配置层面解决方法：在服务器上find/-nameyarn-site.xml找到配置文件并在yarn-site.xml中增加或者修改参数yarn.nodemanager.webapp.address0.0.0.0:0重启datanodeyarn-daemon.shstopnodem
  • 前端面试项目拷打 Nueuis 前端
    Axios相关1.在Axios二次封装时，具体封装了哪些内容，如何处理请求拦截和响应拦截？axios二次封装的目的：为了统一处理请求和响应拦截器、错误处理、请求超时、请求头配置等，提高代码可维护性和复用性。首先创建axios实例，配置基础的URL和请求超时时间。请求拦截器：用于在发送请求之前进行一些预处理，像，检查本地存储中是否存在token，当前请求的URL是否在白名单中，如果token存在且U
  • 在区块链节点中，P2P Port、RPC Port 和 JSON-RPC Port 的作用 阿雄不会写代码 区块链p2prpc
    1.P2PPort（Peer-to-PeerPort）作用：用于节点之间的直接通信，构成区块链网络的基础。同步区块和交易数据。广播新交易或区块到全网。发现并连接其他节点（如通过种子节点）。协议：通常使用自定义的二进制协议（如比特币的BitcoinP2P或以太坊的DevP2P）。安全性：需防止恶意节点（如DDoS攻击），可能通过防火墙或白名单限制。示例：比特币默认端口：8333（主网）或18333（
  • Nginx限速详解 qq_540616979 linuxnginx限速nginx防攻击nginxnginx限制nginx速度
    限速相关的模块以及使用记录下nginx限速相关的模块以及使用ngx_http_limit_req_modulengx_http_limit_conn_modulengx_http_core_module白名单使用记录下nginx限速相关的模块以及使用nginx一共有3个限速相关模块,分别是1:ngx_http_limit_req_module2:ngx_http_limit_conn_module
  • 微信小程序跳转h5页面 ꒰ঌ小武໒꒱ 微信小程序uni-app
    1、在小程序的WXML文件中，使用组件并指定src属性为H5页面的URL。2、配置小程序的后台，将需要跳转的H5页面地址添加到白名单中，以允许访问。exportdefault{name:"webview",data(){return{H5URL:"https://wwww.baidu.com"}}}注意事项：这种方式仅限于个人类型的小程序，且H5页面需要放置在已备案的一级域名下，并配置HTTPS证
  • Django RBAC项目后端实战 - 03 DRF权限控制实现 红鼻子时代 DjangoRBAC项目后端实战djangopython后端rabc
    项目背景在上一篇文章中，我们完成了JWT认证系统的集成。本篇文章将实现基于Redis的RBAC权限控制系统，为系统提供细粒度的权限控制。开发目标实现基于Redis的权限缓存机制开发DRF权限控制类实现权限管理API配置权限白名单前置配置在开始开发权限校验相关代码之前，需要先在settings.py中完成以下配置：1.Redis配置CACHES={"default":{"BACKEND":"djan
  • ABP vNext + Hive 集成：多租户大数据 SQL 查询与报表分析 Kookoos AbpvNext.net大数据hivesqlABPvNext.net
    ABPvNext+Hive集成：多租户大数据SQL查询与报表分析目录ABPvNext+Hive集成：多租户大数据SQL查询与报表分析一、项目背景二、整体方案设计系统架构流程图三、核心模块实现1.HiveDbContext2.HiveConnectionResolver3.HiveQueryCacheJob四、示例接口与前端集成REST接口（白名单模板+参数化）ECharts前端示例五、性能与可维护
  • MySQL用户和授权 ChicagoTypewriter 数据库mysql
    开放MySQL白名单可以通过iptables-save命令确认对应客户端ip是否可以访问MySQL服务：test:#iptables-save|grep3306-Amp_srv_whitelist-s172.16.14.102/32-ptcp-mtcp--dport3306-jACCEPT-Amp_srv_whitelist-s172.16.4.16/32-ptcp-mtcp--dport3306
  • vos3000外呼系统用的是本地的mysql可以直接访问数据库吗 ai_vx_3307623172 WX_3307623172VOS外呼中心adb人工智能重构机器人语音识别网络腾讯云
    在VOS3000外呼系统中，若其数据库确实部署在本地MySQL环境中，理论上可以直接访问数据库，但需满足以下条件并严格遵守注意事项：一、访问前提条件权限获取拥有MySQL数据库的登录凭证（用户名、密码、IP地址、端口）。具备对应数据库的SELECT、UPDATE等操作权限（通常需系统管理员授权）。网络可达性确保客户端与MySQL服务器处于同一局域网，或通过VPN/白名单开通远程访问权限。数据库兼容
  • 【Hystrix与Resilience4j深度对比与配置解析】 ewenge hystrixgatewayspringcloud
    一、核心差异对比1.1架构设计差异维度HystrixResilience4j隔离机制强制依赖线程池隔离支持信号量/VirtualThread模块耦合度熔断、降级、线程池高度耦合模块化设计（熔断、限流、重试独立）资源消耗高（线程池维护开销）低（无额外线程切换）配置方式集中式配置声明式分层配置异常处理统一视为失败支持异常白名单/黑名单状态转换固定时间窗口支持自动/手动状态切换社区支持已停止维护（201
  • 备战2025年全国青少年信息素养大赛-图形化编程挑战赛—省赛—每日一练—绘制图形-多个五边形
    2024全国青少年信息素养大赛-图形化编程复赛/省赛真题——绘制图形-多个五边形题目点下方，支持在线编程，在线获取源码和素材～绘制图形-多个五边形（2024信息素养大赛复赛真题）_scratch_少儿编程题库学习中心-嗨信奥程序演示可点下方，支持源码获取～多个五边形（华东赛区）-scratch作品-少儿编程题库学习中心-嗨信奥更多赛事真题和考级真题，可在题库自行检索～题库收集了历届各白名单赛事真题
  • Redis最佳实践——安全与稳定性保障之访问控制详解 纪元A梦 Redis常见问题与最佳实践redis安全数据库
    Redis在电商应用的安全与稳定性保障之访问控制全面详解一、安全访问控制体系架构1.多层级防护体系VPC/防火墙SSL/TLS客户端网络层防护传输层加密Redis认证命令级ACL数据访问控制审计追踪2.安全控制维度矩阵层级控制措施Java实现要点网络层VPC隔离/安全组/IP白名单JedisClientConfig设置SSL传输层SSL/TLS加密通信Lettuce启用SSLContext认证层密
  • 电脑换个地方用有线就上不了网的问题 lee1zh
    如果电脑在某个地方用有线能正常上网，但是换个地方就不能连接网络了，那很可能是你的电脑之前被设置成了IP地址与mac地址绑定。这种情况下只需要解除绑定就能解决问题了：具体操作点这里或者修改mac地址就好了：具体操作点这里PS：如果这样还没用，那可能是路由器设置了mac地址过滤，那样的话得在路由器设置里把你的mac地址加入白名单中，或者直接重置路由器。查看自己电脑IP地址和mac地址的方法：运动cmd
  • PostgreSQL数据库配置SSL操作说明书 不懂说话的猿 数据库postgresqlsslpostgresql安全加固认证
    背景：因为postgresql或者mysql目前通过docker安装，只需要输入主机IP、用户名、密码即可访问成功，这样其实是不安全的，可能会通过一些手段获取到用户名密码导致数据被窃取。而ES、kafka等也是通过用户名/密码方式连接，但是这些数据重要性相比较于数据库要低一些，毕竟都是一些日志以及消息而已。解决方案：通过开启SSL证书认证的方式加强防护，配合使用防火墙策略白名单方式、增加密码复杂度
  • 2024全国青少年信息素养大赛python复赛真题——计算握手次数 嗨信奥 python青少年编程
    2024全国青少年信息素养大赛python复赛真题——计算握手次数题目可点下面去处，支持在线编程，在线测评～计算握手次数（2024全国青少年信息素养大赛复赛真题）_python_少儿编程题库学习中心-嗨信奥题库收集了历届各白名单赛事真题和权威机构考级真题，覆盖初赛—省赛—国赛，支持在线考试，在线编程，配有题解分析，错题记录，支持获取素材和源码，满足你学习编程不同阶段的需求～题目涵盖scratch、
  • Nginx使用同一端口兼容http和https并实现客户端真实IP获取 huhaiand httpnginxhttps
    一，需求来源1，因历史原因需要在同一个端口实现http和https的同时支持2，因安全需求需要对部分接口URL添加白名单IP限制，需要将真实客户端IP转发到后端服务上二，实现原由1，同一端口实现兼容http和https主要使用的是nginx的stream->map$ssl_preread_protocol->server转发。2，IP透传主要使用的是proxy_bind$remote_addrtr
  • Alibaba Sentinel 入门教程：从理论到实战 LL小蜗牛 中间件sentinel
    文章目录第一部分：理论篇1.Sentinel简介2.Sentinel核心原理2.1资源与规则2.2Sentinel工作主流程2.3核心类解析3.Sentinel功能支持与使用流程3.1流量控制3.2熔断降级3.3系统自适应保护3.4热点参数限流3.5黑白名单控制3.6使用流程4.Sentinel架构4.1核心库4.2控制台5.限流组件对比5.1SentinelvsHystrixvsResilien
  • 寻找so符号地址 r0ysue_ android安全
    寻找so中符号的地址总述通过程序头获得符号地址通过节头获得符号地址模仿安卓通过hash寻找符号总结寻找so中符号的地址总述我们在使用so中的函数的时候可以使用dlopen和dlsym配合来寻找该函数的起始地址，但是在安卓高版本中android不允许打开白名单之外的so，这就让我们很头疼，比如我们hooklibart.so中的函数都没有办法来找到函数的具体位置，所以有了此文，这里介绍3种方法来获得符
  • 【2025-05-22】XXL-JOB 的 8810 端口添加到 CentOS 6.5 的防火墙白名单 SenCube Linuxcentoslinux运维
    要将XXL-JOB的8810端口添加到CentOS6.5的防火墙白名单中，需修改iptables规则。以下是具体步骤：1.编辑防火墙配置文件vi/etc/sysconfig/iptables2.添加XXL-JOB端口规则在INPUT链的ACCEPT规则部分（例如在开放80/443端口的规则后）添加：#允许XXL-JOB端口（8810）-AINPUT-ptcp--dport8810-jACCEPT如
  • 勒索病毒科普及防御措施 极创信息 健康医疗游戏交通物流零售媒体旅游制造
    有一些朋友觉得信创电脑大都是linux内核，所以基本上杜绝了各类病毒。其实这是一个很严重的认知错误。包括目前主流的勒索病毒软件和各类挖矿软件很多都有针对linux的版本，因为服务器基本上都稳定运行，所以根本不用担心稳定性等问题。目前主流的防护方式是杀毒软件，但是杀毒软件的缺陷就是，滞后于一些免杀技术。在服务器端，如果没有大量的频繁写入，场景足够单一的话，目前白名单方式的防护相对更加安全一些，因为能
  • Nginx完全指南 dovienson csdnerjsonnpm前端
    干货！文章有点长，建议先收藏引言一、性能怪兽-Nginx概念深入浅出二、Nginx环境搭建三、Nginx反向代理-负载均衡四、Nginx动静分离五、Nginx资源压缩六、Nginx缓冲区七、Nginx缓存机制八、Nginx实现IP黑白名单九、Nginx跨域配置十、Nginx防盗链设计十一、Nginx大文件传输配置十二、Nginx配置SLL证书十三、Nginx的高可用十四、Nginx性能优化十五、放
  • TDengine 更多安全策略 TDengine （老段） TDengine运维tdenginemfc大数据制造时序数据库数据库涛思数据
    简介上一节我们介绍了TDengine安全部署配置建议，除了传统的这些配置外，TDengine还有其他的安全策略，例如IP白名单、审计日志、数据加密等，这些都是TDengineEnterprise特有功能，其中白名单功能在3.2.0.0版本首次发布，审计日志在3.1.1.0版本中首次发布，数据库加密在3.3.0.0中首次发布，建议使用最新版本。IP白名单IP白名单是一种网络安全技术，它使IT管理员能
  • java工厂模式 3213213333332132 java抽象工厂
    工厂模式有 1、工厂方法 2、抽象工厂方法。 下面我的实现是抽象工厂方法, 给所有具体的产品类定一个通用的接口。 package 工厂模式; /** * 航天飞行接口 * * @Description * @author FuJianyong * 2015-7-14下午02:42:05 */ public interface SpaceF
  • nginx频率限制+python测试 ronin47 nginx 频率 python
           部分内容参考：http://www.abc3210.com/2013/web_04/82.shtml 首先说一下遇到这个问题是因为网站被攻击，阿里云报警，想到要限制一下访问频率，而不是限制ip（限制ip的方案稍后给出）。nginx连接资源被吃空返回状态码是502，添加本方案限制后返回599，与正常状态码区别开。步骤如下：
  • java线程和线程池的使用 dyy_gusi ThreadPoolthreadRunnabletimer
    java线程和线程池 一、创建多线程的方式     java多线程很常见，如何使用多线程，如何创建线程，java中有两种方式，第一种是让自己的类实现Runnable接口，第二种是让自己的类继承Thread类。其实Thread类自己也是实现了Runnable接口。具体使用实例如下： 1、通过实现Runnable接口方式 1 2
  • Linux 171815164 linux
    ubuntu kernel http://kernel.ubuntu.com/~kernel-ppa/mainline/v4.1.2-unstable/ 安卓sdk代理 mirrors.neusoft.edu.cn        80 输入法和jdk sudo apt-get install fcitx su
  • Tomcat JDBC Connection Pool g21121 Connection
           Tomcat7 抛弃了以往的DBCP 采用了新的Tomcat Jdbc Pool 作为数据库连接组件，事实上DBCP已经被Hibernate 所抛弃，因为他存在很多问题，诸如：更新缓慢，bug较多，编译问题，代码复杂等等。        Tomcat Jdbc P
  • 敲代码的一点想法 永夜-极光 java随笔感想
                  入门学习java编程已经半年了,一路敲代码下来,现在也才1w+行代码量,也就菜鸟水准吧,但是在整个学习过程中,我一直在想,为什么很多培训老师,网上的文章都是要我们背一些代码?比如学习Arraylist的时候,教师就让我们先参考源代码写一遍,然
  • jvm指令集 程序员是怎么炼成的 jvm 指令集
    转自：http://blog.csdn.net/hudashi/article/details/7062675#comments       将值推送至栈顶时 const ldc  push   load指令 const系列 该系列命令主要负责把简单的数值类型送到栈顶。(从常量池或者局部变量push到栈顶时均使用) 0x02 &nbs
  • Oracle字符集的查看查询和Oracle字符集的设置修改 aijuans oracle
    本文主要讨论以下几个部分：如何查看查询oracle字符集、 修改设置字符集以及常见的oracle utf8字符集和oracle exp 字符集问题。 一、什么是Oracle字符集 Oracle字符集是一个字节数据的解释的符号集合,有大小之分,有相互的包容关系。ORACLE 支持国家语言的体系结构允许你使用本地化语言来存储，处理，检索数据。它使数据库工具，错误消息，排序次序，日期，时间，货
  • png在Ie6下透明度处理方法 antonyup_2006 css浏览器FirebugIE
    由于之前到深圳现场支撑上线，当时为了解决个控件下载，我机器上的IE8老报个错，不得以把ie8卸载掉，换个Ie6,问题解决了，今天出差回来，用ie6登入另一个正在开发的系统，遇到了Png图片的问题，当然升级到ie8(ie8自带的开发人员工具调试前端页面JS之类的还是比较方便的，和FireBug一样，呵呵)，这个问题就解决了，但稍微做了下这个问题的处理。 我们知道PNG是图像文件存储格式，查询资
  • 表查询常用命令高级查询方法(二) 百合不是茶 oracle分页查询分组查询联合查询
    ----------------------------------------------------分组查询 group by    having   --平均工资和最高工资   select avg(sal)平均工资,max(sal)  from emp ;  --每个部门的平均工资和最高工资
  • uploadify3.1版本参数使用详解 bijian1013 JavaScriptuploadify3.1
    使用：     绑定的界面元素<input id='gallery'type='file'/>$("#gallery").uploadify({设置参数，参数如下}); 设置的属性： id: jQuery(this).attr('id'),//绑定的input的ID langFile: 'http://ww
  • 精通Oracle10编程SQL(17)使用ORACLE系统包 bijian1013 oracle数据库plsql
    /* *使用ORACLE系统包 */ --1.DBMS_OUTPUT --ENABLE:用于激活过程PUT,PUT_LINE,NEW_LINE,GET_LINE和GET_LINES的调用 --语法：DBMS_OUTPUT.enable(buffer_size in integer default 20000); --DISABLE:用于禁止对过程PUT,PUT_LINE,NEW
  • 【JVM一】JVM垃圾回收日志 bit1129 垃圾回收
    将JVM垃圾回收的日志记录下来，对于分析垃圾回收的运行状态，进而调整内存分配(年轻代，老年代，永久代的内存分配)等是很有意义的。JVM与垃圾回收日志相关的参数包括： -XX:+PrintGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -Xloggc -XX:+PrintGC 通
  • Toast使用 白糖_ toast
    Android中的Toast是一种简易的消息提示框，toast提示框不能被用户点击，toast会根据用户设置的显示时间后自动消失。     创建Toast 两个方法创建Toast makeText(Context context, int resId, int duration)     参数：context是toast显示在
  • angular.identity boyitech AngularJSAngularJS API
    angular.identiy 描述: 返回它第一参数的函数. 此函数多用于函数是编程. 使用方法: angular.identity(value); 参数详解: Param Type Details value * to be returned. 返回值: 传入的value 实例代码: <!DOCTYPE HTML>
  • java-两整数相除，求循环节 bylijinnan java
    import java.util.ArrayList; import java.util.List; public class CircleDigitsInDivision { /** * 题目：求循环节，若整除则返回NULL，否则返回char*指向循环节。先写思路。函数原型：char*get_circle_digits(unsigned k,unsigned j)
  • Java 日期 周 年 Chen.H javaC++cC#
    /** * java日期操作(月末、周末等的日期操作) * * @author * */ public class DateUtil { /** */ /** * 取得某天相加(减)後的那一天 * * @param date * @param num *
  • [高考与专业]欢迎广大高中毕业生加入自动控制与计算机应用专业 comsci 计算机
          不知道现在的高校还设置这个宽口径专业没有,自动控制与计算机应用专业,我就是这个专业毕业的,这个专业的课程非常多,既要学习自动控制方面的课程,也要学习计算机专业的课程,对数学也要求比较高.....如果有这个专业,欢迎大家报考...毕业出来之后,就业的途径非常广.....      以后
  • 分层查询（Hierarchical Queries） daizj oracle递归查询层次查询
    Hierarchical Queries If a table contains hierarchical data, then you can select rows in a hierarchical order using the hierarchical query clause: hierarchical_query_clause::= start with condi
  • 数据迁移 daysinsun 数据迁移
    最近公司在重构一个医疗系统，原来的系统是两个.Net系统，现需要重构到java中。数据库分别为SQL Server和Mysql，现需要将数据库统一为Hana数据库，发现了几个问题，但最后通过努力都解决了。 1、原本通过Hana的数据迁移工具把数据是可以迁移过去的，在MySQl里面的字段为TEXT类型的到Hana里面就存储不了了，最后不得不更改为clob。 2、在数据插入的时候有些字段特别长
  • C语言学习二进制的表示示例 dcj3sjt126com cbasic
    进制的表示示例 # include <stdio.h> int main(void) { int i = 0x32C; printf("i = %d\n", i); /* printf的用法 %d表示以十进制输出 %x或%X表示以十六进制的输出 %o表示以八进制输出 */ return 0; }
  • NsTimer 和 UITableViewCell 之间的控制 dcj3sjt126com ios
    情况是这样的: 一个UITableView, 每个Cell的内容是我自定义的 viewA viewA上面有很多的动画, 我需要添加NSTimer来做动画, 由于TableView的复用机制, 我添加的动画会不断开启, 没有停止, 动画会执行越来越多.   解决办法: 在配置cell的时候开始动画, 然后在cell结束显示的时候停止动画   查找cell结束显示的代理
  • MySql中case when then 的使用 fanxiaolong casewhenthenend
    select "主键", "项目编号", "项目名称","项目创建时间", "项目状态","部门名称","创建人" union (select pp.id as "主键", pp.project_number as &
  • Ehcache（01）——简介、基本操作 234390216 cacheehcache简介CacheManagercrud
    Ehcache简介 目录 1       CacheManager 1.1      构造方法构建 1.2      静态方法构建 2       Cache 2.1&
  • 最容易懂的javascript闭包学习入门 jackyrong JavaScript
    http://www.ruanyifeng.com/blog/2009/08/learning_javascript_closures.html 闭包（closure）是Javascript语言的一个难点，也是它的特色，很多高级应用都要依靠闭包实现。 下面就是我的学习笔记，对于Javascript初学者应该是很有用的。 一、变量的作用域 要理解闭包，首先必须理解Javascript特殊
  • 提升网站转化率的四步优化方案 php教程分享 数据结构PHP数据挖掘Google活动
    网站开发完成后,我们在进行网站优化最关键的问题就是如何提高整体的转化率，这也是营销策略里最最重要的方面之一，并且也是网站综合运营实例的结果。文中分享了四大优化策略：调查、研究、优化、评估，这四大策略可以很好地帮助用户设计出高效的优化方案。 PHP开发的网站优化一个网站最关键和棘手的是，如何提高整体的转化率，这是任何营销策略里最重要的方面之一，而提升网站转化率是网站综合运营实力的结果。今天，我就分
  • web开发里什么是HTML5的WebSocket？ naruto1990 Webhtml5浏览器socket
    当前火起来的HTML5语言里面，很多学者们都还没有完全了解这语言的效果情况，我最喜欢的Web开发技术就是正迅速变得流行的 WebSocket API。WebSocket 提供了一个受欢迎的技术，以替代我们过去几年一直在用的Ajax技术。这个新的API提供了一个方法，从客户端使用简单的语法有效地推动消息到服务器。让我们看一看6个HTML5教程介绍里 的 WebSocket API：它可用于客户端、服
  • Socket初步编程——简单实现群聊 Everyday都不同 socket网络编程初步认识
    初次接触到socket网络编程，也参考了网络上众前辈的文章。尝试自己也写了一下，记录下过程吧：   服务端：（接收客户端消息并把它们打印出来）   public class SocketServer { private List<Socket> socketList = new ArrayList<Socket>(); public s
  • 面试：Hashtable与HashMap的区别（结合线程） toknowme
    昨天去了某钱公司面试，面试过程中被问道 Hashtable与HashMap的区别？当时就是回答了一点，Hashtable是线程安全的，HashMap是线程不安全的，说白了，就是Hashtable是的同步的，HashMap不是同步的，需要额外的处理一下。   今天就动手写了一个例子，直接看代码吧 package com.learn.lesson001; import java
  • MVC设计模式的总结 xp9802 设计模式mvc框架IOC
    随着Web应用的商业逻辑包含逐渐复杂的公式分析计算、决策支持等，使客户机越 来越不堪重负，因此将系统的商业分离出来。单独形成一部分，这样三层结构产生了。 其中‘层’是逻辑上的划分。 三层体系结构是将整个系统划分为如图2.1所示的结构[3] （1）表现层（Presentation layer）：包含表示代码、用户交互GUI、数据验证。 该层用于向客户端用户提供GUI交互，它允许用户
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他