迷途的华生
迷途的华生

MY DBA

LINUX配置优化

  • 诊断命令
    • more perfomance tool
    • SRE performance
  • 硬件优化
    • raid 10
    • ssd
    • Fusion-io
    • 大内存
    • 电池后备SCSI磁盘缓存
  • 系统优化
    • 日志，数据分盘
    • IO调度算法 deadline适用于磁盘 noop适用于ssd
    • XFS文件系统
    • 避免使用swap 分区
    • fd限制 ulimit

MySQL参数配置

  • 基础配置
    • 字符集
    • 数据目录，日志目录，临时目录
    • sql_mode
  • 缓存设置
    • 线程缓存
    • 表缓存
    • 排序缓存
    • join缓存
    • 查询缓存
    • binlog缓存
    • ......
  • 阈值设置
    • max connection
    • timeout
    • slow query time
    • ......
  • innodb 设置
    • instances
    • size
    • io_capacity
    • innodb_flush_method=O_DIRECT 数据直接写盘，避过OS cache 日志还是OS flush
    • 双一设置
    • ......

MySQL开发规范

  • DDL
    • 类型使用要精确
    • not null
    • 避免text/blob
    • 避免外键
    • 自增主键
    • 避免冗余索引
    • 索引数量控制
    • 索引字段过滤度
  • DML
    • 避免使用触发器，存储过程
    • 存储使用Mysql，不要有运算逻辑
    • 更新操作禁用limit
    • select * 禁用
    • in 优先 or
    • 同表alter操作合并

BIG SQL

  • 索引优化
    • WHERE 条件索引使用率，符合最左原则
    • 联合索引，注意索引过滤度
    • 表join操作，注意加索引，且join字段类型必须一致
  • SQL优化
    • 子查询变成连接操作，优先使用独立子查询
    • 利用覆盖索引，分页操作
    • 拆分SQL，加缓存表或者汇总表
    • 外在条件下推，减少中间结果集
    • 重写SQL，利用过滤性更好的索引

主从延迟

  • 避免
    • 避免3B
    • 较少从库压力，包括服务器和数据库本身的
    • 从库上有触发操作，控制更新量
  • 改善
    • 升级从库机器硬件ssd
    • 升级数据库版本，5.6的库并发 5.7的binlog线程并发
    • 第三方工具，丁奇的transfer插件
    • inset...select rbr模式，可以先select 缓存结果，后insert

排查方法

  • 服务器
    • top
      • 查看负载
      • 查看CPU耗时
    • iostat
    • free
    • ps aux | grep pid
      • 查看具体进程信息
  • MySQL
    • SHOW FULL PROCESSLIST / dbaslowing
      • 数据库目前运行SQL，连接数
      • 慢查询实时采集，格式话输出
    • SHOW ENGINE INNODB STATUS
      • 运行事务信息
      • 死锁信息 / pt-deadlock-logger 周期采集死锁信息
      • buffer pool 信息查看
    • dbaprocess.sh
      • 查看连接数排序，显示连接服务

紧急恢复

  • 切换
    • 主从切换
      • 双主模式，设置自增间隔，不停服
      • read_only 切换，保留静态老主
  • 连接数打满
    • pt-kill
    • mysqladmin kill

日常指标

  • zabbix
    • 历史状态查询
    • 报警监控
    • 组合定制脚本监控
  • 运维脚本
    • 慢查询脚本每日邮件
    • 数据库周健康度邮件
    • 核心表每日备份
    • 扩容从库脚本
    • 搭建级联脚本
    • 测试库同步脚本
    • 试运行环境对比脚本
  • 备份
    • hotbak，dump
    • nfs挂载磁盘
    • hdfs数据冗余

自动化运维

  • 自动审核inception
  • 自动授权系统

MySQL HA

  • 中间件

    • dbproxy
      • 读写分离
      • 从库HA，负载均衡
    • mycat
      • 读写分离
      • 从库负载均衡
      • 分库分表&全局表
      • HA
      • 不支持分布式事务
      • 业务SQL限制，需要有路由key
      • 性能有所损耗

  • MHA

  • PXC

常用PT

  • pt-config 数据库替换时，验证参数一致性
  • pt-deadlock-logger 记录历史死锁信息
  • pt-duplicate-key-checker 冗余索引检测
  • pt-ioprofile IO调试
  • pt-kill 定制kill连接线程
  • pt-online-schema-change OSC
  • pt-query-digest 状态输出慢查询
  • pt-table-checksum 主从一致性验证
  • pt-slave-find 主从拓扑结构
  • pt-fifo-split 大文件导入

你可能感兴趣的:(MY DBA)

  • 中国第一本介绍企业级开发工具Zend的书籍 weixin_34245749 开发工具数据库javascriptViewUI
    【书名】大道PHP：LAMP+Zend+开源框架整合开发与实战【作者】三扬科技【ISBN】978-7-121-09171-1【出版社】电子工业出版社【出版日期】2009年9月【定价】99.00元（含视频DVD1张）【宣传语】第一本介绍企业级开发工具Zend的书籍最完整的PHP5开发技术与实战代码万用大全基于Linux+Apache+MySQL+PHP黄金组合，Socket、WebService、A
  • MyBatis 源码解析：动态 SQL 生成的基本原理 捕风捉你 MyBatis源码解读mybatistomcat
    摘要MyBatis提供了灵活的动态SQL功能，使得开发者可以根据业务需求在运行时生成不同的SQL语句。动态SQL是MyBatis最具特色的功能之一，它允许我们通过条件拼接来生成复杂的查询语句。本文将通过自定义实现一个简化的动态SQL生成器，解析其工作原理，并结合MyBatis的源码进行深入讲解。前言传统的SQL查询往往需要开发者根据不同的业务逻辑手动拼接SQL语句，而这种方式不仅容易出错，也不够灵
  • MySQL中update语法的使用（超详细） AI_茗 mysql数据库
    在MySQL中，UPDATE语句用于修改已存在的表中的记录。以下是对UPDATE语句的详细解释和使用方法：语法UPDATEtable_nameSETcolumn1=value1,column2=value2,...WHEREcondition;table_name：要更新的表名。SET：用于指定要更新的列和新的值。column1,column2,...：要更新的列名。value1,value2,.
  • go hive skynet_MMORPG游戏服务器技术选型参考-Go语言中文社区 weixin_39908948 gohiveskynet
    游戏服务器一般追求稳定和效率，所以偏向于保守，使用的技术手段也是以已经过验证、开发人员最熟悉、能HOLD为主要前提。1、典型按场景分服设计开发语言：c++数据库：mysql架构：多个网关：维持与玩家间的SOCKET连接，可处理广播、断线重连等逻辑。一个或多个账号登陆验证服务器：处理登陆、排队等逻辑。多个场景服务器：处理在本地图上能解决的逻辑，如：打怪、玩家间战斗、接任务、完成任务等各种不需要跨地图
  • flask实现mysql连接池_如何在python flask中使用mysql.connection数据库池 weixin_39710396 flask实现mysql连接池
    Traceback(mostrecentcalllast):File"/home/myuser/virtualenv/py2.7-myapp-server-logger/lib/python2.7/site-packages/flask/app.py",line1836,in__call__returnself.wsgi_app(environ,start_response)File"/home/
  • python flask django在线投票系统 md14i 专注分享bishe530 pythonflaskdjango
    文章目录具体实现截图项目技术介绍论文写作思路核心代码部分展示可定制开发功能创新亮点django项目示例源码/演示视频获取方式具体实现截图项目技术介绍Python版本：python3.7以上框架支持：flask/django开发软件：PyCharm数据库：mysql数据库工具：Navicat浏览器：谷歌浏览器(PycharmFlaskDjangoVuemysql)论文写作思路第一部分绪论，主要介绍所
  • SSM框架搭建 皇家大厨 笔记
    此文参考书籍为ACCP软件工程师——使用SSM框架开发企业级应用8.0版文章目录遇到的问题：1.错误：couldnotfindresourcesrc/dao/UserMapper.xml和mybatis启动异常：Logginginitializedusing'classorg.apache.ibatis.logging.log4j.Log4jImpl'2.Eclipse中的路径问题：3.log4j
  • mysql表误删回复_恢复mysql数据库误删数据 weixin_39655689 mysql表误删回复
    前言某一天，天朗气清；突然传来消息：数据库被删库了！这简直不亚于8级大地震呀；一找原因，服务器宕机造成了数据库数据丢失。于是，通过日志恢复数据的救援开始了。正文在数据库开启binlog功能找到/etc/my.cnf并编辑(没有my.cnf的时候就找my.ini)；添加log-bin=mysql-binexpire_logs_days=7(日志保留天数)然后重启mysql注意：log_bin是生成的
  • mysql数据误删恢复_MySQL数据库误删除后如何恢复？ 啟潍 mysql数据误删恢复
    原标题：MySQL数据库误删除后如何恢复？在日常运维工作中，对于数据库的备份是至关重要的！数据库对于网站的重要性使得我们对MySQL数据库的管理不容有失！然而是人总难免会犯错误，说不定哪天大脑短路了，误操作把数据库给删除了，怎么办？下面，就MySQL数据库误删除后的恢复方案进行说明。一、工作场景(1)MySQL数据库每晚12:00自动完全备份。(2)某天早上上班，9点的时候，一同事犯晕drop了一
  • mysql md5()函数重复_如何处理MySQL函数MD5的输入? 萝卜鱼丸烧 mysqlmd5()函数重复
    我在理解如何处理MySQL4.1.22中MD5函数的输入时遇到了一些问题。基本上,我无法重新创建特定值组合的MD5sum进行比较。我想这和输入数据的格式有关。我已经建立了一个表,其中有两列类型为double(方向和高度)+第三列,用于存储MD5和。使用安装脚本,我将数据添加到方向和高程字段+使用以下语法创建校验和:insertintopolygons(direction,elevation,md5
  • C#多线程异步连接MySQL与SQLserver数据库 weixin_46846685 WPFMySQL数据库c#mysqlsqlserverwpf异步Tuple
    C#多线程异步连接MySQL与SQLserver数据库一、前言二、多线程异步连接数据库代码2.1代码块2.2代码说明参考文档一、前言当编写代码连接多台设备上的数据库时，如果采用同步逐个连接的方式，在网络畅通的情况下连接速度尚可，但当其中一台设备网络不佳特别是处于关机状态时，等待数据库连接同时程序无法响应的时间会大幅度增加，即使设置ConnectTimeout也无法缩短等待时间，因为此时是程序在等待
  • MySQL数据库三：操作数据库（二） 嘵奇 MySQL数据库mysql
    DQL查询数据（重点）DataQueryLanguage：数据查询语言●所有的查询操作都用它Select●简单的查询，复杂的查询它都能做●数据库中最核心的语言，最重要的语句●使用频率最高的语句基本查询代码演示：--简单查询语句SELECT*FROM`class`--查询表的全部信息SELECT`id`,`name`FROM`class`--查询表的指定信息SELECT`id`AS学号,`name`
  • UE求职Demo开发日志#21 背包-仓库-装备栏移动物品 学游戏开发的 UE求职Demo开发日志学习c++游戏引擎unrealengine笔记
    1创建一个枚举记录来源位置UENUM(BlueprintType)enumclassEMyItemLocation:uint8{None=0,BagUMETA(DisplayName="Bag"),ArmedUMETA(DisplayName="Armed"),WareHouseUMETA(DisplayName="WareHouse"),};2创建一个BagPad和WarePad都有的UI虽然巨
  • 【Android】Audio音频输出通道切换 - 蓝牙bluetooth、外放 Mars-xq android音视频androidstudio
    参考：【Android】Audio音频输出通道切换-蓝牙、外放AndroidAudio音频输出通道切换为什么iOS或Android设备连接蓝牙设备后不能通过蓝牙设备接电话？xq_android/MyAudioTrackDemo1手机音频的输出有外放（Speaker）、听筒（TelephoneReceiver）、有线耳机（WiredHeadset）、蓝牙音箱（BluetoothA2DP）等输出设备。
  • 几个字符串操作函数（深析） 阅月跃悦 c语言c++算法
    1、mystrupr--将小写字母转换为大写(my-string-up)#includevoidmystrupr(char*str){while(*str){if(*str>='a'&&*str='a'&&*strintmystrlen(char*str){intlen=0;while(*str++){len++;}returnlen;}intmain(){charstr[]="HelloWorl
  • Springboot集成pagehelper-spring-boot-starter分页插件 帅大大的架构之路 #Java笔记springboot分页插件
    Springboot集成pagehelper-spring-boot-starter1.添加依赖com.github.pagehelperpagehelper-spring-boot-starter1.4.32.application.yml配置#pagehelper配置pagehelper:helperDialect:mysqlreasonable:truesupportMethodsArgum
  • Openshift或者K8S上部署xxl-job RedCong openshiftkubernetes容器
    本案例以版本2.3.0为例1.packagejarbysourcecodesourcecode:https://github.com/xuxueli/xxl-job/blob/2.3.0/2.initmysqldatabasesqlcode:https://github.com/xuxueli/xxl-job/blob/2.3.0/doc/db/tables_xxl_job.sql3.buildi
  • OpenMetadata 获取 MySQL 数据库表血缘关系详解 yongge 数据治理数据库mysql元数据治理
    概述OpenMetadata是一个开源的元数据管理平台，支持端到端的血缘关系追踪。对于MySQL数据库，OpenMetadata通过解析表的外键约束、视图定义及查询日志（可选）构建表级血缘。本文结合源码分析其实现机制。环境配置与数据摄取1.配置文件示例（YAML）source:type:mysqlserviceName:mysql_devserviceConnection:config:type:
  • python字符串怎么转换成字典_用python将字符串转换成字典 weixin_39777018
    Iknowthatthisquestionsoundaduplicate,butit'snot,atleastlookedforawhileandIcouldn'tfinenothingformyspecificproblem.Ihavethefollowingstring:"{first:{name:'test',value:100},second:{name:'test2',value:50}
  • 中电联协议对接互联互通实现充电桩小程序成熟搭建 玉阳软件yuyangdev_cn 小程序中电联互联互通充电
    ICS35.240.60L73T/CEC中国电力企业联合会标准T/CEC102.3—2016电动汽车充换电服务信息交换部分：业务信息交换规范InteractiveofchargingandbatteryswapserviceinformationforelectricvehiclesPart3:Businessinformationexchangespecification2016-10-21发布
  • java springboot连接sqlserver使用 大得369 javaspringbootsqlserver
    pom.xml增加sqlserver驱动com.microsoft.sqlservermssql-jdbc9.4.0.jre8application.yml配置文件server:port:9001#spring:#application:#name:dade01#datasource:#driver-class-name:com.mysql.jdbc.Driver#url:jdbc:mysql:/
  • Java（Springboot） 奶龙牛牛 javaspringboot开发语言
    get请求在Controller中--->从仓库里取出要用的mysql----->对于get请求（httpsession,model容器）----->从httpsession取出userid再赋值给userid----->用userid在mysql获取用户的信息------>然后用户的信息在保存在model容器里---->return到html地址里面put请求得到请求体的参数--->从https
  • 如何学习HBase：从入门到精通的完整指南 狮歌~资深攻城狮 hbase大数据
    如何学习HBase：从入门到精通的完整指南嘿，小伙伴们！如果你对大数据存储感兴趣，并且想要掌握HBase这一强大的分布式数据库，那么你来对地方了！本文将为你提供一个系统的学习路径，帮助你从零开始逐步深入理解HBase。1.基础知识准备1.1理解NoSQL数据库在开始学习HBase之前，建议先了解一下NoSQL数据库的基本概念和分类。NoSQL数据库与传统的关系型数据库（如MySQL）有很大的不同，
  • JAVA面试宝典：2020年程序员面试必备 Neo-ke
    本文还有配套的精品资源，点击获取简介：Java面试宝典是求职或晋升的必备参考资料，涵盖了Java、Redis、SpringBoot、Netty、虚拟机、前端、SpringCloud、MySQL和RocketMQ等热门技术领域的最新知识。掌握这些知识点不仅有助于面试成功，还能提升专业技能，在IT行业保持竞争力。1.Java基础与核心技术Java作为一门面向对象的编程语言，在IT行业中广泛应用。本章将
  • 如何用源码快速搭建属于你的外卖系统？ 万岳科技系统开发 外卖系统开发外卖系统外卖系统源码开源uniappjavascript
    开发一个外卖系统可能听起来很复杂，但如果你有一套完整的源码，那么搭建过程就会变得简单许多。本文将为你详细讲解如何使用现成的源码快速搭建一个外卖系统，并通过具体的代码示例来帮助你理解和实施这个过程。一、准备工作在开始搭建之前，你需要做好以下准备工作：开发环境搭建：下载并安装开发工具，例如VisualStudioCode、MySQL、Node.js或其他符合源码要求的工具。获取源码：在知名的开源平台（
  • Android ListView 动态设置ItemView高度为0隐藏Item GordonH1991 Android基础androidandroidlistview布局隐藏Item设置Item高度
    隐藏ItemView前言在使用Adapter加载ItemView时应该使用：inflater.inflate(R.layout.my_layout,parent,false);不然会导致ItemView的高度仅仅是wrap_content，除非在my_layout中再嵌套一层Layout并指定高度。隐藏ItemView设置某一项Item的高度主要是设置该ItemView的高度，我们可以在getVi
  • Kotlin 优雅的接口实现 GordonH1991 androidkotlinjava
    1.日常遇到的冗余的接口方法实现日常开发中，经常会要实现接口，但是很多场景中，只需要用到其中一两个方法，例如ActivityLifecycleCallbacks，它有很多个接口需要实现，但是很多时候我们只需要用到其中的一两个valmyActivityLifecycleCallbacks=object:Application.ActivityLifecycleCallbacks{/***例如我们只需
  • mysql数据库恢复操作_MySQL 数据库误删后的数据该如何恢复操作？ 高效率攻略 mysql数据库恢复操作
    原标题：MySQL数据库误删后的数据该如何恢复操作？纯手工打造每一篇开源资讯与技术干货，数十万程序员和Linuxer已经关注。在日常运维工作中，对于数据库的备份是至关重要的！数据库对于网站的重要性使得我们对MySQL数据库的管理不容有失！然而是人总难免会犯错误，说不定哪天大脑短路了，误操作把数据库给删除了，怎么办？下面，就MySQL数据库误删除后的恢复方案进行说明。一、工作场景(1)MySQL数据
  • Python爬虫+数据分析：采集二手房源数据并做可视化 嘘！摸鱼中~ 爬虫小案例数据分析小案例python数据分析开发语言学习
    目录软件使用：模块使用:代码展示尾语今天我们来分享一个用Python采集二手房源数据信息并做可视化得源码软件使用：python3.8开源免费的(统一3.8)jupyter-->pipinstalljupyternotebookPycharmYYDSpython最好用的编辑器不接受反驳…（也可以使用）模块使用:第三方：requests>>>数据请求模块parsel>>>数据解析模块内置：csv内置模
  • Vue和React的区别 挨踢女孩y vue.jsreact.jsjavascript前端csswebpackecmascript
    组件开发方式：Vue使用单文件组件（SFC）,HTML,JS和CSS在一个文件内实现exportdefault{//JavaScript代码}.my-component{/*CSS样式*/}React使用JSX和JavaScriptimportReactfrom'react';import'./MyComponent.css';functionMyComponent(){return({/*JSX
  • 解读Servlet原理篇二---GenericServlet与HttpServlet 周凡杨 javaHttpServlet源理GenericService源码
    在上一篇《解读Servlet原理篇一》中提到，要实现javax.servlet.Servlet接口（即写自己的Servlet应用），你可以写一个继承自javax.servlet.GenericServletr的generic Servlet ，也可以写一个继承自java.servlet.http.HttpServlet的HTTP Servlet（这就是为什么我们自定义的Servlet通常是exte
  • MySQL性能优化 bijian1013 数据库mysql
            性能优化是通过某些有效的方法来提高MySQL的运行速度，减少占用的磁盘空间。性能优化包含很多方面，例如优化查询速度，优化更新速度和优化MySQL服务器等。本文介绍方法的主要有：         a.优化查询         b.优化数据库结构  
  • ThreadPool定时重试 dai_lm javaThreadPoolthreadtimertimertask
    项目需要当某事件触发时，执行http请求任务，失败时需要有重试机制，并根据失败次数的增加，重试间隔也相应增加，任务可能并发。 由于是耗时任务，首先考虑的就是用线程来实现，并且为了节约资源，因而选择线程池。 为了解决不定间隔的重试，选择Timer和TimerTask来完成 package threadpool; public class ThreadPoolTest {
  • Oracle 查看数据库的连接情况 周凡杨 sqloracle 连接
    首先要说的是，不同版本数据库提供的系统表会有不同，你可以根据数据字典查看该版本数据库所提供的表。 select * from dict where table_name like '%SESSION%'; 就可以查出一些表，然后根据这些表就可以获得会话信息 select sid,serial#,status,username,schemaname,osuser,terminal,ma
  • 类的继承 朱辉辉33 java
    类的继承可以提高代码的重用行，减少冗余代码；还能提高代码的扩展性。Java继承的关键字是extends 格式:public class 类名（子类）extends 类名（父类）{ } 子类可以继承到父类所有的属性和普通方法，但不能继承构造方法。且子类可以直接使用父类的public和 protected属性，但要使用private属性仍需通过调用。 子类的方法可以重写，但必须和父类的返回值类
  • android 悬浮窗特效 肆无忌惮_ android
    最近在开发项目的时候需要做一个悬浮层的动画，类似于支付宝掉钱动画。但是区别在于，需求是浮出一个窗口，之后边缩放边位移至屏幕右下角标签处。效果图如下：   一开始考虑用自定义View来做。后来发现开线程让其移动很卡，ListView+动画也没法精确定位到目标点。   后来想利用Dialog的dismiss动画来完成。   自定义一个Dialog后，在styl
  • hadoop伪分布式搭建 林鹤霄 hadoop
    要修改4个文件    1: vim hadoop-env.sh  第九行    2: vim core-site.xml            <configuration>     &n
  • gdb调试命令 aigo gdb
    原文：http://blog.csdn.net/hanchaoman/article/details/5517362   一、GDB常用命令简介   r run 运行.程序还没有运行前使用 c             cuntinue 
  • Socket编程的HelloWorld实例 alleni123 socket
    public class Client { public static void main(String[] args) { Client c=new Client(); c.receiveMessage(); } public void receiveMessage(){ Socket s=null; BufferedRea
  • 线程同步和异步 百合不是茶 线程同步异步
    多线程和同步 : 如进程、线程同步，可理解为进程或线程A和B一块配合，A执行到一定程度时要依靠B的某个结果，于是停下来，示意B运行；B依言执行，再将结果给A；A再继续操作。 所谓同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不返回，同时其它线程也不能调用这个方法   多线程和异步:多线程可以做不同的事情,涉及到线程通知     &
  • JSP中文乱码分析 bijian1013 javajsp中文乱码
            在JSP的开发过程中，经常出现中文乱码的问题。         首先了解一下Java中文问题的由来：         Java的内核和class文件是基于unicode的，这使Java程序具有良好的跨平台性，但也带来了一些中文乱码问题的麻烦。原因主要有两方面，
  • js实现页面跳转重定向的几种方式 bijian1013 JavaScript重定向
            js实现页面跳转重定向有如下几种方式： 一.window.location.href <script language="javascript"type="text/javascript"> window.location.href="http://www.baidu.c
  • 【Struts2三】Struts2 Action转发类型 bit1129 struts2
     在【Struts2一】 Struts Hello World http://bit1129.iteye.com/blog/2109365中配置了一个简单的Action，配置如下   <!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configurat
  • 【HBase十一】Java API操作HBase bit1129 hbase
    Admin类的主要方法注释：   1. 创建表 /** * Creates a new table. Synchronous operation. * * @param desc table descriptor for table * @throws IllegalArgumentException if the table name is res
  • nginx gzip ronin47 nginx gzip
    Nginx GZip 压缩 Nginx GZip 模块文档详见：http://wiki.nginx.org/HttpGzipModule 常用配置片段如下： gzip on; gzip_comp_level 2; # 压缩比例，比例越大，压缩时间越长。默认是1 gzip_types text/css text/javascript; # 哪些文件可以被压缩 gzip_disable &q
  • java-7.微软亚院之编程判断俩个链表是否相交 给出俩个单向链表的头指针，比如 h1 ， h2 ，判断这俩个链表是否相交 bylijinnan java
    public class LinkListTest { /** * we deal with two main missions: * * A. * 1.we create two joined-List(both have no loop) * 2.whether list1 and list2 join * 3.print the join
  • Spring源码学习-JdbcTemplate batchUpdate批量操作 bylijinnan javaspring
    Spring JdbcTemplate的batch操作最后还是利用了JDBC提供的方法，Spring只是做了一下改造和封装 JDBC的batch操作： String sql = "INSERT INTO CUSTOMER " + "(CUST_ID, NAME, AGE) VALUES (?, ?, ?)";
  • [JWFD开源工作流]大规模拓扑矩阵存储结构最新进展 comsci 工作流
        生成和创建类已经完成,构造一个100万个元素的矩阵模型,存储空间只有11M大,请大家参考我在博客园上面的文档"构造下一代工作流存储结构的尝试",更加相信的设计和代码将陆续推出.........     竞争对手的能力也很强.......,我相信..你们一定能够先于我们推出大规模拓扑扫描和分析系统的....
  • base64编码和url编码 cuityang base64url
    import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintWriter; import java.io.StringWriter; import java.io.UnsupportedEncodingException;
  • web应用集群Session保持 dalan_123 session
    关于使用 memcached 或redis 存储 session ，以及使用 terracotta 服务器共享。建议使用 redis，不仅仅因为它可以将缓存的内容持久化，还因为它支持的单个对象比较大，而且数据类型丰富，不只是缓存 session，还可以做其他用途，一举几得啊。1、使用 filter 方法存储这种方法比较推荐，因为它的服务器使用范围比较多，不仅限于tomcat ，而且实现的原理比较简
  • Yii 框架里数据库操作详解-[增加、查询、更新、删除的方法 'AR模式'] dcj3sjt126com 数据库
        public function getMinLimit () {        $sql = "...";        $result = yii::app()->db->createCo
  • solr StatsComponent（聚合统计） eksliang solr聚合查询solr stats
    StatsComponent 转载请出自出处：http://eksliang.iteye.com/blog/2169134 http://eksliang.iteye.com/ 一、概述        Solr可以利用StatsComponent 实现数据库的聚合统计查询，也就是min、max、avg、count、sum的功能   二、参数
  • 百度一道面试题 greemranqq 位运算百度面试寻找奇数算法bitmap 算法
    那天看朋友提了一个百度面试的题目：怎么找出{1,1,2,3,3,4,4,4,5,5,5,5}  找出出现次数为奇数的数字.   我这里复制的是原话，当然顺序是不一定的，很多拿到题目第一反应就是用map,当然可以解决，但是效率不高。   还有人觉得应该用算法xxx,我是没想到用啥算法好...！   还有觉得应该先排序...   还有觉
  • Spring之在开发中使用SpringJDBC ihuning spring
      在实际开发中使用SpringJDBC有两种方式：   1. 在Dao中添加属性JdbcTemplate并用Spring注入；     JdbcTemplate类被设计成为线程安全的，所以可以在IOC 容器中声明它的单个实例，并将这个实例注入到所有的 DAO 实例中。JdbcTemplate也利用了Java 1.5 的特定(自动装箱，泛型，可变长度
  • JSON API 1.0 核心开发者自述 | 你所不知道的那些技术细节 justjavac json
    2013年5月，Yehuda Katz 完成了JSON API(英文，中文) 技术规范的初稿。事情就发生在 RailsConf 之后，在那次会议上他和 Steve Klabnik 就 JSON 雏形的技术细节相聊甚欢。在沟通单一 Rails 服务器库—— ActiveModel::Serializers 和单一 JavaScript 客户端库——&
  • 网站项目建设流程概述 macroli 工作
    一.概念 网站项目管理就是根据特定的规范、在预算范围内、按时完成的网站开发任务。 二.需求分析 项目立项 　　我们接到客户的业务咨询，经过双方不断的接洽和了解，并通过基本的可行性讨论够，初步达成制作协议，这时就需要将项目立项。较好的做法是成立一个专门的项目小组，小组成员包括：项目经理，网页设计，程序员，测试员，编辑/文档等必须人员。项目实行项目经理制。 客户的需求说明书 　　第一步是需
  • AngularJs 三目运算 表达式判断 qiaolevip 每天进步一点点学习永无止境众观千象AngularJS
    事件回顾：由于需要修改同一个模板，里面包含2个不同的内容，第一个里面使用的时间差和第二个里面名称不一样，其他过滤器，内容都大同小异。希望杜绝If这样比较傻的来判断if-show or not，继续追究其源码。 var b = "{{", a = "}}"; this.startSymbol = function(a) {
  • Spark算子：统计RDD分区中的元素及数量 superlxw1234 sparkspark算子Spark RDD分区元素
    关键字：Spark算子、Spark RDD分区、Spark RDD分区元素数量     Spark RDD是被分区的，在生成RDD时候，一般可以指定分区的数量，如果不指定分区数量，当RDD从集合创建时候，则默认为该程序所分配到的资源的CPU核数，如果是从HDFS文件创建，默认为文件的Block数。   可以利用RDD的mapPartitionsWithInd
  • Spring 3.2.x将于2016年12月31日停止支持 wiselyman Spring 3
                  Spring 团队公布在2016年12月31日停止对Spring Framework 3.2.x（包含tomcat 6.x）的支持。在此之前spring团队将持续发布3.2.x的维护版本。          请大家及时准备及时升级到Spring
  • fis纯前端解决方案fis-pure zccst JavaScript
    作者：zccst FIS通过插件扩展可以完美的支持模块化的前端开发方案，我们通过FIS的二次封装能力，封装了一个功能完备的纯前端模块化方案pure。 1，fis-pure的安装 $ fis install -g fis-pure $ pure -v 0.1.4 2，下载demo到本地 git clone https://github.com/hefangshi/f
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他