哈哈哈哈哈哈哈111
哈哈哈哈哈哈哈111

mysql全量同步到postgresql中

1 rds_dbsync (推荐使用)

《MySQL准实时同步到PostgreSQL, Greenplum的方案之一 - rds_dbsync》

这个效率最高，支持不落地，支持流式导入，支持单表并发（通过配置文件，写WHERE条件，拆成多个并发导同一张表）。

用法

以CentOS 7.x x64为例。

mysql2pgsql已打包所有依赖包，可以不安装pgsql和mysql。不过你如果想连接数据库做一些管理工作、或者排错等，还是有必要安装一下。

1、pgsql

《PostgreSQL on Linux 最佳部署手册 - 珍藏级》

《PostgreSQL 10 on ECS 实施 流复制备库镜像+自动快照备份+自动备份验证+自动清理备份与归档 - 珍藏级》

《PostgreSQL 10 + PostGIS + Sharding(pg_pathman) + MySQL(fdw外部表) on ECS 部署指南(适合新用户) - 珍藏级》

 

  1. su - digoal

  2. vi .bash_profile

  3.  

  4. export PS1="$USER@`/bin/hostname -s`-> "

  5. export PGPORT=1921

  6. export PGDATA=/data01/pg/pg_root$PGPORT

  7. export LANG=en_US.utf8

  8. export PGHOME=/home/digoal/pgsql11

  9. export LD_LIBRARY_PATH=$PGHOME/lib:/lib64:/usr/lib64:/usr/local/lib64:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH

  10. export PATH=$PGHOME/bin:$PATH:.

  11. export DATE=`date +"%Y%m%d%H%M"`

  12. export MANPATH=$PGHOME/share/man:$MANPATH

  13. export PGHOST=$PGDATA

  14. export PGUSER=postgres

  15. export PGDATABASE=postgres

  16. alias rm='rm -i'

  17. alias ll='ls -lh'

  18. unalias vi

2、mysql

https://dev.mysql.com/downloads/repo/yum/

https://dev.mysql.com/doc/mysql-yum-repo-quick-guide/en/

 

  1. su - root

  2. vi /etc/yum.repos.d/mysql.repo

  3.  

  4. [mysql57-community]

  5. name=MySQL 5.7 Community Server

  6. baseurl=http://repo.mysql.com/yum/mysql-5.7-community/el/7/$basearch/

  7. enabled=1

  8. gpgcheck=0

  9. gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql 

yum install -y mysql-community-server.x86_64 mysql-community-devel.x86_64

3、rds_dbsync

详细配置文档参考

 

  1. ./mysql2pgsql --help

  2. ignore copy error count 0 each table

  3. Unsupported option: -Usage: -l

    -j -d -n -f -s -b -h

  4. -l specifies a file with table listed;

  5. -j specifies number of threads to do the job;

  6. -d means get DDL only without fetching data;

  7. -n means no partion info in DDLs;

  8. -f means taking first column as distribution key;

  9. -s specifies the target schema;

  10. -b specifies the buffer size in KB used to sending copy data to target db, the default is 0

    11. https://github.com/aliyun/rds_dbsync/blob/master/doc/mysql2pgsql_ch.md

    https://github.com/aliyun/rds_dbsync/releases

     

    1. wget https://github.com/aliyun/rds_dbsync/files/1555186/mysql2pgsql.bin.el7.20171213.zip

    2.  

    3. unzip mysql2pgsql.bin.el7.20171213.zip

    4、rds_dbsync 将mysql迁移到pgsql

    确保执行mysql2pgsql的机器，可以同时连接到mysql, pgsql.

    如果无法直接互联，可以使用SSH打通隧道进行互相访问。

    《使用 ssh -R 建立反向/远程TCP端口转发代理》

    1、配置my.cfg文件，源(mysql)、目标(pgsql)

     

    1. cd mysql2pgsql.bin.el7.20171213

    2.  

    3. cd bin

    4.  
    5.  

    6. vi my.cfg

    7.  

    8. [src.mysql]

    9. host = "数据库IP"

    10. port = "数据库PORT"

    11. user = "数据库user"

    12. password = "数据库user密码"

    13. db = "数据库名"

    14. encodingdir = "share"

    15. encoding = "utf8"

    16.  

    17. [desc.pgsql]

    18. connect_string = "host=127.0.0.1 port=1921 dbname=postgres user=postgres password=pgsql"

    19. target_schema = "public"

    如果postgresql在本地，可以使用unix socket连接，导入性能比tcp要快一点。例如

    connect_string = "host=/tmp dbname=postgres port=1921 user=postgres password=pgsql"

    unix socket dir配置可从配置文件读取

     

    1. postgres=# show unix_socket_directories ;

    2. unix_socket_directories

    3. -------------------------

    4. /tmp,.

    5. (1 row)

    2、生成mysql 转换为pgsql 的建表 DDL

    ./mysql2pgsql -d > ddl.sql

    3、执行输出的DDL文件

    在pgsql对应的数据库中，执行第二步生成的DDL语句，创建目标表。

    psql -f ./ddl.sql -1

    如果有问题，需要手工修复一下。

    迁移例子

    1、全量迁移

     

    1. cd mysql2pgsql.bin.el7.20171213/bin

    2.  

    3. nohup ./mysql2pgsql >./load.log 2>&1 &

    2、选择性迁移

    如果不想迁移所有表的数据，或者某些表只想迁移部分数据，可以写配置文件。

    2.1、甚至可以多个源写入单个表，例如多个MYSQL节点数据，汇入单个PG节点。

    2.2、如果源表与PG的目标表名字不一样，可以在配置文件中映射表名。(冒号分隔：第一列为mysql里面的表名，第二列为MYSQL里面的表名，或者QUERY)

     

    1. vi lo.txt

    2.  

    3. tbl1

    4. tbl2 : select * from tbl_from_mysql where id<10000;

    5. tbl2 : select * from tbl_from_mysql where id >= 100000 and id< 10000000;

    6. tbl3 : tbl_from_mysql_1

    7. tbl3 : tbl_from_mysql_2

    然后执行

     

    1. cd mysql2pgsql.bin.el7.20171213/bin

    2.  

    3. nohup ./mysql2pgsql -l ./lo.txt >./load.log 2>&1 &

    3、并行迁移

    默认为5个迁移线程操作（每个线程COPY一张表），通过-j参数指定。

     

    1. cd mysql2pgsql.bin.el7.20171213/bin

    2.  

    3. nohup ./mysql2pgsql -l ./lo.txt -j 8 >./load.log 2>&1 &

    4、单表如何支持并行迁移

    单表，通过where条件分段，可以实现单表的并行迁移（但是几个SQL分开执行，他们的SNAPSHOT不一样，不满足全局一致性）

     

    1. vi lo.txt

    2.  

    3. tbl2 : select * from tbl_from_mysql where id < 1000000;

    4. tbl2 : select * from tbl_from_mysql where id >= 1000000 and id < 2000000;

    5. tbl2 : select * from tbl_from_mysql where id >= 2000000 and id < 3000000;

    6. tbl2 : select * from tbl_from_mysql where id >= 3000000; 

     

    1. cd mysql2pgsql.bin.el7.20171213/bin

    2.  

    3. nohup ./mysql2pgsql -l ./lo.txt -j 4 >./load.log 2>&1 &

    2 mysql_fdw

    《PostgreSQL 10 + PostGIS + Sharding(pg_pathman) + MySQL(fdw外部表) on ECS 部署指南(适合新用户) - 珍藏级》

    https://github.com/EnterpriseDB/mysql_fdw

    http://blog.163.com/digoal@126/blog/static/1638770402011111233524987/

    http://blog.163.com/digoal@126/blog/static/163877040201493145214445/

    3 mysql

    通过管道导入

     

    1. export PGHOST=

    2. export PGPORT=

    3. export PGDATABASE=

    4. export PGUSER=

    5. export PGPASSWORD=

    6.  

    7. nohup mysql -C -h主机 -P端口 -u用户 -p密码 库 -B -e "select * from 表" | psql -c "copy 表 from stdin with (format csv, HEADER true, null 'NULL', DELIMITER E'\t')" > /dev/null 2>&1 &

    8.  

    如果表很大，可能OOM，因为需要将数据完全HOLD到mysql客户端后，才开始输出。暂不清楚mysql客户端有没有流式输出的功能。

    4 mysqldump

    通过管道导入

     

    1. export PGHOST=

    2. export PGPORT=

    3. export PGDATABASE=

    4. export PGUSER=

    5. export PGPASSWORD=

    6.  

    7. mysqldump 库名 -t -h主机 -P端口 -u用户 -p密码 --no-create-db --skip-quote-names --skip-add-locks --skip-lock-tables --skip-tz-utc -y --default-character-set=UTF8 -C --compact --compatible=postgresql --tables 表 | psql -f - >/dev/null 2>&1 &

    如果在mysql服务器上运行，可以dump CSV格式。

    MySQL没有像PostgreSQL这样的COPY to stdout或COPY from stdin这样的COPY协议，只有服务端COPY。

    mysqldump有一些格式问题(即使使用--compatible=postgresql)，可能导致数据导入到PG时出错。

    参考

    man mysql

    man mysqldump

    https://github.com/aliyun/rds_dbsync

    https://github.com/EnterpriseDB/mysql_fdw

    你可能感兴趣的:(工具相关,mysql,postgresql,greenplum)

    • Xtrabackup备份与恢复+异机远程流式备份 运维小弟| srebro.cn mysql数据库mysql运维
      一、Xtrabackup介绍MySQL冷备、mysqldump、MySQL热拷贝都无法实现对数据库进行增量备份。在实际生产环境中增量备份是非常实用的，如果数据大于50G或100G，存储空间足够的情况下，可以每天进行完整备份，如果每天产生的数据量较大，需要定制数据备份策略。例如每周实用完整备份，周一到周六实用增量备份。而Percona-Xtrabackup就是为了实现增量备份而出现的一款主流备份工具
    • mysql 5.6 my.cnf配置_MySQL 5.6 my.cnf 参数详细说明 君信陌 mysql5.6my.cnf配置
      #以下选项会被MySQL客户端应用读取。#注意只有MySQL附带的客户端应用程序保证可以读取这段内容。#如果你想你自己的MySQL应用程序获取这些值。#需要在MySQL客户端库初始化的时候指定这些选项。#[client]#password=[your_password]port=@MYSQL_TCP_PORT@socket=@MYSQL_UNIX_ADDR@#***应用定制选项***##MySQL
    • mysql中如何去除重复数据_Mysql如何去掉数据库中重复记录？ Leung Rick mysql中如何去除重复数据
      对于常规的MySQL数据表中可能存在重复的数据，有些情况是允许重复数据的存在，有些情况是不允许的，这个时候我们就需要查找并删除这些重复数据，以下是具体的处理方法！方法一：防止表中出现重复数据当表中未添加数据时，可以在MySQL数据表中设置指定的字段为PRIMARYKEY(主键)或者UNIQUE(唯一)索引来保证数据的唯一性。例如在学生信息表中学号no不允许重复，需设置学号no为主键，且默认值不能为
    • C#同步两个数据库中两张表的数据 thetwodan C#数据库c#开发语言
      从Mysql两个数据库中同步表数据先上需要的实体类publicclassServerConnectInfo{publicstringSERVER{get;set;}publicstringDATABASE{get;set;}publicstringUID{get;set;}publicstringPWD{get;set;}}用到的方法publicstaticvoidSynchronizationT
    • MySQL 中删除重复的数据并只保留一条 魔道不误砍柴功 MySQLmysql数据库
      要在MySQL中删除重复的数据并只保留一条，可以使用下面的方法。方法一：创建临时表这种方法假设你有一个表your_table，并且你要基于某些列来判断哪些数据是重复的。例如，如果你想删除基于column1和column2的重复记录，只保留一条记录，你可以按照以下步骤操作：使用CREATETABLE语句创建一个临时表，用于存储唯一的记录。使用INSERTINTO...SELECT语句将唯一的记录插入
    • MySQL：多表连接查询（2） 舟渡的锅儿
      3.sql99标准语法select查询列表from表1别名【连接类型】join表2别名on连接条件（内连接inner，左外连接leftouter，右外连接rightouter，全外连接fullouter，交叉连接cross）【where筛选条件】【groupby分组条件】【having筛选条件】【orderby排序列表】内连接-等值连接案例：查询员工名和对应的部门名SELECT`last_name
    • 虚拟机安装hadoop，hbase（单机伪集群模式） 流~星~雨 大数据相关hadoophbase大数据
      虚拟机安装Hadoop，Hbase工作中遇到了大数据方面的一些技术栈，没有退路可言，只能去学习掌握它，就像当初做爬虫一样（虽然很简单），在数据爆发的现在，传统的数据库mysql，oracle显然在处理大数据量级的数据时显得力不从心，所以有些特定的业务需要引进能够处理大数据量的数据库，hadoop提供了分布式文件系统（HDFS）来存储数据，又提供了分布式计算框架（mapreduce）来对这些数据进行
    • hive中的数据同步到hbase 流~星~雨 大数据相关hivehbasehadoop
      hive中的数据同步到hbase工作中遇到了这个工作，就是将hive中的数据同步到hbase中，然后java通过hbase相关的API来访问hbase中的数据。关于hadoop，hive，hbase这三个技术栈我写了两篇博客简单的分享了我对这三个技术栈的一些看法，在我目前的认知里，hadoop提供hdfs这个组件来存储大数据量的数据（相比于mysql，oracle这些关系型数据库），然后提供了Ma
    • 数据库-事务 青山^ oracle数据库
      目录一、定义二、特性1.原子性（Atomicity）2.一致性（Consistency）3.隔离性（Isolation）4.持久性（Durability）三、类型四、应用场景五、事务控制六、注意事项一、定义MySQL中的事务（Transaction）是数据库管理系统执行过程中的一个逻辑单位，由一个或多个SQL语句组成，这些语句作为一个整体一起向系统提交，要么全部执行，要么全部不执行，即事务具有不可
    • MySQL中如何删除重复数据？ nihui123 数据库mysql数据库
        在MySQL中删除重复数据是一个常见的需求，特别是在处理大型数据库时。删除重复数据可以通过多种方式实现，具体方法取决于你的具体需求和数据库的结构。以下是一些常见的方法。使用DELETE语句和临时表如果你想要删除完全重复的行（即所有列的值都相同），你可以使用以下步骤：创建一个临时表，包含唯一记录。从原表中删除所有记录。将唯一记录从临时表插入回原表。CREATETABLEtemp_tableASS
    • 2021-01-06：mysql中，我存十亿个手机号码，考虑存储空间和查询效率，用什么类型的字段去存？ 福大大架构师每日一题
      福哥答案2021-01-06：答案来自此链接：首先提出假设：考虑一下这几个问题：手机号码都是数字吗？都是中国的手机号码吗？会按照手机号等值查询吗？会按照手机号范围查询吗？需要手机号列唯一约束吗？最简单情况（中国手机号，11位数字）就用数值类型bigint存储即可，建索引。考虑三种类型，BigInt，Char，Varchar这几种类型在InnoDB引擎下默认行格式的存储方式为：1.对于bigint类
    • javaweb基于ssm框架校园即时服务平台管理系统设计与实现 ancen_73bd
      1、项目介绍系统开发平台：JDK1.8+Windows7+Maven3.6.1开发语言：Java后台框架：SSM前端：layui数据库：MySql5.7Navicat开发环境：IntellijIdea浏览器：Chrome或360浏览器本系统分为两个用户：学生、管理员。学生：可以发布任务、已接受任务、已发布任务、资料修改管理员：可以对用户进行管理、任务的管理、安全设置管理2、项目技术后端框架：SSM
    • MySQL：送分or送命 varchar(30) 与 int(10) flying jiang 数据库mysql数据库
      摘要：VARCHAR(30)和INT(10)在MySQL中代表两种不同类型的字段，它们之间的主要区别在于它们存储的数据类型、存储方式以及显示宽度的含义。正文：INT(10)在MySQL中，当你看到INT(10)这样的数据类型定义时，可能会有些混淆，因为它并不完全按字面意思那样工作。这里的INT是一个整数类型，它用于存储整数值。而括号内的数字（在这个例子中是10）并不限制存储的整数的值范围或精度，而
    • MySQL 实现模糊匹配 flying jiang 架构设计数据库mysql数据库
      摘要：在不依赖Elasticsearch等外部搜索引擎的情况下，您依然能够充分利用MySQL数据库内置的LIKE和REGEXP操作符来实现高效的模糊匹配功能。针对更为复杂的搜索需求，尤其是在处理大型数据集时，结合使用IK分词器（虽然IK分词器本身主要用于中文分词，在Elasticsearch等搜索引擎中广泛应用，但可以通过一些创造性的方法间接应用于MySQL环境）可以显著提升搜索的准确性和效率。正
    • Centos7安装mysql8 raenlyn
      Linux安装最新版mysql8的时候，发现网上很多博客都是有一些小坑的。虽然是一些小坑，但是找起来也是很费时间的。特此安装完赶紧记录下来用到的软件版本linux系统：腾讯云上的CentOS7.564位mysql：至此最新版8.0.19mysql下载若是没用网速快的yum源的话，个人推荐还是Windows上下载好了传到Linux系统里去（传送软件：WinSCP）（虚拟机不需要）下载链接mysql官
    • MySQL锁表解决方案 user__kk 知识点数据库mysql数据库
      步骤1.查询进程(showfullprocesslist;)showprocesslist;id#ID标识，要kill一个语句的时候很有用use#当前连接用户host#显示这个连接从哪个ip的哪个端口上发出db#数据库名command#连接状态，一般是休眠（sleep），查询（query），连接（connect）time#连接持续时间，单位是秒state#显示当前sql语句的状态info#显示这个
    • 环境搭建：Redis 概述、安装与配置指南（含windows、macOS、Linux） upgrador #环境搭建rediswindowsmacoslinuxmysqloracle
      环境搭建：Redis概述、安装与配置指南（含windows、macOS、Linux）Redis是一个开源的内存数据结构存储系统，广泛应用于缓存、消息队列和实时分析等场景。本文将详细介绍如何在不同操作系统上安装和配置Redis，包括验证安装的步骤、配置文件的修改以及常见问题的解决方案。此外，我们将讨论Redis与MySQL和MongoDB的关系及其在不同应用场景中的作用。大纲环境搭建：Redis概述
    • Java高并发秒杀 小螺丝钉cici
      高并发下的事务秒杀业务场景具有典型的“事务”特性秒杀红包类需求常见Demo:https://github.com/sunzeying/seckill视频来源：https://www.imooc.com/video/11830image.pngimage.png秒杀事务相关：（减库存，记录购买明细）->事务处理->数据落地MySQL实现秒杀难点分析：难点问题：竞争（多个用户同时秒杀这个商品。就产生了
    • MySQL存储引擎 西界__
      简介通过showengines;,查看mysql现在已提供什么存储引擎image-202010251603246151.InnoDB存储引擎InnoDB是MySQL的默认事务型引擎，它被设计用来处理大量的短期(short-lived)事务。除非有非常特别的原因需要使用其他的存储引擎，否则应该优先考虑InnoDB引擎。2.MyISAM存储引擎MyISAM提供了大量的特性，包括全文索引、压缩、空间函数
    • python graphql_django使用graphql的实例 weixin_39921224 pythongraphql
      一、开发环境1、python3.63、window10二、项目搭建1、创建一个虚拟空间mkvirtualenv空间名2、创建一个django项目3、安装graphql的依赖包pipinstallgraphene-django4、创建一个组件blog5、把组件blog及graphene_django注入到app中6、在settings.py中配置mysql数据库连接三、书写blog的内容1、在mod
    • ETL同步 王小杰at2019
      首先明确一下针对这类云MySQL的binlog订阅，通常会面临的几个问题账号权限问题[已解决]canal的策略是模拟了MySQLSlave的行为，因此需要有SELECT,REPLICATIONSLAVE,REPLICATIONCLIENT的权限解决思路：目前aliyun上的RDS默认创建的账号已经自带了这些权限，针对RDS5.6/5.7的高权限实例，可以用root账号额外进行一下授权，授权操作可参
    • Mysql 查询数据库或数据表中的数据量以及数据大小_mysql 获取查询记录的 数据大小 m0_74932057 程序员mysql数据库
      许多数据库的元数据都是存储在mysql中的，例如hive、startrockes，因此可以通过mysql中的“information_schema.TABLES”表来查询对应数据库或对应数据表的具体信息。1、查询各个数据库中的数据条数和数据大小SELECTTABLE_SCHEMAAS'数据库',sum(table_rows)AS'记录数',sum(TRUNCATE(data_length/1024
    • 【MySQL数据库管理问答题】第5章 监控 MySQL summer.335 MySQL数据库管理问答题MySQL数据库mysql
      目录1.MySQL服务器都提供了哪几种类型的日志文件？说明每种日志的用途。2.MySQL8.0默认启用哪两种日志记录？3.请说明常规查询日志和慢速查询日志在记录的内容上有何不同。4.如何配置才能将慢速查询日志和常规查询日志在文件和表里同时保存？5.从DBA的角度，谈一下使用Performanceschema的目的或作用？6.Performanceschema中的顶级检测组件都有哪些？7.请谈一下M
    • Ubuntu 24.04部署Wordpress idiot_qi 其他工具ubuntulinuxwordpress
      环境：Ubuntu24.04PHP8.1.2-1ubuntu2.18Nginx/1.18.0(Ubuntu)WordPress6.6.1Mysql8文章目录1.安装php2.配置nginx2.1.安装nginx2.2.配置3.下载wordpress3.1.配置wordpress4.mysql配置wordpress数据库和用户4.1.安装和远程连接4.2.创建wordpress数据库和用户5.访问w
    • django 使用nginx实现负载均衡 rongDang Djangolinuxdjangonginx负载均衡
      1.环境配置我这有三台服务器，三台服务器配置都是Centos7.6,django2.1,mysql8.0，三台服务器都配置uwsgi，但是只有一台服务器中配置了nginx.注意:首先请确保三台服务器上的django项目都能正常运行，建议先用pythonmanage.pyrunserver127.0.0.1:8000运行看看项目运行是否正常121.196.187.***:8000master安装了n
    • Sqli-labs靶场第11关详解[Sqli-labs-less-11] 「已注销」 sqli-labs数据库web安全网络安全mysqlsql
      Sqli-labs-Less-11前言：SQL注入的三个条件：①参数可控；（从参数输入就知道参数可控）②参数过滤不彻底导致恶意代码被执行；（需要在测试过程中判断）③参数带入数据库执行。（从网页功能能大致分析出是否与数据库进行交互）利用orderby来测列数测显位：mysql用1,2,3,4Mysql获取相关数据：一、数据库版本-看是否认符合information_schema查询-version(
    • 社群扫码进群完整可运营源码 酷爱码 phpPHP
      源码介绍社群扫码进群完整可运营源码，对接免签约支付接口，推广正常绑定下级。1.安装上宝塔在配置这些环境就可以了2.搭建环境NginxMySQL5.6php7.23.php7.2安装扩展fileinforedisSwoolesg114.服务器需要安装linux的系统下载地址：社群扫码进群完整可运营源码
    • MySQL --- 索引结构 路遥万里 MySQLmysql数据库
      文章目录mysql索引索引的优缺点索引的分类索引的创建索引的数据结构B-Tree多路平衡查找树B+TreeB+树索引Hash索引面试题mysql索引索引（index）是高效获取数据的数据结构(有序)。在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算法，这种数据结构就是索引。索引的优缺点优点：1、提高数据检索的
    • mysql+索引+rebuild_MySQL如何进行索引重建操作？ 驴放屁
      在MySQL数据库中,没有类似于SQLServer数据库或Oracle数据库中索引重建的语法(ALTERINDEX...REBUILD)，那么在MySQL数据库中，是否有什么方式重建索引呢？在官方文档中"2.11.10RebuildingorRepairingTablesorIndexes"中，提到下面三种方式可以RebuildIndex·DumpandReloadMethod·ALTERTABL
    • MySQL索引(一) IT的咸鱼
      索引的本质索引（Index）是帮助MySQL高效获取数据的数据结构。提取句子主干，就可以得到索引的本质：索引是数据结构数据库查询是数据库的最主要功能之一。我们都希望查询数据的速度能尽可能的快，因此数据库系统的设计者会从查询算法的角度进行优化。最基本的查询算法当然是顺序查找（linearsearch），这种复杂度为O(n)的算法在数据量很大时显然是糟糕的，好在计算机科学的发展提供了很多更优秀的查找算
    • Java序列化进阶篇 g21121 java序列化
              1.transient         类一旦实现了Serializable 接口即被声明为可序列化，然而某些情况下并不是所有的属性都需要序列化，想要人为的去阻止这些属性被序列化，就需要用到transient 关键字。
    • escape()、encodeURI()、encodeURIComponent()区别详解 aigo JavaScriptWeb
      原文：http://blog.sina.com.cn/s/blog_4586764e0101khi0.html   JavaScript中有三个可以对字符串编码的函数，分别是： escape,encodeURI,encodeURIComponent，相应3个解码函数：,decodeURI,decodeURIComponent 。 下面简单介绍一下它们的区别 1 escape()函
    • ArcgisEngine实现对地图的放大、缩小和平移 Cb123456 添加矢量数据对地图的放大、缩小和平移Engine
      ArcgisEngine实现对地图的放大、缩小和平移:  个人觉得是平移，不过网上的都是漫游，通俗的说就是把一个地图对象从一边拉到另一边而已。就看人说话吧.  具体实现: 一、引入命名空间    using ESRI.ArcGIS.Geometry;    using ESRI.ArcGIS.Controls; 二、代码实现.
    • Java集合框架概述 天子之骄 Java集合框架概述
         集合框架 集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。 从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。   简单介绍：   Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
    • 旗正4.0页面跳转传值问题 何必如此 javajsp
      跳转和成功提示 a)        成功字段非空forward 成功字段非空forward，不会弹出成功字段，为jsp转发，页面能超链接传值,传输变量时需要拼接。接拼接方式list.jsp?test="+strweightUnit+"或list.jsp?test="+weightUnit+&qu
    • 全网唯一:移动互联网服务器端开发课程 cocos2d-x小菜 web开发移动开发移动端开发移动互联程序员
          移动互联网时代来了！     App市场爆发式增长为Web开发程序员带来新一轮机遇，近两年新增创业者，几乎全部选择了移动互联网项目！传统互联网企业中超过98%的门户网站已经或者正在从单一的网站入口转向PC、手机、Pad、智能电视等多端全平台兼容体系。据统计，AppStore中超过85%的App项目都选择了PHP作为后端程
    • Log4J通用配置|注意问题 笔记 7454103 DAOapachetomcatlog4jWeb
      关于日志的等级 那些去 百度就知道了！ 这几天 要搭个新框架  配置了 日志 记下来 ！做个备忘！ #这里定义能显示到的最低级别,若定义到INFO级别,则看不到DEBUG级别的信息了~! log4j.rootLogger=INFO,allLog # DAO层 log记录到dao.log 控制台 和 总日志文件 log4j.logger.DAO=INFO,dao,C
    • SQLServer TCP/IP 连接失败问题 ---SQL Server Configuration Manager darkranger sqlcwindowsSQL ServerXP
      当你安装完之后,连接数据库的时候可能会发现你的TCP/IP 没有启动.. 发现需要启动客户端协议 : TCP/IP  需要打开 SQL Server Configuration Manager... 却发现无法打开 SQL Server Configuration Manager..?? 解决方法:  C:\WINDOWS\system32目录搜索framedyn.
    • [置顶] 做有中国特色的程序员 aijuans 程序员
      从出版业说起 网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。 许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有些技术书读得可
    • document.domain 跨域问题 avords document
      document.domain用来得到当前网页的域名。比如在地址栏里输入：javascript:alert(document.domain); //www.315ta.com我们也可以给document.domain属性赋值，不过是有限制的，你只能赋成当前的域名或者基础域名。比如：javascript:alert(document.domain = "315ta.com");
    • 关于管理软件的一些思考 houxinyou 管理
      工作好多看年了,一直在做管理软件,不知道是我最开始做的时候产生了一些惯性的思维,还是现在接触的管理软件水平有所下降.换过好多年公司,越来越感觉现在的管理软件做的越来越乱. 在我看来,管理软件不论是以前的结构化编程,还是现在的面向对象编程,不管是CS模式,还是BS模式.模块的划分是很重要的.当然,模块的划分有很多种方式.我只是以我自己的划分方式来说一下. 做为管理软件,就像现在讲究MVC这
    • NoSQL数据库之Redis数据库管理(String类型和hash类型) bijian1013 redis数据库NoSQL
      一.Redis的数据类型 1.String类型及操作         String是最简单的类型，一个key对应一个value，string类型是二进制安全的。Redis的string可以包含任何数据，比如jpg图片或者序列化的对象。         Set方法：设置key对应的值为string类型的value
    • Tomcat 一些技巧 征客丶 javatomcatdos
      以下操作都是在windows 环境下 一、Tomcat 启动时配置 JAVA_HOME 在 tomcat 安装目录，bin 文件夹下的 catalina.bat 或 setclasspath.bat 中添加 set JAVA_HOME=JAVA 安装目录 set JRE_HOME=JAVA 安装目录/jre 即可； 二、查看Tomcat 版本 在 tomcat 安装目
    • 【Spark七十二】Spark的日志配置 bit1129 spark
      在测试Spark Streaming时，大量的日志显示到控制台，影响了Spark Streaming程序代码的输出结果的查看(代码中通过println将输出打印到控制台上)，可以通过修改Spark的日志配置的方式，不让Spark Streaming把它的日志显示在console   在Spark的conf目录下，把log4j.properties.template修改为log4j.p
    • Haskell版冒泡排序 bookjovi 冒泡排序haskell
      面试的时候问的比较多的算法题要么是binary search，要么是冒泡排序，真的不想用写C写冒泡排序了，贴上个Haskell版的，思维简单，代码简单，下次谁要是再要我用C写冒泡排序，直接上个haskell版的，让他自己去理解吧。     sort [] = [] sort [x] = [x] sort (x:x1:xs) | x>x1 = x1:so
    • java 路径 配置文件读取 bro_feng java
      这几天做一个项目，关于路径做如下笔记，有需要供参考。 取工程内的文件，一般都要用相对路径，这个自然不用多说。 在src统计目录建配置文件目录res,在res中放入配置文件。 读取文件使用方式： 1. MyTest.class.getResourceAsStream("/res/xx.properties") 2. properties.load(MyTest.
    • 读《研磨设计模式》-代码笔记-简单工厂模式 bylijinnan java设计模式
      声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 个人理解：简单工厂模式就是IOC; * 客户端要用到某一对象，本来是由客户创建的，现在改成由工厂创建，客户直接取就好了 */ interface IProduct {
    • SVN与JIRA的关联 chenyu19891124 SVN
      SVN与JIRA的关联一直都没能装成功，今天凝聚心思花了一天时间整合好了。下面是自己整理的步骤： 一、搭建好SVN环境，尤其是要把SVN的服务注册成系统服务 二、装好JIRA，自己用是jira-4.3.4破解版 三、下载SVN与JIRA的插件并解压，然后拷贝插件包下lib包里的三个jar，放到Atlassian\JIRA 4.3.4\atlassian-jira\WEB-INF\lib下，再
    • JWFDv0.96 最新设计思路 comsci 数据结构算法工作企业应用公告
                         随着工作流技术的发展，工作流产品的应用范围也不断的在扩展，开始进入了像金融行业(我已经看到国有四大商业银行的工作流产品招标公告了)，实时生产控制和其它比较重要的工程领域，而
    • vi 保存复制内容格式粘贴 daizj vi粘贴复制保存原格式不变形
          vi是linux中非常好用的文本编辑工具，功能强大无比，但对于复制带有缩进格式的内容时，粘贴的时候内容错位很严重，不会按照复制时的格式排版，vi能不能在粘贴时，按复制进的格式进行粘贴呢？ 答案是肯定的，vi有一个很强大的命令可以实现此功能 。     在命令模式输入:set paste，则进入paste模式，这样再进行粘贴时
    • shell脚本运行时报错误：/bin/bash^M: bad interpreter 的解决办法 dongwei_6688 shell脚本
      出现原因：windows上写的脚本，直接拷贝到linux系统上运行由于格式不兼容导致 解决办法： 1. 比如文件名为myshell.sh，vim myshell.sh 2. 执行vim中的命令 : set ff?查看文件格式，如果显示fileformat=dos，证明文件格式有问题 3. 执行vim中的命令 :set fileformat=unix 将文件格式改过来就可以了，然后:w
    • 高一上学期难记忆单词 dcj3sjt126com wordenglish
      honest 诚实的；正直的 argue 争论 classical 古典的 hammer 锤子 share  分享；共有 sorrow 悲哀；悲痛 adventure 冒险 error 错误；差错 closet 壁橱；储藏室 pronounce 发音；宣告 repeat 重做；重复 majority 大多数；大半   native 本国的，本地的，本国
    • hibernate查询返回DTO对象，DTO封装了多个pojo对象的属性 frankco POJOhibernate查询DTO
            DTO-数据传输对象；pojo-最纯粹的java对象与数据库中的表一一对应。       简单讲：DTO起到业务数据的传递作用，pojo则与持久层数据库打交道。         有时候我们需要查询返回DTO对象，因为DTO
    • Partition List hcx2013 partition
      Given a linked list and a value x, partition it such that all nodes less than x come before nodes greater than or equal to x. You should preserve the original relative order of th
    • Spring MVC测试框架详解——客户端测试 jinnianshilongnian
      上一篇《Spring MVC测试框架详解——服务端测试》已经介绍了服务端测试，接下来再看看如果测试Rest客户端，对于客户端测试以前经常使用的方法是启动一个内嵌的jetty/tomcat容器，然后发送真实的请求到相应的控制器；这种方式的缺点就是速度慢；自Spring 3.2开始提供了对RestTemplate的模拟服务器测试方式，也就是说使用RestTemplate测试时无须启动服务器，而是模拟一
    • 关于推荐个人观点 liyonghui160com 推荐系统关于推荐个人观点
          回想起来，我也做推荐了3年多了，最近公司做了调整招聘了很多算法工程师，以为需要多么高大上的算法才能搭建起来的，从实践中走过来，我只想说【不是这样的】     第一次接触推荐系统是在四年前入职的时候，那时候，机器学习和大数据都是没有的概念，什么大数据处理开源软件根本不存在，我们用多台计算机web程序记录用户行为，用.net的w
    • 不间断旋转的动画 pangyulei 动画
      CABasicAnimation* rotationAnimation; rotationAnimation = [CABasicAnimation animationWithKeyPath:@"transform.rotation.z"]; rotationAnimation.toValue = [NSNumber numberWithFloat: M
    • 自定义annotation sha1064616837 javaenumannotationreflect
      对象有的属性在页面上可编辑，有的属性在页面只可读，以前都是我们在页面上写死的，时间一久有时候会混乱，此处通过自定义annotation在类属性中定义。越来越发现Java的Annotation真心很强大，可以帮我们省去很多代码，让代码看上去简洁。 下面这个例子 主要用到了 1.自定义annotation：@interface，以及几个配合着自定义注解使用的几个注解 2.简单的反射 3.枚举
    • Spring 源码 up2pu spring
      1.Spring源代码 https://github.com/SpringSource/spring-framework/branches/3.2.x 注：兼容svn检出 2.运行脚本 import-into-eclipse.bat 注：需要设置JAVA_HOME为jdk 1.7 build.gradle compileJava { sourceCompatibilit
    • 利用word分词来计算文本相似度 yangshangchuan wordword分词文本相似度余弦相似度简单共有词
      word分词提供了多种文本相似度计算方式： 方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度 实现类：org.apdplat.word.analysis.CosineTextSimilarity 用法如下： String text1 = "我爱购物"; String text2 = "我爱读书"; String text3 =