用perl做数据库迁移，从MSSQL到MYSQL（三）自动导数据，基本思想，拼SQL语句

哎！这周末过得比上班还累，代码周五基本写完，一直没时间整理，今天晚上整理了发上来。

哦，再次提醒一下哈，本代码是本人第一次写perl很多它的优良特性没用到，因此没能写出perl本应该有的优秀的，可爱的，外行看不大懂的代码。如有真心喜欢Perl的人，请不要见骂，请多多指教。

#!/usr/bin/perl

use DBI;

use Switch;



$dbh=DBI->connect('dbi:ODBC:##隐去的MSSQL访问ODBC连接##','##隐去的MSSQL访问用户名##','##隐去的MSSQL访问密码##');

#获取所有的用户表，当然不想导的表，表名放到not in里边

my $sth=$dbh->prepare("select name,object_id from sys.all_objects where type='U' and is_ms_shipped=0 and name not in

('sysdiagrams')");

$sth->execute();

my $false_Table;



#遍历所有表，呵呵，这里啊，其实用另外一个方法更快。详细请参考：http://www.easysoft.com/developer/languages/perl/dbd_odbc_tutorial_part_2.html

while (@data=$sth->fetchrow_array())

{

    ##测试时用

#    @data=$sth->fetchrow_array();

    ##这个是perl的异常处理，也是后边再加的，因为此次移植的时候，发现很多问题，开始在调试的时候，也没想过加异常处理，但后来发现这个调试的过程，

    ##实在太痛苦了，才查了资料加的，当然对异常处理，perl好像也有try catch~~但，粗粗翻了下资料，好像是python里边的（当然，这个好像是十分好像，）

    ##因为我觉得所有的计算机语言都是为了解决某一类问题的，先解决问题了，再去想解决~~因此没有深究。（哎！又啰嗦了）

    ##哦，资料地址如下：http://perldoc.perl.org/functions/eval.html  ，有志深入学习Perl的同学，可以把这个网站收藏了，基本（基本）相当于了MSDN。

    eval

    {

        #获取某个表的列，并构建 查询，插入，列总数，列类型

        ##输入参数如下：

        ###data[0]:表名，data[1]:对像ID

        ##返回参数描述如下：

        ###$select_columns：构建SELECT的时候，列字符串

        ###$insert_columns:构建insert的时候，列字符串。之所以要把这两分开，因为有些类型在select的时候，会用到列属性方法，例如geometry.STAsText()

        ###$column_count:列数，其实可以从@$column_types得到，但@$columns_types是后边加的，此参数也就没有去掉

        ###$sort_column:用来排序的字段，因为总结了一下，一般第一个字段都是标识字段，主键，因此，这里只取的第一个字段

        ###$columns_types:列的类型列表，一个数组。因为sql server里边的某些类型的值，在进mysql的时候，需要做处理，例如geometry

        #######另外再啰嗦一句，很少见有能同时返回多个值的东东（当然，可能是我把C#忘得差不多了）

        ($select_columns,$insert_columns,$column_count,$sort_column,$column_types)=get_columns($data[0],$data[1]);

        #查询结果。如果是导入失败，会返回False，否则为空

        ##传入参数？说明请参照上边的输出参数

        my $relt = export_data_in ($select_columns,$insert_columns,$column_count,$sort_column,$data[0],$column_types);

        if( $relt eq "False")

        {

            #记录所有未导入成功的表

            $false_Table = "$false_Table,$relt";

        }

    };

    ##如果捕获异常，记录下表名与错误。在本次数据迁移的过程中，有一种错误类型是捕获不到的“out of memory”，而这个异常又是本次数据库迁移中，遇到过最多的

    ##异常。因为表的列，很多都是nvarchar(max),其中有一张表最夸张有32列都是nvarchar(max)。最初遇到这个异常的时候，小弟历经磨难，找了很多方法，最后都不太

    ##凑效，于是，于是，我就有个邪恶的想法：找到现在内容最长的(max_length)，然后把nvarchar(max)类型改为nvarchar(max_length+300),反正我们数据库用了差不多3年，

    ##我相信再过30年，这类型长度也就最多不过这样，永远不可能4096KB~~~（说这到里，想起DBA总在对字段长度锱铢必较，是很有道理的）

    if($@)

    {

         $false_Table = "\n$false_Table,$relt       ERROR:".$@;

    }

}

if($false_Table)

{

    print "有下列表，数据未导入：$false_Table";

}



#插入数据的实体

sub export_data_in

{

    #构建SQL

    ($select_columns,$insert_columns,$columns_count,$sort_column,$table_name,$column_types) = @_;

    $rows_count=0;

    $dbh2=DBI->connect('dbi:ODBC:##隐去的MSSQL访问ODBC连接##','##隐去的MSSQL访问用户名##','##隐去的MSSQL访问密码##');

    my $sth_sc=$dbh2->prepare("select count(1) from $table_name");

    $sth_sc->execute();

    @data_count=$sth_sc->fetchrow_array();

    #测试语句，先不让其大于2000

    if(@data_count[0]>0)

    {

        @data_count[0]=20;

    }

    

    my $relt;

    if(@data_count[0]>2000)

    {

        $begin_cnt = 0;

        $end_cnt = 2000;

        while($begin_cnt <= @data_count[0])

        {

            ##先测试所有的表，加的测试SQL

            $sql_select="select top 10 $insert_columns  from $table_name";

            

            ##正式运行时SQL

#            $sql_select="select $insert_columns 

#            FROM 

#            (

#                SELECT $select_columns,ROW_NUMBER() OVER (ORDER BY $sort_column) AS RowNum

#                FROM $table_name

#            ) as t

#            where t.RowNum  BETWEEN $begin_cnt and $end_cnt";

            

            ##提示信息

            print "exporting data $table_name;total:@data_count[0];now:$begin_cnt \n";

            ##导数据，输入参数？请按上边的

            $relt = export_data($table_name,$sql_select,$insert_columns,$columns_count,$column_types);

            

            $begin_cnt = $begin_cnt + 2001;

            $end_cnt = $end_cnt + 2001;

            if($relt eq "False")

            {

                return $relt;

            }

        }

    }

    elsif(@data_count[0]>0)

    {

        ##测试SQL

        $sql_select = "select top 10 $select_columns from $table_name";

        ##正式SQL

#        $sql_select = "select $select_columns from $table_name";

        print "exporting data $table_name;total:@data_count[0];now:$begin_cnt \n";

        ##导数据，输入参数？同上

        $relt = export_data($table_name,$sql_select,$insert_columns,$columns_count,$column_types);

    }

    $relt;

}

#其实，这个才是真正导数据的方法

sub export_data

{

#    ($table_name,$sql_select,$insert_columns,$columns_count,@column_types)=($_[0],$_[1],$_[2],$_[3]);

    ($table_name,$sql_select,$insert_columns,$columns_count,$column_types)=@_;

    $dbh_mssql=DBI->connect('dbi:ODBC:##隐去的MSSQL访问ODBC连接##','##隐去的MSSQL访问用户名##','##隐去的MSSQL访问密码##');

    

    ##mysql连接信息

    ##mysql数据库

    my $db_name="##隐去的mysql导入数据库##";

    ##mysql数据库地址

    my $location="##隐去的mysql地址##";

    ##mysql数据库端口

    my $port="##隐去的MySQL数据库端口##";

    my $data_base = "DBI:mysql:$db_name:$location:$port";

    my $sth_select=$dbh_mssql->prepare($sql_select);

    $sth_select->execute();

    my $data_string = "";

    ##再次提示，fetchrow_arrayref()要快点~~~而且，不只快一点~~

    while(@select_data=$sth_select->fetchrow_array())

    {

        if($data_string ne '')

        {

            $data_string="$data_string ,";

        }

        my $data_col="";

        my $i=0;

        while($i<$columns_count)

        {

            if ($data_col ne "")

            {

                $data_col="$data_col ,";

            }

            #对geometry值的特殊处理，如果有其它类型需要特殊处理，请在else后加eleif....

            if(@$column_types[$i] eq "geometry")

            {

                $data_col="$data_col GeomFromText('@select_data[$i]',4326)"

            }

            else 

            {

                $data_col="$data_col '@select_data[$i]'";

            }

            $i=$i+1;

            

        }

        #构建插入的时候的值字符串

        $data_string="$data_string($data_col)\n";

    }

    

    if($data_string ne "")

    {

        #mySQL用户名

        my $db_user="##隐去的MYSQL用户名##";

        #mysql密码

        my $db_pass="##隐去的MYSQL密码##";

        my $dbh_mysql=DBI -> connect($data_base,$db_user,$db_pass);

        #插入的SQL语句

        my $insert_sql = "INSERT INTO $table_name($insert_columns)values $data_string ;";

        my $sth_mysql=$dbh_mysql->prepare($insert_sql);

        

        $sth_mysql->execute() or die "插入到MYSQL报错：$dbh_mysql->errstr; SQL语句如下：\n $insert_sql \n";

        $dbh_mysql->disconnect;

    }

    else

    {

        return "False";

    }

    

    #底下的东西，全是释放变量

    undef $sth_select;

    undef $data_base ;

    undef $dbh_mssql;

    undef $sth_mysql;

    undef $dbh_mysql;

    undef $data_string;

    undef @select_data;

}



#获得表的列

sub get_columns

{

    print "loading columns of $_[0] \n";

    $dbh2=DBI->connect('dbi:ODBC:##隐去的MSSQL访问ODBC连接##','##隐去的MSSQL访问用户名##','##隐去的MSSQL访问密码##');

    my $sql="select col.name,tp.name from sys.all_columns col

                    inner join sys.types tp on col.system_type_id=tp.system_type_id  and col.user_type_id=tp.user_type_id

                    where object_id=$_[1]";

    my $cols=$dbh2 -> prepare($sql);

    $cols->execute();

    my $cols_insert = "";

    my $cols_select = "";

    my $cols_count = 0;

    my $sort_column="";

    my @cols_types;

    while(@col= $cols->fetchrow_array())

    {

        ($col_name,$type_name)=@col;

        @cols_types[$cols_count]=$type_name;

        if($cols_count>0)

        {

            $cols_insert="$cols_insert ,";

            $cols_select="$cols_select ,";

        }

        else

        {

            $sort_column="[$col_name]";

        }

        #对某些类型的特殊处理：hierarchyid

        if($type_name eq "hierarchyid")

        {

            $cols_select = "$cols_select [$col_name].ToString() as $col_name";

            $cols_insert = "$cols_insert `$col_name`";

        }

        elsif($type_name eq "geometry")

        {

            $cols_select = "$cols_select [$col_name].STAsText() as $col_name";

            $cols_insert = "$cols_insert `$col_name`";

        }

        else

        {

            $cols_select="$cols_select [$col_name]";

            $cols_insert = "$cols_insert `$col_name`";

        }

        $cols_count++;

    }

    #perl函数的返回很有意思。。。

    ($cols_select,$cols_insert,$cols_count,$sort_column,\@cols_types)

}

代码上完，稍后有一个总结，谢谢大家听小弟啰嗦。。。。