批量数据迁移
前言:
公司面临着重构，数据大概在400万左右。新旧系统的数据库设计表 全变了，表与表之间的关联关系也变了，有些甚至需要请求第三方接口来获得数据。
依赖：
- php7
- laravel 5.5+
- redis
迁移逻辑：
旧数据库-->新数据库-->第三方平台(如淘宝等)
试验过程花的时间
- 第一次，从旧数据库迁移到新数据库，400多万数据，花了9小时
- 第二次，从旧数据库迁移到新数据库，400多万数据，花了80分钟
- 第三次，从旧数据库迁移到新数据库，400多万数据，花了20多分钟
从旧数据迁移-->新数据库 优化方案过程
- 第一次, 用laravel的console命令 编辑了一个文件，利用chunk特性如：
//每次只获取1000条，并且插入到新数据库，如果1000改为更大，那可能造成memory_limit的问题
class MigrateGoodSpecCommand extends Command
{
/**
* The name and signature of the console command.
*
* @var string 脚本命令
*/
protected $signature = 'migrate:good_spec';
public function handle(){
DB::connect('old_旧数据库')->from('good_spec')->chunk(1000, function($data){
//查找旧数据的分类，品牌，仓库，库存，bc，cc税则等其他关联表的相关数据
//组织好数据$insertData，直接数据库插入
GoodSpecModel::insert($insertData);
});
}
}
- 第二次，进行读写分离，先把读取到的数据 放到redis队列中，然后在写入到数据库
class MigrateGoodSpecCommand extends Command
{
/**
* The name and signature of the console command.
*
* @var string 脚本命令
*/
protected $signature = 'migrate:good_spec';
public function handle(){
DB::connect('old_旧数据库')->from('good_spec')->chunk(1000, function($data){
//查找旧数据的分类，品牌，仓库，库存，bc，cc税则等其他关联表的相关数据
//组织好数据$insertData，放到 MigrateGoodSpecDataJob 队列任务中
MigrateGoodSpecDataJob::dispatch($insertData)->onConnection('redis')->onQueue('migrate');
});
}
}
//实现ShouldQueue接口，可进行队列任务
class MigrateGoodSpecDataJob implements ShouldQueue
{
use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;
use LogTrait;
protected $insertData;
/**
* Create a new job instance.
*
* @return void
*/
public function __construct($insertData)
{
$this->insertData = $insertData;
}
/**
* Execute the job.
*
* @return void
*/
public function handle()
{
GoodSpecModel::insert($data);
}
}- 第三次，编辑可选数据范围命令，类似分页，可执行多个命令插入
class MigrateGoodSpecCommand extends Command
{
/**
* The name and signature of the console command.
*
* @var string 脚本命令
*/
protected $signature = 'migrate:good_spec {limit}';
public function handle(){
$arr = $this->getBetweenId();
if (empty($arr['min']) || empty($arr['max']))
{
$this->log('数据超过范围:'.json_encode($arr));
}
DB::connect('old_旧数据库')->from('good_spec')
->where('Id', '>=', $arr['min'])
->where('Id', '<', $arr['max'])
->chunk(1000, function($data){
//查找旧数据的分类，品牌，仓库，库存，bc，cc税则等其他关联表的相关数据
//组织好数据$insertData，放到 MigrateGoodSpecDataJob 队列任务中
MigrateGoodSpecDataJob::dispatch($insertData)->onConnection('redis')->onQueue('migrate');
});
}
public function getBetweenId()
{
//maxId=0,5000000
$str = $this->argument('limit');
$arr = explode(',', $str);
if (count($arr) !== 2){ throw \Exception('limit参数错误:'.$str); }
$maxLimit = (int)$arr[0]+(int)$arr[1];
$minId = DB::connect('old_旧数据库')->from('good_spec')->orderBy('Id', 'asc')->offset((int)$arr[0])->limit(1)->value('Id');
$maxId = DB::connect('old_旧数据库')->from('good_spec')->orderBy('Id', 'asc')->offset($maxLimit)->limit(1)->value('Id');
if(empty($maxId))
{
$maxId = GoodsModel::orderBy('Id', 'desc')->where('Id', '>', $minId)->value('Id');
$maxId = $maxId +1;
}
return [
'min' => $minId,
'max' => $maxId
];
}
}
- 第一次试验
只能执行一次命令: php artisan migrate:good_spec
思考：
这个命令，只能 读取完，然再写数据，单个线程实在太慢了，因此构想：我们可以边读边写，两者互相解耦，提高迁移速度
- 第二次试验
只能执行一次读取命令: php artisan migrate:good_spec
可以执行多个写入命令类似多线程，开多个终端执行: php artisan queue:work redis –queue=migrate
思考：
在 边读取边写的时候，发现 当 写入200万数据时，读取的速度大大降低。
因此应该是 先读取完数据放到队列，再执行写入，则提高迁移速度。
由于读取命令只能执行一次，为了提高速度，更改了 数据范围性命令，可利用伪多线程原理同时读取数据。
也就是 可以同时读取不同的数据，写入不同的读取完的数据，因此有第三次试验
- 第三次试验 可以执行多次读取命令
在这里 每一个命令，都会执行50万条读取, 400万数据分为以下命令
php artisan migrating:good_specifications_ext 0,500000
php artisan migrating:good_specifications_ext 500000,500000
php artisan migrating:good_specifications_ext 1000000,500000
php artisan migrating:good_specifications_ext 1500000,500000
php artisan migrating:good_specifications_ext 2000000,500000
php artisan migrating:good_specifications_ext 2500000,500000
php artisan migrating:good_specifications_ext 3000000,500000
php artisan migrating:good_specifications_ext 3500000,500000
php artisan migrating:good_specifications_ext 4000000,500000
还可以执行多个 写入数据库命令, 开多个终端执行: php artisan queue:work redis –queue=migrate
思考：
觉得每一个命令读取50万条，还能在优化，利用多线程原理。您还有其他更优方案吗？欢迎在评论区。
由于依赖redis，虽然400万数据 花了2-3g内存，但是成本还是挺高。