数据库性能优化

    最近项目曝出了性能问题,这两天一直忙于此。先是大量测试找出具体现象的出现规律,然后据此分析问题大概出在哪里,最后寻求解决办法。


    背景简介:

    1、产品是DVB相关的,问题是出在android平台(基本是在android2.3、硬件配置相对来说比较低的一些手机上)的DVB player上;

    2、空中DVB的EPG数据会定时(间隔时间很短,10s以内)发送一次,而且当前频点(一个频点会有多个节目,每个节目有七天的数据)的EPG数据会很集中地发送过来。

    3、切换频道后(可能还在上一次播放频点上,也可能不在同一频点上),第一批过来的EPG数据,底层库会如实丢给player(后续再收到相同的EPG数据会被底层直接丢弃);

    4、player收到数据后会判断相关数据库表中是否存在该数据,如果不存在则插入,否则丢弃;

    5、视频render用的是opengl。


    一开始怀疑是render消耗了太多资源(测试结果显示,在有些android2.3设备上,opengl的性能还是比较低的)。后来测试中发现每换一次频道,大概过7、8s就会看到信号弱的提示,非常有规律。这个信号弱是player超过2s没有收到视频数据而发出的。通过log来看,每次出现信号弱的时候都有大量的EPG数据发送过来。把处理EPG存储的相关代码注释掉发现就没有这个现象了;把EPG存储打开,关闭render,在配置低的手机上有时候也能看到,但不是很明显。到这里基本就能知道是数据库操作影响了整体性能。同时在同一频点换频道时,虽然EPG数据本地都有了,但是还是会出现信号弱,这说明写数据库之前的操作是问题所在。


    优化前EPG存储的做法:

    1、每次insert都是单独的一次提交;

    2、每次insert之前先select(用四个字段判断数据是否重复)一下,看看表中是否已存在此条数据(测试结果也证实这样做的效率是极低的)。


    优化后EPG存储的做法:

    1、将判断重复用的四个字段做unique约束(数据库内部会根据这四个unique建立一个索引,然后根据索引来判断数据是否重复),然后用INSERT OR IGNORE替换之前的INSERT(去掉select动作);

    2、INSERT语句只编译一次,后续插入操作只需修改绑定参数即可(调用SQLiteDatabase对象的compileStatement方法编译sql语句);

    3、引用事务操作(多条INSERT做一次提交);

    4、延迟处理。建立一个epg缓存队列,收到数据解析后存放到队列里,然后另外开一个Timer每隔5s从队列中最多取100条数据写入数据库,timer每次执行的所有INSERT都作为一个事务处理。由于换频道后收到重复数据的概率比较大,所以换频道之前先停掉Timer,然后清空epg缓存队列,换频道结束后再开启Timer。



    在做完前三件事情之后,测试发现情况大有改变,但在某些码率比较大的节目里还是能看到信号弱的提示,所以就有了第四条优化策略。这里也说明了,频繁地往存储设备(android数据库最终还是在SD卡上)上读写大量数据是很低效的。做了第四项改进后,bug彻底解决了。


你可能感兴趣的:(数据库性能优化)