BC开篇-抛砖引玉，爬取图片式价格

Basic Coder 寄语

很高兴Basic coder终于和大家见面了，相信关注的同学一定会有各种疑问，这是个什么样的公众号，它的主要内容是什么，关注它能获得什么。正如Basic coder字面上意义一样，它是一个关于基础编程的公众号，旨在分享任何具体编程问题的解决方案，在这里你看不到高深莫测，高度抽象的大牛演讲稿，也不会看到漫天飞舞，层出不穷的高大上名词，但这里有最实际的，经过检验的解决方案，也许不是最好的，但一定会越来越好，它们最终的目的是让每个想要编程，喜欢创造的人更快更好的完成自己的目标。个人一直认为国内编程门槛居高不下，本身就是有问题的，应该有人去做点什么让全民编程的时代尽快到来，届时软件设计更多的是高层次的逻辑功能组合，是一门更需要灵感，创意的工程设计学科，而不是一门抓乱头发，把大部分时间花在易错，繁琐的下层细节实现上的高门槛专业。举个例子可能更加能说明问题，我很想为自己或者以后的孩子设计一款智能语音机器人，运用上自己设计的很多交互逻辑，从而可以作为小孩子从小的玩具伴侣，或者放在办公桌上解闷，亦可以放在车上当车载小助手。从一个传统程序设计者的角度出发，想要完成这个系统，需要一个嵌入式计算机以及对应的开发软件（市面上也有这样的套件），然后是学习和运用开源语音识别算法等。可以想象整个过程加上踩坑，又是一个漫长的过程。在互联网信息时代，分享其实是件非常容易的事，相信只要有人去做，愿意分享（这也是开源的意义之一），越来越多的人就会从中受益，并且创造出更多好玩好用的东西。可能大家可能会联想到开源软件，Basic Coder和开源软件都是通过分享来实现自身价值，而Basic Coder的内容范围更广，小到几行代码，大到一个软件，只要能帮助他人节约研究和学习成本的问题解决方案，都是Basic Coder所肯定的。BC永远欢迎并且十分渴求您的来稿。

介绍：电商图片式价格

其实本篇为15年3月写的文章，CSDN原文链接，作为开篇之作，实在有点寒碜，主要目的在于抛砖引玉。电商，曾一度成为了互联网行业的代名词，而众多电商之间的竞争也都一直存在，从而引发了另外一个需求：能够快速的获取竞争对手相同商品（竞品）的价格，从而可以实时的调整自己的价格，在同行业竞争中变得尤为关键。携程旅行网是国内最大的在线旅游提供商，其部分酒店的价格为了防止竞争对手爬取，采用了图片形式。 其他电商平台也曾纷纷效仿。然而仔细分析，图片式价格实质也是自欺欺人罢了。我们以携程网为例，讨论如何高效破解其图片式价格。

注: 目前携程多数页面酒店似乎已经不再使用图片式价格。

相关工作：携程图片价格识别分析

先上一张图，看看这个价格是怎么来的。

图(1)

可以看到，这个数字5，是由p_h57_7这个CSS样式定义的。而这个样式里定义了一个背景图片，注意这个地方后面跟了一个数字！ 也就是 -1346。 然后，再看看这个图片是怎样的一张图。打开链接就可以获得，如图(2)所示。

图(2)

真实的图片比这个要长，我截取了一段。这时候你可能联想到了，上面的1346这个数字可能就是代表了这张图片横向第1346个像素所代表的数字。确实如此。不过这个位置的像素都是白色，真正的数字从往后两个像素开始，也就是1348这个项目开始。这个像素处的数字正是5。

解决方案

获得了价格所在图片以及知道了具体价格数字所在位置，下面只需要通过简单的图像处理就可以获得这些数字！ 图像处理听起来很高大上，其实咱们这里用到的图像处理非常普通和简单。虽然背景图像是会经常动态更新的，但这些数字都是一样的格式。比如3这个数字，同一个尺寸的背景图中的3都是一样的。可能大家有个担心就是万一价格弄成验证码那样，怎么办？其实不用担心，因为这是价格，很少有人能接受验证码那样扭曲的价格的，所以价格有它自身的特殊性。价格爬取往往是爬虫的一部分，对于互联网海量的数据，爬虫的目标也要求快，准，狠！快字当先。所以我们要用尽可能快的处理算法来识别每一个数字。反而这里如果使用传统复杂的图像识算法来做这件事，那爬完所有数据所用的时间将非常恐怖。
像前面所说，这些字符一共就12个，分别是： . , 0 1 2 3 4 5 6 7 8 9。放大数字3和4，如图3所示:

图(3)

看他们的第一竖列，是不同的。所以可以根据第一竖列来区分3和4。其他的数字也都一样。
为了加快速度，我们要先对图片做2值化处理，即只要这个像素不是白色，就全部设置为1，是白色就设置为0. 在代码中，我们使用了boolean数组来存储2值化结果。然后从第一竖列开始，形成一颗决策树。比如，若某两个字符的第一竖列一样，那么就继续判断第二竖列，以此类推，只要两个字符不一样，肯定会有不一样的竖列。这样可以尽早发现数字。
以下是识别算法部分代码：

/** 获取图片像素的二值化二维数组——纵向优先， 为true就是该点为白色，为false该点为黑色 
     * @param img 
     * @return 
     */  
    public static boolean [][] get2ValuePixesHeightFirst(BufferedImage img)  
    {  
        int width= img.getWidth();  
        int height= img.getHeight();  
        boolean [][] result = new boolean[width][height];  
        for(int i=0;i

完整代码见文末链接

结论

识别速度和效果，如图4所示：

图4

根据统计，处理整个一张图片需要8ms（以后所有相同的图片不需要重复处理（可以放在缓存中间件中））。下次读取，只需要0ms，几乎不花时间。

完成代码Github地址

参考文献：
无。

稿子说明:BC希望您的来稿内容分为5个部分:

1. 介绍: 文章所解决问题的描述，相关概念介绍，解决方案的大致思想。
2. 相关工作: 所解决问题的详细描述，如果存在已知的解决方案，不妨列举列举，以及相关知识的描述。
3. 解决方案: 详细解决方案。有代码的列出部分主要代码。
4. 结果分析: 取得结果的效果分析和效率分析。有需要可以加入与其他方案的对比。
5. 相关资料，参考文献等。如果有完整代码可以给出代码所在地址。