手机自动化测试——爬取朋友圈
一般抓取手机app都是通过Fiddler或者Charles进行抓包，然后解析响应数据，但是微信加密比较恶心，所以换一个思路，通过获取手机控件信息，进而得到微信朋友圈数据。常用的python库为appium，但是它安装太复杂了，所以如果不是苹果手机，就不要难为自己了。因此这里使用python-uiautomator2操控手机，只支持安卓手机，具体准备工作可以参考博文：手机自动化测试（准备篇）
首先，导入第三方库：
import uiautomator2 as u2
import time
后面要用到xpath，对xpath不了解的可以参考：Xpath教程进行学习，由于uiautomator2对于xpath支持还并不算完善，因此这里我又写了一个类以较好的支持xpath，相当于对uiautomator2的补充
from lxml import etree
from PIL import Image
class dxpath():
def __init__(self,d):
self.d = d
def dxpath(self,arg):
#通过xpath获得etree.module，可以继续使用xpath定位，适用于从某一区域继续检索
xml_content = self.d.dump_hierarchy()
root = etree.fromstring(xml_content.encode('utf-8'))
return root.xpath(arg)
def dxpath_text(self,t,arg,One=True):
#t为dxpath迭代的对象
#for t in dxpath('')
args = '{}/@text'.format(arg)
text= []
for txt in t.xpath(args):
text.append(str(txt))
if One : return text[0]
else : return text
def center(self,arg,t=None):
bounds = '{}/@bounds'.format(arg)
try :
if t is not None: coord = str(t.xpath(bounds)[0])
else : coord = str(self.dxpath(bounds)[0])
lx, ly, rx, ry = map(int,re.findall(r"\d+", coord))
return lx, ly, rx, ry
except : raise Exception("未找到控件")
def click(self,arg,timeout=10,at_once = False,set_x=0,set_y=0,
picture=False,picture_name='crop',t=None):
#char代表识别的字符串，timeout为响应时间,at_once为只判别一次,repetition代表重复点击次数
#,set_x代表x坐标调整,picture是保存图像,picture_name为保存图片名, #t为dxpath迭代的对象
deadline = time.time() + timeout
while time.time() < deadline:
try :
lx, ly, rx, ry = self.center(arg,t)
x ,y =(lx + rx) // 2, (ly + ry) // 2
x=set_x+x ; y=set_y+y
self.d.click(x,y)
if picture:
catIm = Image.open('screenshot.jpg')
croppedIm = catIm.crop((lx+set_x, ly+set_y,
lx+set_x+rx, ly+set_y+ry))
croppedIm.save('%s.jpg'%picture_name)
return x,y
except :
if at_once : raise Exception("未找到控件")
else :time.sleep(0.1)
raise Exception("未找到控件")
构造储存数据的类
class Item(object):
name = None #更：网名
comment = None #更：数据内容
date =None #朋友圈日期
进行预备工作，将爬取的信息存入以下列表
data_value=set() #纪录已填入数据
items=[] #数据汇总
准备工作结束，下面正式开始连接手机，并打印相关信息
d = u2.connect_usb('c00c166c')
print(d.info)
实例自己的类
mi = dxpath(d)
启动微信，具体可以通过d.info查看当前进程
sess = d.session("com.tencent.mm") # start
启动微信后，需要进行控件定位，通过Appetizer进行查看，这个在准备篇里有讲。
从图中可以发现，其text=“发现”，所以根据文本进行定位，但是直接点击“发现”按钮并没有反应，通过测试，需要点击发现上面的图标才可以，因此这里用到xpath
通过xpath定位发现控件，再选取他的兄弟标签，并进行点击
mi.click('//*[@text="发现"]/preceding-sibling::node')
继续通过Appetizer进行查看，点击朋友圈控件，并等待信息载入
mi.click('//*[@text="朋友圈"]')
d(resourceId="com.tencent.mm:id/en0").exists()
time.sleep(2)
思路是首先获取每个信息的整体控件，再进行遍历，以防止网名和内容的匹配错误，获得一页信息后，再进行滑动，获取下一页信息，直到满足给定的条件。
通过resource-id进行定位，继续查看网名，内容，以及时间控件信息。
while len(data_value)<10: #这里只爬取10个信息
for t in mi.dxpath('//*[@resource-id="com.tencent.mm:id/emw"]'):
try:
comment = mi.dxpath_text(t,'.//*[@resource-id="com.tencent.mm:id/en0"]')
name = mi.dxpath_text(t,'.//*[@resource-id="com.tencent.mm:id/b6e"]')
date = mi.dxpath_text(t,'.//*[@resource-id="com.tencent.mm:id/ehz"]')
if comment not in data_value and not mi.dxpath_exist(t,'.//*[@resource-id="com.tencent.mm:id/egc"]'):#不能是广告
print("抓取到{}朋友圈数据：\n{}\n时间为：{}".format
(name,comment,date))
item = Item()
item.name = name
item.comment = comment
item.date = date
items.append(item)
data_value.add(comment)
print('*'*25+str(len(data_value)))
except:pass
# 滑动
d.swipe(300, 800, 300, 300, 0.1)
下面给出完整代码：
import uiautomator2 as u2
import time
from lxml import etree
from PIL import Image
class dxpath():
def __init__(self,d):
self.d = d
def dxpath(self,arg):
#通过xpath获得etree.module，可以继续使用xpath定位，适用于从某一区域继续检索
xml_content = self.d.dump_hierarchy()
root = etree.fromstring(xml_content.encode('utf-8'))
return root.xpath(arg)
def dxpath_text(self,t,arg,One=True):
#t为dxpath迭代的对象
#for t in dxpath('')
args = '{}/@text'.format(arg)
text= []
for txt in t.xpath(args):
text.append(str(txt))
if One : return text[0]
else : return text
def center(self,arg,t=None):
bounds = '{}/@bounds'.format(arg)
try :
if t is not None: coord = str(t.xpath(bounds)[0])
else : coord = str(self.dxpath(bounds)[0])
lx, ly, rx, ry = map(int,re.findall(r"\d+", coord))
return lx, ly, rx, ry
except : raise Exception("未找到控件")
def click(self,arg,timeout=10,at_once = False,set_x=0,set_y=0,
picture=False,picture_name='crop',t=None):
#char代表识别的字符串，timeout为响应时间,at_once为只判别一次,repetition代表重复点击次数
#,set_x代表x坐标调整,picture是保存图像,picture_name为保存图片名, #t为dxpath迭代的对象
deadline = time.time() + timeout
while time.time() < deadline:
try :
lx, ly, rx, ry = self.center(arg,t)
x ,y =(lx + rx) // 2, (ly + ry) // 2
x=set_x+x ; y=set_y+y
self.d.click(x,y)
if picture:
catIm = Image.open('screenshot.jpg')
croppedIm = catIm.crop((lx+set_x, ly+set_y,
lx+set_x+rx, ly+set_y+ry))
croppedIm.save('%s.jpg'%picture_name)
return x,y
except :
if at_once : raise Exception("未找到控件")
else :time.sleep(0.1)
raise Exception("未找到控件")
class Item(object):
name = None #更：网名
comment = None #更：数据内容
date =None #朋友圈日期
data_value=set() #纪录已填入数据
items=[] #数据汇总
#正式开始
d = u2.connect_usb('c00c166c')
print(d.info)
mi=dxpath(d)
sess = d.session("com.tencent.mm") # start
mi.click('//*[@text="发现"]/preceding-sibling::node')
mi.click('//*[@text="朋友圈"]')
d(resourceId="com.tencent.mm:id/en0").exists()
time.sleep(2)
while len(data_value)<10:
for t in mi.dxpath('//*[@resource-id="com.tencent.mm:id/emw"]'):
try:
comment = mi.dxpath_text(t,'.//*[@resource-id="com.tencent.mm:id/en0"]')
name = mi.dxpath_text(t,'.//*[@resource-id="com.tencent.mm:id/b6e"]')
date = mi.dxpath_text(t,'.//*[@resource-id="com.tencent.mm:id/ehz"]')
if comment not in data_value and not mi.dxpath_exist(t,'.//*[@resource-id="com.tencent.mm:id/egc"]'):#不能是广告
print("抓取到{}朋友圈数据：\n{}\n时间为：{}".format
(name,comment,date))
item = Item()
item.name = name
item.comment = comment
item.date = date
items.append(item)
data_value.add(comment)
print('*'*25+str(len(data_value)))
except:pass
# 滑动
d.swipe(300, 800, 300, 300, 0.1)