python 图像识别游戏_基于Python的浏览器图像识别

我想实现一个软件在21点计算卡，使用一些图像识别自动化的过程。但我不知道从哪里开始。

我认为问题可以分为以下几个步骤：

1-在游戏中从浏览器中获取图像(基本上是一个Adobe Flash游戏)

2-处理图像，用一些图像识别，可以识别所有的卡片。在

3-使用Hi-Lo策略更新计数器

4-在屏幕上显示结果

如何使用python实现这一点？有什么图书馆可以帮助我？对我来说这是一个全新的领域。我会根据你的建议来实施这个问题。在

编辑1：

Selenium Webdriver效果不错，到目前为止，我已经用这种代码的和平获得了主页的截图，但我不能进入游戏，因为我没有钱玩lol:from selenium import webdriver

browser = webdriver.Chrome()

browser.get('https://www.888casino.it/giochi-da-casino/')

browser.save_screenshot('screenie.png')

browser.quit()

但基本上，我需要用钩住浏览器的东西代替browser.get()，而不是打开一个新页面的东西。

然后我需要实现一个for循环，它在我玩游戏的时候每秒截图，然后我可以开始处理这些图像。在

编辑2：

我将尝试使用TensorFlow API进行图像处理，但我没有找到任何识别卡片的训练模型。所以我必须创建一个全新的模型，我发现这个tutorial可以帮助我训练自己的对象识别模型。请，如果你知道一个现有的培训模式，链接。在

编辑3：

使用Tensorflow，我可以创建自己的对象识别模型，现在我需要在python脚本中使用该模型。现在我使用了这个示例脚本，它打开一个图像并在卡片周围绘制矩形。在

^{pr2}$

现在我需要创建自己的脚本来识别这些卡片，并且对于每一张卡片更新一个必须显示在屏幕上的计数器。这是最棘手的部分，因为我不知道从哪里开始。我在这一步有几个问题，首先脚本必须能够区分离开牌堆的牌和新牌，这样就不会在每次截图时把柜台弄乱。其次，计数器应该更新为-1表示高位牌(10-ace)，+1表示低位牌(2-6)，0表示中性牌(7-8-9)，并且必须在屏幕上可见。在

编辑4：

我已经建立了软件的第一个版本，但是有一些问题，计数器没有正确更新。代码如下：import pyscreenshot as ImageGrab

from win32api import GetSystemMetrics

import os

import cv2

import numpy as np

import tensorflow as tf

import sys

import warnings

import h5py

def UpdateCounter(labels, c):

for i in labels:

if labels['ace'] > 0:

c = c - 1

if labels['king'] > 0:

c = c - 1

if labels['queen'] > 0:

c = c - 1

if labels['jack'] > 0:

c = c - 1

if labels['ten'] > 0:

c = c - 1

if labels['six'] > 0:

c = c + 1

if labels['five'] > 0:

c = c + 1

if labels['four'] > 0:

c = c + 1

if labels['three'] > 0:

c = c + 1

if labels['two'] > 0:

c = c + 1

return c

if __name__ == '__main__':

sys.path.append("..")

from utils import label_map_util

from utils import visualization_utils as vis_util

MODEL_NAME = 'inference_graph'

IMAGE_NAME = 'test1.jpg'

CWD_PATH = os.getcwd()

PATH_TO_CKPT = os.path.join(CWD_PATH,MODEL_NAME,'frozen_inference_graph.pb')

PATH_TO_LABELS = os.path.join(CWD_PATH,'training','labelmap.pbtxt')

PATH_TO_IMAGE = os.path.join(CWD_PATH,IMAGE_NAME)

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'

NUM_CLASSES = 13

label_map = label_map_util.load_labelmap(PATH_TO_LABELS)

categories = label_map_util.convert_label_map_to_categories(label_map, max_num_classes=NUM_CLASSES, use_display_name=True)

category_index = label_map_util.create_category_index(categories)

detection_graph = tf.Graph()

with detection_graph.as_default():

od_graph_def = tf.GraphDef()

with tf.gfile.GFile(PATH_TO_CKPT, 'rb') as fid:

serialized_graph = fid.read()

od_graph_def.ParseFromString(serialized_graph)

tf.import_graph_def(od_graph_def, name='')

sess = tf.Session(graph=detection_graph)

image_tensor = detection_graph.get_tensor_by_name('image_tensor:0')

detection_boxes = detection_graph.get_tensor_by_name('detection_boxes:0')

detection_scores = detection_graph.get_tensor_by_name('detection_scores:0')

detection_classes = detection_graph.get_tensor_by_name('detection_classes:0')

num_detections = detection_graph.get_tensor_by_name('num_detections:0')

c = 0

while True:

labels = {"ace" : 0, "king": 0, "queen": 0, "jack": 0, "ten": 0, "nine": 0, "eight": 0,"seven": 0, "six": 0, "five": 0, "four":0, "three": 0, "two": 0}

with warnings.catch_warnings():

warnings.filterwarnings("ignore",category=FutureWarning)

screenshot=ImageGrab.grab(bbox=(42,42, GetSystemMetrics(0),GetSystemMetrics(1)))

screenshot.save(IMAGE_NAME)

image = cv2.imread(PATH_TO_IMAGE)

image_expanded = np.expand_dims(image, axis=0)

(boxes, scores, classes, num) = sess.run(

[detection_boxes, detection_scores, detection_classes, num_detections],

feed_dict={image_tensor: image_expanded})

data = [category_index.get(value) for index,value in enumerate(classes[0]) if scores[0,index] > 0.9]

for ch in data:

if ch['name'] == "ace":

labels["ace"] += 1

elif ch['name'] == "king":

labels["king"] += 1

elif ch['name'] == "queen":

labels["queen"] += 1

elif ch['name'] == "jack":

labels["jack"] += 1

elif ch['name'] == "ten":

labels["ten"] += 1

elif ch['name'] == "nine":

labels["nine"] += 1

elif ch['name'] == "eight":

labels["eight"] += 1

elif ch['name'] == "seven":

labels["seven"] += 1

elif ch['name'] == "six":

labels["six"] += 1

elif ch['name'] == "five":

labels["five"] += 1

elif ch['name'] == "four":

labels["four"] += 1

elif ch['name'] == "three":

labels["three"] += 1

elif ch['name'] == "two":

labels["two"] += 1

print(UpdateCounter(labels, c))

请问我怎样才能修好这个？我需要显示计数器只有当新卡被识别，我还需要修复程序得到的坏匹配。在