机器学习练手-Python玩“跳一跳” iOS+Win 硬件实现

皮皮哇

更新了基于OpenCV的算法，计算更准确。

还有Arduino实现，溜了溜了

——————————-

感谢来自 @神奇的战士 的跳跃距离算法

原项目地址：wangshub/wechat_jump_game

知乎专栏：教你用Python来玩微信跳一跳

1.3 再更： 悄咪咪地加上Arduino版

1.3 又更了： 竟然有1k赞还上了日报，一本满足。昨天研究了一晚上，加入了大家喜爱的OpenCV。现在计算准确率已经很好了，不会出现误差累积。感谢 @船D长 ：用Python+Opencv让电脑帮你玩微信跳一跳 给我的启发，大神的代码简洁优雅，非常受用。

1.2 更：谢谢大家的400赞，非常开心。想说一下，我是因为手边只有树莓派才用树莓派控制舵机的，它毕竟是一台200+的小型计算机，肯定是大材小用了。想要自己动手做一个的知友们可以不用急着买树莓派，给我一两天的时间。我的arduino已经到啦，正在测试！

本项目源码： yangyiLTS/wechat_jump_game_iOS

认真写的一个简介

现在已有的跳一跳辅助原理有以下这些：

外星力量派：

日天派：

• 直接抓取post请求包修改分数，服务器不对分数进行验证，想改多少改多少

平民方法：

基本步骤：1、获取游戏画面；2、图像分析计算跳跃距离；3、模拟触摸手机屏幕进行游戏。

其中针对不同平台也有不同的实现方案：

• Android平台：adb工具实现截图和触摸，PC或手机实现图像分析
• iOS平台+Mac：使用Mac的WDA工具，原理同adb工具。
• iOS但没有Mac：我的方法可能可以解决这个问题

先上效果：

基本思路是：

1. 使用iOS自带Airplay服务将游戏画面投影到电脑上。
2. 使用Pillow库截取电脑屏幕，获得游戏画面。
3. 使用OpenCV分析图片，计算出跳跃距离，乘以时间系数获得按压时间。
4. 将按压时间发送至树莓派/Arduino，树莓派/Arduino控制舵机点击手机屏幕。

运行环境&工具

• Python 3.6 in Windows
• Pillow、numpy 、pyfirmata
• opencv-python
• 局域网环境
• iToools Airplayer
• 树莓派 或 Arduino
• SG90 舵机
• 杜邦线、纸板
• 一小块海绵
• 橙子或其它多汁水果（可选）

原理&步骤

下载源码

• 下载wechat_autojump_iOS&Win_opencv.py到Windows。
• 如果使用树莓派，下载 servo_control.py到树莓派。
• 如果使用Arduino，下载servo_control_arduino.py到Windows，并且确保windows已经装好Arduino驱动和Arduino IDE。

舵机部分

• 拿一根杜邦线粘在舵机的摆臂上，并且用纸板固定舵机到合适高度，如图：

• 取一小块海绵，约10mm*10mm*5mm，不必太精确。海绵中间挖一个小洞。大概是这样：
• 海绵上滴水浸透，放在手机屏幕上“再来一次”的位置。杜邦线的另一头插进橙子。（触发电容屏需要在屏幕上形成一个电场，我尝试过连接干电池负极的方案，但是效果不理想，最后不得已拿了室友的一个橙子。当然，一直捏着或者含着导线也是可以的。）

如果使用树莓派

• 舵机连接上树莓派，电源使用5v（Pin #04，Pin #06），舵机控制线接在GPIO18(Pin #12)。

• 树莓派（OS：Raspbian Jessie）连接上局域网。
• 打开 servo_control.py，这里需要根据实际安装位置调整舵机高点和低点位置（范围： 2.5~12.5）

servo_down = 3.8
servo_up = 5 

最终效果

• 海绵放在“再来一次”的位置可以自动重新开始，然后就会一直自动刷分
• 在wechat_autojump_iOS&Win_opencv.py里

文档的开头需要注释掉这句，这是Arduino使用的

#from servo_control_arduino import arduino_servo_run

设置树莓派的ip地址

ip_addr = '192.168.199.181'

main()函数里面需要选择 send_time()

# #send_time() 为树莓派控制函数
 send_time(t)

 # #arduino_servo_run() 为arduino控制函数
 ##arduino_servo_run(t/1000)

• 最后树莓派上运行servo_control.py ，监听9999端口，等待Win的计算结果

如果使用Arduino

• Arduino请选择Arduino UNO或Arduino Mega，因为pyfrimata库不支持Arduino Nano。入门级的Arduino UNO成本在80RMB左右。
• Arduino需要烧入预置的StandardFirmata程序，在Arduino IDE的自带示例里面可以找到

• 在工具—端口可以看到当前Arduino连接的串行端口，记下来等下要用到。

• 安装pyfirmata，cmd运行

pip install pyfirmata

• 把舵机连接上Arduino，舵机有一个三线的接口。黑色（或棕色）的线是接地线，红线接+5V电压，黄线（或是白色或橙色）接控制信号端。舵机的电源线直接接在Arduino的+5V输出和GND上，控制信号端接在Digital 3输出口（程序设置是3号口，可以修改，但是必须是支持PWM输出的接口）

如果做完下面步骤，程序跑起来之后，发现舵机即使不动也会发出 “滋滋”的声音而且动作缓慢，是因为电脑USB口供电不足所致。这个时候需要对舵机使用外接5V电源，接上5V电源之后，还要把外接电源的地线（负极）跟Arduino的地线（板上的GND口）连在一起。

• 打开servo_control_arduino.py，这是Arduino的控制脚本

这里填入上一步看到的端口

# 修改串口编号 如果Arduino驱动正确，在Arduino IDE可以看到串口编号
serial_int = 'COM3'

这里根据Arduino的型号选择，不需要的那行注释或删掉

# 如果是Arduino UNO 使用这一行
board = pyfirmata.Arduino(serial_int)

# 如果是Arduino Mega 使用这一行  pyfirmata库暂不支持Nano
board = pyfirmata.ArduinoMega(serial_int)

然后调试一下舵机的最高点和最低点

# 设置舵机的高点和低点  单位：角度
# 范围 0-180°
servo_high = 45
servo_low = 37

舵机要根据实际的安装位置调试，运动幅度不宜太大，直接运行servo_control_arduino.py文件舵机会按设定位置来循环三次，如果舵机运动正常，则Arduino部分工作正常。

• 打开wechat_autojump_iOS&Win_opencv.py，也有一些地方需要配置

这行代码位于文件开头，确保没有被注释

from servo_control_arduino import arduino_servo_run

到文档的靠后的部分找到main()函数，其中

控制函数选择 arduino_servo_run()，需要把send_time(t)注释掉

# #send_time() 为树莓派控制函数
# send_time(t)

# #arduino_servo_run() 为arduino控制函数
arduino_servo_run(t/1000)

配置完成

Windows 部分

• 下载Airplayer（免安装，暂无捆绑）
• 配置Airplayer，画质什么的统统调到最高。启动iPhone上的Airplay，然后可以在电脑上看到iPhone画面，游戏运行时需要Airplayer全屏显示。

• 安装opencv-python、numpy

pip install numpy
pip install opencv-python

• 下载wechat_autojump_iOS&Win_opencv.py，我的显示器分辨率是1920*1080，手机是iPhone7。如果使用不同的设备需要注意更改时间系数等参数。
• 安装Pillow库，本文使用Pillow库的ImageGrab截屏，截屏代码：

im = ImageGrab.grab((654, 0, 1264, 1080)） 
im.save('a.png', 'png')

其中(654, 0, 1264, 1080)是截屏的范围，我的显示器分辨率是1080p，截取屏幕中间的部分得到的图片大小是610*1080，但这个时候图片最左边的一列的像素是黑色的。

• 全部完成后，运行wechat_autojump_iOS&Win_opencv.py

• 如果搭建完成后发现落点飘到天上去的情况，如图

是因为截图残留的黑边所致，这个黑边出现在截图的左边或者右边都会导致落点的计算偏差，打开screenshot_backups文件夹里面的图片会发现计算的轨迹像上图一样飘到整个图的上方。这时候的解决办法是：

找到pull_screenshot()函数：

# 使用PIL库截取Windows屏幕
def pull_screenshot():
    im = ImageGrab.grab((654, 0, 1264, 1080))
    im.save('a.png', 'png')

代码中(654, 0, 1264, 1080)，表示截图的坐标。其中654，1264为截图的左边界和右边界，需要修改这两个边界使截图的尺寸变小。

举个例子，我发现默认参数的情况下出来的截图左边有3个像素的黑边，右边有1个像素的黑边，这个时候截图函数需要改成：

# 使用PIL库截取Windows屏幕
def pull_screenshot():
    im = ImageGrab.grab((657, 0, 1263, 1080)) # 左边增加3个像素，右边减少一个
    im.save('a.png', 'png')

修改完截图函数之后还需要修改默认图片的宽高，位置是在# Magic Number下面：

# Magic Number，不设置可能无法正常执行，请根据具体截图从上到下按需设置
under_game_score_y = 170  # 截图中刚好低于分数显示区域的 Y 坐标
press_coefficient = 2.38 # 长按的时间系数，
piece_base_height_1_2 = 10  # 二分之一的棋子底座高度，可能要调节
# 图片的宽和高
w,h = 610,1080

继续上面的例子，这个时候图片的宽和高需要改成

# 图片的宽和高
w,h = 606,1080  

然后再次运行程序检查截图是否还有黑边。

OpenCV算法详解

• 本算法主要使用opencv和numpy两个库，首先要导入

import cv2
import numpy as np

• 使用OpenCV模板匹配，找到棋子

棋子是一个非常特殊的目标，用PS把它抠出来，保存为模板使用OpevCV的模板匹配函数，准确率几乎完美。

meth = eval('cv2.TM_CCORR_NORMED')
piece_template = cv2.imread('piece.png',0) # 棋子模板
# 模板匹配 获取棋子坐标
def find_piece(img):
    res = cv2.matchTemplate(img, piece_template, meth)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
    piece_x, piece_y = max_loc 
    # cv2.matchTemplate函数返回的是模板匹配最大值左上角的坐标
    # 下面修正为棋子底盘中点坐标
    piece_x = int(piece_x + piece_w / 2)
    piece_y = piece_y + piece_h - piece_base_height_1_2 
    return piece_x, piece_y

其中piece.png是棋子模板，长这样：

这个模板是必须的，但是它只适配610*1080的截图尺寸，如果分辨率跟我的有差异，需要另外扣一个模板，保存为png格式。如果对opencv没兴趣的话看到这里就可以跳过了。GitHub上还有其它目标的模板，但是不是一定要重新扣，原因下面讲。

• 对其它特殊目标尝试模板匹配

我最初的想是对有加分的特殊目标（徐记士多，魔方，下水道，播放器）使用模板匹配，通过函数返回值使主函数增加延时，让我们可以吃到特殊目标的加分。但是后来发现模板匹配的效果不理想，可能是选用的匹配算法问题？或是模板问题？稍后尝试修复。

现在wechat_autojump_iOS&Win_opencv.py文件里有一段代码是进行特殊目标模板匹配的，但是因为我把置信度阈值调得很高（低了又乱匹配），所以匹配成功率非常低。如果不成功，则采用下面的算法寻找目标。

• 对图片进行边缘检测

接下来继续寻找落点坐标，现在要把图像的边缘提取出来，游戏界面都是纯色，提取边缘非常容易：

代码是

img2 = cv2.GaussianBlur(img2, (3, 3), 0) # 先对图片高斯模糊
img_canny = cv2.Canny(img2, 1, 10) # 执行canny函数

输出的图像已经变成只有边缘的二值图像了

• 尝试模板匹配小圆点

提取边缘之后尝试对连击之后的小圆点进行模板匹配，但是效果一样不理想，大部分时候会跳过这一步。

• 找到目标落点

到了最后一步，就是找到棋子的落点，在代码中即board_,board_y。这个点有几个特点：

1. 落点方块（圆柱）的最高点是整个图的最高点，先定义为board_y_top，这里我们已经排除了分数部分，背景和有可能高过方块的棋子部分。
2. 落点平面的形状是对称的菱形或者椭圆形，确实有个别特殊的情况我们先不在意这些细节。然后这些形状在垂直方向是轴对称的，所以board_y_top一定在垂直的对称轴上。
3. 同时落点平面也是水平方向轴对称的，并且从上往下遍历的第一个宽度最大的点是水平对称轴的位置。随便搞个图

然后我的思路是先找board_y_top：

# 遍历起点为分数下沿
board_y_top = under_game_score_y

for i in img_canny[under_game_score_y:]:
    if max(i): # i是一整行像素的list，max(i)返回最大值，一旦最大值存在，则找到了board_y_top
            break
    board_y_top += 1

# board_y_top的像素可能有多个 对它们的坐标取平均值
board_x = int(np.mean(np.nonzero(img_canny[board_y_top]))) 

然后从board_y_top开始找图形的侧边缘，因为是对称图形只要找左右边缘之一就可以了。但是在两个落点非常近的时候，棋子会挡住其中一个边缘，造成影响。所以先根据棋子位置判断棋子在目标落点的左边还是右边，再选择与棋子不同的位置寻找侧边沿

x1 = board_x
    fail_count = 0
    if board_x > piece_x:
        for i in img_canny[board_y_top:board_y_top+80]:
            try:
                x = max(np.nonzero(i)[0])
            except:
                pass
            if x > x1:
                x1 = x
                board_y += 1
                if fail_count < 5 and fail_count != 0:
                    fail_count -= 1
            elif fail_count > 5 and board_y - board_y_bottom >10:
                result = 1
                board_y -= 3
                break
            elif fail_count > 5 and board_y - board_y_bottom <= 10:
                result = 0
                break

            else:
                fail_count += 1

    else:
        for i in img_canny[board_y_top:board_y_top+80]:
            try:
                x = min(np.nonzero(i)[0])
            except:
                pass
            if  x < x1:
                x1 = x
                board_y += 1
                if fail_count < 5 and fail_count != 0:
                    fail_count -= 1
            elif fail_count > 5 and board_y - board_y_bottom > 10:
                board_y -= 3
                result = 1
                break
            elif fail_count > 5 and board_y - board_y_bottom <= 10:
                result = 0
                break
            else:
                fail_count += 1

这段代码非常的不pythonic，得想办法优化，其中零零碎碎的整数是一些容差参数，因为在像素角度不是绝对的圆形和方形，在方型平面上的效果会比圆形平面好，但是总体效果都很不错。

• 最后，在上面那个算法抽风的情况下，采用原来的旧算法补救，可以说是十分之稳了

if result == 0:
        board_y = piece_y - abs(board_x - piece_x) * math.sqrt(3) / 3

问题&其它

• 采用新版算法后，计算上的误差已经很小，可以查看screenshot_backups/文件夹，看是否得到正确的计算结果。但是仍然无法一直连续击中中心，这是由于舵机的物理误差引起的，需要调节好时间系数，舵机的高点和低点。如果采用海绵+水的接触方案，注意接触面的高度会因为水的蒸发而改变。评论区也有锡纸接触的方案，就看你们喜欢拉。
• （1.3 已解决）由于是物理点击屏幕，会产生一定的操作误差。操作误差由时间常数误差、舵机运动时间、杜邦线触点插进海绵的深度等等因素引起。而当前使用的算法在一种情况下会出现误差叠加的问题。

如图：在绿色方块跳至灰色方块的过程中，出现操作误差。连续“Z形”路径中误差会逐渐累积。这个问题在落点方块较小时有一定的发生概率。我尝试过添加一些纠正算法，但效果不明显。这个误差会在Z形路径中断时（出现连续3个落点在一条直线上）自动修正。如果误差较大棋子即将掉落，可以终止程序，手动修改时间系数纠正。

• 舵机的摆动角度和时间系数没有绝对的数值，需要慢慢尝试，当前使用的时间系数是2.43。
• 可以使用arduino + pyfirmata组合控制舵机，成本比较低，已经可以用arduino啦~。
• 这个游戏在跳了200+次之后方块会变的非常小（如题图），已经不是普通人类所能做到的。研究了外挂之后才知道手玩高分有多难，大家还是不要刷分了，会没朋友的。

来自一只正在艰难地转CS的通信狗，并没有二维码。第一次发文章，有很多小问题，欢迎各路大佬指教，给大佬倒茶。

转载自：https://zhuanlan.zhihu.com/p/32526110