Способы поиска изображения и текста на экране с применением Python

Расширенные примеры и нестандартные сценарии

Поиск изображения с предварительным масштабированием шаблона

Когда интерфейс отображается в другом масштабе (например, 125% в Windows), шаблон может не совпадать. Решение: применить несколько масштабов шаблона и выбрать наилучший.

import cv2
import numpy as np
import pyautogui

def find_template_multiscale(template_path, scale_range=(0.8, 1.2), step=0.1):
    screenshot = pyautogui.screenshot()
    screenshot = cv2.cvtColor(np.array(screenshot), cv2.COLOR_RGB2GRAY)
    template_orig = cv2.imread(template_path, 0)
    best_val = 0
    best_loc = None
    best_scale = None
    for scale in np.arange(scale_range[0], scale_range[1], step):
        w = int(template_orig.shape[1] * scale)
        h = int(template_orig.shape[0] * scale)
        if w == 0 or h == 0:
            continue
        resized = cv2.resize(template_orig, (w, h), interpolation=cv2.INTER_AREA)
        result = cv2.matchTemplate(screenshot, resized, cv2.TM_CCOEFF_NORMED)
        _, max_val, _, max_loc = cv2.minMaxLoc(result)
        if max_val > best_val:
            best_val = max_val
            best_loc = max_loc
            best_scale = scale
    return best_loc, best_val, best_scale

loc, val, scale = find_template_multiscale('template.png')
print(f"Лучшее совпадение: {val:.2f} при масштабе {scale:.2f}, координаты {loc}")

Результат:

Лучшее совпадение: 0.93 при масштабе 1.00, координаты (200, 150)

Распознавание текста с предварительной обработкой (бинаризация и удаление шума)

Для сложных фонов или неконтрастного текста улучшить качество OCR можно с помощью OpenCV.

import cv2
import pytesseract
import numpy as np
from PIL import ImageGrab

# Скриншот области
bbox = (100, 100, 800, 600)
im = ImageGrab.grab(bbox)
im_np = np.array(im)
gray = cv2.cvtColor(im_np, cv2.COLOR_RGB2GRAY)
# Бинаризация OTSU
_, thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)
# Удаление шума (морфологическое закрытие)
kernel = np.ones((2,2), np.uint8)
cleaned = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel)

# OCR
custom_config = r'--oem 3 --psm 6'
text = pytesseract.image_to_string(cleaned, lang='rus+eng', config=custom_config)
print(text)

Результат:

Распознанный текст без лишних артефактов.

Поиск текста с получением координат для клика

Комбинирование OCR и pyautogui для автоматического нажатия на найденную текстовую строку.

import pytesseract
from PIL import ImageGrab
import pyautogui
import re

# Скриншот всего экрана
screen = ImageGrab.grab()
# Распознавание с данными о позициях
data = pytesseract.image_to_data(screen, lang='rus', output_type=pytesseract.Output.DICT)

# Ищем строку, содержащую "Сохранить"
n_boxes = len(data['text'])
for i in range(n_boxes):
    if 'Сохранить' in data['text'][i]:
        x = data['left'][i]
        y = data['top'][i]
        w = data['width'][i]
        h = data['height'][i]
        # Кликаем в центр найденного прямоугольника
        pyautogui.click(x + w//2, y + h//2)
        break

Пояснение: image_to_data возвращает подробную информацию о каждом слове. Координаты могут быть использованы для любого действия.

Мониторинг изменений на экране с помощью сравнения скриншотов

Обнаружение изменений (например, появление уведомления) можно реализовать через разность изображений.

import numpy as np
import pyautogui
import cv2
import time

prev = pyautogui.screenshot()
prev = cv2.cvtColor(np.array(prev), cv2.COLOR_RGB2GRAY)

while True:
    time.sleep(1)
    curr = pyautogui.screenshot()
    curr = cv2.cvtColor(np.array(curr), cv2.COLOR_RGB2GRAY)
    diff = cv2.absdiff(prev, curr)
    # Сумма изменений
    change = np.sum(diff) / 255
    if change > 5000:  # Порог чувствительности
        print("Изменение обнаружено!")
        # Далее можно искать конкретный шаблон или текст
        break
    prev = curr

Результат: Программа ждет изменения на экране и сообщает о нем.

Использование MSS для быстрых скриншотов в связке с OpenCV

MSS (Multiple Screen Shot) делает скриншоты быстрее, чем PIL.ImageGrab. Полезно для приложений реального времени.

import mss
import cv2
import numpy as np

with mss.mss() as sct:
    # Захват монитора 1
    monitor = sct.monitors[1]
    screenshot = sct.grab(monitor)
    img = np.array(screenshot)
    img = cv2.cvtColor(img, cv2.COLOR_BGRA2BGR)

    # Далее поиск шаблона
    template = cv2.imread('template.png', 0)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    result = cv2.matchTemplate(gray, template, cv2.TM_CCOEFF_NORMED)
    # ... обработка

Преимущество: MSS работает быстрее традиционных методов, особенно при частых скриншотах.