Собственный поисковый движок на PHP: пошаговое руководство

Дополнительные примеры и расширенные техники

Ниже приведены детальные фрагменты для разных этапов разработки поискового движка.

1. Полнотекстовый поиск с булевыми операторами (MySQL)

Запрос, требующий обязательно слово "кот" и исключающий слово "собака":

$search = '+кот -собака';
$query = "SELECT * FROM articles WHERE MATCH(title, content) AGAINST('$search' IN BOOLEAN MODE)";
$result = $mysqli->query($query);
while ($row = $result->fetch_assoc()) {
    echo $row['title'] . "<br>";
}

Результат: выводятся только те статьи, где есть "кот" и нет "собака".

2. Создание инвертированного индекса с сохранением позиций (продвинутая версия)

class AdvancedSearchEngine {
    private array $index = [];  // word => [docId => [positions]]
    private array $documents = [];

    public function addDocument(int $id, string $content): void {
        $this->documents[$id] = $content;
        $words = mb_strtolower($content);
        $words = preg_split('/\s+/u', $words, -1, PREG_SPLIT_NO_EMPTY);
        foreach ($words as $position => $word) {
            $this->index[$word][$id][] = $position;
        }
    }

    public function phraseSearch(string $phrase): array {
        $phraseWords = preg_split('/\s+/u', mb_strtolower($phrase), -1, PREG_SPLIT_NO_EMPTY);
        if (count($phraseWords) === 0) return [];
        $firstWord = array_shift($phraseWords);
        $candidates = $this->index[$firstWord] ?? [];
        $resultDocs = [];
        foreach ($candidates as $docId => $positions) {
            if (count($positions) === 0) continue;
            // Для каждого вхождения первого слова проверяем последовательность
            foreach ($positions as $pos) {
                $found = true;
                $nextPos = $pos + 1;
                foreach ($phraseWords as $word) {
                    if (!isset($this->index[$word][$docId]) ||
                        !in_array($nextPos, $this->index[$word][$docId])) {
                        $found = false;
                        break;
                    }
                    $nextPos++;
                }
                if ($found) {
                    $resultDocs[$docId] = ($resultDocs[$docId] ?? 0) + 1;
                }
            }
        }
        arsort($resultDocs);
        return $resultDocs;
    }
}

Использование:

$engine = new AdvancedSearchEngine();
$engine->addDocument(1, 'черный кот белый пес');
$engine->addDocument(2, 'кот и пес белый');
$result = $engine->phraseSearch('кот белый');
// $result: [2 => 1, ...] (только документ 2 содержит последовательность 'кот белый', т.к. в док 1 между ними 'пес')

3. Интеграция с Elasticsearch через официальный PHP-клиент

Установка библиотеки: composer require elasticsearch/elasticsearch

require 'vendor/autoload.php';
use Elastic\Elasticsearch\ClientBuilder;

$client = ClientBuilder::create()->setHosts(['localhost:9200'])->build();

$params = [
    'index' => 'articles',
    'body'  => [
        'query' => [
            'multi_match' => [
                'query'  => 'искомый текст',
                'fields' => ['title^3', 'content'] // title весомее
            ]
        ]
    ]
];
$response = $client->search($params);
$hits = $response['hits']['hits'];
foreach ($hits as $hit) {
    echo $hit['_source']['title'] . ' (score: ' . $hit['_score'] . ')<br>';
}

4. Использование Sphinx с различными режимами соответствия

Для нечёткого поиска включается SPH_MATCH_EXTENDED2, поддерживающий операторы ~ (похожесть) и ^ (обязательное начало).

$cl->SetMatchMode(SPH_MATCH_EXTENDED2);
$cl->SetWeights([10, 1]); // title вес 10, content вес 1
$result = $cl->Query('@title кот @content (пес | собака)');
// Ищет документы, где title содержит 'кот', а content - 'пес' или 'собака'

5. Обработка русской морфологии с помощью библиотеки php-stemmer

Установка: composer require wamania/php-stemmer

require 'vendor/autoload.php';
use Wamania\Snowball\StemmerFactory;

$stemmer = StemmerFactory::create('russian');
echo $stemmer->stem('бегали'); // 'бега'
echo $stemmer->stem('бежали'); // 'беж' (неточность, но приближение)

Использование в самодельном движке для приведения слов к основе перед индексацией и поиском.

6. Решение проблемы stop-слов в MySQL

Чтобы игнорировать список стоп-слов при полнотекстовом поиске, можно изменить переменную ft_stopword_file в конфигурации MySQL или использовать IN BOOLEAN MODE, где стоп-слова игнорируются не всегда. Альтернативно создать свой список и исключать слова из запроса программно.

$stopwords = ['и', 'в', 'на', 'с', 'по'];
$searchWords = preg_split('/\s+/u', mb_strtolower($search));
$filtered = array_filter($searchWords, function($word) use ($stopwords) {
    return !in_array($word, $stopwords);
});
$search = implode(' ', $filtered);
// Затем формируем запрос с этим отфильтрованным текстом

Результат: уменьшается количество нулевых результатов из-за коротких предлогов.

7. Кэширование результатов поиска

Для частых запросов полезно кэшировать идентификаторы найденных документов.

$cacheKey = 'search_' . md5($search);
$cachedIds = $cache->get($cacheKey);
if ($cachedIds === null) {
    // выполнить поиск, получить $ids
    $cache->set($cacheKey, $ids, 3600);
} else {
    $ids = $cachedIds;
}
// загрузить данные по $ids из БД