Нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей

Описание

Решение расширяет базовый функционал стандартного модуля «Поиск» от Битрикс, позволяя эффективно обрабатывать синонимичные значения, опечатки и ошибки в поисковым запросе. Высокая эффективность модуля обеспечивается комбинированной работой различных алгоритмов поиска по сходству (fuzzy string search) и компьютерной лингвистики.

нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Модуль включает в себя следующие функциональные блоки

нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Расширение выборки. Из исходного запроса строится множество «ошибочных» слов, для каждого из которых затем производится точный поиск в словаре.
нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Поиск по сходству.
нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Поиск по словарю синонимов.
нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Обработка поисковых запросов пользователей. Анализируется поисковая статистика, обрабатываются те запросы, для которых не нашлось ни одного совпадения.
нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Установка и настройка модуля проста и не требует специальных знаний. Одновременно с этим, модуль предоставляет систему настроек, рассчитанную на самых взыскательных пользователей. Все настройки модуля подробно объяснены и задокументированы.
нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей В комплекте с модулем поставляются компоненты catalog.search, search.title и search.page, которые, работая в «нечетком» режиме, повторяют функционал и шаблоны одноименных стандартных компонентов.

Преимущества модуля

нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Комбинация различных алгоритмов нечеткого поиска
нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Анализ статистики поисковых запросов
нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Совместимость со Sphinx
нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Гибкая система настроек
нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Возможность ограничения зоны действия модуля
нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Совместимость как с UTF-8, так и с Windows-1251
нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Словарь 80 000+ синонимов
нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Подробная документация
Установка и настройка модуля

нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Установите решение
нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Выберите опции модуля на вкладке Настройки продукта > Настройки модулей > Нечеткий поиск
нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Запустите переиндексацию
нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Если используется режим поиска по сходству, замените компоненты bitrix:catalog.search, bitrix:search.title и bitrix:search.page на одноименные компоненты модуля
Требования к ПО

нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Php >= 5.6.0
нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей Mysql >= 5.6

В требованиях указана протестированная конфигурация.

Если хостинг не удовлетворяет указанным требованиям, то напишите в нашу техническую поддержку, мы проверим совместимость модуля конкретно с Вашим ПО.



Расширение поисковой выборки

Исходный поисковый индекс Bitrix искусственно расширяется: строится множество «ошибочных» слов, а также слов-синонимов (опционально). Таким образом, если пользователь введет поисковый запрос с ошибкой, который ранее попал в расширенный индекс, ему будет автоматически возвращена релевантная выдача. Данный режим не требует изменений стандартных компонентов.

Ниже рассмотрен пример работы модуля с индексируемым словом «платье».

нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей


Поиск по сходству

При ошибочном поисковом запросе проиндексированные данные последовательно сравниваются с запрашиваемой строкой, ищутся максимально похожие на основании расстояния Левенштейна.

Доступно сравнение на основании стемминга (морфологический основ) и metaphone (фонетического звучания).

Для работы в режиме поиска по сходству, модуль использует как стандартный индекс Bitrix, так и собственные таблицы индексации.

Данный режим требует замены стандартных компонентов bitrix:catalog.search, bitrix:search.title и bitrix:search.page на одноименные компоненты модуля.

нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей


Обработка поисковых запросов пользователей

При включенной опции «Собирать статистику по поисковым фразам» модуля «Поиск» будет производиться автоматический сбор информации по поисковым запросам пользователей. Ознакомиться с собранной статистикой можно на вкладке Настройки > Поиск > Статистика > Список фраз. Модуль «Нечеткий поиск» расширяет данный функционал, выбирая из статистики те запросы, для которых не нашлось ни одного совпадения. Фразы запросов разбиваются на отдельные слова, для слов находятся морфологические основы. При индексации данных на сайте выделенные морфологические основы будут сравниваться с основами индексируемых слов, близкие основы будут добавлены в индекс.

Пример работы

Пользователь ввел поисковый запрос с опечаткой «фцтболка». Для данного запроса на сайте не было найдено совпадений, запрос попал специальную таблицу модуля «Нечеткий поиск». На сайте есть проиндексированное слово «футболка». Поскольку основа слова «футболка» близка к основе слова «фцтболка», происходит расширение поискового индекса.

Теперь при запросе «фцтболка» пользователю будет возвращены данные, соответствующие поисковому индексу для «футболка».

нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей

Особенности

  • Функционал включается/отключается опцией «Добавлять к индексу поисковые фразы» модуля «Нечеткий поиск» на вкладке Общие настройки.

  • Функционал будет работать только при включенной опции «Собирать статистику по поисковым фразам» модуля «Поиск».

  • Функционал работает как в режиме I «Расширение выборки», так и в режиме II «Поиск по сходству».

  • Описанное выше сравнение морфологических основ подчиняется общим правилам сравнения, задаваемым в настройках модуля «Нечеткий поиск» на вкладке Общие настройки.

  • Ознакомиться с обработанными поисковыми фразами мы можете на вкладке Настройки > Нечеткий поиск > Обработанные поисковые фразы.

  • У пользователя есть возможность деактивировать часть обработанных фраз на вкладке Настройки > Нечеткий поиск > Обработанные поисковые фразы. Деактивированные данные не будут учитываться при индексации.


Словарь синонимов

Модуль «Нечеткий поиск» предоставляет удобный функционал для поиска по синонимам. Синонимы добавляются к поисковому индексу в случае, если морфологическая основа какого-либо слова из индекса совпадает с основой слова из таблицы синонимов.

Вместе с модулем поставляется обширный словарь синонимов, который пользователь может добавлять самостоятельно. Список синонимов смотрите в разделе Настройки > Нечеткий поиск > Словарь синонимов.

Пример работы

Допустим, что в поисковый индекс попало слово «футболки», при этом в словаре активна запись для слова «футболка» с синонимами «рубашка, майка».

Морфологические основы слов «футболки» и «футболка» совпали, поэтому слова «рубашка» и «майка» расширят поисковую выдачу для «футболки».

Особенности

  • Функционал синонимов включается и отключается опцией «Добавлять к индексу синонимы» в настройках модуля «Нечеткий поиск» на вкладке Общие настройки.

  • У каждой записи словаря синонимов есть флаг активности. Деактивированные синонимы не будут участвовать в поиске.

  • Пользователь может настроить использование только своих собственных синонимов, исключив словарь, поставляемый вместе с модулем. Для этого необходимо включить опцию «Использовать словарь синонимов пользователя» и отключить «Использовать словарь синонимов по умолчанию» в настройках модуля «Нечеткий поиск» на вкладке Общие настройки. Обратным действием можно исключить словарь собственных синонимов.


Часто задаваемые вопросы

Обрабатывает ли модуль ошибки раскладки клавиатуры?

Да, обрабатывает.

Данный функционал есть в стандартных компонентах bitrix (параметр «Включить автоопределение раскладки клавиатуры»), и он сохранен в компонентах модуля.

Это позволяет, например, обработать ситуацию, когда пользователь ввел в строку поиска «gkfnmt» вместо «платье».

Кроме того, в настройках модуля доступен режим сравнения по фонетическому сходству, что позволяет корректно обработать созвучные запросы разных языков, например «platie» вместо «платье».

нечеткий поиск: умный поиск с учетом синонимов и обработкой ошибок пользователей

Нет отзывов в данный момент

Оставить отзыв

Ваш email не будет опубликован Обязательные поля отмечены *