Удаление явных/неявных дублей

Явные дубликаты — это полностью одинаковые строки или строки, которые совпадают после базовой очистки: удаления лишних пробелов, приведения регистра и нормализации символов.

Неявные дубликаты — это похожие строки, которые отличаются оформлением: пунктуацией, регистром, написанием SEO/СЕО, буквой ё, лишними пробелами или порядком слов. Например, запросы “купить диван недорого” и “недорого купить диван” можно считать дублями при включенной опции порядка слов.

Инструмент сохраняет первую найденную строку из группы дублей. Это удобно для списков ключевых слов, где исходная формулировка часто важнее автоматически нормализованной версии.

Базовая обработка выполняется в браузере. В умном режиме строки отправляются на сервер для лемматизации. При включенной ИИ-проверке оставшийся список передается модели для смыслового сравнения.

Умный режим бесплатно сравнивает словоформы, порядок слов и служебные слова. ИИ-проверка стоит 1 кредит и дополнительно ищет смысловые дубли: например, «SEO-анализ сайта» и «SEO-аудит сайта».

Для сравнения инструмент создает нормализованную версию каждой строки: убирает лишние пробелы, при необходимости приводит текст к нижнему регистру, заменяет «ё» на «е», приводит «сео» к «seo» и удаляет пунктуацию.

В результат при этом попадает исходная строка, а не техническая нормализованная версия. Поэтому список остается читаемым и сохраняет первую формулировку.

Эту опцию удобно включать для семантики и списков фраз, где порядок слов не меняет смысл: «купить диван недорого» и «недорого купить диван».

Не включайте её для списков, где порядок важен: названия товаров, адреса, фразы с разной логикой или строки, где перестановка слов меняет смысл.

В этом блоке отображаются строки, которые были удалены как повторы, и строка-оригинал, с которой они совпали после выбранных правил сравнения.

Базовые совпадения, результаты серверной лемматизации и смысловые дубликаты от ИИ выводятся отдельно. Это позволяет понять, на каком этапе была удалена каждая фраза, и проверить результат.

При копировании из таблиц, рекламных кабинетов и документов в списке часто появляются пустые строки. Опция удаляет их из результата, чтобы итоговый список можно было сразу копировать дальше.

Если нужно сохранить структуру исходного файла с пустыми разделителями, опцию можно выключить.

Инструмент полезен для чистки ключевых слов, поисковых запросов, списков URL, товарных названий, городов, минус-слов, заголовков и любых строковых выгрузок.

Для SEO особенно полезны режимы игнорирования регистра, пунктуации, «ё/е» и порядка слов.