Дубли лидов
без споров

Дедупликация нужна, чтобы одно и то же обращение не оплачивалось несколько раз из-за повторной отправки формы, сбоя интеграции или пересечения каналов. Но запись в CRM сама по себе ничего не доказывает: клиент мог обратиться повторно по другому продукту, вернуться через полгода или осознанно запросить новую консультацию.

Поэтому правило записывают формулой: идентификатор + окно + продукт + источник. Идентификатор отвечает на вопрос «тот ли это человек или компания», окно — «насколько близки события», продукт — «одна ли задача», источник — «как учитывать пересечение собственных и купленных каналов». Дубль подтверждается только в рамках согласованной комбинации.

Короткое окно защищает от технических повторов, но может пропустить обращения одного человека из соседних кампаний. Слишком длинное окно, наоборот, превращает прежний интерес в вечный запрет на новый лид. Ориентир выбирают по собственному циклу сделки, частоте повторной потребности и тому, сколько времени компания реально работает с заявкой.

Для теста можно зафиксировать, например, 30 календарных дней для одного продукта и одного нормализованного телефона. Это пример договорённости, а не рыночный стандарт. После первой когорты проверьте, сколько спорных случаев возникает у границы окна и есть ли в CRM доказательства продолжающейся работы с клиентом.

Запишите точку отсчёта: время создания формы, первое получение покупателем или момент принятия после валидации. Используйте единый часовой пояс и точное время события. Формулировка «дубль за месяц» без точки отсчёта оставляет две стороны с разными календарями.

Телефон приводят к единому формату: убирают пробелы и знаки, нормализуют код страны, отдельно обрабатывают добавочный номер. Email сравнивают без учёта регистра и лишних пробелов, но не исправляют домен догадкой. Для B2B полезен отдельный идентификатор организации, потому что два сотрудника одной компании могут быть разными лидами по условиям сделки.

Каждому событию назначают неизменяемый ID и сохраняют исходные поля рядом с нормализованными. ID защищает от повторной доставки одного события, а контактный ключ ищет обращения одного клиента. Это разные задачи: идемпотентность устраняет техническую копию, дедупликация применяет коммерческое правило.

Если часть ключевых данных отсутствует, результат проверки должен быть «недостаточно данных», а не автоматический отказ. Договоритесь, кто и за какой срок восстанавливает сведения, иначе технический пробел станет финансовым спором.

Правило получает номер версии и дату начала действия. Для конкретного лида сохраняется версия, действовавшая в момент передачи. Новая редакция не применяется задним числом к уже принятой партии.

Отдельно опишите пересечение каналов. Если покупатель уже получил контакт из собственной рекламы, считается ли внешний лид дублем? Ответ зависит от сделки. Важно не выбрать «правильный» вариант, а выбрать один вариант заранее и одинаково применять его к обеим сторонам.

1. ИдентификаторКакие поля сравниваются, как нормализуются и что делать при неполных данных.
2. ОкноПродолжительность, точка отсчёта, часовой пояс и правило для границы интервала.
3. ОбластьКакие продукты, регионы, бренды и источники считаются одной областью проверки.
4. ДоказательствоID событий, время, версия условий и минимальный набор обезличенных подтверждений.
5. Срок претензииКогда покупатель сообщает о дубле и когда продавец обязан дать решение.
6. КомпенсацияЗамена, возврат стоимости или мотивированный отказ; кто меняет статус в отчёте.

Шаг 1. Покупатель создаёт претензию и указывает ID спорного лида, причину и время обнаружения. Шаг 2. Система прикладывает обе записи: нормализованный идентификатор, время событий, продукт, источник и статусы.

Шаг 3. Проверяющий открывает версию правил, закреплённую за поставкой. Шаг 4. Сравнивает факты по всем условиям, а не только по номеру телефона. Шаг 5. Фиксирует замену, возврат или мотивированный отказ с кодом причины.

Если решение нельзя воспроизвести по журналу событий, процесс ещё не готов к масштабу. В споре не следует пересылать больше персональных данных, чем нужно для проверки: используйте идентификаторы, маскирование и доступ по ролям.

Представим правило: нормализованный телефон, один продукт, 30 календарных дней от времени создания и общий учёт всех платных источников. Повторная форма через два часа соответствует всем условиям и признаётся дублем. Обращение через шесть месяцев выходит за окно и не является дублем по этому правилу.

Теперь изменим только продукт. Клиент сначала запросил ипотечную консультацию, а позже — страхование. Если продукты заранее разделены, совпавший телефон не превращает второе обращение в дубль. Именно поэтому решение нельзя принимать по одному признаку.

Проверяйте идемпотентность на входе: повтор одного события с тем же ID не должен создавать вторую карточку. Затем применяйте коммерческую дедупликацию по версии правил. Сохраняйте результат и причину, чтобы повторная доставка не запускала проверку заново.

Не удаляйте отфильтрованные события бесследно. Безопасный журнал с ограниченным доступом нужен для аудита, анализа причин и настройки источников. Срок хранения и состав данных должны соответствовать вашему процессу и применимым требованиям к персональным данным.

Раз в отчётный период смотрите долю технических повторов, подтверждённых дублей, ошибочных претензий и случаев без данных. Рост технических повторов указывает на интеграцию, а всплеск совпадений одного источника — на его настройки или качество.

Если на любой вопрос стороны отвечают по-разному, сначала исправьте правило и тестовую передачу. Масштабирование не лечит неоднозначность — оно только умножает число одинаковых споров.

1. Определение записаноЕсть идентификатор, окно, продукт и правило источника.
2. Версия сохраненаК каждому лиду привязаны дата и версия условий.
3. Время единоСобытия используют один часовой пояс и определённую точку отсчёта.
4. Данные нормализованыТелефон и email сравниваются предсказуемо, исходные значения сохранены.
5. ID неизменяемТехнический повтор не создаёт новую карточку.
6. Сроки понятныЗаданы окно подачи претензии и срок ответа.
7. Доказательства минимальныДля решения хватает журнала без лишней передачи персональных данных.
8. Причины закрытыИспользуется справочник решений, а не свободный комментарий.
9. Компенсация определенаПонятно, когда применяется замена, возврат или отказ.
10. Отчёт улучшает потокПричины дублей разбираются по источникам и версиям.