API pagination создаёт дубли в n8n ¶

Обновлено: 2026-05-29

Дубли при API pagination появляются, когда workflow повторно забирает одну и ту же запись на соседних страницах или при повторном запуске. Это отдельная проблема от missing items: данные не теряются, а размножаются из-за неверного cursor/offset, нестабильной сортировки, inclusive boundary или отсутствия dedupe перед записью в downstream.

Когда открывать эту страницу ¶

• в CRM/таблице появляются одинаковые записи после batch import или scheduled sync
• одна и та же запись приходит на двух страницах API ответа
• повтор execution добавляет дубли вместо обновления существующих объектов
• нужно безопасно продолжать синхронизацию после частичного сбоя

Симптомы ¶

• количество items после pagination больше, чем уникальных provider IDs
• дубли чаще появляются на границе страниц: последний item page N равен первому item page N+1
• после rerun растёт число записей в downstream, хотя источник не изменился
• ошибка усиливается при offset pagination на активно изменяющемся источнике

Вероятные причины ¶

• используется inclusive boundary вроде `updated_at >= last_seen`, а dedupe не добавлен
• offset pagination идёт без stable sort по неизменному полю
• cursor сохраняется после записи, а не после успешной обработки всей страницы
• downstream делает insert вместо upsert по provider ID/external_id

Решение по шагам ¶

1. Выведите список provider IDs по каждой странице и найдите повтор на границах.
2. Зафиксируйте stable sort: например `updated_at asc, id asc`, если API поддерживает вторичный ключ.
3. Добавьте dedupe по provider ID до Merge/CRM/таблицы, а не после записи.
4. Для downstream используйте upsert/update by external_id вместо blind insert.
5. Храните checkpoint только после успешной обработки страницы и логируйте page/cursor/range.

Проверка после исправления ¶

• На тестовом диапазоне число unique provider IDs равно числу записей после dedupe.
• Повтор того же execution не добавляет новые downstream records.
• Логи показывают page/cursor/range и количество duplicates_skipped.
• На границе страниц нет повторного insert: запись обновляется или пропускается по external_id.

Профилактика ¶

• добавьте Error Trigger или отдельную error branch
• логируйте execution id, внешний id и краткую причину ошибки
• не отправляйте секреты в логи, Telegram, Slack или AI prompt
• для production настройте alert только на actionable события

Глубокая диагностика: что проверить до изменения workflow ¶

Для проблемы API pagination создаёт дубли в n8n сначала зафиксируйте факты, а не меняйте ноды наугад. Откройте failed execution, найдите первую ноду, где входные данные ещё корректны, а выход уже отличается от ожидаемого. Сравните не только текст ошибки, но и item count, полный JSON, headers, status code, binary data и время выполнения.

• Запишите слой сбоя: данные, авторизация, API, нода, очередь, база, reverse proxy или AI-слой.
• Соберите минимальный воспроизводимый пример на одном item и отдельно прогоните batch из 3–5 items.
• Проверьте, не маскирует ли retry исходную ошибку: в истории executions смотрите первый, а не последний сбой.
• Если задействован внешний сервис, данные и execution history, сравните реальный request/response из n8n с рабочим запросом вне n8n, скрыв секреты.
• После исправления сохраните пример плохого payload в тестовом workflow или в runbook, чтобы не терять контекст.

Решение без побочных эффектов ¶

Правка должна быть минимальной: исправляйте только тот слой, где доказана причина. Для API pagination создаёт дубли в n8n опасно одновременно менять credentials, mapping, retry и бизнес-логику: после этого сложно понять, что действительно помогло.

Контрольный список после исправления ¶

• один успешный и один проблемный пример проходят предсказуемо
• в execution видно, какие данные ушли дальше по цепочке
• ошибка больше не скрывается за общим сообщением вроде “workflow failed”
• alert отправляется владельцу workflow с ID execution и короткой причиной
• для внешних записей есть ключ идемпотентности: order_id, event_id, email+date или payload_hash

Связанные материалы ¶

• Решения проблем n8n
• Ошибки n8n
• Executions

Практический минимум перед закрытием задачи ¶

• откройте последнюю failed execution и сравните input/output проблемной ноды
• повторите сценарий на одном item с минимальным payload
• проверьте успешный, пустой и ошибочный вход
• после исправления запустите тот же event_id повторно и убедитесь, что нет дублей

Шаблон записи в runbook ¶

В комментарии к workflow полезно оставить короткую запись: симптом, корневая причина, изменённая нода, внешний id тестового события и критерий успешной проверки. Это превращает разовое исправление в reusable runbook для команды.

Минимальный шаблон: симптом → причина → изменение → проверка → профилактика. Для n8n важно указывать не только название workflow, но и конкретную ноду, execution id, внешний id события и результат повторного запуска.

Когда не стоит усложнять workflow ¶

Не добавляйте AI, очередь, отдельную базу или сложный Code node, если проблема решается явной валидацией поля, простым IF/Switch, правильным credential или корректным retry. Чем меньше скрытой магии, тем легче поддерживать workflow через месяц.

Диагностика по шагам: как не лечить симптом вслепую ¶

Проблему API pagination создаёт дубли в n8n лучше разбирать как incident, а не как случайную ошибку в одной ноде. Сначала соберите доказательства, затем меняйте настройки workflow.

Проверка за 7 минут ¶

1. Откройте последний failed execution и сравните его с последним successful execution того же workflow.
2. Зафиксируйте входной item: сколько items пришло, какие поля отсутствуют, есть ли binary data.
3. Проверьте credentials отдельно: токен, scopes, refresh, базовый URL, права пользователя.
4. Повторите запрос из HTTP Request через curl/Postman с теми же headers и body.
5. Посмотрите, не сработали ли rate limits, timeout, proxy, SSL или блокировка по IP.
6. Если ошибка плавающая, добавьте временный лог в безопасное хранилище: execution_id, event_id, status_code, краткое тело ответа.

Правильный порядок исправления ¶

После фикса ¶

• запустите старый failed payload повторно на тестовой копии workflow;
• проверьте, что ошибка не превратилась в silent failure;
• добавьте ссылку на эту страницу в error workflow или alert-сообщение;
• для повторяющихся инцидентов используйте workflow уведомлений об ошибках.