Что сделано и что осталось до заливки

1. 1Разведка обеих сторон: платформа shopgallop — OpenCart, платформа поставщика — Magento, объём каталогов, инцидент безопасности shopgallop.
2. 2Подобран рабочий способ обхода Cloudflare поставщика, с повторами при отказах.
3. 3Скачаны и разобраны карты сайта поставщика целиком — 38 247 товаров.
4. 4Получен и разобран список из 213 категорий от заказчика, сверен с картами сайта поставщика: 205 нашлись сразу, ещё 6 не значились в картах, но оказались рабочими. Живых — 211 из 213, 2 не открылись.
5. 5Полный обход этих 213 категорий — 573 страницы, 18 495 позиций поставщика с ценой, полнота сбора проверена.
6. 6Получена и разобрана полная выгрузка каталога shopgallop — 17 814 товаров. Разобран формат: 28 полей на карточку — цена, опции, характеристики, картинки, meta-теги.
7. 7Найден и проверен ключ сопоставления карточек — имя файла картинки, 98% точность.
8. 8Найдены дубли в каталоге shopgallop: 2 753 группы, 3 033 повторяющиеся строки, план слияния готов — полные и 122 неполных, ждут проверки.
9. 9Каталог разложен на четыре группы работ: к переносу, на проверку, на сверку цены, дубли.
10. 10Прогон заполненности полей карточки: ни одна карточка не переведена на русский, название и описание — английский текст поставщика. Переведены только ключевые слова meta, почти у всех.
11. 11Найден бесплатный способ скачивать картинки — CDN поставщика напрямую, оригинальный размер, без Cloudflare.
12. 12Написаны пять рабочих скриптов: снятие и разбор страниц, обходчик категорий со сметой, отчёт по объёму, разбивка на группы, загрузчик картинок.
13. 13Группа 2 сверена со всем каталогом поставщика через карты сайта, локально, без обращений к серверу: из 3 645 подозрительных реально отсутствуют только 761.
14. 14Скачана полная галерея картинок для всех 7 419 новых товаров — 38 911 файлов, 0 провалов на полном объёме.
15. 15Обход карточек всех 7 419 новых товаров завершён — описание, характеристики и цена собраны у 100%. Опции (цвет/размер): недостающие 1 639 карточек дособраны живым браузером напрямую у поставщика — итоговое покрытие опций 77,4% (у оставшихся 22,6% опций реально нет — не проблема сбора).
16. 16Перевод совпадающего каталога (11 130 карточек) — завершён, 100%: собран проверенный глоссарий конной терминологии, настроен конвейер с автоматической проверкой качества, весь объём переведён и принят. Перевод новых карточек — 94,6% (7 079 из 7 481), остаток дособирается.
17. 17Заказчик не был уверен, что у совпадающего каталога (11 130 карточек) опции указаны верно, и настоял на полной пересборке живым браузером напрямую у поставщика, без доверия к уже сохранённым данным. Пересобрано 3 068 из 3 068 (100%) карточек с вариантами — остался последний шаг: внести пересобранные данные в рабочий файл каталога.
18. 18Аудит полноты опций по всему совпадающему каталогу (~11 174 товара): 70,9% имеют настоящие варианты (2+ значения — размер/цвет), 26,4% опций не имеют вовсе, ещё 2,8% — формальная заглушка с одним значением. Нехватка размазана по каталогу равномерно, не сконцентрирована в том, что и так уходит на скрытие.
19. 19Согласовано и применено: название товара не переводится на русский — остаётся оригиналом, если оно на английском, переводится на английский, если было на голландском (донор иногда путает язык на витрине). Правка внесена во все файлы перевода обоих групп — 551 название с голландскими словами переведено на английский, остальные ~18 000 вернулись к исходному английскому.
20. 20Фото для 7 481 нового товара (38 910 файлов, оригинальный размер) собраны и переданы программисту заказчика архивом. Перед передачей проверены на совпадение имён с уже занятыми на shopgallop — нашлось 54 случайных совпадения между разными товарами, эти файлы переименованы, чтобы не затереть чужие фото при заливке.
21. 21Перевод названий опций и их значений (цвет, размер и т.п.) применён к реальным данным — и для 13 320 уже существующих карточек, и для 7 481 новых, одним и тем же словарём, чтобы названия совпадали буква в букву и каталог не расщепился на разные группы для старых и новых товаров.
22. 22Программист прислал прямую выгрузку опций из базы сайта — обнаружено 33 случая, когда одна и та же опция задублирована на несколько разных id (например, «Цвет» существует тремя независимыми группами). Причина и таблицы для исправления переданы программисту, объединение дублей — на его стороне.
23. 23Все 38 910 фото новых товаров дополнительно размещены на сервере в России — программист не мог скачать архив с европейского хостинга. Для каждого товара собраны прямые ссылки на его фото.
24. 24Собран и передан программисту пробный файл создания новых карточек (20 позиций, только с однозначной ценой) — название, цена, категория, опции и фото в одном файле, готов к тестовому импорту.
25. 25Сверка цены по всему совпадающему каталогу (11 130 карточек) завершена. Разобраны отдельно: обычные товары — единая цена по максимальной опции, как и просил заказчик; 66 товаров с реально разным объёмом тары (мази, шампуни) — цена по факту количества, не наценка. Единственный неохваченный остаток — 38 карточек, у которых у поставщика вообще нет цены.
26. 26Собран и загружен на сайт итоговый файл по всему совпадающему каталогу (11 130 карточек): переведённые описания, названия, служебные meta-теги для поиска, актуальная цена и опции — всё одной посылкой. Работа подтверждена проверкой напрямую на живых страницах сайта.
27. 27При обновлении карточек обнаружилось: сайт сам меняет адрес страницы товара — старые ссылки, уже известные поисковикам, переставали открываться. Вместе с программистом адреса восстановлены по всем задетым карточкам, для будущих обновлений программист настроил сохранение адреса.
28. 28Собран словарь перевода названий опций и их значений (цвет, размер и другие характеристики выбора) по актуальному списку из базы сайта — переведено 154 из 155 названий и более 2 300 значений. Файл передан программисту, загружен на сайт, работа подтверждена на живых карточках.
29. 29761 подтверждённо отсутствующий у поставщика товар скрыт с витрины.
30. 30613 фотографий с большими белыми полями в собственном каталоге обработаны — поля обрезаны, у каждого фото индивидуально, без потери самого товара в кадре. Архив передан программисту на замену файлов на сайте.
31. 31Перевод новых карточек (7 481 товар) и их основная заливка на сайт — завершены.

Каждый товар сверен по двум спискам: каталогу поставщика и каталогу shopgallop. Результат сверки — четыре группы, у каждой своё действие.