Парсинг базы яхтсменов IYT Worldwide
Задача клиента
Собрать около 50 000 профилей яхтсменов с международного портала IYT Worldwide. Выделить из полученного массива пользователей из России и структурированно перенести их данные в новую целевую базу.
Исходная проблема
Ручная сборка и проверка десятков тысяч карточек с динамической версткой и таблицами сертификатов затребовала бы сотни часов. Платформа не предоставляла готового API для экспорта.
Что было сделано
- Разработан многопоточный парсер для обхода и сбора страниц профилей IYT.
- Реализована эмуляция пользовательских сессий и обработка ошибок доступа.
- Настроен модуль извлечения полей (ID, Name, Nationality, DOB, фото, реестр сертификатов).
- Написан скрипт очистки данных и фильтрации целевой аудитории по росcийскому гражданству/региону.
- Сформирована схема базы данных и реализован автоматический импорт готовых записей.
Структура сайта
Технологии и сроки
Стек
- Python
- BeautifulSoup
- Playwright
- Pandas
- PostgreSQL
Срок реализации
20 дней
Результат
Обработано 50 000+ записей без потерь и блокировок.
Сформирована чистая база данных российских пользователей с полной историей сертификации.
Процесс сбора и переноса автоматизирован со 100% точностью.
Хочу похожий проект
Расскажите о задаче - отвечу в течение часа с конкретным предложением.
-
ФИО
Костиков Михаил Юрьевич
-
Статус
Индивидуальный предприниматель
-
ОГРНИП
123456789012345
- В чате Telegram @mihail_kostikov_work
- Позвоните мне +7 977 464-70-87
- Напишите письмо dev@kostikovmu.ru
Пн — Пт · 9:00 — 17:00 (МСК)
Или можно встретиться в Москве лично.