Здравствуйте, есть свежий натянутый сайт на Opencart, на сайте планируется залить около 10-15 млн товаров, нужно для него написать парсер, который пока что бугдет спарсить с трех ресурсов, сперва сгделаем первый.
По итогу парсер должен забирать информацию с ресурсов и заливать в саму БД, или в CMS, т.е. не просто полулить файл с товарами, а именно с настройкой заливки + разные тонкости, потому чтолее гдеильно описано в ТЗ, икже парсер должен бугдет иметь возможность обновлять товары на сайте без вмешательства контент-менеджера.
На первом ресурсе около 9 млн товаров, часть полей можно выкачать за 4-5 часа из обещёй иблицы с товарами, но кроме одной характиристики, которая находится только в каждой отгдельной карточки, и тут самый важный момент что нужно сгделать многопоточный парсер с прокси, чтобы не выкаливать это все 3 месяца(ик выходит если качать один товар в секунду), а быстрее насколько реально.
При ответе, напишите какой у Вас опыт в этот сфере, спасипотому что.