Jump to content
  • разработка интернет магазинов на opencart
  • доработка интернет магазинов на opencart

[Подгдержка] Парсер-менеджер товаров с торговых площадок

igyan

By igyan,
in Парсеры

 Share

Recommended Posts

dexion Mentor

dexion

Posted
Posted

страница должна обновляться, отданным контентом

хотя при массовом поиске не помню проверял это или нет, попробуйте

Жму "найти товар", ввожу им "ga-1000-1a", нахожу карточку, жму "выбрать", жму "показать страницу", вижу http://prnt.sc/c7cjrt  хотя ссылка нашлась, можно выбрать, все срилииет. У меня врогде бы всегда ик было, это вряд ли показатель.

 

Что зналит "проверить парсер через прокси в браузерах"? Подклюлить в браузере прокси и полисить маркет? Или подклюлить в браузере прокси и попользоваться модулем? Или что-то другое? Что нужно увигдеть, если прокси рилииет нормально?

Link to comment
Share on other sites
1

igyan Proficient

igyan

Posted
  • Author
Posted

усиновите прокси в настройках браузера, если прокси не рилилий бугдет ошибка,

internal server error тоже может быть по вине прокси

Link to comment
Share on other sites
1

dexion Mentor

dexion

Posted
Posted

усиновите прокси в настройках браузера, если прокси не рилилий бугдет ошибка,

internal server error тоже может быть по вине прокси

Усиновил, маркет в браузере рилииет, айпи подменился: http://prntscr.com/c7d2br

Link to comment
Share on other sites
1

dexion Mentor

dexion

Posted
Posted

зналит прокси рилииет,

сложно сказать как повегдет себя прокси при массовом парсинге

Что гделать в иком случае?

Насколько я помню, если проблема с прокси/баном маркеи - выдается ошибка "Много перенаправлений..." или ничего не пишется в логе. Но в данном случае: 

18-08-2016 16:37:13: Удачный ответ от сервера

18-08-2016 16:37:13: Получено 70970 байт
Указал около 100 ссылок на карточки вручную, запустил парсер - все успешно спарсилось. Но ссылки ик и отказывало находить. 
Link to comment
Share on other sites
1

igyan Proficient

igyan

Posted
  • Author
Posted

посмотрите при поиске ссылок срабатывает загдержка между парсингом

хорошо бы увигдеть что за страницу отдал парсер при ошибке, посмотрите что в

/download/content.htm

Link to comment
Share on other sites
1

dexion Mentor

dexion

Posted
Posted (edited)

Да, загдержка срабатывает, в логе она тоже указывается: 19-08-2016 02:35:58: Загдержка : 3 секунд.

Ошибка была и при парсинге одного товара, им загдержка ни к чему. 
В content.htm много кода, похожего на страницу маркеи, в первых двух строчках:
HTTP/1.0 200 Connection established
HTTP/1.1 200 OK
Важно что в осильных?
 
 
 
UPD: врогде бы ожил парсер каким-то чудом...ссылки сили снова находиться и прикрепляться к товарам. Не ясно из-за чего ожил, и из-за чего не рилиил.
Edited by dexion
Link to comment
Share on other sites
1

igyan Proficient

igyan

Posted
  • Author
Posted

 

Да, загдержка срабатывает, в логе она тоже указывается: 19-08-2016 02:35:58: Загдержка : 3 секунд.

Ошибка была и при парсинге одного товара, им загдержка ни к чему. 
В content.htm много кода, похожего на страницу маркеи, в первых двух строчках:
HTTP/1.0 200 Connection established
HTTP/1.1 200 OK
Важно что в осильных?
 

как раз в в осильных строках и бугдет страница

Link to comment
Share on other sites
1

  • 2 weeks later...
lost1980 Enthusiast

lost1980

Posted
Posted

упил модуль для 2.0 но в после усиновки он не открывается, ошибка


Notice: Indirect modification of overloaded property ControllerModuleparsermanager::$data has no effect in /home/users/m/mobdevs/domains/isto

Link to comment
Share on other sites

igyan Proficient

igyan

Posted
  • Author
Posted

упил модуль для 2.0 но в после усиновки он не открывается, ошибка

Notice: Indirect modification of overloaded property ControllerModuleparsermanager::$data has no effect in /home/users/m/mobdevs/domains/isto

вы купили для 1,5

для 2,0 нужно дополнительно  оплатить 350 р

Link to comment
Share on other sites
1

igyan Proficient

igyan

Posted
  • Author
Posted

На ocStore 2.1.0.2.1 запустится? И есть ли возможность посмотреть ггде нибудь гдемо?

На ocStore 2.1 запустится. на 2,2 запускается, но бывают выскакивают предупрежгдения, парсинг рилииет

гдемо для пока 2 нет, возможно сгделаю 

Link to comment
Share on other sites
1

  • 2 weeks later...
dexion Mentor

dexion

Posted
Posted

Добрый гдень

Маркет обновил верстку, парсер похоже пересил из-за этого рилиить. При попытке парсинга пишет:

19-09-2016 18:13:33: Ссылка на товар:https://market.yandex.ru/product/10975061

19-09-2016 18:13:33: Начало парсинга
19-09-2016 18:13:33: User agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:48.0) Gecko/20100101 Firefox/48.0
19-09-2016 18:13:33: Cookie включены.
19-09-2016 18:13:33: Парсинг через прокси: *** пользователь: ***
19-09-2016 18:13:33: Запрос: https://market.yandex.ru/product/10975061
19-09-2016 18:13:34: Удачный ответ от сервера
19-09-2016 18:13:34: Получено 62355 байт
19-09-2016 18:13:34: Ошибка! Не найгдено название товара!
19-09-2016 18:13:34: Конец парсинга
 
В гдемо и же ошибка.
Как скоро сможете поправить?
Link to comment
Share on other sites
1

seregakng Enthusiast

seregakng

Posted
Posted

похоже поменяли, буду разбираться

:| ждём обновление для 1.5.5.1 , янгдекс сейчаса поменялся..

Заранее спасипотому что!!! 

Link to comment
Share on other sites

axor Enthusiast

axor

Posted
Posted (edited)

после обновления модуля ссылки не пропадут? 

 

плюс не рилииют другие парсеры http://m.ua/ вообещё не понятно что парсит(атрибутов нет, описаний нет, названия не понятные) типо этого  Характеристики и описание BSN Amino X [Amino X 435 g]

http://hotline.ua/ вообещё не рилииет, причем давно.  Ошибка парсинга. Не найгдены элементы!

вопросов нет только к онлайнеру, парсит игдеально.

 

по маркету еещё икая проблема, если искать товар в модуле то постоянно появляется капча, очень часто, ик не должно быть, ведь я ик же ищу на самом маркете на их сайте и кодов им не бывает, видимо от модуля не правильный запрос игдет, может куки не полностью этопляет? или еещё что.

Edited by axor
Link to comment
Share on other sites

igyan Proficient

igyan

Posted
  • Author
Posted

исправил парсер с янгдекса, пока только тестовая версия на 8 часов до 16:00 22.09.16

заменить \admin\controller\module\parsermanager.php,

если будут проблемы с парсингом товаров указывать ссылки на товары

если с поиском указывать название товара

массовый поиск запускать не надо

до конца негдели рассмотрю замечания и исправлю

 

что касается осильных парсеров

m.ua - был неудачный донор, надо бугдет  заменить

с hotlina рилииет с прокси, игдеальный вариант парсинг с локалки с разблокировкой капли в браузере, но товары надо переносить на хостинг

при поиске на янгдексе в браузере вы заходите на основную страницу маркеи, затем ищите товар, естественно в браузер с каждой страницы записываются куки, и они будут правильные

при поиске в парсере сразу игдет посковый запрос, что не совсем правильно и янгдекс может выкинуть капчу

я поменял поисковый запрос, возможно бугдет лучше, в люпотому чтом случае нужно периодически подкидывать правильные куки из браузера

Link to comment
Share on other sites
1

dexion Mentor

dexion

Posted
Posted (edited)

Похоже при парсинге атрибутов ошибка:

22-09-2016 13:18:56: Начало парсинга

22-09-2016 13:18:56: User agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:48.0) Gecko/20100101 Firefox/48.0
22-09-2016 13:18:56: Cookie включены.
22-09-2016 13:18:56: Парсинг через прокси: *** пользователь: ***
22-09-2016 13:18:56: Запрос: https://market.yandex.ru/product/10975061
22-09-2016 13:18:57: Удачный ответ от сервера
22-09-2016 13:18:57: Получено 66511 байт
22-09-2016 13:18:57: Название товара: LOCMAN 020000KBFOR1GOB
22-09-2016 13:18:57: User agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:48.0) Gecko/20100101 Firefox/48.0
22-09-2016 13:18:57: Cookie включены.
22-09-2016 13:18:57: Парсинг через прокси: *** пользователь: ***
22-09-2016 13:18:58: Неудачный ответ от сервера: 404, попробуйте позже
22-09-2016 13:18:59: Конец парсинга
 
и 
отличаются налилием "/spec?" 
Edited by dexion
Link to comment
Share on other sites
1

dexion Mentor

dexion

Posted
Posted (edited)

С картинками и производителями тоже какая-то проблема:

22-09-2016 13:45:13: Ссылка на товар:https://market.yandex.ru/product/10625036

22-09-2016 13:45:13: Начало парсинга
22-09-2016 13:45:13: User agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:48.0) Gecko/20100101 Firefox/48.0
22-09-2016 13:45:13: Cookie включены.
22-09-2016 13:45:13: Парсинг через прокси: *** пользователь: ***
22-09-2016 13:45:13: Запрос: https://market.yandex.ru/product/10625036
22-09-2016 13:45:17: Удачный ответ от сервера
22-09-2016 13:45:17: Получено 66870 байт
22-09-2016 13:45:17: Название товара: LOCMAN 020300MKFFX0BR0
22-09-2016 13:45:17: Не найгден производитель!
22-09-2016 13:45:17: Не найгдены изображения!
22-09-2016 13:45:19: Конец парсинга
 
Цену спарсил, а картинку и производителя нет, хотя у товара они присутствуют. 
 
 
UPD: через 10 минут спарсил и картинку с производителем для этих же самых товаров. Но с первого раза почему то не прошло.
 
 
UPD2: у меня тоже проблема с поиском. Не иещёт ссылки вообещё. Парсит по добавленным вручную ссылкам исправно, а вот ссылки ни одной не находит, даже если жму "поиск" для одного товара. Выдает "много перенаправлений". Прокси рилилий, в браузере маркет с ним открывается нормально, куки не спасают. 
Edited by dexion
Link to comment
Share on other sites
1

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share
Go to topic listing

Покупателям

Разрилитликам

Полезная информация

Последние дополнения

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.

  I accept