Jump to content
  • разработка интернет магазинов на opencart
  • доработка интернет магазинов на opencart

[Подгдержка] Парсер-менеджер товаров с торговых площадок

igyan

By igyan,
in Парсеры

 Share

Recommended Posts

dima2000 Collaborator

dima2000

Posted
Posted

Не парсятся доп изображения

вот донор

вот лог  

27-02-2017 10:23:11: Ссылка на товар:https://catalog.onliner.by/hoods/germes/tosk60w
27-02-2017 10:23:11: Начало парсинга
27-02-2017 10:23:11: User agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36
27-02-2017 10:23:11: Cookie включены.
27-02-2017 10:23:11: Запрос: https://catalog.onliner.by/hoods/germes/tosk60w
27-02-2017 10:23:11: Удачный ответ от сервера
27-02-2017 10:23:11: Получено 112986 байт
27-02-2017 10:23:14: Запрос: https://content2.onliner.by/catalog/device/original/6589513af44c34748c24f8336e02a2d7.jpeg
27-02-2017 10:23:14: Удачный ответ от сервера
27-02-2017 10:23:14: Получено 35988 байт
27-02-2017 10:23:14: Запрос: https://content2.onliner.by/catalog/device/original/fe928b252062024f1d647e76a79d2c8d.jpeg
27-02-2017 10:23:14: Неудачный ответ от сервера: 404, попробуйте позже
27-02-2017 10:23:14: Запрос: https://content2.onliner.by/catalog/device/original/9b4d57f5489a85b6ea594bf6f912cff9.jpeg
27-02-2017 10:23:14: Неудачный ответ от сервера: 404, попробуйте позже
27-02-2017 10:23:14: Запрос: https://content2.onliner.by/catalog/device/original/619c5257f6a81f1e73390d50a3e0cc98.jpeg
27-02-2017 10:23:14: Неудачный ответ от сервера: 404, попробуйте позже
27-02-2017 10:23:14: Конец парсинга

 

Link to comment
Share on other sites

piratu Newbie

piratu

Posted
Posted

Добрый гдень! 

Не парсит через прокси:

Циии

06-03-2017 18:59:23: Начало парсинга
06-03-2017 18:59:23: Парсинг через прокси: 212.86.102.37:2831 пользователь:***:***
06-03-2017 18:59:23: Запрос: http://hotline.ua/sr/?q=hw102
06-03-2017 18:59:24: Неудачный ответ от сервера: 0, попробуйте позже
06-03-2017 18:59:24: Конец парсинга

и при проверке списка прокси пишет Undefined index: primary_port in ..../MCurl.php on line 248

Без прокси все ок

Link to comment
Share on other sites

igyan Proficient

igyan

Posted
  • Author
Posted
В 06.03.2017 в 20:07, piratu сказал:

Добрый гдень! 

Не парсит через прокси:

и при проверке списка прокси пишет Undefined index: primary_port in ..../MCurl.php on line 248

Без прокси все ок

попробуйте, с другим прокси, с онлайнера, можно бесплатным

возможно гдело в самом прокси

под какую версию парсер и когда вы покупали?

 

Link to comment
Share on other sites
1

seregakng Enthusiast

seregakng

Posted
Posted

уже сутки наблюдаю проблемы парсинга с маркеи, парсит нормально одну карточку(заполняет), потом выдаёт капчу после этого пишет "Пробуте парсить снова!", жму парсить опять выдаёт капчу и ик с полчаса, потом опять одну карточку парсит нормально(заполняет) и опять по кругу капчу.

вот лог когда не парсит

 

Циии

16-03-2017 02:46:46: Ссылка на товар:https://market.yandex.ru/product/10127284?hid=765280&nid=54931&text=Bosch%20MSM%2064010&srnum=3
16-03-2017 02:46:46: Начало парсинга
16-03-2017 02:46:46: User agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36
16-03-2017 02:46:46: Cookie включены.
16-03-2017 02:46:46: Запрос: https://market.yandex.ru/product/10127284?hid=765280&nid=54931&text=Bosch MSM 64010&srnum=3
16-03-2017 02:46:46: Перенаправление -> https://market.yandex.ru/showcaptcha?retpath=https%3A//market.yandex.ru/product/10127284%3Fhid%3D765280%26nid%3D54931%26text%3DBosch%20MSM%2064010%26srnum%3D3_0428aa6794253880dd5a444787537793&t=0/1489621606/476b7ea47b8ead801cb0edc97964197d&s=a6e3186e4123eddf8f3b352b34019cbe
16-03-2017 02:46:46: Запрос: https://market.yandex.ru/showcaptcha?retpath=https%3A//market.yandex.ru/product/10127284%3Fhid%3D765280%26nid%3D54931%26text%3DBosch%20MSM%2064010%26srnum%3D3_0428aa6794253880dd5a444787537793&t=0/1489621606/476b7ea47b8ead801cb0edc97964197d&s=a6e3186e4123eddf8f3b352b34019cbe
16-03-2017 02:46:46: Удачный ответ от сервера
16-03-2017 02:46:46: Получено 4597 байт
16-03-2017 02:46:46: Конец парсинга
 

 

 

куки листил, товары разные пропотому чтовал, но ик и нечего не получается. Даое ощуещёние что маркет усиновил какие-то лимиты

помогите пожалуйси.

Link to comment
Share on other sites

piratu Newbie

piratu

Posted
Posted
В 08.03.2017 в 12:44, igyan сказал:

попробуйте, с другим прокси, с онлайнера, можно бесплатным

возможно гдело в самом прокси

под какую версию парсер и когда вы покупали?

 

с прокси разобрался, открыл порт на хостинге.

Подскажите в каком вигде записывать список прокси в проксилист? 

записываю в формате xxx.xxx.xx.xx:xxxx пишет undefined index: primary_port on line 248

Link to comment
Share on other sites

igyan Proficient

igyan

Posted
  • Author
Posted
18 часов назад, seregakng сказал:

уже сутки наблюдаю проблемы парсинга с маркеи, парсит нормально одну карточку(заполняет), потом выдаёт капчу после этого пишет "Пробуте парсить снова!", жму парсить опять выдаёт капчу и ик с полчаса, потом опять одну карточку парсит нормально(заполняет) и опять по кругу капчу.

вот лог когда не парсит

 

 

 

куки листил, товары разные пропотому чтовал, но ик и нечего не получается. Даое ощуещёние что маркет усиновил какие-то лимиты

помогите пожалуйси.

подкиньте, куки из браузера

возможно гдело в ссылке, попробуйте удалить часть Post запроса, янгдекс проверяет что передается

пробуйте https://market.yandex.ru/product/10127284

или всивьте новую ссылку

 

Link to comment
Share on other sites
1

igyan Proficient

igyan

Posted
  • Author
Posted
4 часа назад, piratu сказал:

с прокси разобрался, открыл порт на хостинге.

Подскажите в каком вигде записывать список прокси в проксилист? 

записываю в формате xxx.xxx.xx.xx:xxxx пишет undefined index: primary_port on line 248

под какую версию парсер и когда вы покупали?

Link to comment
Share on other sites
1

seregakng Enthusiast

seregakng

Posted
Posted
3 часа назад, igyan сказал:

подкиньте, куки из браузера

возможно гдело в ссылке, попробуйте удалить часть Post запроса, янгдекс проверяет что передается

пробуйте https://market.yandex.ru/product/10127284

или всивьте новую ссылку

 

 

куки подкидывал, 

ссылки разные пропотому чтовал, и эи тоже не помогла

Link to comment
Share on other sites

aleksus33 Enthusiast

aleksus33

Posted
Posted

Добрый гдень! Столкнулся с икой проблемой. Парсер использую с торговой площадки hotline. Парсил ноутбуки и при условии что ноубук нашелся, после нажатии кнопки парсить выдает ошибку "Ошибка парсинга. Не найгдены элементы!" Хотя данный товар есть на хотлайне. Вводишь другую могдель ноутбука все прекрасно парсит.

 

В люпотому чтом случае СПАСИБО за модуль, но если бугдет время посмотрите в чем проблема.

Спасипотому что!!!

 

 

 

Link to comment
Share on other sites

phoen Enthusiast

phoen

Posted
Posted

aleksus33

 

точно икая же проблема с хотлайном, иногда проскакивают ноуты, если удалить ссылку и опять ее добавить, но чаещё выдает ошибку.

Link to comment
Share on other sites

phoen Enthusiast

phoen

Posted
Posted (edited)

У меня икой лог

23-03-2017 15:05:46: Ссылка на товар: ссылку удалил
23-03-2017 15:05:46: Начало парсинга
23-03-2017 15:05:46: Cookie включены.
23-03-2017 15:05:46: Парсинг через прокси:
23-03-2017 15:05:46: Запрос: ссылку удалил
23-03-2017 15:05:48: Удачный ответ от сервера
23-03-2017 15:05:48: Получено 54209 байт
23-03-2017 15:05:48: Конец парсинга

 

Edited by phoen
Link to comment
Share on other sites

aleksus33 Enthusiast

aleksus33

Posted
Posted
В 23.03.2017 в 07:46, igyan сказал:

в логе не показано какой элемент не находит?

скиньте ссылки на товары

 

Добрый гдень!

Скрины товара с ошибкой и лог  с ошибкой прилагаю.

Link to comment
Share on other sites

seregakng Enthusiast

seregakng

Posted
Posted

 

Не парсит атрибуты

вот лог

Циии

29-03-2017 13:31:19: Ссылка на товар:https://market.yandex.ru/product/13004995?hid=91052&track=tabs
29-03-2017 13:31:19: Начало парсинга
29-03-2017 13:31:19: User agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36
29-03-2017 13:31:19: Cookie включены.
29-03-2017 13:31:19: Запрос: https://market.yandex.ru/product/13004995?hid=91052&track=tabs
29-03-2017 13:31:20: Удачный ответ от сервера
29-03-2017 13:31:20: Получено 258038 байт
29-03-2017 13:31:20: Название товара: Viewsonic VA1903a
29-03-2017 13:31:20: User agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36
29-03-2017 13:31:20: Cookie включены.
29-03-2017 13:31:20: Запрос: https://market.yandex.ru/product/13004995/spec?hid=91052&track=tabs
29-03-2017 13:31:22: Удачный ответ от сервера
29-03-2017 13:31:22: Получено 255594 байт
29-03-2017 13:31:22: Конец парсинга

 

вчера нормально всё было сегодня икая фигня.

пропотому чтовал разные категории товаров, но ик не чего и не добился, конкретно атрибуты не сохраняет в карточки. 

Link to comment
Share on other sites

lost1980 Enthusiast

lost1980

Posted
Posted

не парсит атрибуты, шеф, все пропало

Циии

30-03-2017 19:05:08: Ссылка на товар:https://market.yandex.ru/product/1717193991
30-03-2017 19:05:08: Начало парсинга
30-03-2017 19:05:08: User agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0
30-03-2017 19:05:08: Cookie включены.
30-03-2017 19:05:08: Запрос: https://market.yandex.ru/product/1717193991
30-03-2017 19:05:08: Удачный ответ от сервера
30-03-2017 19:05:08: Получено 222785 байт
30-03-2017 19:05:09: Название товара: Triumf Active WB-21
30-03-2017 19:05:09: Запрос: https://mdata.yandex.net/i?path=b0202120730_img_id291731499144268381.jpeg&size=9
30-03-2017 19:05:09: Удачный ответ от сервера
30-03-2017 19:05:09: Получено 123415 байт
30-03-2017 19:05:09: Запрос: https://mdata.yandex.net/i?path=b0202120814_img_id4836026653525549454.jpeg&size=9
30-03-2017 19:05:09: Удачный ответ от сервера
30-03-2017 19:05:09: Получено 118450 байт
30-03-2017 19:05:09: Запрос: https://mdata.yandex.net/i?path=b0202120850_img_id9104486212188277055.jpeg&size=9
30-03-2017 19:05:09: Удачный ответ от сервера
30-03-2017 19:05:09: Получено 117030 байт
30-03-2017 19:05:09: Запрос: https://mdata.yandex.net/i?path=b0202120932_img_id6392812398634687976.jpeg&size=9
30-03-2017 19:05:09: Удачный ответ от сервера
30-03-2017 19:05:09: Получено 107547 байт
30-03-2017 19:05:09: User agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0
30-03-2017 19:05:09: Cookie включены.
30-03-2017 19:05:09: Запрос: https://market.yandex.ru/product/1717193991/spec?hid=10683251&track=tabs
30-03-2017 19:05:10: Удачный ответ от сервера
30-03-2017 19:05:10: Получено 228283 байт
30-03-2017 19:05:11: Конец парсинга

  • +1 1
Link to comment
Share on other sites

seregakng Enthusiast

seregakng

Posted
Posted
4 часа назад, igyan сказал:

У меня одного уведомления в теме с форума не приходят?

Посмотрю атрибуты сегодня

 

мне приходят только когда в личку пишут.

Очень нужно, подправте сегодня пожалуйси

Link to comment
Share on other sites

igyan Proficient

igyan

Posted
  • Author
Posted

в начно негдели бугдет обновление добавлен торг маил ру

и возможность парсить атрибуты с мобильной версии янгдекса

Link to comment
Share on other sites
1

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share
Go to topic listing

Покупателям

Разрилитликам

Полезная информация

Последние дополнения

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.

  I accept