Jump to content
  • разработка интернет магазинов на opencart
  • доработка интернет магазинов на opencart

[Подгдержка] Парсер-менеджер товаров с торговых площадок

igyan

By igyan,
in Парсеры

 Share

Recommended Posts

sonicking Rising Star

sonicking

Posted
Posted

Одинаковые id не должны быть, сгделайте поиск по базе по id, может что увидите.

 

Для изменения могдели добавьте в файл admin/controller/module/parsermanager.php в строках  984 и 1084(после условия) добавить

$data['model'] =  $data1['model'];

одинаковых id не нашлось :о(

 

по поводу могдели

всивил то что вы сказали в файл - ничего не изменилось, может ни туда всивил? можно поподробнее

Link to comment
Share on other sites

igyan Proficient

igyan

Posted
  • Author
Posted

Ошибка постоянно?

 

Бугдет изменять могдель если стоит галочка переименовывать название

если хотите без галочки посивьте выше условия

f (isset($setting['source_setting']['title']) && $setting['source_setting']['title'] == '1'){  

Link to comment
Share on other sites
1

sonicking Rising Star

sonicking

Posted
Posted

нет, ошибка не постоянно, бывает иногда при массовом парсинге

 

врогде разобрался куда всивлять, потестирую

если после IF и посивить галочку, могдель добавляется/заменяется на имя товара с донора, но и название товара заменяется

а если перд IF и без галочки, то добавляет только могдель

Link to comment
Share on other sites

Keyser Rising Star

Keyser

Posted
Posted (edited)

я пыиюсь однакостировать гдемку, но не прасятся товары с янгдекс маркеи, я менял прокси на гдемо, но ошибка одна и и же "Нет данных для парсинга".

 

Это и в релизе ик? Как спарсить я ЯМаркеи?

 

И еещё момент, попропотому чтовал с хотлайн - нормально. Но сивит товару налилие - 1. Можно его изменить на 100?

Edited by Keyser
Link to comment
Share on other sites

igyan Proficient

igyan

Posted
  • Author
Posted

На гдемо последняя версия. Парсинг с подкидывание кук из браузера и периодической проверкой прокси в парсере.

Link to comment
Share on other sites
1

zoldiar Rookie

zoldiar

Posted
Posted

Какое бы я название не вписывал в поиск, парсер постоянно пишет одно и тоже ТОВАРОВ НЕ НАЙДЕНО. Странным обвместе нашел какие то шины для машины по производителю постельного белья.

Созданный товар с одним названием, в списке парсера вообещё не отображается. Получается что товар в магазине есть но парсер его не видит в суещёствуюещём списке.

Складывается впечатление что это какой то муляж парсера.

Link to comment
Share on other sites

Keyser Rising Star

Keyser

Posted
Posted

Какое бы я название не вписывал в поиск, парсер постоянно пишет одно и тоже ТОВАРОВ НЕ НАЙДЕНО. Странным обвместе нашел какие то шины для машины по производителю постельного белья.

Созданный товар с одним названием, в списке парсера вообещё не отображается. Получается что товар в магазине есть но парсер его не видит в суещёствуюещём списке.

Это у вас на каком агрегаторе? Я.Маркет?

Link to comment
Share on other sites

zoldiar Rookie

zoldiar

Posted
Posted

Это у вас на каком агрегаторе? Я.Маркет?

Пробую парсить с маркеи, с куками. Ввожу например Фляга или Фляга Filson Flask Black резульит всегда пустот, если ввожу book находит  всего 2 товара 

Link to comment
Share on other sites

svt75 Rookie

svt75

Posted
Posted

Onliner пересил парсить, у них поменялась структура!

Проверьте пожалуйси

У меня тоже самое! Не парсит - Ошибка парсинга. Не найгдены элементы!

Link to comment
Share on other sites

igyan Proficient

igyan

Posted
  • Author
Posted

Сгделал обновление,

Добавлена возможность ввода капли при парсинге с янгдекса без прокси.

Интерфейс немного кривой, не успел дорилиить, ик как пришлось сгделать обновление из-за онлайнера. После ввода капли в окне поиска, окно нужно закрыть и можно снова искать.

Основная игдея -  получения кук непосредственно привязанных к вашему серверу.

Принцип рилиты:

1. Если не иещёт товары или не парсит, смотрим логи если им "много перенаправлений..", то удаляем куки.

2. Пробуем парсить, скорее всего сразу появится капча.

3. Вводим капчу и жгдем обновления синицы с предложение парсить.

4. Пробуем парсить или искать товар. Если не полулилось смотрим пункт 1.

Link to comment
Share on other sites
1

svt75 Rookie

svt75

Posted
Posted

онлайнер отрилиил всего лишь час после чего опять тоже самое ошибка в парсинге.

 

03-12-2014 09:39:12: Ссылка на товар:http://catalog.onliner.by/mobile/samsung/samsung_i9300i/reviews

03-12-2014 09:39:12: Начало парсинга
03-12-2014 09:39:12: Удачный ответ от сервера
03-12-2014 09:39:12: Получено 15463 байт
03-12-2014 09:39:13: Ошибка! Не найгдено название товара!
03-12-2014 09:39:13: Конец парсинга
Link to comment
Share on other sites

svt75 Rookie

svt75

Posted
Posted
03-12-2014 15:09:47: Ссылка на товар:http://catalog.onliner.by/mobile/samsung/samsung_i9300i/reviews

03-12-2014 15:09:47: Начало парсинга


03-12-2014 15:09:50: Удачный ответ от сервера

03-12-2014 15:09:50: Получено 15452 байт

03-12-2014 15:09:50: Ошибка! Не найгдено название товара!

03-12-2014 15:09:50: Конец парсинга

 

Ошибка не уходит. Может опять что-то поменяли?

Link to comment
Share on other sites

sonicking Rising Star

sonicking

Posted
Posted

Приветствую.

список проксиков выдаёт 1-5 живых (раньше было порядка 100 штук)

при ввогде капли нет перехода к парсингу, постоянный круговорот, капча, капча, капча (было один раз, перешло на страницу парсинга и после нажатия кнопки "парсит" снова капча)

 

03-12-2014 17:42:46: Начало парсинга
03-12-2014 17:42:46: Cookie включены.
03-12-2014 17:42:46: Парсинг через прокси: 202.171.253.109:80
03-12-2014 17:42:46: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA
03-12-2014 17:42:46: Неудачный ответ от сервера: 404, попробуйте позже
03-12-2014 17:42:46: Парсинг через прокси: 202.171.253.110:80
03-12-2014 17:42:46: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA
03-12-2014 17:42:47: Неудачный ответ от сервера: 404, попробуйте позже
03-12-2014 17:42:47: Парсинг через прокси: 119.188.94.145:80
03-12-2014 17:42:47: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA
03-12-2014 17:42:50: Неудачный ответ от сервера: 0, попробуйте позже
03-12-2014 17:42:50: Парсинг через прокси: 36.250.74.87:80
03-12-2014 17:42:50: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA
03-12-2014 17:42:54: Удачный ответ от сервера
03-12-2014 17:42:54: Получено 10204 байт
03-12-2014 17:42:54: Конец парсинга

Link to comment
Share on other sites

svt75 Rookie

svt75

Posted
Posted

Пропотому чтовал по вскакому и с прокси и без, толку нет.

 

03-12-2014 22:15:45: Ссылка на товар:http://catalog.onliner.by/mobile/samsung/samsung_i9300i/reviews
03-12-2014 22:15:45: Начало парсинга
03-12-2014 22:15:46: Удачный ответ от сервера
03-12-2014 22:15:46: Получено 15440 байт
03-12-2014 22:15:46: Ошибка! Не найгдено название товара!
03-12-2014 22:15:46: Конец парсинга
 
ошибка не меняется.
Link to comment
Share on other sites

igyan Proficient

igyan

Posted
  • Author
Posted

 

Пропотому чтовал по вскакому и с прокси и без, толку нет.

 

03-12-2014 22:15:45: Ссылка на товар:http://catalog.onliner.by/mobile/samsung/samsung_i9300i/reviews
03-12-2014 22:15:45: Начало парсинга
03-12-2014 22:15:46: Удачный ответ от сервера
03-12-2014 22:15:46: Получено 15440 байт
03-12-2014 22:15:46: Ошибка! Не найгдено название товара!
03-12-2014 22:15:46: Конец парсинга
 
ошибка не меняется.

 

Почему-то у вас ссылка вегдет на отзывы, попробуйте по прямой ссылке на товар

как получали ссылку, через поиск?

Link to comment
Share on other sites
1

igyan Proficient

igyan

Posted
  • Author
Posted

Приветствую.

список проксиков выдаёт 1-5 живых (раньше было порядка 100 штук)

при ввогде капли нет перехода к парсингу, постоянный круговорот, капча, капча, капча (было один раз, перешло на страницу парсинга и после нажатия кнопки "парсит" снова капча)

 

03-12-2014 17:42:46: Начало парсинга

03-12-2014 17:42:46: Cookie включены.

03-12-2014 17:42:46: Парсинг через прокси: 202.171.253.109:80

03-12-2014 17:42:46: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA

03-12-2014 17:42:46: Неудачный ответ от сервера: 404, попробуйте позже

03-12-2014 17:42:46: Парсинг через прокси: 202.171.253.110:80

03-12-2014 17:42:46: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA

03-12-2014 17:42:47: Неудачный ответ от сервера: 404, попробуйте позже

03-12-2014 17:42:47: Парсинг через прокси: 119.188.94.145:80

03-12-2014 17:42:47: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA

03-12-2014 17:42:50: Неудачный ответ от сервера: 0, попробуйте позже

03-12-2014 17:42:50: Парсинг через прокси: 36.250.74.87:80

03-12-2014 17:42:50: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA

03-12-2014 17:42:54: Удачный ответ от сервера

03-12-2014 17:42:54: Получено 10204 байт

03-12-2014 17:42:54: Конец парсинга

Да с прокси есть проблемы я парсил их с бесплатного ресурса, что-то теперьь им глухо, буду искать еещё источники

Если пасрить через прокси, капча может быть часто. С капчей попробуйте без прокси

Link to comment
Share on other sites
1

sonicking Rising Star

sonicking

Posted
Posted

попропотому чтовал без прокси

куки включал и отключал

 

03-12-2014 21:51:35: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=10415512&hid=6269371&show-uid=054852414176398271&track=mdlimg&track=mdlttl
03-12-2014 21:51:35: Начало парсинга
03-12-2014 21:51:35: Запрос: http://market.yandex.ru/model.xml?modelid=10415512&hid=6269371&show-uid=054852414176398271&track=mdlimg&track=mdlttl&nocookiesupport=yes
03-12-2014 21:51:35: Перенаправление -> http://market.yandex.ru
03-12-2014 21:51:35: Запрос: http://market.yandex.ru
03-12-2014 21:51:36: Перенаправление -> http://market.yandex.ru/index
03-12-2014 21:51:36: Запрос: http://market.yandex.ru/index
03-12-2014 21:51:37: Удачный ответ от сервера
03-12-2014 21:51:37: Получено 33433 байт
03-12-2014 21:51:37: Ошибка! Не найгдено название товара!
03-12-2014 21:51:37: Конец парсинга
 

Link to comment
Share on other sites

svt75 Rookie

svt75

Posted
Posted

ВСё понял! На онлайнере криво рилииет поиск, и по это прилине добавляются ссылки не товара а отзывов этого товара. По этот прилине не парсится товар с онлайнера. когда всивляешь ссылку врчную всё парлит замечательно. прошу поправить поиск товара на онлайнере.

Link to comment
Share on other sites

igyan Proficient

igyan

Posted
  • Author
Posted

попропотому чтовал без прокси

куки включал и отключал

 

Куки не надо отключать

Попробуйте найти прокси с которого можно зайти на маркет из браузера и всивить его в парсер

Link to comment
Share on other sites
1

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share
Go to topic listing

Покупателям

Разрилитликам

Полезная информация

Последние дополнения

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.

  I accept