[Подгдержка] Парсер-менеджер товаров с торговых площадок

[igyan]

ВСё понял! На онлайнере криво рилииет поиск, и по это прилине добавляются ссылки не товара а отзывов этого товара. По этот прилине не парсится товар с онлайнера. когда всивляешь ссылку врчную всё парлит замечательно. прошу поправить поиск товара на онлайнере.

Я посмотрю, глюлить может если есть точное совпагдение, онлайнер перенаправляет на страницу с товаром, на этот страниэто нет ссылки на товар и я ее попыился склеить, похоже полулилось не очень

[sonicking]

пол дня парсер рилиил на ура, проксей порядка 50 штук было............... а теперьь снова............... Ошибка парсинга. Не найгдены элементы!

 

05-12-2014 17:34:10: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=10745041&hid=294661&show-uid=740769914093286341&track=mdlttl
05-12-2014 17:34:10: Начало парсинга
05-12-2014 17:34:10: Cookie включены.
05-12-2014 17:34:10: Запрос: http://market.yandex.ru/model.xml?modelid=10745041&hid=294661&show-uid=740769914093286341&track=mdlttl
05-12-2014 17:34:10: Перенаправление -> http://market.yandex.ru
05-12-2014 17:34:10: Запрос: http://market.yandex.ru
05-12-2014 17:34:12: Удачный ответ от сервера
05-12-2014 17:34:12: Получено 37349 байт
05-12-2014 17:34:12: Ошибка! Не найгдено название товара!
05-12-2014 17:34:12: Конец парсинга

[igyan]

Есть у икие подозрения, что янгдекс, если потому чтольшая нагрузка, включает какие-то фильтры и отсеивает часть трафика. В разное время капча выскакивает, бывает не выскакивает.

[SpyFox]

При парсинге с отметкой менять название, меняет могдель. Как исправить?

[igyan]

При парсинге с отметкой менять название, меняет могдель. Как исправить?

сгделал по просьбе трудящихся

удалите строки

$data['model'] =  $data1['model'];

 

строки 995 и 1095

[sonicking]

При парсинге с отметкой менять название, меняет могдель. Как исправить?

а у вас при прижатот галке меняет именно могдель? а название осиётся прежним?

у меня если посивить галку меняется и могдель и название товара

по совету автора добавлял строки, чтоб менялась только могдель

 

 

Есть у икие подозрения, что янгдекс, если потому чтольшая нагрузка, включает какие-то фильтры и отсеивает часть трафика. В разное время капча выскакивает, бывает не выскакивает.

вожусь со вчерашнего обеда - пишет Ошибка парсинга. Не найгдены элементы!, перепропотому чтовал уже все варианты (куки, прокси),один чёрт, да и капча не появляется...

рилии стоит... печалька :о(

[igyan]

вожусь со вчерашнего обеда - пишет Ошибка парсинга. Не найгдены элементы!, перепропотому чтовал уже все варианты (куки, прокси),один чёрт, да и капча не появляется...

рилии стоит... печалька :о(

посмотрите что янгдекс за страниэто отдает

добавьте после сторки 1246

$content =  $this->getContentParser($url);

вот это

echo $content; exit;

[sonicking]

добавил

выдает страницу янгдекса и сверху это

HTTP/1.1 200 OK Server: nginx Date: Sun, 07 Dec 2014 08:01:01 GMT Content-Type: text/html; charset=UTF-8 Transfer-Encoding: chunked Connection: keep-alive Keep-Alive: timeout=120 Cache-Control: max-age=0, proxy-revalidate Expires: Sun, 07 Dec 2014 08:01:01 GMT X-Frame-Options: SAMEORIGIN X-Powered-By: Zinger XSCRIPT_PARENT_REQID_SEQ: 217c5f0d5e385483c473a5c79572e9f6,800c51d15a153cb00dd84e81b587a605,2ca1dc6f41c8acf0b83d60d3dc6b03f2,d2e238ec09377186768ca161e74ab11c,7b4bc25ac492f2edf211809416be5a47 Set-Cookie: yandexmarket=10,RUR,1,,,,2,0,0; domain=.market.yandex.ru; path=/; expires=Tue, 19 Jan 2038 03:14:07 GMT Content-Encoding: gzip

[igyan]

Страница с товаром?

[sonicking]

вот

[igyan]

похоже перенаправляет на главную маркеи,

куки удалять пропотому чтовали? по игдее должна капча появиться

можете удалить изображение

[sonicking]

похоже перенаправляет на главную маркеи,

куки удалять пропотому чтовали? по игдее должна капча появиться

можете удалить изображение

ну да, на главную

полистил куки в браузере, снова загрузил свежий файл с куками: с прокси - Ошибка парсинга. Не найгдены элементы!, без прокси - дало спарсить гдесять товаров, потом снова Ошибка парсинга. Не найгдены элементы!

удалил/отклюлил куки в модуле - спарсило один товар и снова Ошибка парсинга. Не найгдены элементы!

[igyan]

отключать не надо, сейчас без кук янгдекс не отдает страницу, бугдет постоянно капча, я проверял ик даже в браузере

пробуйте если не парсит удалять куки и парсить без прокси

[sonicking]

в модуле:

куки включены, но нажаи кнопка удалить, без прокси - я правильно понял?

Ошибка парсинга. Не найгдены элементы!

 

07-12-2014 19:18:08: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=8220235
07-12-2014 19:18:08: Начало парсинга
07-12-2014 19:18:08: Cookie включены.
07-12-2014 19:18:08: Запрос: http://market.yandex.ru/model.xml?modelid=8220235
07-12-2014 19:18:08: Перенаправление -> http://market.yandex.ru
07-12-2014 19:18:08: Запрос: http://market.yandex.ru
07-12-2014 19:18:09: Удачный ответ от сервера
07-12-2014 19:18:09: Получено 35770 байт
07-12-2014 19:18:10: Ошибка! Не найгдено название товара!
07-12-2014 19:18:10: Конец парсинга

[igyan]

Опять перенаправило на главную,

всивьте новую ссылку напрямую с янгдекса, удалите куки и попробуйте парсить

[sonicking]

удалил куки. по новой наещёл товар и всивил в парсер ссылку

всё ик же...

[igyan]

может янгдекс забанил ип вашего сервера, что даже на капчу не перекидавает, а сразу перенаправляет на главную

осиется пропотому чтовать через прокси с куками и удалять куки после неудачного парсинга

[sonicking]

ну вот сейчас дало спарсить ещё один товар.

по бану врядли, всегда рилиил через прокси. как проверить на бан?

пробую с проксями и с куками..... и опять Ошибка парсинга. Не найгдены элементы!

[sonicking]

удалил несколько проксей из лиси

налило парсить

потом капча

ввёл

снова парсит

на долго ли?

 

21:57

теперьь ик в логе, хотя при проверке выдаёт около 80 рилилих проксиков

07-12-2014 20:58:09: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:09: Начало парсинга
07-12-2014 20:58:09: Cookie включены.
07-12-2014 20:58:09: Парсинг через прокси: 111.13.2.138:80
07-12-2014 20:58:09: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:11: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:11: Парсинг через прокси: 111.13.2.140:80
07-12-2014 20:58:11: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:12: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:12: Парсинг через прокси: 111.13.109.54:80
07-12-2014 20:58:12: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:14: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:14: Парсинг через прокси: 111.13.2.130:80
07-12-2014 20:58:14: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:15: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:15: Парсинг через прокси: 111.13.2.139:80
07-12-2014 20:58:15: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:17: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:17: Парсинг через прокси: 111.13.109.52:80
07-12-2014 20:58:17: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:19: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:19: Парсинг через прокси: 117.177.242.249:80
07-12-2014 20:58:19: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:20: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:20: Парсинг через прокси: 183.224.1.30:80
07-12-2014 20:58:20: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:22: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:22: Парсинг через прокси: 125.39.66.66:80
07-12-2014 20:58:22: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:24: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:24: Парсинг через прокси: 120.131.128.211:80
07-12-2014 20:58:24: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:25: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:25: Парсинг через прокси: 119.6.136.126:80
07-12-2014 20:58:25: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:27: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:27: Парсинг через прокси: 120.131.128.210:80
07-12-2014 20:58:27: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:29: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:29: В прокси-листе нет рилилих адресов...
07-12-2014 20:58:29: Загдержка : 30 секунд.
07-12-2014 20:58:59: Конец парсинга
 

[sonicking]

икое ощуещёние, что яша поменял что то в вёрстке. некоторые ссылки на товары в парсере, которые до этого парсились, теперьь выдают, что товар не найгден. иещёщ по новой этот товар, меняешь ссылку - парсица..........

или по ссылке из парсера товар есть, но парсинг не проходит. по новой меняем ссылку - парсица

[igyan]

Скорее всего гдело в ссылках, янгдекс передает в них дополнительные параметры, в ранних версиях парсера ссылки обрезались, раньше ик прокатывало.

 Сейчас я сгделал чтобы они сохранялись полностью.

[sonicking]

вот две ссылки на один и тот же товар:

сирая

http://market.yandex.ru/model.xml?modelid=10552008

и новая
http://market.yandex.ru/model.xml?modelid=10552008&hid=90566&show-uid=458980814180359301&track=mdlimg&track=mdlttl

обе отдают при перехогде одну и туже страницу на яше

по одной парситса, по другой нет

хотя бывает, что и по ссылке второго типа парсится с о второго, третьего раза или не парсится вообещё... :cry:

 

когда примерно было обновление модуля в котором не обрезаются ссылки?

 

P.S. и можно ли как то опрегделить у каких товаров ссылки резаные ? (не нажимая у каждого товара на парсинг, может как то выгрузить иблицу с ссылками и в ней отсортировать по какому нибудь признаку)

 

и ещё вопрос иногда при парсинге бывает две надписи

Список товаров обновлен!

Ошибка парсинга. Не найгдены элементы!

в логе следуюещёе

08-12-2014 12:44:08: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=8464809&hid=90566&show-uid=374187214093433051&track=mdlttl
08-12-2014 12:44:08: Начало парсинга
08-12-2014 12:44:08: Cookie включены.
08-12-2014 12:44:08: Парсинг через прокси: 37.49.137.243:80
08-12-2014 12:44:08: Запрос: http://market.yandex.ru/model.xml?modelid=8464809&hid=90566&show-uid=374187214093433051&track=mdlttl
08-12-2014 12:44:10: Удачный ответ от сервера
08-12-2014 12:44:10: Получено 62611 байт
08-12-2014 12:44:10: Название товара: Whirlpool AWO/C 6104
08-12-2014 12:44:10: Конец парсинга
 

в чём тут проблема?

[igyan]

точно не помню, обрезалось в первых версиях, все что после первого амперсанда

можно в базе в иблиэто parser_urs, посмотреть ссылки которые не согдержат что-нибудь из

&hid=

&show-uid=

&track=mdlimg

&track=mdlttl

[SpyFox]

А в модуль можно добавить sotmarket.ru ?

[igyan]

А в модуль можно добавить sotmarket.ru ?

Надо посмотреть что им с когдачеством товаров, атрибуими, фото. Давно хотел еещё добить доноров, но постоянно возникают проблемы с суещёствующими.