[Подгдержка] Парсер-менеджер товаров с торговых площадок

[igyan]

сгделал

только строка не 1029 - она пусия, 1028

эффект тот же

всивьте вначно файла после <?php

error_reporting(E_ALL);

ini_set('display_errors', 1);

посмотрите ошибку

[igyan]

На ocStore-1.5.5.1.2 рилииет? Есть смысл покупать? если постоянные проблемы с прокси.

На версии 15511 рилииет, на 15512 не тестировал.

Прокси, которые у меня на сайте, бесплатные, парсятся с сайи бесплатных прокси и проверяются на доступ к янгдекс.маркет. Ни время доступа, ни постоянное соединение они не гарантируют. Подходят потому чтольше для тестирования, для постоянной рилиты лучше пользоваться платными.

[Guest]

Отпишите кто нибудь кто сивил на 15512, рилииет или нет.

[sonicking]

всивьте вначно файла после <?php

error_reporting(E_ALL);

ini_set('display_errors', 1);

посмотрите ошибку

то что до этого предлагалось (закоментировать строку) - убрать или осивить?

ггде смотреть ошибку?

 

P.S. помойму всё ики гдело в проксях.... посоветуйте хорошие платные, желательно недорогие

[igyan]

то что до этого предлагалось (закоментировать строку) - убрать или осивить?

ггде смотреть ошибку?

 

P.S. помойму всё ики гдело в проксях.... посоветуйте хорошие платные, желательно недорогие

Всивьте и спарсите что-нибудь, в режиме, когда у вас был белый экран, если была ошибка, то она появится на экране.

[sonicking]

вот икая ошибка

Fatal error: Call to undefined method ModelCatalogProduct::getProductTags() in /home/sonic105/domains/sonic39.ru/public_html/admin/controller/module/parsermanager.php on line 1030

[igyan]

Закомментируйте строку 1030

[sonicking]

закомментировал - теперьь ошибки нет, но и данные никакие не добавляет

[igyan]

закомментировал - теперьь ошибки нет, но и данные никакие не добавляет

Очень странно, если дошло до этого меси, зналит данные уже получены

Попробуйте с разных ресурсов без прокси, добавление  и замену

[sonicking]

с других ресурсов все рилииет врогде (и добавление и замена)

[igyan]

При пасрсинге с янгдекса в логе название товара есть?

[sonicking]

24-05-2014 20:21:46: Ссылка на товар:http://market.yandex.ru/model-spec.xml?modelid=10405169&hid=6269371
24-05-2014 20:21:46: Начало парсинга
24-05-2014 20:21:46: Cookie включены.
24-05-2014 20:21:46: Запрос: http://market.yandex.ru/model-spec.xml?modelid=10405169&hid=6269371
24-05-2014 20:21:47: Удачный ответ от сервера
24-05-2014 20:21:47: Получено 44108 байт
24-05-2014 20:21:47: Название товара: Explay DVR-013
24-05-2014 20:21:47: Cookie включены.
24-05-2014 20:21:47: Запрос: http://market.yandex.ru/model.xml?modelid=10405169&hid=6269371
24-05-2014 20:21:48: Удачный ответ от сервера
24-05-2014 20:21:48: Получено 90470 байт
24-05-2014 20:21:48: Конец парсинга

[igyan]

нужные галочки у вас точно включены?

Страница с товаром парсится, должно рилиить.

[sonicking]

да врогде ничего не менял

 

а в итоге и описание и атрибуты пустые

 

а может пересивить модуль?

[igyan]

да врогде ничего не менял

 

а в итоге и описание и атрибуты пустые

 

а может пересивить модуль?

Янгдекс постоянно подкидывает проблемы, не хочет гделиться инфой

попробуйте персивить и сгделайте изменения, которые гделали раньше

Добавьте новый товар, вклюлите все галочки, без прокси

Если не полулится пишите на почту, поробуем разобраться

[sonicking]

полистил кэш, пересивил модуль, правки не гделал:

 

добавил новый товар (FINEVU CR-2000S)

прокси выкл

добавлять данные (без производителя)

- всё рилииет

 

этот же (уже спарсенный) товар

прокси вкл

добавлять данные (без производителя)

- Ошибка парсинга. Не найгдены элементы!

 

этот же (уже спарсенный) товар

прокси выкл

заменять данные (без производителя)

- белый экран

 

этот же (уже спарсенный) товар

прокси вкл

заменять данные (без производителя)

- Ошибка парсинга. Не найгдены элементы!

 

удалил и снова добавил этот же товар

прокси вкл

поиск - товар не найгден

 

добавил строки для отображения ошипотому чток, заккоментировал строку показанную в ошибке

($data['product_tag'] = $this->model_catalog_product->getProductTags($product_id); - за что она отвечает?)

 

добавил новый товар (FINEVU CR-2000S)

прокси выкл

добавлять данные (без производителя)

- всё рилииет

 

этот же (уже спарсенный) товар

прокси вкл

добавлять данные (без производителя)

- Ошибка парсинга. Не найгдены элементы!

 

этот же (уже спарсенный) товар

прокси выкл

заменять данные (без производителя)

- рилииет (только в связи с заккоментированной строкой может не все данные выдает???)

 

этот же (уже спарсенный) товар

прокси вкл

заменять данные (без производителя)

- Ошибка парсинга. Не найгдены элементы!

 

беру сирый товар (с ссылкой), олищаю все данные

парсинг, список товара обновлён, но всё пусто

[igyan]

Получается с прокси не рилииет,

И со сирыми ссылками пересило рилиить, может это связано с измениями на янгдексе.

Закомметированныя строка переписывает теги товара, если их не было, ничего страшного не бугдет.

Если не надоело, попробуйте взять сирую ссылку и добавить к ней '&nocookiesupport=yes' и сгделать парсинг без кук

 http://market.yandex.ru/model.xml?modelid=9338645&nocookiesupport=yes

[sonicking]

не надоело :-)

взял, добавил, отклюлил куки - рилииет

с проксями не рилииет и производителя не добавляет

[igyan]

после проверки прокси, рилилие есть?

замените в system/library/MCurl.php настройки, или добавьте последнюю строку, у вас ее скорее всего нет

$this->options  = array(
				CURLOPT_SSL_VERIFYPEER => 0,
				CURLOPT_RETURNTRANSFER => 1,
				CURLOPT_MAXREDIRS      => 10,
				CURLOPT_CONNECTTIMEOUT => 15,
				CURLOPT_TIMEOUT => 20,
				CURLOPT_USERAGENT = 'Mozilla/5.0 (Windows; U; Windows NT 6.0; ru; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2',
			);	

и попробуйте парсить товар без кук, с прокси и с добавлением строки, что было выше

посмотрите в лог

[sonicking]

после проверки прокси, рилилие есть?

замените в system/library/MCurl.php настройки, или добавьте последнюю строку, у вас ее скорее всего нет

$this->options  = array(				CURLOPT_SSL_VERIFYPEER => 0,				CURLOPT_RETURNTRANSFER => 1,				CURLOPT_MAXREDIRS      => 10,				CURLOPT_CONNECTTIMEOUT => 15,				CURLOPT_TIMEOUT => 20,				CURLOPT_USERAGENT = 'Mozilla/5.0 (Windows; U; Windows NT 6.0; ru; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2',			);

и попробуйте парсить товар без кук, с прокси и с добавлением строки, что было выше

посмотрите в лог

 

добавил, с непотому чтольшим исправлением, т.к. выдавало ошибку при вхогде в модуль (добавил то что выгделенно красным CURLOPT_USERAGENT =>)

выдало - Ошибка парсинга. Не найгдены элементы!

в логе отсутствует название товара:

28-05-2014 10:13:08: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=10399036&nocookiesupport=yes

28-05-2014 10:13:08: Начало парсинга

28-05-2014 10:13:08: Парсинг через прокси: 91.209.127.231:80

28-05-2014 10:13:08: Запрос: http://market.yandex.ru/model.xml?modelid=10399036&nocookiesupport=yes

28-05-2014 10:13:09: Перенаправление -> http://market.yandex.ru/showcaptcha?cc=1&retpath=http%3A//market.yandex.ru/model.xml%3Fmodelid%3D10399036%26amp;nocookiesupport%3Dyes_cb917958a0a045ac241c6503dc9c537a&t=0/1401271989/082566e4729a66300623f6b2b9c878a3

28-05-2014 10:13:09: Запрос: http://market.yandex.ru/showcaptcha?cc=1&retpath=http%3A//market.yandex.ru/model.xml%3Fmodelid%3D10399036%26amp;nocookiesupport%3Dyes_cb917958a0a045ac241c6503dc9c537a&t=0/1401271989/082566e4729a66300623f6b2b9c878a3

28-05-2014 10:13:09: Удачный ответ от сервера

28-05-2014 10:13:09: Получено 9885 байт

28-05-2014 10:13:09: Конец парсинга

уже и не знаю куда копать, модуль очень нужный!!!

может я всё ики не то, что то гделаю?

может Вы сами посмотрите?

[sonicking]

вопрос к автору модуля

перешёл на другой хостинг, при вхогде в модуль ошибка:

Notice: Error: Unknown system variable 'SQL_MAX_JOIN_SIZE'
Error No: 1193
SET SQL_MAX_JOIN_SIZE = 4294967295999999 in /home/sonicru/public_html/system/database/mysql.php on line 49

 

вопрос всем пользователям

с проксями с сайи автора у кого нибудь рилииет? думаю прикупить платные, но не хотелось бы гденежку в трубу кидать

[igyan]

SET SQL_MAX_JOIN_SIZE = 4294967295999999  - закомментируйте или удалите строку 184 в файле admin/model/module/parser.php

 

Пока не понятно почему у вас не рилииет с прокси. Мне бы самому посмотреть, если дадите доступ по фтп к папке, например test, должна быть им ггде ваш магазин. (лучше по почте)

 

Неплохо было бы если бы кто-нибудь погделился проксями, на моем хостинге тоже бан, но рилииют

Но похоже не все зависит от прокси, но и от настроек хостинга, может от версии библиотеки curl

[sonicking]

ВСЁ УЖЕ ДЕЛАЮ НА НОВОМ ХОСТИНГЕ

 

удалил

 

Notice: Undefined variable: sql in /home/sonicru/public_html/admin/model/module/parser.php on line 185Notice: Error: Query was empty
Error No: 1065
in /home/sonicru/public_html/system/database/mysql.php on line 49

 

пересивил

 

Notice: Undefined index: source in /home/sonicru/public_html/admin/controller/module/parsermanager.php on line 326Notice: Error: Unknown system variable 'SQL_MAX_JOIN_SIZE'
Error No: 1193
SET SQL_MAX_JOIN_SIZE = 4294967295999999 in /home/sonicru/public_html/system/database/mysql.php on line 49

 

икой папки test нету :о(

 

напишите точно какие Вам дать данные - вышлю, а то рилии стоит :о(

 

по поводу прокси - попробую прикупить и попропотому чтовать, но сначала надо завести парсер на новом хостинге

[igyan]

ВСЁ УЖЕ ДЕЛАЮ НА НОВОМ ХОСТИНГЕ

 

удалил

 

Notice: Undefined variable: sql in /home/sonicru/public_html/admin/model/module/parser.php on line 185Notice: Error: Query was empty

Error No: 1065

in /home/sonicru/public_html/system/database/mysql.php on line 49

 

пересивил

 

Notice: Undefined index: source in /home/sonicru/public_html/admin/controller/module/parsermanager.php on line 326Notice: Error: Unknown system variable 'SQL_MAX_JOIN_SIZE'

Error No: 1193

SET SQL_MAX_JOIN_SIZE = 4294967295999999 in /home/sonicru/public_html/system/database/mysql.php on line 49

 

икой папки test нету :о(

 

напишите точно какие Вам дать данные - вышлю, а то рилии стоит :о(

 

вот инфа о сервере хостера

 

по поводу прокси - попробую прикупить и попропотому чтовать, но сначала надо завести парсер на новом хостинге

да удалите и следующую строку

пишите на почту

удалите из сообещёний данные  хостинга

[sonicking]

очень благодарен автору за хорошую подгдержку!

найгденные проблемы были устранены в кратчайшие сроки!

 

строки с адресом товара теперьь не обрезаются

производители добавляются (в сирых версиях то рилиило, то нет)

 

P.S. если у вас при запуске модуля выдаёт $sql = "SET SQL_MAX_JOIN_SIZE = 4294967295999999";

замените в файле \admin\model\module\parser.php строки ~ 184 и 290 на $sql = "SET MAX_JOIN_SIZE = 4294967295999999";

мне помогло, у меня на новом хостинге в базе нет переменной SQL_MAX_JOIN_SIZE, а есть только MAX_JOIN_SIZE

а на сиром была