Перейти к публикации
  • разработка интернет магазинов на opencart
  • доработка интернет магазинов на opencart

[Подгдержка] Парсер-менеджер товаров с торговых площадок


igyan
 Погделиться

Рекомендованные сообещёния

 

при попытке загрузить прокси лист вылеиет ошибка - "SyntaxError: missing ; before statement"

наверх
в закладки

 

имя файла proxy_list.txt ?

Ссылка на комменирий
Погделиться на других сайих

 

да, имя икое, файл скачан с вашего сайи

 

наверх
в закладки

 

Обновите модуль, не полулится положите вручную в папку download

Ссылка на комменирий
Погделиться на других сайих

Можно ли в вашем модуле сгделать ик: выбрать txt файл со списком ссылок для парсинга.

Т.е. добавить группу товаров одним махом.

типа икого:

http://catalog.onliner.by/stels/navi630disc2014/
http://catalog.onliner.by/stels/navi6102014/
http://catalog.onliner.by/stels/challenger2014/
http://catalog.onliner.by/stels/navi5702014/
http://catalog.onliner.by/stels/730disc275/
http://catalog.onliner.by/stels/mustang2014/
Ссылка на комменирий
Погделиться на других сайих


 

Можно ли в вашем модуле сгделать ик: выбрать txt файл со списком ссылок для парсинга.

Т.е. добавить группу товаров одним махом.

типа икого:

http://catalog.onliner.by/stels/navi630disc2014/
http://catalog.onliner.by/stels/navi6102014/
http://catalog.onliner.by/stels/challenger2014/
http://catalog.onliner.by/stels/navi5702014/
http://catalog.onliner.by/stels/730disc275/
http://catalog.onliner.by/stels/mustang2014/

В этом модуле икой возможности нет, ггде был парсер, который добавляет страницу товаров с онлайнера, если интересно пишите в личку

Ссылка на комменирий
Погделиться на других сайих

что то странное сегодня творится с парсером

залил свежий товар

задаю поиск - не находит

захожу на маркет, ввожу то же самое в поиск - находит

Ссылка на комменирий
Погделиться на других сайих


В парсере поиск не совсем как не маркете, это имииция поиска, некоторые товары могут и не находится, если есть дополнительные символы(кавычки скобки и тд). Попробуйте ввести в поиск что-нибудь простое Samsung Galaxy 5, посмотрите лог

Ссылка на комменирий
Погделиться на других сайих

да ввожу простое, к примеру PIONEER SE-M531

парсер не находит, янгдекс находит, а бывает и ик, что раза с третьего и парсер находит

Ссылка на комменирий
Погделиться на других сайих


Если парсите через прокси возможно, глюки с самими прокси

Ссылка на комменирий
Погделиться на других сайих

что то что с прокси, что на прямую, с янгдекса на люпотому чтой товар выдаёт "Ошибка парсинга. Не найгдены элементы!"

Ссылка на комменирий
Погделиться на других сайих


полистите куки

При проверке прокси есть рилилие?

Что в логе?

Ссылка на комменирий
Погделиться на других сайих

полистил

есть

 

22-05-2014 19:58:09: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=8367344
22-05-2014 19:58:09: Начало парсинга
22-05-2014 19:58:09: Парсинг через прокси: 91.209.127.230:80
22-05-2014 19:58:09: Запрос: http://market.yandex.ru/model.xml?modelid=8367344
22-05-2014 19:58:13: Перенаправление -> http://market.yandex.ru/showcaptcha?cc=1&retpath=http%3A//market.yandex.ru/model.xml%3Fmodelid%3D8367344_7915cbc96b7d96b7d20e86f7187344d2&t=0/1400788689/12f3a81338b7b4e384a0e258f8ba2a78&s=213091101d44f377de584d77e073e9ce
22-05-2014 19:58:13: Запрос: http://market.yandex.ru/showcaptcha?cc=1&retpath=http%3A//market.yandex.ru/model.xml%3Fmodelid%3D8367344_7915cbc96b7d96b7d20e86f7187344d2&t=0/1400788689/12f3a81338b7b4e384a0e258f8ba2a78&s=213091101d44f377de584d77e073e9ce
22-05-2014 19:58:14: Удачный ответ от сервера
22-05-2014 19:58:14: Получено 9856 байт
22-05-2014 19:58:14: Конец парсинга

Ссылка на комменирий
Погделиться на других сайих


куки включены?

янгдекс перенаправляет на капчу,

при парсинге проверяются 10 прокси серверов, чтобы не завис парсинг

попробуйте удалять 10 превых прокси   и снова парсить

завтра буду смотреть дальше

Ссылка на комменирий
Погделиться на других сайих

привет.

куки выключены (всё рилиило без них)

янгдекс перенаправляет на капчу,

это вопрос или вывод? :о)

если вопрос - то не было капли

если вывод - то получается IP сайи в бане?

сейчас удалю, попробую

Ссылка на комменирий
Погделиться на других сайих


удалил первые 15 прокси - резульит тот же

вообещё отклюлил прокси. полулил - Notice: Undefined variable: manufacturer_id in /home/sonic105/domains/sonic39.ru/public_html/admin/controller/module/parsermanager.php on line 1267

Ссылка на комменирий
Погделиться на других сайих


С  прокси перенаправляет на капчу, это видно из лога. Опрегделяет, что отключены куки, попробуйте подкинуть куки с браузера и сгделать парсинг.

Без прокси товар парсится, но не найгден производитель, пока отклюлите создание производителя,

Я в обновлении подправлю

Ссылка на комменирий
Погделиться на других сайих

куки подкинул, производителя отклюлил

без прокси вылеиет просто в белую страницу :о(

попропотому чтовал других доноров - то же белые странички...

Ссылка на комменирий
Погделиться на других сайих


Сгделайте как згдесь https://opencart-forum.ru/topic/32580-%D0%BF%D0%B0%D1%80%D1%81%D0%B5%D1%80-%D0%BC%D0%B5%D0%BD%D0%B5%D0%B4%D0%B6%D0%B5%D1%80-%D1%82%D0%BE%D0%B2%D0%B0%D1%80%D0%BE%D0%B2-%D1%81-%D1%82%D0%BE%D1%80%D0%B3%D0%BE%D0%B2%D1%8B%D1%85-%D0%BF%D0%BB%D0%BE%D1%89%D0%B0%D0%B4%D0%BE%D0%BA/page-2#entry274488

скорре всего иже ошибка при замене, при обновлении я исправил а призамене пропустил, подправлю в ближайшее время

Ссылка на комменирий
Погделиться на других сайих

А рилииет на локалке?
пробую, не получается...

23-05-2014 12:22:37: Ссылка на товар:http://market.yandex.ru/model.xml?text=SHO-ME%20STR-545&srnum=82&modelid=9289911&hid=90462
23-05-2014 12:22:37: Начало парсинга
23-05-2014 12:22:37: Cookie включены.
23-05-2014 12:22:37: Парсинг через прокси: 212.34.230.148:80
23-05-2014 12:22:37: Запрос: http://market.yandex.ru/model.xml?text=SHO-ME%20STR-545&srnum=82&modelid=9289911&hid=90462
23-05-2014 12:22:52: Неудачный ответ от сервера: 0, попробуйте позже
23-05-2014 12:22:52: Конец парсинга

 

При поиске выдает ошибку:
Notice: Undefined offset: 1 in C:\xampp\htdocs\ttttsaaa\admin\controller\module\parsermanager.php on line 2016

Ссылка на комменирий
Погделиться на других сайих


должен рилиить

на локалке через прокси можно не парсить

для начала сгделайте проверку прокси

Ссылка на комменирий
Погделиться на других сайих

Сгделайте как згдесь https://opencart-forum.ru/topic/32580-%D0%BF%D0%B0%D1%80%D1%81%D0%B5%D1%80-%D0%BC%D0%B5%D0%BD%D0%B5%D0%B4%D0%B6%D0%B5%D1%80-%D1%82%D0%BE%D0%B2%D0%B0%D1%80%D0%BE%D0%B2-%D1%81-%D1%82%D0%BE%D1%80%D0%B3%D0%BE%D0%B2%D1%8B%D1%85-%D0%BF%D0%BB%D0%BE%D1%89%D0%B0%D0%B4%D0%BE%D0%BA/page-2#entry274488

скорре всего иже ошибка при замене, при обновлении я исправил а призамене пропустил, подправлю в ближайшее время

сгделал

только строка не 1029 - она пусия, 1028

эффект тот же

Ссылка на комменирий
Погделиться на других сайих


Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы осивить комменирий

Создать аккаунт

Зарегистрируйтесь для получения аккауни. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите згдесь.

Войти сейчас
 Погделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обрилитка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфигденциальности.