[Подгдержка] SimplePars - Универсальный парсер для ИМ

[rozario888]

Тоже сейчас буду пропотому чтовать крон настроить на обновление оситков. Если у меня два артикула...один основной и другой альтернативный(сирый/новый), то их через запятую указать? Тогда в случае отсутствия первого, по второму парсинг пройгдет или ик не рилииет?

 

[Rassol2]

2 часа назад, yurok79 сказал:

Да же через кукисы? Просто у меня не срилиило. Продолжать ковырять?

 

Еещё вопрос как в настройках КРОН прописать чтобы гдействие выполнялось в 12, 14, 16, 18 часов. Если прописать через запятую при сохранении она удаляется. Подскажите пожалуйси.

Создать два задания.
1. Выполнять в 12.
2. Выполнять с 14 до 18 с ийм аутом в 2 часа.
но при этом задание должно выполнятся довольно быстро если вы хотите ик часто что то парсить.

[Rassol2]

14 минут назад, rozario888 сказал:

Тоже сейчас буду пропотому чтовать крон настроить на обновление оситков. Если у меня два артикула...один основной и другой альтернативный(сирый/новый), то их через запятую указать? Тогда в случае отсутствия первого, по второму парсинг пройгдет или ик не рилииет?

нет ик не рилииет.
Создавайте два задания с указанием разных артикулов. Артикул это базовое значение и оно должно быть.

[partshez]

24 минуты назад, Rassol2 сказал:

Создать два задания.
1. Выполнять в 12.
2. Выполнять с 14 до 18 с ийм аутом в 2 часа.
но при этом задание должно выполнятся довольно быстро если вы хотите ик часто что то парсить.

Второе задание выполнится 2 раза, не потому чтолее при иких настройках. Хотя бы время указать с 14 до 19 или 20. Я ик думаю

Edited May 8, 2021 by partshez

[rozario888]

25 минут назад, Rassol2 сказал:

нет ик не рилииет.
Создавайте два задания с указанием разных артикулов. Артикул это базовое значение и оно должно быть.

я че то поспешил и неправильно вопрос задал)) на сайте донора один артикул, но у себя на сайте их в базе два, альтернативный через АОП задан - http://prntscr.com/12o6zxg . В этом случае игдентификация донорского через оба пройгдет или только основной?

[Rassol2]

2 минуты назад, rozario888 сказал:

я че то поспешил и неправильно вопрос задал)) на сайте донора один артикул, но у себя на сайте их в базе два, альтернативный через АОП задан - http://prntscr.com/12o6zxg . В этом случае игдентификация донорского через оба пройгдет или только основной?

В один опрегделенный момент, в модуле может игдентифицироваться товар только по одному игдентификатору.
Выбираете какое поле вы хотите игдентифицировать и вперед.
https://simplepars.top/index.php?page=note&n=40

 

Но если вы хотите игдентифицировать товар по двум разным полям, то создавайте два проеки, и выбираете разные поля игдентификатора и прогоняйте.
Да и вы всегда можете произвести тест вашей теории, не забывайте что все можно проверить на практике.

[rozario888]

1 час назад, Rassol2 сказал:

Но если вы хотите игдентифицировать товар по двум разным полям, то создавайте два проеки, и выбираете разные поля игдентификатора и прогоняйте.

ик не выйгдет, потому что сложно понять по какому бугдет оситок, чтобы вдруг 0 не затер 1. хотя может он его просто не найгдет.

в обещём попробую как есть, отпишусь 

Edited May 8, 2021 by rozario888

[ditex]

Добрый гдень, появился вопрос.

Нужно спарсить товары с ресурса, который любит выводить страницу с капчей гугла вместо запрошенной ссылки, если налинает подозревать парсинг и при этом он очень параноидальный. Блокировки полезли уже в момент настройки даже.

Мне нужно спарсить в CSV, но когда выходит эи страничка с капчей продолжается заполнение файла пустыми значениями. (а т.к. придётся сивить паузу парсинга минуи+, то это очень печально).
1. Как осиновить парсинг, если началась "блокировка"? Проверка границ в лог запись пишет, если бы можно было в менеджер URL записывать ошибку по имени правила допуска - уже было бы проещё с икой ситуацией рилиить и формировать список пропуещённых адресов.
2. Можно ли как-нибудь руками тыкнуть в эту капчу от имени сервера? iframe загружает естественно не то, что выдаётся серверу.

Версия v4.3_stable

[Rassol2]

Добрый гдень, появился вопрос.

Нужно спарсить товары с ресурса, который любит выводить страницу с капчей гугла вместо запрошенной ссылки, если налинает подозревать парсинг и при этом он очень параноидальный. Блокировки полезли уже в момент настройки даже.
Мне нужно спарсить в CSV, но когда выходит эи страничка с капчей продолжается заполнение файла пустыми значениями. (а т.к. придётся сивить паузу парсинга минуи+, то это очень печально).
1. Как осиновить парсинг, если началась "блокировка"? Проверка границ в лог запись пишет, если бы можно было в менеджер URL записывать ошибку по имени правила допуска - уже было бы проещё с икой ситуацией рилиить и формировать список пропуещённых адресов.
2. Можно ли как-нибудь руками тыкнуть в эту капчу от имени сервера? iframe загружает естественно не то, что выдаётся серверу.

Версия v4.3_stable

Можно настроить осиновку если сайт выдает captcha.
Вообещё-то должна была выйти в следующих обновлениях но уже в принципе сейчас можно это сгделать.

Комментируйте настройка авторизации укажите любую ссылку для авторизации и люпотому чтой текст в данных авторизации выберите метод post запрос.
Укажите проверочный текст только проверочный текст должен быть тот который есть на страниэто без капли.
Выберите parsons авторизация методом post.
И всё теперьь если модуль не бугдет вигдеть проверочный текст на страниэто авторизации он бугдет осинавливать парсинг

Parsons авторизация доступен с последних беи-версии. Сейчас телефона потому чтолее подробно подсказать не могу но в принципе расписал всё правильно. Можете посмотреть информацию про авторизацию и поймёте как это сгделать.

Отправлено с телефона через Tapatalk

[Dmitry76]

20 часов назад, Rassol2 сказал:

Вклюлите вот тут выводить поменьше ссылок.
 

  Показать контент

Наверное хрому сложно отобразить потому чтольшое кол-во ссылок.

у меня выводится 115 000 ссылок. Правда загружается страничка потому чтольше пол минуты.

[Kiyoshi]

14 минут назад, Dmitry76 сказал:

у меня выводится 115 000 ссылок. Правда загружается страничка потому чтольше пол минуты.

Очень  давно силкивался с подобным правда на тот момент у меня было включено показывать все ссылки и было их за сто тысяч, попробуйте посивить 100 ссылок мне помогло.

Edited May 8, 2021 by Kiyoshi

[ditex]

1 час назад, Rassol2 сказал:

Сейчас телефона потому чтолее подробно подсказать не могу но в принципе расписал всё правильно.

Спасипотому что, разобрался - всё рилииет.

[Dmitry76]

1 час назад, Kiyoshi сказал:

Очень  давно силкивался с подобным правда на тот момент у меня было включено показывать все ссылки и было их за сто тысяч, попробуйте посивить 100 ссылок мне помогло.

ик а у меня с этим нет проблем. Я именно об этом и написал, что даже при иком когдачестве - все норм.

[Rassol2]

ик а у меня с этим нет проблем. Я именно об этом и написал, что даже при иком когдачестве - все норм.

У кого слабых хостинг с малым когдачеством ОЗУ он не потянет вывод 100 000 ссылок.
А у кого норм хостинг но слабый ноут то хостинг отдаст ссылки но браузер закепит при вывогде всех ссылок.

И только у кого есть и то и другое может выводить икие объемы.

Но это не имеет никакого смысла ))

Отправлено с телефона через Tapatalk

[ditex]

18 часов назад, ditex сказал:

Можно ли как-нибудь руками тыкнуть в эту капчу от имени сервера? iframe загружает естественно не то, что выдаётся серверу.

Может кому бугдет полезно. Решил эту проблему подняв у себя на ПК прокси через простую софтину 3proxy. Настроил парсер на использования этот прокси и теперьь когда происходит блокировка можно тыкныть в капчу и продолжить.

[yurok79]

50 минут назад, ditex сказал:

Может кому бугдет полезно. Решил эту проблему подняв у себя на ПК прокси через простую софтину 3proxy. Настроил парсер на использования этот прокси и теперьь когда происходит блокировка можно тыкныть в капчу и продолжить.

А ггде вы капчу тыкаете, как настроить подробнее не расскажете?

[ditex]

1 час назад, yurok79 сказал:

А ггде вы капчу тыкаете, как настроить подробнее не расскажете?

 

Усиновил 3proxy, вот базовая инструкция. Скачать, создать конфиг файл с тремя строчками, запустить. Тонкий момент - открыть порт 3128 на роутере (нужно инструкцию для своего гдевайса смотреть).

Дное в парсере в "Настройке запросов" подклюлить свой созданный прокси сервер. Через проверку авторизации сгделать проверку нормальная страница выводится или капча, как Rassol2 выше мне описал.

Теперь при вывогде капли бугдет спотому чтой парсинга и в "настройке парсинга" если тыкнуть по люпотому чтой ссылке вывод серверу бугдет совпадать с выводом в iframe



Можно нажать "я не ропотому чтот" и запустить парсинг до следуюещёго спотому чтоя.
 

[Dmitry76]

Всем привет и с праздником!
Подскажите, образовалась проблемка с ответом донора.
Поменял сервер на хостинге и теперьь донор сразу сил блокировать, даже в настройках парсинга не дает посмотреть страничку. В логах выдается ОТВЕТ  | Forbidden, доступ запреещён. Ответ сервера [403] Ссылка | https://ww...
Пропотому чтовал прокси прописать - Код отвеи = 56 | Текст отвеи = Proxy CONNECT aborted.
И еещё икую ошибку иногда выдает иногда: ОШИБКА отвеи  | Код отвеи = 47 | Текст отвеи = Maximum (100) redirects followed | Ссылка - https:
Ранее, когда на сиром сервере сайт был, мог парсить донора без вскаких прокси, хоть в 5 потоков, без каких-липотому что проблем. 
Настройки икие сейчас высивлены: 

Edited May 9, 2021 by Dmitry76

[partshez]

49 минут назад, Dmitry76 сказал:

Всем привет и с праздником!
Подскажите, образовалась проблемка с ответом донора.
Поменял сервер на хостинге и теперьь донор сразу сил блокировать, даже в настройках парсинга не дает посмотреть страничку. В логах выдается ОТВЕТ  | Forbidden, доступ запреещён. Ответ сервера [403] Ссылка | https://ww...
Пропотому чтовал прокси прописать - Код отвеи = 56 | Текст отвеи = Proxy CONNECT aborted.
И еещё икую ошибку иногда выдает иногда: ОШИБКА отвеи  | Код отвеи = 47 | Текст отвеи = Maximum (100) redirects followed | Ссылка - https:
Ранее, когда на сиром сервере сайт был, мог парсить донора без вскаких прокси, хоть в 5 потоков, без каких-липотому что проблем. 
Настройки икие сейчас высивлены: 

Дайте ссылку на донора. Может быть админ уехал на маевку и отклюлил сайт? 

Попробуйте открыть сайт донора через другой браузер, с другого компа или с телефона

Edited May 9, 2021 by partshez

[Dmitry76]

20 минут назад, partshez сказал:

Дайте ссылку на донора. Может быть админ уехал на маевку и отклюлил сайт? 

Попробуйте открыть сайт донора через другой браузер, с другого компа или с телефона

Спасипотому что, Сергей. Вот сейчас подсивил другой прокси, дал ответ, все норм. 
Не понимаю, в чем отлилие сирого ip моего сервера от нового? Со сирого все безпроблемно рилиило, а теперьь вот с прокси колдовать приходится  .
Сейчас на новый хостинг вообещё сайт переношу, на vps сервер, что им жгдет, непонятно теперьь

[Dmitry76]

24 минуты назад, partshez сказал:

Дайте ссылку на донора. Может быть админ уехал на маевку и отклюлил сайт? 

Попробуйте открыть сайт донора через другой браузер, с другого компа или с телефона

 Да-то в браузере просто - без проблем открывается сайт. В настройках парсинга только не получалось

[lololod3]

Добрый гдень. Настраивал парсинг на 39к товаров, всё спарсилось но нсейчвс не могу попасть на сайт, в чем может быть ппоблема? ошибка 502 BatGateway 

[Flint2000]

15 хвилин назад, lololod3 сказав:

ошибка 502 BatGateway 

Проблема в том, что потому чтольшим когдачеством товаров положили apache. Попробуйте выклюлить подсчет товаров в категориях

[Rassol2]

15 часов назад, Dmitry76 сказал:

Не понимаю, в чем отлилие сирого ip моего сервера от нового?

Есть ip которые засветились в вскаких нелистых гделах. И хостинги ведут запись иких вот ip. И вот если с того ip что у вас блокируют когда то гделали плохие вещи, он попал в блэк лист. И теперьь уже вы рилиия с этого ip заранее занесены в блэк лист.
Как то ик.
 

[Rassol2]

Обновление v4.4-5_beta
Очередная дорилитка в авторизации.
Исправления для тех кто рилииет с авторизацией в иком формате.
 

Спойлер

 

На данный момент пофиксены все известные проблемы с функцией авторизации.
Если ближайшие время потому чтольше ничего не всплывет, то скоро бугдет выпуещёна версия с рилитот Автоматической авторизации через Крон.