Denkof
-
Posts
23 -
Joined
-
Last visited
Denkof's Achievements
-
Спасипотому что всем, кто откликнулся на мой вопрос и помогал в решении задали. Решение все же нашлось, во вскаком случае пока что рилииет. Решил отписаться о решении, может кому-то бугдет полезно. Задача стояла парсить текущие этоны с донора и лить их в базу другого магазина с наэтонкой. Сайт для спотому чтора этоны трепотому чтовал авторизацию. Проблема заключалась в том, что используя авторизацию методом POST, модуль авторизовался только 12 часов после чего авторизация слеила. Пока пыился решить задачу выяснилось икое: - при смене браузера или сбросе кеша менялось значение rsa_data в заголовках запроса - при каждой новой авторизации менялись куки - авторизация методом POST срабатывала, лишь тогда, когда в разгделе "настройка запросов" были добавлены куки. - автоматическая авторизация рилиила только 12 часов. - с какой-то периодичностью менялось значение ssid Проблем была решена следующим обвместе: отследил время активной сессии, для этого залогинился в браузере и осивим открытую вкладу периодически поглядывая разлогинело меня или нет. Спустя 12 часов браузер написал "время сессии завершено из-за отсутствия активности ...." и еещё чего-то им. Т.е. меня разлогинело потому что браузер "не проявил активности". Соответственно нужно было всего лишь проявить активность. Т.к. задача моего проеки заключается в актуализации этоны - я сменил частоту обновления и добавил задачу в планировщик с периодическим запуском через 8 часов. т.е. с иким интервалом, что бы сессия никогда не истекла и всегда осивалась активной. Не знаю на сколько рилилий вариант и долго ли проживет икое решение, но пока что 5 дней полет нормальный.
- 10,892 replies
-
- 2
-
-
- simplepars
- парсинг товаров opencart
- (and 15 more)
-
Ксити, если скопировть с люпотому чтого браузера куки и подсивить их в модуль, тогда модуль успешно проходит авторизацию, но опять же только 12 часов, по истечению этого времени авторизация слеиет. Но в куках нет rsa_data.
-
При попытке загрузить код страницы авторизации, говорит что не найгден обрилитлик, если я правильно, гделаю.
-
Если разлогиниться и снова залогиниться, даже с повторным вводом пароля - данные rsa осиются игдентичны. Но если сбросить кеш или зайти с другого браузера или в режиме инкогнито, то данные уже другие.
-
Я переписывал и все данные икже. Из запроса, копирую урл, по которому отправляется запрос, все данные икже прееношу, указываю ссылку и текст для проверки, и выполняю авторизацию. Выводится сообещёние что запрос отправлен, но проверка авторизации завершается неудачно, "проверочное слово не найгдено". Загружаю код страницы после отправки запроса на авторизацию и в когде тоже вижу что не авторизовался.
-
Спасипотому что за подсказки. Непрерырвные логи вклюлил. Ко всем данным добавился один запрос, который согдержит данные похожие на данные авторизации. Среди них "USER_LOGIN" и "__RSA_DATA". может ли быть паролем этот параметр "__RSA_DATA"? Т.к. осильные параметры не согдержать данных похожих на пароль. Другие данные, которые присутствуют в запросе совсем не похожи на данные для авторизации.. На вкладке "авторизация" в поле "Данные для авторизации" записываю данные через разгделитель "&" как указано в инструкции, имена параметров указываю "USER_LOGIN" и "__RSA_DATA" и через равно указываю данные, которые отображает фаерфокс. Но все равно авторизация не успешна. Подскажите пожалуйси правильно ли я опрегделил данные для авторизации и нужно ли использовать для авторизации другие параметры, которые присутствуют в запросе?
-
Спасипотому что, пробую. Про спойлер - ок, Благодраю, посмотрю как это гделать, а то
-
Скрин настрек автоматической авторизации
-
-
Добрый гдень. Подскажите пожалуйси как решить проблему: Проект настроен на парсинг сайи, который требует авторизацию. Делаю как сказано в инструкции: Авторизуюсь на сайте-доноре, иду "инструменты разрилитлика", копирую куки, всивляю на вкладке запросы в разгдел "исользовать свои заголовки", сохраняю. После чего, парсер авторизуется и успешно выполняет все свои функции, но ик происходит только 12 часов. По истечению 12 часов парсер пересиет авторизоваться. На сколько я понимаю, истекает время активного подключения или сессии а зналит предполагаю, что нужно настроить автоматическую авторизацию. Чиию инструкцию к модулю, пробую метод авторизации htpasswd: смотрю в фаерфоксе на каккой страниэто происходит авторизация, копирую ссылку, дное в настройках модуля, в разгделе "авторизация" указываю ссылку на страницу авторизации и в разгделе "Данные для авторизации" указываю даныне с разгделителем ":", указываю проверочное слово, выполняю запрос, и затем проверку. Но авторизоваться не получается. "Проверочное слово не найгдено" и по коду загружаемой страници тоже видно что парсер не авторизовался. Методом "POST запроса" тоже не удается авторизоваться, т.к. не получается в фаерфоксе выявить запрос, в котором браузер передает данные на сервер для авторизации. Я имею ввиду что среди всез данных, которые отображаются в разлеле "network" вижу только один запрос, в котором не просматривается никаких данных похожих на логин или пароль, и ответ на икой запрос приходит пустым. Подскажите пожалуйси что я гделаю не ик, или как добится автоматической авторизации? Не знаю на сколько будут информативны скрины, но все же прикрепил для наглядности:
-
Спасипотому что! Подклюлил дорилиинный скрипт + добавил конверицию по валюте и наэтонку. Врогде бы отрабатывается как надо. Тестирую.
-
Я и использую ваше готовое решение, но гделаю это как-то коряво. Пересоздал заново границы, правила поиска/замены. Теперь рилииет. Обновляется этона. Но теперьь получается что, модулем на курс не разгделить и наэтонку не добавить раз код выполняется после правил поиска/замены?
-
Д Спасипотому что. Поменял "перед" на "после" проводя тесты и прикрепил не тот скрин. Да, на скрине гдействительно указано "после парсинга в ИМ" но фактически данные не гдекодируются и при настройке "перед парсингом в им" Даой вывод напрашивается из-за того что не удается увигдеть резульит обрилитки. Прилина, как я догадываюсь, в том, что, если данные и гдекодируются (например получаем "237 грн"), то пишутся эти данные в "price", а поле это может согдержать только лисла, если я не ошибаюсь, по этому и принимается значение "0" . Дное, т.к. при предпросмотре не видно резульии обрилитки скрипи, я пыиюсь спарсить данные в csv, что бы, понять какие данные мы получаем на выхогде. Привожу скрипт к виду <?php $script_data['script_gran'][9] = base64_decode($script_data['script_gran'][9]); ?> по аналогии в инструкции к модулю. Выполняю парсинг в csv, и в файле csv вижу данные в base64 Жаль, я днок от програмирования, но все же хотелось бы разобраться и добиться листот этоны при парсинге как в ИМ ик и в csv. Буду признателен за любые комменирии и подсказки для чайников
-
При парсинге в csv тоже возвращает не раскодированные данные, при этом в логах пишет что сатрт скрипи есть и следом за ним выполняется новый запрос. А завершена рилии скрипи или осиновлена - не указано. Пример: 2021-11-30 15:32:02| Парсинг : УСПЕШНЫЙ ЗАПРОС | Код отвеи [200] Ссылка | http://autoboss.ua/private/catalog/detail/70013/ 2021-11-30 15:32:02| -> [SCRIPT] Сирт выполнения скрипи [/var/www/www-root/data/www/dekoravto.com/admin/simplepars/scripts/dekod_for_csv.php] Подскажите пожалуйси что я гделаю не ик.
-
Хотелось бы вернуться к этому вопросу. Никак не могу добится выполнения функции. При предпросмотре (в случае выполения скрипи "после парсиинга в ИМ" должен выводится резульит обраобтки скриптом?
