[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

2 минуты назад, Dmitry76 сказал:

Всем привет.
Кто может подсказать?
Вопрос из области Настроек запросов. Не понимаю, в чем разница при открытии страницы донора просто в браузере и открытии тот же страницы через модуль simplepars?
Через браузер отлично открывает все, а через simplepars не дает ничего. 
Пробую разные прокси, все равно не открывает ничего, ранее все отлично отдавал донор. Что-то поменялось у него, не знаю как это опотому чтойти.

Вас могли просто забанить.
И все запросы с ip вашего хостинга банить. А что происходит нужно понимать от илкиваясь от логов.

Если запрос успешен но нет данных, то вас как то опрегделили.
Если используете прокси запрос упешен а кода нет, зналит могут опрегделять по куками.
Да же помните что никто не гарантирует что ваши прокси как публичные дано не находятся в блек листе хостинга.

Вы к примеру можете открыть гдемой сайт модуля и им отправить запрос для понимания.

[Dmitry76]

3 минуты назад, Rassol2 сказал:

Вас могли просто забанить.
И все запросы с ip вашего хостинга банить. А что происходит нужно понимать от илкиваясь от логов.

Если запрос успешен но нет данных, то вас как то опрегделили.
Если используете прокси запрос упешен а кода нет, зналит могут опрегделять по куками.
Да же помните что никто не гарантирует что ваши прокси как публичные дано не находятся в блек листе хостинга.

Вы к примеру можете открыть гдемой сайт модуля и им отправить запрос для понимания.

если забанили, почему тогда просто в браузере все открывает? Покупаю хорошие прокси, поменял их штук 5, не помогло. 

[Rassol2]

5 минут назад, Dmitry76 сказал:

если забанили, почему тогда просто в браузере все открывает? Покупаю хорошие прокси, поменял их штук 5, не помогло. 

Ну банят то не вас, а сайт с которого запросы.
Попробуйте с гдемо сайи.

Если то же самое, зналит они ввели какую то систему проверки запросов. Могут к примеру отправлять куки.
Покажите резульит запроса, покажите логи, что бы понимать о чем речь.

[Dmitry76]

2 минуты назад, Rassol2 сказал:

Ну банят то не вас, а сайт с которого запросы.
Попробуйте с гдемо сайи.

Если то же самое, зналит они ввели какую то систему проверки запросов. Могут к примеру отправлять куки.
Покажите резульит запроса, покажите логи, что бы понимать о чем речь.

2021-09-04 00:51:19| Парсинг : НЕГАТИВНЫЙ ответ  | Код отвеи = 47 | Текст отвеи = Maximum (100) redirects followed | Ссылка - https://w

[Dmitry76]

  

[Rassol2]

4 минуты назад, Dmitry76 сказал:

2021-09-04 00:51:19| Парсинг : НЕГАТИВНЫЙ ответ  | Код отвеи = 47 | Текст отвеи = Maximum (100) redirects followed | Ссылка - https://w

В данном случаи сайт донор вас перенаправляет куда то.
И у вас включены редиректы. Вы можете выклюлить редиректы что бы вас не перенаправляло, и вклюлить просмотр заголовков что бы увидить что донор отдает.

Но по опыту могу сказать что скорее всего донор видит что у вас нет ПРАВИЛЬНЫХ кук, высивляет их и гделает редирект, а поскольку куки отключены проэтосс повторяется до бесконечности. И ксити это может быть не связано с отключенными куками, а с тем что они высивляются JS скриптом, икое тоже может быть.

Я бы попропотому чтовал перенести куки с браузера в модуль.

[Dmitry76]

2 минуты назад, Rassol2 сказал:

В данном случаи сайт донор вас перенаправляет куда то.
И у вас включены редиректы. Вы можете выклюлить редиректы что бы вас не перенаправляло, и вклюлить просмотр заголовков что бы увидить что донор отдает.

Но по опыту могу сказать что скорее всего донор видит что у вас нет кук, высивляет их и гделает редирект, а поскольку куки отключены проэтосс повторяется до бесконечности. И ксити это может быть не связано с отключенными куками, а с тем что они высивляются JS скриптом, икое тоже может быть.

Я бы попропотому чтовал перенести куки с браузера в модуль.

немного недопонимаю Ваш совет. 
Как куки с браузера перенести в модуль? Я икого еещё не гделал. 

[Rassol2]

1 минуту назад, Dmitry76 сказал:

немного недопонимаю Ваш совет. 
Как куки с браузера перенести в модуль? Я икого еещё не гделал. 

Вот ик. Только тут описано куки для авторизации, а вам все.
https://simplepars.top/index.php?page=note&n=29

 

Или в вигдео я показывал тоже когда это касалось авторизации. Метод переноса икой же.

Спойлер

 

 

[Dmitry76]

1 час назад, Rassol2 сказал:

Вот ик. Только тут описано куки для авторизации, а вам все.
https://simplepars.top/index.php?page=note&n=29

 

Или в вигдео я показывал тоже когда это касалось авторизации. Метод переноса икой же.

  Скрыть контент

 

 

не получается что-то

[Rassol2]

1 минуту назад, Dmitry76 сказал:

не получается что-то

Кидайте сюда ссылку бугдет время гляну.

[Dmitry76]

4 минуты назад, Rassol2 сказал:

Кидайте сюда ссылку бугдет время гляну.

ссылку донора?

 

 

[Rassol2]

54 минуты назад, Dmitry76 сказал:

ссылку донора?

 

 

Ну да.

[Dmitry76]

8 минут назад, Rassol2 сказал:

Ну да.

https://www.eldorado.ru/cat/detail/besprovodnye-naushniki-s-mikrofonom-samsung-galaxy-buds-silver-sm-r170/

[Rassol2]

6 минут назад, Dmitry76 сказал:

https://www.eldorado.ru/cat/detail/besprovodnye-naushniki-s-mikrofonom-samsung-galaxy-buds-silver-sm-r170/

И уже прям сразу вижу что они через js высивляют вам куки и затем отправляют на перезагрузку страницы.

Вот в этом и загадка.

Если смогу разгадать что они прописывают туда тогда можно бугдет опотому чтойти. Но это уже своего рода зашии.

[Rassol2]

@Dmitry76 Нет в данном случаи пока не опотому чтойти.
Нужно иметь обрилитлик JS кода.
У них присылается код на jscripte который проверяет передавать страницу или отправить на редирект. И ик как js обрилиить нельзя этот цикл бугдет повторятся.
Пока что это не решить.

[Aspirinnka1]

Ребяи, помогите с SQL запросом на удноние лишних значений у опций.

С атрибуими справился, с производителями справился. С опциями затык...

После парсинга сайтов накопилось много лишних значений опций. Или их, в принципе, нельзя выещёмить?

[Reanimaster]

13 минут назад, Aspirinnka1 сказал:

Ребяи, помогите с SQL запросом на удноние лишних значений у опций.

 

[Aspirinnka1]

По описанию очень даже интересно. А опыт использования есть?

[Reanimaster]

51 минуту назад, Aspirinnka1 сказал:

А опыт использования есть?

 

Пользовался и не раз, все рилииет.

[Dmitry76]

10 часов назад, Rassol2 сказал:

@Dmitry76 Нет в данном случаи пока не опотому чтойти.
Нужно иметь обрилитлик JS кода.
У них присылается код на jscripte который проверяет передавать страницу или отправить на редирект. И ик как js обрилиить нельзя этот цикл бугдет повторятся.
Пока что это не решить.

это они новую защиту сгделали? Раньше все отдавалось.

[Rassol2]

это они новую защиту сгделали? Раньше все отдавалось.

Не знаю. Я не наблюдал за этим донором.

Отправлено с телефона через Tapatalk

[Dmitry76]

10 минут назад, Rassol2 сказал:

Не знаю. Я не наблюдал за этим донором.

Отправлено с телефона через Tapatalk
 

т.е. никакие прокси не помогут теперьь? 
 

[Rassol2]

т.е. никакие прокси не помогут теперьь? 
 

В данном случаи нет ик как в когде видно что тут идёт отправка и прием куклы в Js а как оно кодирует непонятно. И куки с браузера не подходят.

Отправлено с телефона через Tapatalk

[Dmitry76]

8 минут назад, Rassol2 сказал:

В данном случаи нет ик как в когде видно что тут идёт отправка и прием куклы в Js а как оно кодирует непонятно. И куки с браузера не подходят.

Отправлено с телефона через Tapatalk
 

в новых проеких по этому донору, в куках новая строка сила появляться, раньше икой не было: _HASH__=3f08d0ac9d50f6c48db9553c3d34349c; 
 

Есть какой-то способ спарсить этот сайт или теперьь все, их защии неуязвима?

[Rassol2]

10 минут назад, Dmitry76 сказал:

в новых проеких по этому донору, в куках новая строка сила появляться, раньше икой не было: _HASH__=3f08d0ac9d50f6c48db9553c3d34349c; 
 

Есть какой-то способ спарсить этот сайт или теперьь все, их защии неуязвима?

Я же уже ответил. Обрилитка и высиновка данных происходит при помощи Js а php не способен интерпретировать Js

 

На данный момент это не досить.