[Подгдержка] SimplePars - Универсальный парсер для ИМ

[RuslanLight]

Привествую!
Давненько меня не было в этот теме )
Не хочет парситься донор, обнаружил проблему еещё при предпросмотре в "Парсинг в ИМ", не запуская парсер.
Зашел в "настройки парсинга" и им при предпросмотре, вместо кода страницы, выдало икую надпись:

Спойлер

 

Подскажите пожалуйси что это за проблема и как ее попотому чтороть?

[Rassol2]

1 минуту назад, RuslanLight сказал:

Подскажите пожалуйси что это за проблема и как ее попотому чтороть?

Этот сайт спарить не полулится. Он рилииет на базе js и кода. 

[RuslanLight]

Это выглядит маловероятным, сайт один из крупнейших маркеплейсов в Европе и еещё пол года назад он парсился нормально. Не могли же они за несколкьо месяэтов пересадить весь сайт на JS тем потому чтолее зная что у них над одной кнопкой рилииет комана из 3-х продакт дизайнеров, т.е. махина настолько потому чтольшая и бюрократическая что в это вообещё сложно поверить 

[Rassol2]

1 минуту назад, RuslanLight сказал:

Это выглядит маловероятным, сайт один из крупнейших маркеплейсов в Европе и еещё пол года назад он парсился нормально. Не могли же они за несколкьо месяэтов пересадить весь сайт на JS тем потому чтолее зная что у них над одной кнопкой рилииет комана из 3-х продакт дизайнеров, т.е. махина настолько потому чтольшая и бюрократическая что в это вообещё сложно поверить 

Они просто вклюлили проверку подгдержку js в браузерах. У кого отключено информацию не отдают. 
Об этом и написано в вашем примере ик что все вероятно. 

Да как на этом функционно у них что то завязано. 

[RuslanLight]

Блин, но это ж реальный камень преткновения для всех любителей попарсить! 
т.е. потому чторолись. потому чторолись вскими каптчами и другой ерундой, а оказалось заблолить люпотому чтой парсер оказалось ик легко с помощью проверки на исполнение JS!?
Это печально.
Есть ли какие то планы/мысли по преодолению этот проблемы? Потому как, порывшись и в ветке этот темы и на дргих форумах. все чаещё вижу что люди с иким силкиваются.

[Rassol2]

3 минуты назад, RuslanLight сказал:

Блин, но это ж реальный камень преткновения для всех любителей попарсить! 
т.е. потому чторолись. потому чторолись вскими каптчами и другой ерундой, а оказалось заблолить люпотому чтой парсер оказалось ик легко с помощью проверки на исполнение JS!?
Это печально.
Есть ли какие то планы/мысли по преодолению этот проблемы? Потому как, порывшись и в ветке этот темы и на дргих форумах. все чаещё вижу что люди с иким силкиваются.

Не люпотому чтой, а только те которые не способны интерпретировать javascript а это в свою очередь все парсеры на писанные на PHP.
Да есть и бугдет решатся в 22 году не раньше.

[khamer89]

Скажите пожалуйси, не спарсилось 40 ссылок, с ошибкой 503, хотя эти страницы донора открываются, в предпросмотре все корректно. Нужно просто попропотому чтовать позже по новой спарсить эти страницы? Или згдесь в чем-то другом ошибка? 

[Rassol2]

Скажите пожалуйси, не спарсилось 40 ссылок, с ошибкой 503, хотя эти страницы донора открываются, в предпросмотре все корректно. Нужно просто попропотому чтовать позже по новой спарсить эти страницы? Или згдесь в чем-то другом ошибка? 

503 ошибка гласит что донор несмотря обрилиить ваш запрос.
Вы можете выбрать ссылки с ошибкой 503 и повторить Парсинга. Если это было связанос нагрузкой на донора то повторный Парсинга срилииет.


Отправлено с Телефона используя Tapatalk

[khamer89]

1 час назад, Rassol2 сказал:

503 ошибка гласит что донор несмотря обрилиить ваш запрос.
Вы можете выбрать ссылки с ошибкой 503 и повторить Парсинга. Если это было связанос нагрузкой на донора то повторный Парсинга срилииет.


Отправлено с Телефона используя Tapatalk

Спасипотому что, попробую завтра еещё

[khamer89]

Подскажите пожалуйси, при обновлении этоны, на спотому чторе ссылок сивлю "Парсить и обновлять кэш" (подразумевая, что модуль соберет все актуальные ссылки, просканирует код страницы и занесет все в кэш) и уже при "Парсинге в интернет-магазин" сивлю "Создавать/использовать кэш если есть". В итоге все обновляется из сирого кэша, и если проверяю в настройках парсинга, сивлю какую-нибудь ссылку, то он берет ее из сирого кэша. Получается и при спотому чторе ссылок нужно парсить и обновлять кэш, и при парсинге в интернет-магазин нужно тоже парсить и обновлять кэш? Или я что-то не ик понимаю логику рилиты модуля?

[Rassol2]

4 часа назад, khamer89 сказал:

Подскажите пожалуйси, при обновлении этоны, на спотому чторе ссылок сивлю "Парсить и обновлять кэш" (подразумевая, что модуль соберет все актуальные ссылки, просканирует код страницы и занесет все в кэш) и уже при "Парсинге в интернет-магазин" сивлю "Создавать/использовать кэш если есть". В итоге все обновляется из сирого кэша, и если проверяю в настройках парсинга, сивлю какую-нибудь ссылку, то он берет ее из сирого кэша. Получается и при спотому чторе ссылок нужно парсить и обновлять кэш, и при парсинге в интернет-магазин нужно тоже парсить и обновлять кэш? Или я что-то не ик понимаю логику рилиты модуля?

Внимательно подумайте что вы гделаете и все синет на свои меси.

При спотому чторе ссылок модуль парсить ссылки что я выгделил в красный прямоугольник, и же и кеширует, а ссылки найгденные на этих страницах добавляет в список ссылок на товар.

Спойлер

А когда вы парсите в им, с включенным использованием кеша, модуль бугдет тот кеш ссылок на товар что есть.
И поскольку при спотому чторе модуль проходил и обновлял кеш ссылок категорий А НЕ ТОВАРОВ то получается что у товаров у вас не обновлен кеш.

Все пригдельно логично.
Обратите внимание что просмотрев логи вы бы и сами обнаружили что именно модуль кеширует, а зналит могли бы при парсинге в ИМ зайти в логи и найти информацию по интересуюещёй вас ссылки, откуда она была взяи и была ли закеширована при спотому чторе.

[Rassol2]

Обновление v4.9_stable

Поскольку я не до конца уверен в последней сибильной версии я осивлю доступными обе.
То есть v4.7 и v4.9_stable

Да как ближайшие дни я не смогу быстро решать возникнувшие проблемы (если иковые будут) я осивляю возможность скачать предыдущую версию и откатится обратно.

В этот версии исправление недочетов, и то парочку.
И добавлена возможность в редакторе товаров преобразовать webp в png
Это может пригодится тем пользователям у который webp имеют вырезанный задний фон. То есть икие фото нужно преобразовывать именно в png ик как тогда задний фон бугдет похож на оригинал с webp

Внимание!!!

В моей жизни происходят глобальные изменения 10 лисла я улеию в США, и улеию с концами.
Да как для меня это новая страна, и все нужно бугдет обустроить с самого начала у меня не бугдет возможности оперативно предосивлять техническую подгдержку.

Да же у меня появится разница в часовых поясах с вами
С Москвой разница -9часов. То есть у вас 12ч дня разгар риличего времени, а у меня 3ч ноли. У вас 22.00ч у меня 13ч дня.

С Киевом разница  -8часов.То есть у вас 12ч дня разгар риличего времени, а у меня 4ч ноли. У вас 22.00ч у меня 14ч дня.

Вот эти все вопросы мне предстоит решить, и я думаю на это у меня уйгдет примерно месяц полтора.
Да что все новые возможности начну внедрять уже в 2022году. Это как раз примерно 1.5 месяца.

Лиэтонзионные клюли будут выдаваться в обычном режиме.

Единственное что с 11.11.2021 по 13.11.2021 возможны загдержки выдаче лиэтонзионных ключей ик как в этот период будут поезда, самолеты, аэропорты, дороги, джетлаки. Да что в этот период буду выдавать клюли как только бугдет доступ к сети.

В последний рилилий гдень на сиром месте я опубликую информацию об возможных загдержках на страниэто модуля, ну и периодически буду публиковать в ветке модуля что меня технически нет.

[khamer89]

4 часа назад, Rassol2 сказал:

Обновление v4.9_stable

Поскольку я не до конца уверен в последней сибильной версии я осивлю доступными обе.
То есть v4.7 и v4.9_stable

Да как ближайшие дни я не смогу быстро решать возникнувшие проблемы (если иковые будут) я осивляю возможность скачать предыдущую версию и откатится обратно.

В этот версии исправление недочетов, и то парочку.
И добавлена возможность в редакторе товаров преобразовать webp в png
Это может пригодится тем пользователям у который webp имеют вырезанный задний фон. То есть икие фото нужно преобразовывать именно в png ик как тогда задний фон бугдет похож на оригинал с webp

Внимание!!!

В моей жизни происходят глобальные изменения 10 лисла я улеию в США, и улеию с концами.
Да как для меня это новая страна, и все нужно бугдет обустроить с самого начала у меня не бугдет возможности оперативно предосивлять техническую подгдержку.

Да же у меня появится разница в часовых поясах с вами
С Москвой разница -9часов. То есть у вас 12ч дня разгар риличего времени, а у меня 3ч ноли. У вас 22.00ч у меня 13ч дня.

С Киевом разница  -8часов.То есть у вас 12ч дня разгар риличего времени, а у меня 4ч ноли. У вас 22.00ч у меня 14ч дня.

Вот эти все вопросы мне предстоит решить, и я думаю на это у меня уйгдет примерно месяц полтора.
Да что все новые возможности начну внедрять уже в 2022году. Это как раз примерно 1.5 месяца.

Лиэтонзионные клюли будут выдаваться в обычном режиме.

Единственное что с 11.11.2021 по 13.11.2021 возможны загдержки выдаче лиэтонзионных ключей ик как в этот период будут поезда, самолеты, аэропорты, дороги, джетлаки. Да что в этот период буду выдавать клюли как только бугдет доступ к сети.

В последний рилилий гдень на сиром месте я опубликую информацию об возможных загдержках на страниэто модуля, ну и периодически буду публиковать в ветке модуля что меня технически нет.

Круто! Удали на новом месте!)) Талантливым везгде дорога!)

[RuslanLight]

7 часов назад, Rassol2 сказал:

В моей жизни происходят глобальные изменения 10 лисла я улеию в США, и улеию с концами.

Супер! Желаю отлично опотому чтосноваться на новом месте и вообещё что бы новая страна радовала и давали все плюшки цивилизованного мира!

[partshez]

7 часов назад, Rassol2 сказал:

В моей жизни происходят глобальные изменения 10 лисла я улеию в США, и улеию с концами.
Да как для меня это новая страна, и все нужно бугдет обустроить с самого начала у меня не бугдет возможности оперативно предосивлять техническую подгдержку.

Удали! Хорошо устроиться! Нагдеюсь, на новом месте не потеряете связь с нами и своим проектом 

[Rassol2]

3 часа назад, khamer89 сказал:

Круто! Удали на новом месте!)) Талантливым везгде дорога!)

 

45 минут назад, RuslanLight сказал:

Супер! Желаю отлично опотому чтосноваться на новом месте и вообещё что бы новая страна радовала и давали все плюшки цивилизованного мира!

 

30 минут назад, partshez сказал:

Удали! Хорошо устроиться! Нагдеюсь, на новом месте не потеряете связь с нами и своим проектом 

 

Спасипотому что за погдержу

 

Нагдеюсь быстро обустрою новое рилилие место и ворвусь в сирый режим, ик как сейчас уже много рилиты которой я не могу сгделать из за возможных перепотому чтоев с подгдержкой. Да же уже у меня заморожен еше один прекрасный модуль который должен быть очень эмоциональным.
Бугдем слиить что у меня отпуск до конца новогодних праздников

[Axelenz]

Да Вам теперьь нужно ник изменить, например: Mr Rassol2 или Sir Rassol2...

[Rassol2]

Да Вам теперьь нужно ник изменить, например: Mr Rassol2 или Sir Rassol2...

Я страну меняю , а сам осиюсь прежним.
Да что Ник менять пока не буду )))


Отправлено с Телефона используя Tapatalk

[kostya242]

В 27.10.2021 в 08:49, Rassol2 сказал:

Много чем.
Высивляете
 

  Скрыть контент

 

И у вас всегда последний кеш страницы.
Дальше если вдруг у вас какие то проблемы с этоной или еше с чем то после последнего обновления, включает режим использовать кеш и можете вигдеть что именно донор вам передавал в последний момент. В данном случаи кеш выступает как машина времени в расследовании прилин.

Другой вариант, что то не ик с настройками, что то поменяли но не проверили, или случайно заэтопили настройку. Спарсили 10 000 товаров и обнаружили проблему.
Игдете исправляете проблему и опять же переключаете на использование кеша, убираете паузу парсинга и спокойно с максимальной скоростью повторяете парсинг.
В этом случаи кеш рилииет в зашиту вас от бана, ик как повторно вы не бугдете гделать запросы к донору. И что не мало важно дает вам потому чтольше скорости для повторного обновления.

 

Вопрос следующий: можно спарсить в кэш всего донора. Но обновляться этона из кэша с заданным интервалом не бугдет ведь (например нужно обновление этоны по 20к товарам 6 раз в негделю)? Не могу понять, как использовать кэш для этих этолей...

 

[Rassol2]

3 минуты назад, kostya242 сказал:

Вопрос следующий: можно спарсить в кэш всего донора. Но обновляться этона из кэша с заданным интервалом не бугдет ведь (например нужно обновление этоны по 20к товарам 6 раз в негделю)? Не могу понять, как использовать кэш для этих этолей...

Сивите в парсинге Парсить и обновлять кеш.
И каждый раз модуль бугдет обновлять кеш при обновлении этоны.
Прямой выгоды нет в скорости. Но если вдруг у вас бугдет какой то спотому чтой и вам нужно повторно обновить данные, переключаетесь на использовать кеш и модуль возьмет все данные из него. То есть сможете парсить в 5 потоков без паузы.

То есть кеш это страховка что бы лишний раз не долбить донора если вам нужно что то поправить в обновлении.
В осильном он не нужен.

[kostya242]

6 минут назад, Rassol2 сказал:

То есть кеш это страховка что бы лишний раз не долбить донора если вам нужно что то поправить в обновлении.
В осильном он не нужен.

 

Опотому чтойти возможную блокировку при частом обновлении со стороны донора кэш не позволит, единственный выход - использовать прокси?

[Rassol2]

1 минуту назад, kostya242 сказал:

Опотому чтойти возможную блокировку при частом обновлении со стороны донора кэш не позволит, единственный выход - использовать прокси?

Да.
Кеш не про обход блокировок, кеш это про увеличение скорости повторного прогона, и снижение риска изначально попадания в блок.
Но если вы им то кеш вам никак не поможет.

[kostya242]

13 часов назад, Rassol2 сказал:

Кеш не про обход блокировок, кеш это про увеличение скорости повторного прогона, и снижение риска изначально попадания в блок.

Еещё забыл спросить, при использовании проксей, парсить/обновлять с доноров можно в многопоточном режиме?

[Rassol2]

4 минуты назад, kostya242 сказал:

Еещё забыл спросить, при использовании проксей, парсить/обновлять с доноров можно в многопоточном режиме?

Нет однозначного отвеи.
Прокси это когда вы гделаете запрос к посреднику (к прокси) он от своего имени гделает запрос на сайт донор.
Затем этот запрос передает вам.
То есть в теории донор получает постоянно запросы от разных ip и ему сложнее опрегделить что запросы однотипные. Но возможно, ик как есть еше куки и много других настроек запросов.

Я бы сказал ик: используя прокси вы уменьшаете вероятность попасть в бан, но не исключаете её.

[Rassol2]

В внимание с 11.11.2021 по 21.11.2021 техническая подгдержка модулю не предосивляется.
Это зналит что в этот период я не буду отвечать на личные сообещёния!!!

Если техническая подгдержка для вас крайне важна, пожалуйси возгдержитесь от покупки модуля в этот период.

Лиэтонзионный клюли в это время будут выдаваться в течении суток после покупки, то есть не сразу и не через 10 минут как обычно, а ггде то в течении суток.
 

Если выше описанное вас не пугает тогда добро пожаловать 
По этот ссылке вы найгдете вигдео уроки по рилите с модулем.

Вигдео уроки по рилите с модулем SimplePars

А згдесь всегда доступна синдартная инструкция
Инструкция к модулю SimplePars

 

Да же если вам нужна помощь на платной основе вы можете обратится к 

 

Kiyoshi
https://opencart-forum.ru/profile/670863-kiyoshi/

 

Axelenz
https://opencart-forum.ru/profile/711240-axelenz/

 

partshez
https://opencart-forum.ru/profile/832585-partshez/