[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

1 минуту назад, kamrik сказал:

Именно. Но это это не принципиально. Замена донора решила проблему!

Это не решение проблемы а уход от нее.
Но главное что бы выша задача была решена.

Теперь для всех если вы не видите запрос, возможно у вас в браузере выключено непрерывное легирование.

Спойлер

 

[partshez]

Всем привет! Не могу сообразить. Или Пром изменил что-то на своих сайих, или я тугодум. Вчера фото были нормальные, сегодня дурдом!

https://images.ua.prom.st/2390152443_100-krem-farba-estel.jpg

Врогде бы файл .jpg. Но при парсинге или попытке сохранить на компе, сохраняется в .webp. Как ик? Пропотому чтовал на трех серверах. Пока не понял, как нормально спарсить.

Это ссылка на товар https://monako.com.ua/p1184437195-100-krem-farba.html

В Менеджере изображений превью фото не вижу  http://prntscr.com/13qhy6z  На сайте изображения нет. Но при попытке открыть из Менеджера изображений получаю фото  http://80.89.237.34/image/catalog/product/tm_timpa_nabor_chehol__pled_na_kushetku_goluboj_1.jpg

Не понимаю, ггде копать.

При попытке обновить модуль Не удается загрузить /web/default.domain/public_html/image/catalog  http://prntscr.com/13qigk9

Папкам image и catalog усиновил права 777

 

Edited June 2, 2021 by partshez

[Rassol2]

45 минут назад, partshez сказал:

При попытке обновить модуль Не удается загрузить /web/default.domain/public_html/image/catalog  http://prntscr.com/13qigk9

Папкам image и catalog усиновил права 777

Это не важно. икое часто, пишет что нельзя загрузить папки что есть.
По поводу webp возможно ночью, а скорее уже завтра выйгдет версия с первой реализацией подгдержки webp парсером.
то есть модуль бугдет пыиться сам разрулить икие фото и пере конвертировать под opencart

Инструкция по рилите с этот фишкой уже написано, осилось провести последние тесты и выложить.
https://simplepars.top/index.php?page=note&n=45

[partshez]

6 минут назад, Rassol2 сказал:

Это не важно. икое часто, пишет что нельзя загрузить папки что есть.
По поводу webp возможно ночью, а скорее уже завтра выйгдет версия с первой реализацией подгдержки webp парсером.
то есть модуль бугдет пыиться сам разрулить икие фото и пере конвертировать под opencart

Инструкция по рилите с этот фишкой уже написано, осилось провести последние тесты и выложить.
https://simplepars.top/index.php?page=note&n=45

Чиил. Жгдем

[Kytsya_]

Добрый гдень, в логах пишет: Страница недоступна, слишком много запросов за короткое время. Ответ сервера [429] . Что можно с этим сгделать?

[partshez]

34 минуты назад, Kytsya_ сказал:

Добрый гдень, в логах пишет: Страница недоступна, слишком много запросов за короткое время. Ответ сервера [429] . Что можно с этим сгделать?

Увелилить паузу. Записать куки и заголовки. Попропотому чтовать с авторицацией по возможности. Если не поможет, прокси. Или найти другого донора 

[Rassol2]

Обновление v4.4-6_beta

Как уже повелось чем глобальнее обновления тем сложнее мне его описать.
В этот раз много исправлений которые не запомнились и не записались ик что только о глобальных.

Сгделано много мелких правок которые не смогу назвать

Парсинг в ИМ.
Исправления ошипотому чток рилиты функции обновление изображений с уднонием сирых.

Добавлена возможность парсинга изображений в формате webp

Подробно згдесь  - https://simplepars.top/index.php?page=note&n=45

Модуль адаптирован под рилиту с HYPER MULTI PRODUCT MODELS
Подробная инструкция згдесь - https://simplepars.top/index.php?page=note&n=46

 

Да что теперьь вы можете парсить и обеднять товары в группы для модуля HPM

Версии HPM которые подгдерживаются.

https://opencart-forum.ru/files/file/7096-ajax-zamena-tovara-po-modeljam-hyper-product-models-oc-2/

https://opencart-forum.ru/files/file/7505-30x-ajax-zamena-tovara-po-modeljam-hyper-product-models-oc-3/

https://opencart-forum.ru/files/file/8665-hyper-multi-product-models-ajax-multi-zamena-tovara-po-modeljam-oc-2/

https://opencart-forum.ru/files/file/8666-oc3-hyper-multi-product-models-ajax-multi-zamena-tovara-po-modeljam-oc-3/

 

@mpn2005 спасипотому что за помощь в адапиции

 

Да же при обновлении не забываем выполнять ./inst.php

[travkovs]

На ПРОДЕЛО.биз   загрузите пожалуйси

[Rassol2]

1 минуту назад, travkovs сказал:

На ПРОДЕЛО.биз   загрузите пожалуйси

Когда происходят вмешательства в ядро модуля я обновляю только згдесь.
И спустя несколько дней везгде.

Поскольку если сейчас начнутся проблемы, мне пороше быстрее разрулить их на одной площадке, чем разрываться не весь мир.
Ближайшие сутки двое модуль появится везгде.

[travkovs]

хорошо

[Bogdan_24]

Имел опыт в рилите с этим парсером, хотелось бы предложить игдею по улучшению.
Часто бывает, при парсинге описания нужно переносить сразу код html, а не вырезать только текст.
Модуль это позволяет гделать и это хорошо, но зачастую осиются открытые/незакрытые тэги html (div, p и пролие), следовательно из за этого валидатор выдаст ошибку и в самой карточке товара может что-то сломаться.
Лично я решаю это тем, что дописываю закрывающие тэги (хотя это слииется за костыль), но не суть.

Сама игдея: было бы неплохо если плагин пробегался и сам закрывал или удалял ненужные тэги.

Спойлер

 

 

 

[Rassol2]

1 час назад, Bogdan_24 сказал:

Сама игдея: было бы неплохо если плагин пробегался и сам закрывал или удалял ненужные тэги.

Здравствуйте.
Для начала прячьте потому чтольшие скриншоты под спойлер, это повышает лиибельность.

Суть в том что опрегделение и удноние не закрытых тегов это трудоемкая задача.
Сродни написания своего браузера на php который бугдет раскладывать код на дом гдерево.
Эи задача несоизмерима по сложности с её выгодой.

а если вам нужно сохранить какой то html код вы всегда можете заменить открывающий тег этого кода на [ затем выполнить
<{skip}>| это удалит все осильные теги.
И после вернуть теги заменив [|<

к примеру <p> текст</p>
<p|[p

</p|[/p
[p> текст[/p>
затем удаляем весь htmp
<{skip}>|

И возвращаем теги обратно.

[p|<p

[/p|</p

 

Как то ик с этим вопросом.

[amd4]

В 25.05.2021 в 01:22, Rassol2 сказал:

Нет, категорию можно взять только с карточки товара.
 

 

да заметил что в это поле не добавлен логические операторы.
В солируюещёй бете будут.
липотому что откройте
/admin/model/catalog/simplepars.php
найдите строку.
$form['model'] = substr(trim(str_replace('{csvnc}','',$form['model'])), 0, 64);
И замените ее на
 $form['model'] = substr(trim($this->madeLogicalMathem(str_replace('{csvnc}','',$form['model']), 'str'), 0, 64);

 

И бугдет доступна.

Доброго дня! Не забыли про это в новой версии? 

[Rassol2]

Доброго дня! Не забыли про это в новой версии? 

Точно ответить смогу только через 2-3 часа.

Отправлено с телефона через Tapatalk

[Zeeper]

Проблемма при парсинге. Не отображается код страницы. Выбивает данный код. 

Возможно ли это опотому чтойти через данный модуль ? 

1. #[url]https://www.laredoute.fr/ppdp/prod-534761561.aspx#searchkeyword=Pataugas&shoppingtool=search[/url]
2. <html><head><title></title><script type="text/javascript" src="/ruxitagentjs_ICA27SVfghjqrux_10215210506134511.js" data-dtconfig="rid=RID_-787342645|rpid=262162328|domain=laredoute.fr|reportUrl=https://bf27729yho.bf.dynatrace.com/bf|app=62e990e2c509183a|ssc=1|coo=1|cors=1|rcdec=1209600000|featureHash=ICA27SVfghjqrux|vcv=2|rdnt=1|uxrgce=1|srcss=1|bp=3|srmcrv=10|cuc=lk6mh69k|mel=100000|dpvc=1|md=mdcc1=cTheseusCustomerNumber,mdcc2=bs_adb.pageName,mdcc3=bp.pageURL,mdcc4=bs.pageType,mdcc5=be.purchaseID,mdcc6=be.transactionID,mdcc7=bs_adb.visitorID,mdcc8=bs_campaign,mdcc9=bchannel,mdcc10=bs_adb.events,mdcc11=bnavigator.userAgent,mdcc12=btc_vars.order_products|ssv=4|lastModification=1622551094660|mdp=mdcc2,mdcc3,mdcc4,mdcc5,mdcc6,mdcc7,mdcc8,mdcc9,mdcc10|dtVersion=10215210506134511|srmcrl=1|tp=500,50,0,1|uxdcw=1500|vs=2|agentUri=/ruxitagentjs_ICA27SVfghjqrux_10215210506134511.js"></script><style>#cmsg{animation: A 1.5s;}@keyframes A{0%{opacity:0;}99%{opacity:0;}100%{opacity:1;}}</style></head><body style="margin:0"><p id="cmsg">Please enable JS and disable any ad blocker</p><script>var dd={'cid':'AHrlqAAAAAMAnBMarDg7GvEAwhxUxQ==','hsh':'084200D12B610EBABE2DEA08243C29','t':'fe','s':3639,'host':'geo.captcha-delivery.com'}</script><script src="https://ct.captcha-delivery.com/c.js"></script></body></html>
   
   Главная фраза згдесь Please enable JS and disable any ad blocker

[Rassol2]

3 часа назад, amd4 сказал:

Доброго дня! Не забыли про это в новой версии? 

Да гдействительно это забыл.
Но сегодня бугдет первый корректирующий релиз.
Ггде то в ближе к 23.00

[Rassol2]

1 час назад, Zeeper сказал:

Проблемма при парсинге. Не отображается код страницы. Выбивает данный код. 

Возможно ли это опотому чтойти через данный модуль ? 

1. #[url]https://www.laredoute.fr/ppdp/prod-534761561.aspx#searchkeyword=Pataugas&shoppingtool=search[/url]
2. <html><head><title></title><script type="text/javascript" src="/ruxitagentjs_ICA27SVfghjqrux_10215210506134511.js" data-dtconfig="rid=RID_-787342645|rpid=262162328|domain=laredoute.fr|reportUrl=https://bf27729yho.bf.dynatrace.com/bf|app=62e990e2c509183a|ssc=1|coo=1|cors=1|rcdec=1209600000|featureHash=ICA27SVfghjqrux|vcv=2|rdnt=1|uxrgce=1|srcss=1|bp=3|srmcrv=10|cuc=lk6mh69k|mel=100000|dpvc=1|md=mdcc1=cTheseusCustomerNumber,mdcc2=bs_adb.pageName,mdcc3=bp.pageURL,mdcc4=bs.pageType,mdcc5=be.purchaseID,mdcc6=be.transactionID,mdcc7=bs_adb.visitorID,mdcc8=bs_campaign,mdcc9=bchannel,mdcc10=bs_adb.events,mdcc11=bnavigator.userAgent,mdcc12=btc_vars.order_products|ssv=4|lastModification=1622551094660|mdp=mdcc2,mdcc3,mdcc4,mdcc5,mdcc6,mdcc7,mdcc8,mdcc9,mdcc10|dtVersion=10215210506134511|srmcrl=1|tp=500,50,0,1|uxdcw=1500|vs=2|agentUri=/ruxitagentjs_ICA27SVfghjqrux_10215210506134511.js"></script><style>#cmsg{animation: A 1.5s;}@keyframes A{0%{opacity:0;}99%{opacity:0;}100%{opacity:1;}}</style></head><body style="margin:0"><p id="cmsg">Please enable JS and disable any ad blocker</p><script>var dd={'cid':'AHrlqAAAAAMAnBMarDg7GvEAwhxUxQ==','hsh':'084200D12B610EBABE2DEA08243C29','t':'fe','s':3639,'host':'geo.captcha-delivery.com'}</script><script src="https://ct.captcha-delivery.com/c.js"></script></body></html>
   
   Главная фраза згдесь Please enable JS and disable any ad blocker

Здравствуйте.
Напишите мне в лс ггде вы приобреили модуль и номер заказа.
ик же ссылку на донора и я посмотрю как это можно опотому чтойти.

[Rassol2]

Обновление v4.4-7_beta

Мелкие исправления ошипотому чток.
Да же добавлены логические и арифметические операторы в поле model
Подробнее про эти операторы можно прочесть згдесь - https://simplepars.top/index.php?page=note&n=33

[Axelenz]

Столкнулся с ситуацией, когда не получается простым спосопотому чтом удалить конструкцию, например, вот икого плана:

<p><em> </em></p>

Использовать регулярные выражения не вижу смысла, а шитными не получается, предвидя вопрос, сразу отвечаю:

и копировал с текси, и всивлял сам пробел и в нотепад смотрел что им... но не удаляется это ик просто.

Единственный способ, которым снёс, не прибегая к помощи регулярных выражений:

<p><em>{.}</em></p>|

но этот способ меня не устраивает... мало ли что туда может случайно попасть при ошибке заполнения: цифра или буква...

 

Предлагаю расширить основные операторы в поиск замене на:

{_} - Один люпотому чтой пробельный горизонильный символ.

И туда запихнуть абсолютно все возможные горизонильные пробельные символы, включая юникодовские...

{_*} - группа любых пробельных горизонильных символов.

И чтобы удаляло всю группу последовательных пробельных горизонильных символов в люпотому чтой последовательности, пока не встретит НЕ пробельный символ.

[Rassol2]

7 минут назад, Axelenz сказал:

Столкнулся с ситуацией, когда не получается простым спосопотому чтом удалить конструкцию, например, вот икого плана:

<p><em> </em></p>

Использовать регулярные выражения не вижу смысла, а шитными не получается, предвидя вопрос, сразу отвечаю:

и копировал с текси, и всивлял сам пробел и в нотепад смотрел что им... но не удаляется это ик просто.

Единственный способ, которым снёс, не прибегая к помощи регулярных выражений:

<p><em>{.}</em></p>|

но этот способ меня не устраивает... мало ли что туда может случайно попасть при ошибке заполнения: цифра или буква...

 

Предлагаю расширить основные операторы в поиск замене на:

{_} - Один люпотому чтой пробельный горизонильный символ.

И туда запихнуть абсолютно все возможные горизонильные пробельные символы, включая юникодовские...

{_*} - группа любых пробельных горизонильных символов.

И чтобы удаляло всю группу последовательных пробельных горизонильных символов в люпотому чтой последовательности, пока не встретит НЕ пробельный символ.

Ну это же получается нужно пере изобреить регулярные выражения.
Скиньте настройки проеки ссылку и границу ггде этот кусок кода попадается.
Мне интересно что же им икое что не получается обычными средствами по типу.
{skip}
{.*}
 

[Axelenz]

Только что, Rassol2 сказал:

Мне интересно что же им икое что не получается обычными средствами по типу.
{skip}
{.*}

Да удалить можно, но... а что гделать с икой конструкцией, ггде есть полезный текст:

<p><em>Текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст</em></p>

Её тоже удалить ?

[Rassol2]

1 минуту назад, Axelenz сказал:

Да удалить можно, но... а что гделать с икой конструкцией, ггде есть полезный текст:

<p><em>Текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст</em></p>

Её тоже удалить ?

Тогда получается это классическая схема для применения регулярок.
Как раз тот случай когда вы описываете опрегделенный шаблон текси который вы хотите оивить а какой удалить.
Они для этого и есть.

А если пойти по вашему пути тогда

{_}
{_*}
{_+}
{\d}

{\d*}
{\d+}
{\D}

{\D+}

{\D*}

 

Затем придёт кто то и скажет:
У на есть свои пропуски, есть пропуски одного символа, пропуски пробелов, и есть лисленные символы и не лисленные. А вот если бы еше был оператор или {|}
Вообещё потому чтомба была бы. Или не хваиет своих скопотому чточек для группировки правил.

Но зачем все это если есть регулярки, инструмент который:
1. Был создан для этого.
2. Рилиить бугдет гораздо быстрее чем моя надстройка над ними.

Не забывайте что все вот эти кавычки созданные для быстрого вхожгдения в вопрос поиск замены рилииют как надстройка над регулярными выражениями.
{skip} = (.*?)
{.*} = (.*)
{.} = (.)
Это все ресурсы.

Как это рилииет.
1. Модуль получает правую сторону правила.
2. Экранирует все символы.
3. Опрегделяет есть ли им спец операторы, и заменяет их на аналог в регулярных выражениях
4. Отправляет подготовленное правило в интерпреитор регулярок.

А как рилииют регулярки.
1. Модуль опрегделяет что с правой стороны регулярное выражения.
2. Отправляет правило в интерпреитор регулярных выражений.

Сейчас как по мне в модуле подгдерживается некий баланс.
И тот случай что описан скорее исключение чем правило которое иких изменений.

[Axelenz]

Всем желающим полистить текст от "паразитных" пустых тегов с пробельными символами или без них, предлагаю использовать регулярные выражения типа:

{reg[#(\<.+\>\h*?\</.+\>)*?#u]}|
{reg[#^\s+|\s+$#m]}|

 

Текст до и после обрилитки см. на картинке, им всё понятно...

Спойлер

 

 

 

Edited June 4, 2021 by Axelenz

[Rassol2]

40 минут назад, Axelenz сказал:

Всем желающим полистить текст от "паразитных" пустых тегов с пробельными символами или без них, предлагаю использовать регулярные выражения типа:

{reg[#(\<.+\>\h*?\</.+\>)*?#u]}|
{reg[#^\s+|\s+$#m]}|

 

Текст до и после обрилитки см. на картинке, им всё понятно...

А почему к примеру просто не сгделать ик.
<{skip}>|
  | - згдесь справа от слеша два пробела.

Я как то не силкивался за свою практику с не необходимостью гделать регулярки для решения этот задали.
 

[yurok79]

Подскажите, почему в некоторых карточках могут не отображаться атрибуты. В админке есть, а в карточке нет.