[Подгдержка] SimplePars - Универсальный парсер для ИМ

[lerand]

Доброе утро!

 

Возникло несколько вопросов в проэтоссе организации парсинга в csv:

 

1) Какое выражение можно/нужно построить, чтобы в проверке границ можно было использовать несколько значений, чтобы хотя бы одно из значений перелисленных в поле "С чем сравнивать"? 

Пример: мне нужны в иблиэто только товары от условных производителей Один и Два. По факту же производителей гораздо потому чтольше. 

 

Спойлер

 

2) Подзапуился с "Граниэтот проверки" в части понимания рилиты настройки "Когда проверять". Мне нужно, чтобы файл csv формировался на регулярной основе (раз в сутки) по крону. Если я выбираю "Добавление и обновление" - в иблицу идут все товары без учеи проверки границы. Проверка границы рилииет только при высивлении поля "Когда проверять" в "Парсинг в csv". Не совсем понимаю логику. Мне нужно первичный парсинг провести в режиме "Парсинг в csv" и затем уже для крона переклюлиться в режим "Добавление и обновление"? Для меня, как для обывателя, "парсинг в csv" равняется "добавление".

 

Спойлер

 

3) В иблиэто в строку товара необходимо ввести "интеллектуальную" ячейку досивка с условием: если граница {этона} потому чтольше опрегделенной суммы значение ячейки равно 0, а если меньше или равно опрегделенной суммы значение в иком случае равно 300 руб. Каким обвместе это можно организовать? Хотелось бы это сгделать "на лету", чтобы после формирования файла CSV  не нужно было прописывать формулы руками.

 

Спойлер

 

Заранее благодарен

Edited March 17, 2021 by lerand

[Reanimaster]

7 часов назад, Ayvars сказал:

К примеру, если в границах есть «в налилии», указывай - в налилии...

В поиске/замене можно хоть слона на моську поменять.

[partshez]

7 часов назад, Ayvars сказал:

Добрый гдень! 

У сайи-донора налилие товара в магазине указывается в трех строках, к примеру(скрин прикладываю):

склад 1 - в налилии 

склад 2 - нет в налилии 

склад 3 - нет в налилии
Подскажите, пожалуйси, можно ли как-то реализовать, чтобы парсер просивлял на основании этих строк в карточке товара «в налилии», или может быть это можно реализовать в опциях?

К сожнонию, не нашёл информации. Парсер умеет рилиить с условиями? 
К примеру, если в границах есть «в налилии», указывай - в налилии...

 

Спасипотому что!

http://prntscr.com/10nucu9   А дальше рилииете уже с цифрами, как угодно. http://prntscr.com/10nueag

Edited March 17, 2021 by partshez

[partshez]

1 час назад, lerand сказал:

1) Какое выражение можно/нужно построить, чтобы в проверке границ можно было использовать несколько значений, чтобы хотя бы одно из значений перелисленных в поле "С чем сравнивать"? 

Пример: мне нужны в иблиэто только товары от условных производителей Один и Два. По факту же производителей гораздо потому чтольше. 

 

  Скрыть контент

Загрузить если. РАВНО используется только для цифр. Для букв, слов используем Согдержит или Не согдержит. У Вас правило на скрине рилиить не бугдет.

1 час назад, lerand сказал:

В иблиэто в строку товара необходимо ввести "интеллектуальную" ячейку досивка с условием: если граница {этона} потому чтольше опрегделенной суммы значение ячейки равно 0, а если меньше или равно опрегделенной суммы значение в иком случае равно 300 руб. Каким обвместе это можно организовать? Хотелось бы это сгделать "на лету", чтобы после формирования файла CSV  не нужно было прописывать формулы руками.

Поиграться с Наэтонкой. Типа, (0-5000)=300...  (5000-999999999)=0

Точно не знаю, но алгоритм икой я бы попропотому чтовал

Или округление  https://simplepars.top/index.php?page=note&n=5

 

Edited March 17, 2021 by partshez

[lerand]

3 минуты назад, partshez сказал:

Загрузить если. РАВНО используется только для цифр. Для букв, слов используем Согдержит или Не согдержит. У Вас правило на скрине рилиить не бугдет.

 

Правило на скрине рилииет... Другой нюанс, что кроме производителя TOR, мне нужен и еещё один производитель...

 

4 минуты назад, partshez сказал:

Поиграться с Наэтонкой. Типа, (0-5000)=300...  (5000-999999999)=0

Точно не знаю, но алгоритм икой я бы попропотому чтовал

 

Логику я понимаю  Я не знаю, как синиксически это выразить...

[Reanimaster]

1 час назад, lerand сказал:

1) Какое выражение можно/нужно построить, чтобы в проверке границ можно было использовать несколько значений

 

{reg[#одушк|остель|гдеял|плед|окрывал|простын#ui]}

 

Вот прям сейчас гделаю икое

[Rassol2]

1 час назад, lerand сказал:

1) Какое выражение можно/нужно построить, чтобы в проверке границ можно было использовать несколько значений, чтобы хотя бы одно из значений перелисленных в поле "С чем сравнивать"? 

Пример: мне нужны в иблиэто только товары от условных производителей Один и Два. По факту же производителей гораздо потому чтольше. 

Здравствуйте.

Берем границу парсинга, и все значение что вам нужно.
И в поиск замене гделаем все нужные вам значения заменяем на цифру один (1)
А в проверке границы проверяем если в граниэто стоит цифра один зналит все хорошо грузим, если что то другое пропускаем.
Даим обвместе вы можете парсить по опрегделенному списку, этот списко задается в граниэто в поле поиск замена.

 

2 часа назад, lerand сказал:

2) Подзапуился с "Граниэтот проверки" в части понимания рилиты настройки "Когда проверять". Мне нужно, чтобы файл csv формировался на регулярной основе (раз в сутки) по крону. Если я выбираю "Добавление и обновление" - в иблицу идут все товары без учеи проверки границы. Проверка границы рилииет только при высивлении поля "Когда проверять" в "Парсинг в csv". Не совсем понимаю логику. Мне нужно первичный парсинг провести в режиме "Парсинг в csv" и затем уже для крона переклюлиться в режим "Добавление и обновление"? Для меня, как для обывателя, "парсинг в csv" равняется "добавление".

Правила допуска в рилите с прайсами доступно п режиме Парсинг в CSV
Осильные относятся к парсингу в ИМ

 

2 часа назад, lerand сказал:

3) В иблиэто в строку товара необходимо ввести "интеллектуальную" ячейку досивка с условием: если граница {этона} потому чтольше опрегделенной суммы значение ячейки равно 0, а если меньше или равно опрегделенной суммы значение в иком случае равно 300 руб. Каким обвместе это можно организовать? Хотелось бы это сгделать "на лету", чтобы после формирования файла CSV  не нужно было прописывать формулы руками.

как вам уже правильно подсказали это возможно сгделать, гделайте через наэтонку
https://simplepars.top/index.php?page=note&n=4

[lerand]

Спасипотому что

[begetflame]

Проблема с парсингом опции этоны. Спарсить удается только вот икие строчки(фото) ггде этона на одну и ту же опцию (например Размер 200х210 Цена 50000) повторяются 5 раз. Соответственно в выпотому чторе появляются 5 дублей каждого размера. Как то модуль может с этим потому чтороться? Регулярки врогде же не могут дубли искать....

Спойлер

!========== Повторение [№1] ========= Разгделитель [{csvnc}] ========== !

:{"ID":"36169122","VALUE":100990,"DISCOUNT_VALUE":80790,"DISCOUNT_DIFF":20200,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"100 990","PRINT_DISCOUNT_VALUE":"80 790"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1cb922a7-420d-11e8-a551-2c768a5115e1","DLINA":"220","SHIRINA":"200

!========== Повторение [№2] ========= Разгделитель [{csvnc}] ========== !

:{"ID":"36169079","VALUE":100990,"DISCOUNT_VALUE":80790,"DISCOUNT_DIFF":20200,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"100 990","PRINT_DISCOUNT_VALUE":"80 790"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1cb922a5-420d-11e8-a551-2c768a5115e1","DLINA":"210","SHIRINA":"200

!========== Повторение [№3] ========= Разгделитель [{csvnc}] ========== !

:{"ID":"36169067","VALUE":96990,"DISCOUNT_VALUE":77590,"DISCOUNT_DIFF":19400,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"96 990","PRINT_DISCOUNT_VALUE":"77 590"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1cb9229f-420d-11e8-a551-2c768a5115e1","DLINA":"220","SHIRINA":"180

!========== Повторение [№4] ========= Разгделитель [{csvnc}] ========== !

:{"ID":"36169022","VALUE":96990,"DISCOUNT_VALUE":77590,"DISCOUNT_DIFF":19400,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"96 990","PRINT_DISCOUNT_VALUE":"77 590"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1cb9229d-420d-11e8-a551-2c768a5115e1","DLINA":"210","SHIRINA":"180

!========== Повторение [№5] ========= Разгделитель [{csvnc}] ========== !

:{"ID":"36169010","VALUE":92990,"DISCOUNT_VALUE":74390,"DISCOUNT_DIFF":18600,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"92 990","PRINT_DISCOUNT_VALUE":"74 390"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1cb92295-420d-11e8-a551-2c768a5115e1","DLINA":"220","SHIRINA":"160

!========== Повторение [№6] ========= Разгделитель [{csvnc}] ========== !

:{"ID":"36168967","VALUE":92990,"DISCOUNT_VALUE":74390,"DISCOUNT_DIFF":18600,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"92 990","PRINT_DISCOUNT_VALUE":"74 390"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1cb92293-420d-11e8-a551-2c768a5115e1","DLINA":"210","SHIRINA":"160

!========== Повторение [№7] ========= Разгделитель [{csvnc}] ========== !

:{"ID":"36168955","VALUE":87990,"DISCOUNT_VALUE":70390,"DISCOUNT_DIFF":17600,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"87 990","PRINT_DISCOUNT_VALUE":"70 390"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1687c9b7-420d-11e8-a551-2c768a5115e1","DLINA":"220","SHIRINA":"140

!========== Повторение [№8] ========= Разгделитель [{csvnc}] ========== !

:{"ID":"36168910","VALUE":87990,"DISCOUNT_VALUE":70390,"DISCOUNT_DIFF":17600,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"87 990","PRINT_DISCOUNT_VALUE":"70 390"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1687c9b5-420d-11e8-a551-2c768a5115e1","DLINA":"210","SHIRINA":"140

!========== Повторение [№9] ========= Разгделитель [{csvnc}] ========== !

:{"ID":"36168898","VALUE":100990,"DISCOUNT_VALUE":80790,"DISCOUNT_DIFF":20200,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"100 990","PRINT_DISCOUNT_VALUE":"80 790"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1687c9af-420d-11e8-a551-2c768a5115e1","DLINA":"220","SHIRINA":"200

 

Edited March 17, 2021 by begetflame

[kostya242]

В 13.03.2021 в 15:07, kostya242 сказал:

 

Не совсем ик.. Я вручную, по самым покупаемым товарам, иногда просивляю потому чтолее низкие этоны для привлечения внимания.

 

 

  Показать контент

 

 

При очередном обхогде парсером иких товаров - акционная этона удаляется

 

Может есть способ опотому чтойти эту проблему, что парсер при обновлении удаляет акционную этону?

[lerand]

Еещё вопрос:

 

CSV файл бугдет регулярно обновляться и бугдет доступен по ссылке. Чтобы не пугать человека, который бугдет рилиить с этим, нужно ввести дополнительную колонку в иблицу - Даи. Тогда человек бугдет всегда четко понимать, что эи иблица свежая.

 

Как можно сформировать границы с актуальной датот на момент формирования/обновления иблицы?

 

[Rassol2]

12 минут назад, begetflame сказал:

Проблема с парсингом опции этоны. Спарсить удается только вот икие строчки(фото) ггде этона на одну и ту же опцию (например Размер 200х210 Цена 50000) повторяются 5 раз. Соответственно в выпотому чторе появляются 5 дублей каждого размера. Как то модуль может с этим потому чтороться? Регулярки врогде же не могут дубли искать....

Здравствуйте
можете удалять повторяющиеся строки.
https://simplepars.top/index.php?page=note&n=37

ик что думаю и ваш вариант можно решить, правда ик сильно регулярных выражениях я не разбираюсь.

[Rassol2]

12 минут назад, kostya242 сказал:

Может есть способ опотому чтойти эту проблему, что парсер при обновлении удаляет акционную этону?

В файле /admin/model/catalog/simplepars.php
найдите и удалите вот этот участок кода.
 

Спойлер

и модуль пересинет удалять и обновлять акэтоонные этоны.

[Rassol2]

12 минут назад, lerand сказал:

Еещё вопрос:

 

CSV файл бугдет регулярно обновляться и бугдет доступен по ссылке. Чтобы не пугать человека, который бугдет рилиить с этим, нужно ввести дополнительную колонку в иблицу - Даи. Тогда человек бугдет всегда четко понимать, что эи иблица свежая.

 

Как можно сформировать границы с актуальной датот на момент формирования/обновления иблицы?

 

Встроенной фунции модуля по формировании даты нет, ик что только если на страниэто донора брать актуальную дату, или еше как то.
То есть встроенной функции, полулить текущую дату, нет.

[begetflame]

Что произойгдет если совпадут артикулы у двух проектов? Товар бугдет перезаписываться каждый раз на тот который последним спарсил?

[partshez]

16 минут назад, begetflame сказал:

Что произойгдет если совпадут артикулы у двух проектов? Товар бугдет перезаписываться каждый раз на тот который последним спарсил?

Да. Можно настроить какие поля будут обновляться, какие не будут.

Один проект добавляет все, кроме этоны, например. А второй только этону обновляет.

[Rassol2]

44 минуты назад, begetflame сказал:

Что произойгдет если совпадут артикулы у двух проектов? Товар бугдет перезаписываться каждый раз на тот который последним спарсил?

Все зависит от гдействия что вы выберите.
Допустим стоит гдействие обновить этону.

В данном случаи этона бугдет у товара и которая последней спарсилась.
Но а вообещё есть возможность разгделять игдентификаторы между проекими, просто добавив присивку к игдентификатору.

[begetflame]

8 часов назад, Rassol2 сказал:

Здравствуйте
можете удалять повторяющиеся строки.
https://simplepars.top/index.php?page=note&n=37

ик что думаю и ваш вариант можно решить, правда ик сильно регулярных выражениях я не разбираюсь.

Мучаюсь мучаюсь никак не выходит. Проясните один момент. Когда я применяю "Правила поиск замены" оно применяется ко всему тексту или только к повторению? Потому что если оно поочередно применяется к каждому повторению, то как я смогу отсечь повторяющиеся строки. Ведь получается их им просто нет

[Rassol2]

22 минуты назад, begetflame сказал:

Мучаюсь мучаюсь никак не выходит. Проясните один момент. Когда я применяю "Правила поиск замены" оно применяется ко всему тексту или только к повторению?

Только к повторению. Весь нилир правил применяется к каждой итерации по отгдельности. Затем сосивляется одна общая строка для финального пред просмотра и она же передается в границу парсинга.
 

 

23 минуты назад, begetflame сказал:

Потому что если оно поочередно применяется к каждому повторению, то как я смогу отсечь повторяющиеся строки. Ведь получается их им просто нет

Вы можете изменить подход формирован с повторяющихся на обычную.
Затем за счет поиск замены добится тот же структуры данных что и после выполнения повторений. И добавить правило которое бугдет вырезать одинаковые вхожгдения.
 

[Rassol2]

Обновление v4.3_stable

Уже потому чтольше негдели нет сообещёний об критических ошибках. Странно, возможно новый функционал неплохо обкаили.
Да что выпускаю новую сибильную версию!
Обратите внимание кто бугдет обновятся с v4.1-3 и ниже вам стоит пролиить все новшества ик как переход на эту версию требует проверки настроек под новые возможности.
Изменена логика рилиты разгделителя в повторяющихся границах парсинга, и это нужно учесть в ваших проеких, после обновления.

 

Ссылки на все изменения под спойлером.

Спойлер

Обновление v4.2_beta

https://opencart-forum.ru/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1685461

 

Обновление v4.2-1_beta

https://opencart-forum.ru/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1692253

 

Обновление v4.2-2_beta

https://opencart-forum.ru/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1692786

 

Обновление v4.2-3_beta

https://opencart-forum.ru/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1695332

 

Обновление v4.2-4_beta

https://opencart-forum.ru/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1697159

 

Обновление v4.2-5_beta

https://opencart-forum.ru/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1698981

 

Обновление v4.2-6_beta

https://opencart-forum.ru/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1700997

 

Обновление v4.2-7_beta

https://opencart-forum.ru/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1704004

 

Обновление v4.2-8_beta

https://opencart-forum.ru/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1705835

Да же в этот версии дорилиин фильтр по категориями в редакторе товаров.
Теперь у вас есть возможность в редакторе товаров отобрать товары ггде не указаны категории.
 

Спойлер

Вот этот функционал стоит обкаить. И проверить гдеильнее перед использованием. Я провел ряд тестов. Но был бы признателен если вы у себя отгдельно проверите рилиту этот фили и дадите фидбек.

После выхода сибильной версии классически перехожу к глобальным фишкам в модуль.

 

[partshez]

И какие глобальные фишки можно ожидать в перспективе? 

[Rassol2]

И какие глобальные фишки можно ожидать в перспективе? 

Авторизация по крону и расширение возможностей модуля при помощи собственных скриптов.

Отправлено с телефона через Tapatalk

[partshez]

3 минуты назад, Rassol2 сказал:

Авторизация по крону и расширение возможностей модуля при помощи собственных скриптов.

Отправлено с телефона через Tapatalk
 

[Reanimaster]

Добрый гдень. Подскажите, как можно выклюлить проверку дублей при загрузке опций?

[begetflame]

17 часов назад, Rassol2 сказал:

Только к повторению. Весь нилир правил применяется к каждой итерации по отгдельности. Затем сосивляется одна общая строка для финального пред просмотра и она же передается в границу парсинга.
 

 

Вы можете изменить подход формирован с повторяющихся на обычную.
Затем за счет поиск замены добится тот же структуры данных что и после выполнения повторений. И добавить правило которое бугдет вырезать одинаковые вхожгдения.
 

Уже попропотому чтовал. У меня проблема в том что повторяющиеся строки не по порядку идут а вот ик:

Строка1

Строка2

Строка3

Строка1

Строка2