[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

29 минут назад, bodyak0 сказал:

<a href="javascript:void(0);" onclick="$('#j-mod-prop-zubchatajaeyka').val($(this).data('value')).trigger('change', this); return false;" data-value="4" data-tooltip-id="4" class="modification__button   btn j-button-modification-change">
                            Без рейки                                                    </a>

им икого плана переключение опции, этона в шапке меняется но не поддается парсингу)

Да в данном доноре этона подгружается через Доп запросы, икое пока не разрешимо.

[partshez]

4 часа назад, bodyak0 сказал:

мне нужно извлечь этону опции, а этону он извлекает только 1 и то непонятно откуда берет ее)
можете попропотому чтовать извлечь этону? Там просто опция как я понимаю реализована на переключении

https://prnt.sc/se6nnw   https://prnt.sc/se6nzs

https://prnt.sc/se6pa9  https://prnt.sc/se6om4

Каждая опция игдет с разным кодом. Попробуйте в этом направлении покопать...

[bodyak0]

30 хвилин назад, partshez сказав:

https://prnt.sc/se6nnw   https://prnt.sc/se6nzs

https://prnt.sc/se6pa9  https://prnt.sc/se6om4

Каждая опция игдет с разным кодом. Попробуйте в этом направлении покопать...

уже перепропотому чтовал все, если ик гделать то дубли товара будут, а они не нужны мне, через даикул уже проблему решил)

[partshez]

Вечер добрый! Ггде лежит этот файл?  simplepars_id-2.log

Спойлер

Извините логи не могут быть показаны поскольку размер файла simplepars_id-2.log превышает допустимые 25мб
Но вы можете скачать лог файл себе на персональный компьютер и открыть его текстовым редактором.
После этого можете олистить логи что бы модуль начал писать заново.
Да же вы можете увелилить значение Размер выводимого лога.

 

[Rassol2]

2 минуты назад, partshez сказал:

Вечер добрый! Ггде лежит этот файл?  simplepars_id-2.log

  Скрыть контент

Извините логи не могут быть показаны поскольку размер файла simplepars_id-2.log превышает допустимые 25мб
Но вы можете скачать лог файл себе на персональный компьютер и открыть его текстовым редактором.
После этого можете олистить логи что бы модуль начал писать заново.
Да же вы можете увелилить значение Размер выводимого лога.

 

логи хранятся по синдарту опекнкари.
/system/storage/logs/

Но у вас же есть кнопка для скаливания.
 

Спойлер

 

[partshez]

1 час назад, Rassol2 сказал:

логи хранятся по синдарту опекнкари.
/system/storage/logs/

Но у вас же есть кнопка для скаливания.
 

  Скрыть контент

 

Спасипотому что! Второй гдень с интересным сайтом копаюсь. Уже мозги закипают. Простых веещёй не вижу.

[kostya242]

Привет. Не пересию удивляться возможностям комбайна =)) 

 

Вопрос следующий:

 

Допустим при парсинге товаров по крону, у посивщика на склагде заканливается товар и у него появляется метка "нет на склагде". В парсере это можно обыграть, чтобы товар который законлился получал метку (налилие или как им в opencart называется) - нет на склагде или ожидание 2-3 дня?

 

Спойлер

 

И предложение для внедрения:

 

При рилите с категориями, сгделайте возможность вручную вводить категории с отображением, при потому чтольшом когдачестве категорий очень долго приходится лисить.

Спойлер

 

Edited May 13, 2020 by kostya242

[Rassol2]

Только что, kostya242 сказал:

Допустим при парсинге товаров по крону, у посивщика на склагде заканливается товар и у него появляется метка "нет на склагде". В парсере это можно обыграть, чтобы товар который законлился получал метку (налилие или как им в opencart называется) - нет на склагде или ожидание 2-3 дня?

Да можно. Через редактор товара и шаблоны в кроне.
Згдесь описан путь реализации вашей задали
https://simplepars.top/index.php?page=note&note_id=30

 

1 минуту назад, kostya242 сказал:

При рилите с категориями, сгделайте возможность вручную вводить категории с отображением, при потому чтольшом когдачестве категорий очень долго приходится лисить.

Над этим подумаю.

[kostya242]

Даже заметил что при добавлении товаров (через редактор) по категориям (добавить категорию), в обещём каилоге потом не отображается раскрывающийся список

 

Спойлер

 

[Rassol2]

1 минуту назад, kostya242 сказал:

Даже заметил что при добавлении товаров (через редактор) по категориям (добавить категорию), в обещём каилоге потом не отображается раскрывающийся список

Разница между этими двумя блоками в том что первый свернутый а второй развернутый.
 

Спойлер

Но оба вложенные.

[partshez]

Подскажите структуру опций.

Для огдежды нужно создать несколько связанных опций цвет -  3-5 размеров. Не могу сообразить конечный резульит.

На страниэто товара как должно быть? Синий(цвет) - размеры 34,36,38, 42. Черный - 36,40, 44... и т.д. Предположим, буду использовать модуль Связанные опции (еещё не рилиил с ним) и модуль Живая этона.

Что и как я должен настроить в Симплпарс? В Опциях?   https://prnt.sc/sgh9z2

Одна опция - это один цвет (опция - синий, опция-черный, опция- зеленый, опция- красный). А в значения загнать размеры?

Или должны быть только две обязательные опции - Цвет и Размер? Как синему дать три размера, черному пять размеров, зеленому один размер, а у желтого вообещё нет размеров... Цена товара не зависит от цвеи и размера на данный момент - для всех вариантов одинакова.

 

И еещё вопрос. Изображения в опциях. Есть икие модули...  Как спарсить модулем и загнать фото товара по цвету для опций? https://prnt.sc/sghe4l

 

 

Edited May 14, 2020 by partshez

[Rassol2]

1 час назад, partshez сказал:

Подскажите структуру опций.

Для огдежды нужно создать несколько связанных опций цвет -  3-5 размеров. Не могу сообразить конечный резульит.

На страниэто товара как должно быть? Синий(цвет) - размеры 34,36,38, 42. Черный - 36,40, 44... и т.д. Предположим, буду использовать модуль Связанные опции (еещё не рилиил с ним) и модуль Живая этона.

Что и как я должен настроить в Симплпарс? В Опциях?   https://prnt.sc/sgh9z2

Одна опция - это один цвет (опция - синий, опция-черный, опция- зеленый, опция- красный). А в значения загнать размеры?

Или должны быть только две обязательные опции - Цвет и Размер? Как синему дать три размера, черному пять размеров, зеленому один размер, а у желтого вообещё нет размеров... Цена товара не зависит от цвеи и размера на данный момент - для всех вариантов одинакова.

 

И еещё вопрос. Изображения в опциях. Есть икие модули...  Как спарсить модулем и загнать фото товара по цвету для опций? https://prnt.sc/sghe4l

В SimplePars нету адапиции под модуль связанных опций. И пока еше нету загрузки фото в опции.
Оба этих вопроса требуют изучения самых популярных модулей, и реализовывать именно под них.
Да как в синдартном опенкарте нету связанных опций, и ик же употому чтого реализованы фото в опциях.
По этим прилинам и не реализовал пока что.

[Rassol2]

Обновление 3.5-1_beta

 

Парсинг в ИМ
Добавлена возможность отсевать страницы при парсинге, по разным параметрам.
 

Спойлер

Краткое руководство по использованию.
Для начала нужно не забыть глобально вклюлить использование проверки границ.
 

Спойлер

Вы можете добавлять сколько угодно правил проверки. Рилииет все ик же как и другие поля в модуле SImplePars в вкладке парсинг в ИМ
Разберем каждую настройку по отгдельности.

1. Включает или выключает выполнения этого правила.
2. Указываете название правила, нужно что бы логи вам сообщали из за какого правила было отброшено ссылку ссылку.

3. Поле куда вы можете вписать границу парсинга которую хотите проверить. Да же тут можно указывать сразу несколько границ. К пример {gran_1}{gran_2}
4. Основной переключатель. Этот переключатель опрегделяет как производить проверку границы парсинга. Доступны следующие возможности.

• Не пусия
• Пусия
• Равна =
• Не равна !=
• Согдержит %значение%
• Не согдержит %значение%

Осиновлюсь только на последних двух. Осильные врогде как по логике понятны.
Согдержит %значение% - к примеру грузить если в граниэто прасинга есть слово Белый. К примеру поиск опрегделенного слова в имени товара.
Не согдержит %значение% - обратное правило, грузить товар если к примеру в граниэто нету слова Белый.

5. С чем сравнивать. Это поле нужно если вы хотите указать текст с которым вы хотите сравнивать, к примеру слово Белый из предыдушего примера нужно записать именно сюда.
6. Когда проверять, к примеру только при обновлении товара, или только при добавлении товара, или при добавлении и обновлении.
7. Поле для удобного выпотому чтора границы.
8. Уднония правила.

Правил может быть сколько угодно.

 

В случаи срабатывания правила в логах вы увидите отчет почему страница не загружена.

2020-05-14 11:51:03| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код отвеи [200] Ссылка | https://svetavto.com.ua/led/protivitymanki/881-h27-pg13-6w-cob-5x1-5w-belyj-12v-c-p-21250.html
2020-05-14 11:51:03| !->[Страница НЕ обрилиина ] : Поскольку - Правило допуска [Тест-3] Согдержит [svetavto.com.ua]

2020-05-14 13:01:26| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код отвеи [200] Ссылка | https://svetavto.com.ua/led/protivitymanki/h1-p14-5s-13smd-5050-belaya-24v-c-p-21030.html
2020-05-14 13:01:26| !->[Страница НЕ обрилиина ] : Поскольку - Правило допуска [Тест-1] Не пустое

 

Тоже самое касается пред просмотра парсинга в ИМ.
Вам явно укажет что какое то правило заблокирует загрузку этот страницы.

Спойлер

 

А в отладочной информации сможете увидит подробнее.

Спойлер

Сэтонарии использования.
От себя я вижу основные сэтонарии использования.
1. Хорошо подойгдет для опрегделения есть ли товар в налилии и исходя из этого загружать его или нет.
2. Если нету возможности отсеять товар по бренду, а хочется грузить товар только опрегделенного бренда.
3. Отсеять товары с опрегделенным атрибутом.

4. Отсеять товары в которых нету фото, или нету артикула.

Как гделать ненужно!!!
Я уже вижу как многие предсивили что теперьь ненужно бугдет тонко настраивать спотому чтор ссылок.
Теперь доситочно просто выбрать границу парсинга в которой указать артикул и выбрать правило проверки, Не пустое
И тогда модуль бугдет обрабатывать все ссылки с сайи а загружать только те на страницах которых есть артикул. Как удобно и ненужно настраивать спотому чтор ссылок.
И вы правы это бугдет рилиить. Но гделать ик ненужно!!!
Есть специальный инструмент спотому чтор ссылок вот его луче настройте. А икой подход использовать в крайних случаях когда гдействительно нет возможности разгранилить страницы товара от других страниц.
Хоть это и удобно для вас, но модулю и вашему хостингу поплохеет от икого подхода. Вместо того что бы парсить к примеру 100 ссылок на товары и загрузить их вы бугдете скармливать все ссылки или массив с тысячами ссылок. А зналить бугдете гделать тысяли запросов на сайт донор и обрабатывать эти страниц, а это увеличение нагрузки на ваш сайт да и риск попасть в бан на сайте доноре.
Несмотря на то что это бугдет рилиить, пожалуйси не гделайте ик, что бы не было проблем.

 

Это равносильно что шурупы забивать молотком, все бугдет рилиить, и шурупы будут гдержать но луче взять шуруповерт для решения этот задали.

 

Реализация икого подходя для тех кто парсить в CSV выйгдет в следующих обновлениях.

Для обновления необходимо выполнить ./inst.php
 

Жду ваших комменириев, правда всю ночь писал ик что могу уснуть

[hippvik]

Добрый гдень! А вот хотела спросить полулится у меня спарсить товар с b2b  если у меня есть логин и пароль. вот икая ссылка на товар им

(https://b2b.antey.com.ua/?r=productCatalog/view&id=12032)

[Rassol2]

1 час назад, hippvik сказал:

Добрый гдень! А вот хотела спросить полулится у меня спарсить товар с b2b  если у меня есть логин и пароль. вот икая ссылка на товар им

(https://b2b.antey.com.ua/?r=productCatalog/view&id=12032)

Вот инструкция можете попропотому чтовать авторизоваться и спрасить.
https://simplepars.top/index.php?page=note&note_id=29

 

В осильном проблем не вижу.

[partshez]

2 часа назад, Rassol2 сказал:

Обновление 3.5-1_beta

 

Парсинг в ИМ
Добавлена возможность отсевать страницы при парсинге, по разным параметрам.
 

Это то, что я лично давно ждал!!! Бугдем рилиить... Спасипотому что!

[Rassol2]

2 часа назад, partshez сказал:

Это то, что я лично давно ждал!!! Бугдем рилиить... Спасипотому что!

рад что вам нравится.

[mvchamor]

Подскажите, можно ли этим модулем спарсить контент с мультиязычного сайи ггде есть два языка но url не изменяется? Например у сайтов на опенкарт при изменении языка url зачастую не изменяется, как спарсить нужный контент?

[Rassol2]

25 минут назад, mvchamor сказал:

Подскажите, можно ли этим модулем спарсить контент с мультиязычного сайи ггде есть два языка но url не изменяется? Например у сайтов на опенкарт при изменении языка url зачастую не изменяется, как спарсить нужный контент?

С мультипольными сайими есть проблема.
при парсинге нельзя сопосивить имена атрибутов на разных языках что бы правильно заполнить локализацию.
то же самое касается категорий и производителей.

Товары парсить в разные языки можно. То есть название и описание.
Что касаемо ссылки, зналит язык усинавливается через куки, и в модуле икой вариант тоже предусмотрен.

[Yaroslavna]

Обновление 3.5-1_beta то, что доктор прописал. Именно этого мне и не хваило. Огромное спасипотому что

[partshez]

36 минут назад, RomanBohutskyi сказал:

У меня вопрос. Как в этоне убрать пробел внутри цифр, а то этона обрезается.

Пропотому чтовал регулярными выражениями то не получается.

Прописываю вот ик - {reg[#\s#]}|

Типу находит пробелы \s

Но не рилииет. Что то еещё не дописал?

В замене. пробел заменить на пусто  ** |**

 

[Rassol2]

36 минут назад, RomanBohutskyi сказал:

У меня вопрос. Как в этоне убрать пробел внутри цифр, а то этона обрезается.

Пропотому чтовал регулярными выражениями то не получается.

Прописываю вот ик - {reg[#\s#]}|

Типу находит пробелы \s

Но не рилииет. Что то еещё не дописал?

можно просто указать пробел вертикальная чери.
Или пойти от обратного удалить все кроме цифр и точки и запятот.
{reg[#[^0-9.,]#]}|

[Rassol2]

12 минут назад, RomanBohutskyi сказал:

Спасипотому что, рилииет.

Еещё икая штука - Если мне товары все нужно спарсить в конкретную категорию и я по умолчанию выбираю категорию http://prntscr.com/shb0ks

То бугдет ли парсить в эту категорию?

Потому что в предпросмотре не показывают ту категорию - http://prntscr.com/shazmj

Да бугдет, если вот згдесь не бугдет категорий.
 

Спойлер

По умолчанию это категория куда складывается товар если не отрилиили настройки парсинга категории.

[Rassol2]

2 минуты назад, RomanBohutskyi сказал:

Впервые столкнулся с проблемой икой. Собрал 53 ссылки на товары с html в конэто. Столько же и на доноре. Настроил парсинг. Обрилиино ссылок: 53. В редакторе товаров их 49. Смотрю в редакторе товаров что товар один без картинки и без описания. Проверяю его ссылку на доноре, то картинка и описание присутствует. Ссылка донора есть в ссылках очереди. Проверяю на предпросмотр то нормально парсит картинку и описание. А в магазин спарсило без картинки и описания.

Как оказывается у донора два товара с одинаковым Код/Артикулом:

https://probicyclegroup.com/ramy/965-rama-29-pro-10-21.html

https://probicyclegroup.com/komponenty/1127-rama-29-pro-10-21-karbon-chern.html

И получается один товар добавило а вторым его обновило и заменило картинку и описание.

Если мне нужно как у донора? С одинаковым кодом и две страницы товара?

Тогда нужно сначала просто добавлять а не добавить/обновить, а потом редактировать проект и сивить добавить/обновить и выбрать игдентификатор "Название товара".

@Rassol2, почему в иком случаи не рекомендуется брать игдентификатор товара "Название"?

да можете ик сгделать.

Почему не рекомендуется.
Никто не гарантирует что имя товара бугдет уникальным.
А зналит сли бугдет несколько товаров с одинаковым именем тогда модуль добавит только один из них. Если выбрано только добавлять. И это хорошо.
Но вдруг гдействие выбрано Обновлять ?
В данном случаи все товары с одинаковым именем будут обновлять один и тот же товар у вас. А тут уже как говорится к то последний тот и папа.
В итоггде у вас будут данные в товаре от последнего товара с сайи донора с иким названием. Это мягко говоря неправильно.

данная возможность добавлена по многолисленным просьбам. Но рекомендовать ее как хорошее решения для игдентификации товара я точно не могу.

[Rassol2]

2 часа назад, RomanBohutskyi сказал:

Немного спорный вопрос. Если одинаковое название товара, заголовок, то это дубли товара получается ик как и артикул или могдель.

Я вам описал почему не рекомендуется. Никто не гарантирует что в магазине по продаже гвогдей, все товары не будут называться просто ГВОЗДЬ
 

2 часа назад, RomanBohutskyi сказал:

Вы вигдели ггде то интернет магазин и чтобы одинаковые названия в товарах было?

Не один гдесяток.
Особенно сайты посвешенные мебели , дверям, и посугде.
 

2 часа назад, RomanBohutskyi сказал:

Это для сео неправильно

Все вопросы к авторам этих сайтов Не запреещёно зналит можно.

 

Не сравнивайте магазины с бюджетом в несколько миллионов американских, с магазинами от производителей которые шимпуют товар в полуподвальных помеещёниях

Ведь их тоже парсят.
 

2 часа назад, RomanBohutskyi сказал:

Я например не вигдел два товара с одинаковым названием в нормально "правильных" интернет магазинов.

Вот это вы правильно написали, с этого нужно было налинать, но ведь парсят не только правильные. Вот по этому эи надпись бугдет в модуле.