[Поддержка] SimplePars - Универсальный парсер для ИМ

[AntonVN]

Добрый день.

Чтот запнулся, подскажите кто сталкивался, 

Прогнал  сайт хорошо, ссылки собрал хорошо, 

но в настройки парсинга мне выдаёт

#[url]https://********.ru/product-24t45/[/url]
Доступ на сайт закрыт через приложение "Метрика"

 

[Nameless]

3 часа назад, partshez сказал:

Не за 8 часов, а за 40 мин... выставлено работать с 23 до 23.59. Нужно 0-23. В первом окне поставьте звездочку. Во всех трех окнах. 

Сейчас Обработчик отработал 23-23.17. Парсинг в ИМ 23.18-23.59. Все... Следующий запуск завтра в 23.00

 

Спасибо, да я понял. Но скорость все равно медленная получается, за это время без крона в 1 поток заливалось все

[Nameless]

Кто как сматчивает одинаковые товары от разных поставщиков, просто через поиск и замену входного идентификатора на общий или другие варианты?

[partshez]

18 минут назад, Nameless сказал:

Кто как сматчивает одинаковые товары от разных поставщиков, просто через поиск и замену входного идентификатора на общий или другие варианты?

https://simplepars.top/index.php?page=note&n=40

По любому идентификатору. С каждым донором может быть отдельный идентификатор из десяти

[caspy]

Добрый день! 

Можно ли в поиск замена округлять цены ? 

[caspy]

нашел

[caspy]

Люблю simplepars. BEST!!!

[kostya242]

Как добавить к существующему описанию всех товаров в магазине пару одинаковых предложений (например информацию об импортере).

[partshez]

12 минут назад, kostya242 сказал:

Как добавить к существующему описанию всех товаров в магазине пару одинаковых предложений (например информацию об импортере).

Парсинг в ИМ. Добавить к существующему...  Т.е. https://prnt.sc/200vxqq

Изменено 18 ноября 2021 пользователем partshez

[direct_loskutov]

Всем привет, я новичек в парсинге, прошу совета.

 

Подскажите как собирать ссылки с вот таких сайтов https://palazzo.pro/catalog/keramogranit/ где нет постраничной пагинации, а только кнопка еще в конце списка товаров?

 

Нужно спарсить вот эту страничку с керамогранитом https://palazzo.pro/catalog/keramogranit/ я вроде все настроил начал собирать ссылки, но собралось только 1158, а должно быть более 2500 ссылок, судя по фильтру

[Flint2000]

11 хвилину назад, direct_loskutov сказав:

Подскажите как собирать ссылки с вот таких сайтов https://palazzo.pro/catalog/keramogranit/ где нет постраничной пагинации, а только кнопка еще в конце списка товаров?

 

Использовать карту сайта, если есть. По другому никак. Или искать другого донора

[cherkas]

3 часа назад, direct_loskutov сказал:

Подскажите как собирать ссылки с вот таких сайтов https://palazzo.pro/catalog/keramogranit/ где нет постраничной пагинации, а только кнопка еще в конце списка товаров?

 

лично от меня Вам ))

https://palazzo.pro/catalog/keramogranit/?PAGEN_1=3

 

последняя цифра - номер страницы

конкретно для керамогранита страниц товаров 149

[direct_loskutov]

Спасибо всем за советы)))

[Mixxxa163]

Добрый день Господа,

 

Подскажите, такая регулярка сработает? В карточках донора под каждым практически описание идет текст с call to action, занимает несколько строк, то есть с переносом. Причем есть разные вариации, насчитал 2-3. Прим: http://joxi.ru/82QyldvU Такая регулярка сработает, и будет ли размывать уникальность, если парсить полностью описание не меняя его? {reg[# текст с примера донора #]}|{на сайте...ru|у нас в магазине|обращаясь к нам} вы можете приобрести {данную модель|это оборудование|}{по выгодным ценам|по низким ценам|}

 

Естественно она будет проработана детальнее и вариаций будет гораздо больше.

[Agatha65]

On 11/15/2021 at 12:51 PM, specialforce22 said:

Как думаете есть шанс такое спарсить - нет отдельных страниц товара, а доп-фото в поупап окне - https://opt.mattioli-bags.com/briefcases/ (http://mattioli-bags.com/) - у них есть розничный ИМ, но, к сожалению, не идентичный товар, надо с оптовой части тянуть.

Есть шанс спарсить

На страница категории собираем все ELEMENT_ID=ХХХХХ

<a class="ajax js-product" data-url="/detail.php" data-id="ELEMENT_ID=83067" data-block=".cat_popup" href="#" data-elem-id="83067">

ссилка на товар

https://opt.mattioli-bags.com/detail.php?ELEMENT_ID=81278

и парсим

[Axelenz]

5 часов назад, Mixxxa163 сказал:

Подскажите, такая регулярка сработает? В карточках донора под каждым практически описание идет текст с call to action, занимает несколько строк, то есть с переносом. Причем есть разные вариации, насчитал 2-3. Прим: http://joxi.ru/82QyldvU Такая регулярка сработает, и будет ли размывать уникальность, если парсить полностью описание не меняя его? {reg[# текст с примера донора #]}|{на сайте...ru|у нас в магазине|обращаясь к нам} вы можете приобрести {данную модель|это оборудование|}{по выгодным ценам|по низким ценам|}

Регулярка именно в таком виде не сработает. Очевидно Вы имеете ввиду "Случайный текст", как это реализовано, например в АОП.

Регулярные выражения в чистом виде, не предполагают рандомного выбора данных. Поэтому псевдорандомность (случайную выборку) возможно получить только в одном случае - используя уже имеющиеся в коде страницы случайным образом меняющиеся данные. Это может быть, например: дата, время или в нашем случае - id товара. Сложность выполнения поставленной задачи предполагает приличные знания как самого модуля так и регулярных выражений...

 

Сама схема вкратце выглядит так:

- делаем границу парсинга, которая захватывает и id товара и его Описание

- в захваченных данных делаем замены в коде таким образом, чтобы потом в повторяющиеся границы попали и id товара и Описание

- делаем повторяющиеся границы, захватывая id товара и Описание

- регулярками подрезаем id, оставив, например, только 2 последние цифры номера

 

В итоге получим что-то типа:

 

22 Описание товара... бла-бла-бла.

58 Описание товара... бла-бла-бла.

39 Описание товара... бла-бла-бла.

...

 

Теперь включаем свою SEO фантазию и делаем замены...

{reg[#^(22) Описание товара#]}|$1 Описалово товарчика

{reg[#^(58) Описание товара#]}|$1 Товарное описалово

{reg[#^(39) Описание товара#]}|$1 Товар и его описание в стихах

...

{reg[#^(\d2(.*?))бла-бла-бла#]}|$1 бли-бли-бли

{reg[#^(\d8(.*?))бла-бла-бла#]}|$1 блю-блю-блю

{reg[#^(\d9(.*?))бла-бла-бла#]}|$1 бля-бля-бля

...

 

Это, если вкратце...

[Mixxxa163]

1 час назад, Axelenz сказал:

Регулярка именно в таком виде не сработает. Очевидно Вы имеете ввиду "Случайный текст", как это реализовано, например в АОП.

Регулярные выражения в чистом виде, не предполагают рандомного выбора данных. Поэтому псевдорандомность (случайную выборку) возможно получить только в одном случае - используя уже имеющиеся в коде страницы случайным образом меняющиеся данные. Это может быть, например: дата, время или в нашем случае - id товара. Сложность выполнения поставленной задачи предполагает приличные знания как самого модуля так и регулярных выражений...

 

Сама схема вкратце выглядит так:

- делаем границу парсинга, которая захватывает и id товара и его Описание

- в захваченных данных делаем замены в коде таким образом, чтобы потом в повторяющиеся границы попали и id товара и Описание

- делаем повторяющиеся границы, захватывая id товара и Описание

- регулярками подрезаем id, оставив, например, только 2 последние цифры номера

 

В итоге получим что-то типа:

 

22 Описание товара... бла-бла-бла.

58 Описание товара... бла-бла-бла.

39 Описание товара... бла-бла-бла.

...

 

Теперь включаем свою SEO фантазию и делаем замены...

{reg[#^(22) Описание товара#]}|$1 Описалово товарчика

{reg[#^(58) Описание товара#]}|$1 Товарное описалово

{reg[#^(39) Описание товара#]}|$1 Товар и его описание в стихах

...

{reg[#^(\d2(.*?))бла-бла-бла#]}|$1 бли-бли-бли

{reg[#^(\d8(.*?))бла-бла-бла#]}|$1 блю-блю-блю

{reg[#^(\d9(.*?))бла-бла-бла#]}|$1 бля-бля-бля

...

 

Это, если вкратце...

Благодарю за подробное пояснение! Попробую разобраться..

[AntonVN]

Всем здравия. 

Подскажите пожалуйста, в "Обработчик XML" в новой версии появились поля "Фильтр товаров"

"Что должно быть в товарах"  и "Чего в товарах быть не должно"

где пример можно посмотреть как реализовать 
Например товары только определённых категорий, либо определенного производите
Аналогично не должно быть из в этих категорий или этого Вендора

[AntonVN]

ещё возникает проблема с CRON, а именно, по середине выполнения задания, как будто подвисает, точнее прекращает активность.

В логах последнее действие "Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://..."

Дальше пусто, нет не "->[ДОБАВЛЕН ТОВАР] ID = ..." не "->[ОБНОВЛЕН ТОВАР] ID = ..."

и статус получается висит на ожидании завершения, и дальнейшие задания не выполняются.

 

 

[partshez]

38 минут назад, AntonVN сказал:

Всем здравия. 

Подскажите пожалуйста, в "Обработчик XML" в новой версии появились поля "Фильтр товаров"

"Что должно быть в товарах"  и "Чего в товарах быть не должно"

где пример можно посмотреть как реализовать 
Например товары только определённых категорий, либо определенного производите
Аналогично не должно быть из в этих категорий или этого Вендора

Именно так, как написано. Должно быть- ''зеленый''. Не должно быть- ''Samsung''

Так же, как на вкладке Сбор ссылок

Изменено 24 ноября 2021 пользователем partshez

[AntonVN]

34 минуты назад, partshez сказал:

Именно так, как написано. Должно быть- ''зеленый''. Не должно быть- ''Samsung''

Так же, как на вкладке Сбор ссылок

Прошу прощения, не совсем понял.
Не должно быть 
"<categoryId>000000229</categoryId>"
"<categoryId>000000233</categoryId>"
"<categoryId>000000237</categoryId>"

"<vendor>Samsung</vendor>"

 

В поле должно быть 
"<vendor>Apple</vendor>"
"<categoryId>000000239</categoryId>"

[Zetx]

ребят подскажите, с чем может быть связана проблема...

решил обновить версию с 4.0 до 4.9 (до этого все устраивало, но захотелось инструмента для управления акцеонными ценами)...

но суть в другом... перед обновкой я удалил все фото на сайте, чтоб уменьшить время создания бекапа и его вес...

когда обновился, и запустил проект, то фото никак не хотят наново парсится... после обновления, пробовал также импортировать предыдущие настройки, которые до этого успешно работали, но это ничего не дало... также заметил, что в разделе Изображения появился выбор, что делать с фото - При обновлении / При добавлении (в предыдущей версии этого вроде не было)... т.к. проект на добавление нового товара, то выставил Добавлять - https://pastenow.ru/F341N

в общем с такими настройками фото не добавляет... что делать?

Изменено 24 ноября 2021 пользователем Zetx

[partshez]

45 минут назад, AntonVN сказал:

Прошу прощения, не совсем понял.
Не должно быть 
"<categoryId>000000229</categoryId>"
"<categoryId>000000233</categoryId>"
"<categoryId>000000237</categoryId>"

"<vendor>Samsung</vendor>"

 

В поле должно быть 
"<vendor>Apple</vendor>"
"<categoryId>000000239</categoryId>"

Можно так. Можно без тегов, если исключаются повторения в блоке одного товара

Не должно быть 

000000229
000000233
000000237

Должно быть

<vendor>Apple</vendor>
000000239

 

 

Изменено 24 ноября 2021 пользователем partshez

[partshez]

6 минут назад, Zetx сказал:

ребят подскажите, с чем может быть связана проблема...

решил обновить версию с 4.0 до 4.9 (до этого все устраивало, но захотелось инструмента для управления акцеонными ценами)...

но суть в другом... перед обновкой я удалил все фото на сайте, чтоб уменьшить время создания бекапа и его вес...

когда обновился, и запустил проект, то фото никак не хотят наново парсится... после обновления, пробовал также импортировать предыдущие настройки, которые до этого успешно работали, но это ничего не дало... также заметил, что в разделе Изображения появился выбор, что делать с фото - При обновлении / При добавлении... в предыдущей версии этого вроде не было... т.к. проект на добавление нового товара, то выставил Добавлять - https://pastenow.ru/F341N

в общем с такими настройками фото не добавляет...

Вы товар Обновляете, а не Добавляете. Выставить нужное действие для Изображений при Обновлении

[Zetx]

3 минуты назад, partshez сказал:

Вы товар Обновляете, а не Добавляете. Выставить нужное действие для Изображений при Обновлении

нет, этот проект как раз настроен на добавление нового товара (это же ваша была работа, если вы забыли )

на обновление у меня работает отдельный проект, но он также не добавляет фото...

 

 

6 минут назад, partshez сказал:

Выставить нужное действие для Изображений при Обновлении

выставлял в проектах на обновление, не помогло