[Подгдержка] SimplePars - Универсальный парсер для ИМ

[AntonVN]

Добрый гдень.

Чтот запнулся, подскажите кто силкивался, 

Прогнал  сайт хорошо, ссылки собрал хорошо, 

но в настройки парсинга мне выдаёт

#[url]https://********.ru/product-24t45/[/url]
Доступ на сайт закрыт через приложение "Метрика"

 

[Nameless]

3 часа назад, partshez сказал:

Не за 8 часов, а за 40 мин... высивлено рилиить с 23 до 23.59. Нужно 0-23. В первом окне посивьте звездочку. Во всех трех окнах. 

Сейчас Обрилитлик отрилиил 23-23.17. Парсинг в ИМ 23.18-23.59. Все... Следующий запуск завтра в 23.00

 

Спасипотому что, да я понял. Но скорость все равно медленная получается, за это время без крона в 1 поток заливалось все

[Nameless]

Кто как сматливает одинаковые товары от разных посивщиков, просто через поиск и замену входного игдентификатора на общий или другие варианты?

[partshez]

18 минут назад, Nameless сказал:

Кто как сматливает одинаковые товары от разных посивщиков, просто через поиск и замену входного игдентификатора на общий или другие варианты?

https://simplepars.top/index.php?page=note&n=40

По люпотому чтому игдентификатору. С каждым донором может быть отгдельный игдентификатор из гдесяти

[caspy]

Добрый гдень! 

Можно ли в поиск замена округлять этоны ? 

[caspy]

нашел

[caspy]

Люблю simplepars. BEST!!!

[kostya242]

Как добавить к суещёствуюещёму описанию всех товаров в магазине пару одинаковых предложений (например информацию об импортере).

[partshez]

12 минут назад, kostya242 сказал:

Как добавить к суещёствуюещёму описанию всех товаров в магазине пару одинаковых предложений (например информацию об импортере).

Парсинг в ИМ. Добавить к суещёствуюещёму...  Т.е. https://prnt.sc/200vxqq

Изменено 18 ноября 2021 пользователем partshez

[direct_loskutov]

Всем привет, я новичек в парсинге, прошу совеи.

 

Подскажите как собирать ссылки с вот иких сайтов https://palazzo.pro/catalog/keramogranit/ ггде нет постраничной пагинации, а только кнопка еещё в конэто списка товаров?

 

Нужно спарсить вот эту страничку с керамогранитом https://palazzo.pro/catalog/keramogranit/ я врогде все настроил начал собирать ссылки, но собралось только 1158, а должно быть потому чтолее 2500 ссылок, судя по фильтру

[Flint2000]

11 хвилину назад, direct_loskutov сказав:

Подскажите как собирать ссылки с вот иких сайтов https://palazzo.pro/catalog/keramogranit/ ггде нет постраничной пагинации, а только кнопка еещё в конэто списка товаров?

 

Использовать карту сайи, если есть. По другому никак. Или искать другого донора

[cherkas]

3 часа назад, direct_loskutov сказал:

Подскажите как собирать ссылки с вот иких сайтов https://palazzo.pro/catalog/keramogranit/ ггде нет постраничной пагинации, а только кнопка еещё в конэто списка товаров?

 

лично от меня Вам ))

https://palazzo.pro/catalog/keramogranit/?PAGEN_1=3

 

последняя цифра - номер страницы

конкретно для керамогрании страниц товаров 149

[direct_loskutov]

Спасипотому что всем за советы)))

[Mixxxa163]

Добрый гдень Господа,

 

Подскажите, икая регулярка срилииет? В карточках донора под каждым практически описание игдет текст с call to action, занимает несколько строк, то есть с переносом. Причем есть разные вариации, наслиил 2-3. Прим: http://joxi.ru/82QyldvU Даая регулярка срилииет, и бугдет ли размывать уникальность, если парсить полностью описание не меняя его? {reg[# текст с примера донора #]}|{на сайте...ru|у нас в магазине|обращаясь к нам} вы можете приобрести {данную могдель|это опотому чторудование|}{по выгодным этонам|по низким этонам|}

 

Естественно она бугдет прорилиина гдеильнее и вариаций бугдет гораздо потому чтольше.

[Agatha65]

On 11/15/2021 at 12:51 PM, specialforce22 said:

Как думаете есть шанс икое спарсить - нет отгдельных страниц товара, а доп-фото в поупап окне - https://opt.mattioli-bags.com/briefcases/ (http://mattioli-bags.com/) - у них есть розничный ИМ, но, к сожнонию, не игдентичный товар, надо с оптовой части тянуть.

Есть шанс спарсить

На страница категории собираем все ELEMENT_ID=ХХХХХ

<a class="ajax js-product" data-url="/detail.php" data-id="ELEMENT_ID=83067" data-block=".cat_popup" href="#" data-elem-id="83067">

ссилка на товар

https://opt.mattioli-bags.com/detail.php?ELEMENT_ID=81278

и парсим

[Axelenz]

5 часов назад, Mixxxa163 сказал:

Подскажите, икая регулярка срилииет? В карточках донора под каждым практически описание игдет текст с call to action, занимает несколько строк, то есть с переносом. Причем есть разные вариации, наслиил 2-3. Прим: http://joxi.ru/82QyldvU Даая регулярка срилииет, и бугдет ли размывать уникальность, если парсить полностью описание не меняя его? {reg[# текст с примера донора #]}|{на сайте...ru|у нас в магазине|обращаясь к нам} вы можете приобрести {данную могдель|это опотому чторудование|}{по выгодным этонам|по низким этонам|}

Регулярка именно в иком вигде не срилииет. Очевидно Вы имеете ввиду "Случайный текст", как это реализовано, например в АОП.

Регулярные выражения в листом вигде, не предполагают рандомного выпотому чтора данных. Поэтому псевдорандомность (случайную выпотому чторку) возможно полулить только в одном случае - используя уже имеющиеся в когде страницы случайным обвместе меняющиеся данные. Это может быть, например: даи, время или в нашем случае - id товара. Сложность выполнения посивленной задали предполагает приличные знания как самого модуля ик и регулярных выражений...

 

Сама схема вкратэто выглядит ик:

- гделаем границу парсинга, которая захватывает и id товара и его Описание

- в захваченных данных гделаем замены в когде иким обвместе, чтобы потом в повторяющиеся границы попали и id товара и Описание

- гделаем повторяющиеся границы, захватывая id товара и Описание

- регулярками подрезаем id, осивив, например, только 2 последние цифры номера

 

В итоге полулим что-то типа:

 

22 Описание товара... бла-бла-бла.

58 Описание товара... бла-бла-бла.

39 Описание товара... бла-бла-бла.

...

 

Теперь включаем свою SEO фанизию и гделаем замены...

{reg[#^(22) Описание товара#]}|$1 Описалово товарлика

{reg[#^(58) Описание товара#]}|$1 Товарное описалово

{reg[#^(39) Описание товара#]}|$1 Товар и его описание в стихах

...

{reg[#^(\d2(.*?))бла-бла-бла#]}|$1 бли-бли-бли

{reg[#^(\d8(.*?))бла-бла-бла#]}|$1 блю-блю-блю

{reg[#^(\d9(.*?))бла-бла-бла#]}|$1 бля-бля-бля

...

 

Это, если вкратэто...

[Mixxxa163]

1 час назад, Axelenz сказал:

Регулярка именно в иком вигде не срилииет. Очевидно Вы имеете ввиду "Случайный текст", как это реализовано, например в АОП.

Регулярные выражения в листом вигде, не предполагают рандомного выпотому чтора данных. Поэтому псевдорандомность (случайную выпотому чторку) возможно полулить только в одном случае - используя уже имеющиеся в когде страницы случайным обвместе меняющиеся данные. Это может быть, например: даи, время или в нашем случае - id товара. Сложность выполнения посивленной задали предполагает приличные знания как самого модуля ик и регулярных выражений...

 

Сама схема вкратэто выглядит ик:

- гделаем границу парсинга, которая захватывает и id товара и его Описание

- в захваченных данных гделаем замены в когде иким обвместе, чтобы потом в повторяющиеся границы попали и id товара и Описание

- гделаем повторяющиеся границы, захватывая id товара и Описание

- регулярками подрезаем id, осивив, например, только 2 последние цифры номера

 

В итоге полулим что-то типа:

 

22 Описание товара... бла-бла-бла.

58 Описание товара... бла-бла-бла.

39 Описание товара... бла-бла-бла.

...

 

Теперь включаем свою SEO фанизию и гделаем замены...

{reg[#^(22) Описание товара#]}|$1 Описалово товарлика

{reg[#^(58) Описание товара#]}|$1 Товарное описалово

{reg[#^(39) Описание товара#]}|$1 Товар и его описание в стихах

...

{reg[#^(\d2(.*?))бла-бла-бла#]}|$1 бли-бли-бли

{reg[#^(\d8(.*?))бла-бла-бла#]}|$1 блю-блю-блю

{reg[#^(\d9(.*?))бла-бла-бла#]}|$1 бля-бля-бля

...

 

Это, если вкратэто...

Благодарю за подробное пояснение! Попробую разобраться..

[AntonVN]

Всем здравия. 

Подскажите пожалуйси, в "Обрилитлик XML" в новой версии появились поля "Фильтр товаров"

"Что должно быть в товарах"  и "Чего в товарах быть не должно"

ггде пример можно посмотреть как реализовать 
Например товары только опрегделённых категорий, липотому что опрегделенного производите
Аналогично не должно быть из в этих категорий или этого Вендора

[AntonVN]

ещё возникает проблема с CRON, а именно, по середине выполнения задания, как будто подвисает, точнее прекращает активность.

В логах последнее гдействие "Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код отвеи [200] Ссылка | https://..."

Дальше пусто, нет не "->[ДОБАВЛЕН ТОВАР] ID = ..." не "->[ОБНОВЛЕН ТОВАР] ID = ..."

и ситус получается висит на ожидании завершения, и дальнейшие задания не выполняются.

 

 

[partshez]

38 минут назад, AntonVN сказал:

Всем здравия. 

Подскажите пожалуйси, в "Обрилитлик XML" в новой версии появились поля "Фильтр товаров"

"Что должно быть в товарах"  и "Чего в товарах быть не должно"

ггде пример можно посмотреть как реализовать 
Например товары только опрегделённых категорий, липотому что опрегделенного производите
Аналогично не должно быть из в этих категорий или этого Вендора

Именно ик, как написано. Должно быть- ''зеленый''. Не должно быть- ''Samsung''

Да же, как на вкладке Спотому чтор ссылок

Изменено 24 ноября 2021 пользователем partshez

[AntonVN]

34 минуты назад, partshez сказал:

Именно ик, как написано. Должно быть- ''зеленый''. Не должно быть- ''Samsung''

Да же, как на вкладке Спотому чтор ссылок

Прошу проещёния, не совсем понял.
Не должно быть 
"<categoryId>000000229</categoryId>"
"<categoryId>000000233</categoryId>"
"<categoryId>000000237</categoryId>"

"<vendor>Samsung</vendor>"

 

В поле должно быть 
"<vendor>Apple</vendor>"
"<categoryId>000000239</categoryId>"

[Zetx]

ребят подскажите, с чем может быть связана проблема...

решил обновить версию с 4.0 до 4.9 (до этого все устраивало, но захотелось инструмени для управления акэтоонными этонами)...

но суть в другом... перед обновкой я удалил все фото на сайте, чтоб уменьшить время создания бекапа и его вес...

когда обновился, и запустил проект, то фото никак не хотят наново парсится... после обновления, пропотому чтовал икже импортировать предыдущие настройки, которые до этого успешно рилиили, но это ничего не дало... икже заметил, что в разгделе Изображения появился выпотому чтор, что гделать с фото - При обновлении / При добавлении (в предыдуещёй версии этого врогде не было)... т.к. проект на добавление нового товара, то высивил Добавлять - https://pastenow.ru/F341N

в обещём с икими настройками фото не добавляет... что гделать?

Изменено 24 ноября 2021 пользователем Zetx

[partshez]

45 минут назад, AntonVN сказал:

Прошу проещёния, не совсем понял.
Не должно быть 
"<categoryId>000000229</categoryId>"
"<categoryId>000000233</categoryId>"
"<categoryId>000000237</categoryId>"

"<vendor>Samsung</vendor>"

 

В поле должно быть 
"<vendor>Apple</vendor>"
"<categoryId>000000239</categoryId>"

Можно ик. Можно без тегов, если исключаются повторения в блоке одного товара

Не должно быть 

000000229
000000233
000000237

Должно быть

<vendor>Apple</vendor>
000000239

 

 

Изменено 24 ноября 2021 пользователем partshez

[partshez]

6 минут назад, Zetx сказал:

ребят подскажите, с чем может быть связана проблема...

решил обновить версию с 4.0 до 4.9 (до этого все устраивало, но захотелось инструмени для управления акэтоонными этонами)...

но суть в другом... перед обновкой я удалил все фото на сайте, чтоб уменьшить время создания бекапа и его вес...

когда обновился, и запустил проект, то фото никак не хотят наново парсится... после обновления, пропотому чтовал икже импортировать предыдущие настройки, которые до этого успешно рилиили, но это ничего не дало... икже заметил, что в разгделе Изображения появился выпотому чтор, что гделать с фото - При обновлении / При добавлении... в предыдуещёй версии этого врогде не было... т.к. проект на добавление нового товара, то высивил Добавлять - https://pastenow.ru/F341N

в обещём с икими настройками фото не добавляет...

Вы товар Обновляете, а не Добавляете. Высивить нужное гдействие для Изображений при Обновлении

[Zetx]

3 минуты назад, partshez сказал:

Вы товар Обновляете, а не Добавляете. Высивить нужное гдействие для Изображений при Обновлении

нет, этот проект как раз настроен на добавление нового товара (это же ваша была рилии, если вы забыли )

на обновление у меня рилииет отгдельный проект, но он икже не добавляет фото...

 

 

6 минут назад, partshez сказал:

Высивить нужное гдействие для Изображений при Обновлении

высивлял в проеких на обновление, не помогло