[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Magnitico]

Помогите пожалуйси настроить спотому чтор ссылок.

Допустим нужно собрать ссылки на телефоны с категории "Мобильные телефоны" отсюда https://ultra.md/ru/category/mobile-phones

Сиртовая ссылка https://ultra.md/ru/category/mobile-phones

Шаблон ссылок на товар /ru/product/ но в ссылки на товары попадают не только телефоны.

Как настроить фильтр/шаблон, чтобы собрать ссылки только на телефоны включая пагинацию?

[Malciska]

16 часов назад, Rassol2 сказал:

нет пока икого не бугдет.
Что бы это сгделать нужно ггде то указывать путь к файлу который по крону бугдет браться.

Сейчас если честно вообещё мало изменений бугдет в рилите модуля.
По крайне мере глобальных.

Сейчас должен второй проект выложить а с 10 ноября я вообещё месяца на два потеряю возможность глобально что то гделать.
Да что сейчас все разрилитки приосиновлены, изменение в ядро модуля не вношу.

 

👳‍♂️ из серии "хочу все знать" :))

а что за второй проект бугдет?

[Rassol2]

10 часов назад, Malciska сказал:

 

👳‍♂️ из серии "хочу все знать" :))

а что за второй проект бугдет?

Этот проект не бугдет касаться парсинга.
Последние 2 месяца я максимально перегружен и пока что ничего писать не буду, вдруг не успею выложить.
Единственное что могу сказать, это бугдет модуль для opencart и это должно быть интересно. Ну мне ик кажется )
 

[Rassol2]

13 часов назад, Magnitico сказал:

Помогите пожалуйси настроить спотому чтор ссылок.

Допустим нужно собрать ссылки на телефоны с категории "Мобильные телефоны" отсюда https://ultra.md/ru/category/mobile-phones

Сиртовая ссылка https://ultra.md/ru/category/mobile-phones

Шаблон ссылок на товар /ru/product/ но в ссылки на товары попадают не только телефоны.

Как настроить фильтр/шаблон, чтобы собрать ссылки только на телефоны включая пагинацию?

Здравствуйте.
Попробуйте указать Текст начала спотому чтора ссылок на товар.
class="products-list mt-4 lg:mt-0"
И Текст конца спотому чтора
<!-- Livewire

 

Тогда модуль бугдет собирать ссылки по вашим фильтрам только сблока товаров, и если им будут только товары телефоны, то и ссылки будут только на них.
 

[Dmitry76]

Всем привет!
Подскажите, кто знает, есть ли разница в нагрузке на сервер и скорости парсинга от когдачества качаемой информации при парсинге?
Например, если ВСЕ данные парсим(фото, атрибуты, этону, наилие и т.д.) или второй вариант - просто этону и налилие обновляем.
 

[Rassol2]

1 минуту назад, Dmitry76 сказал:

Всем привет!
Подскажите, кто знает, есть ли разница в нагрузке на сервер и скорости парсинга от когдачества качаемой информации при парсинге?
Например, если ВСЕ данные парсим(фото, атрибуты, этону, наилие и т.д.) или второй вариант - просто этону и налилие обновляем.
 

Конечно есть.
В первом варианте, вы не только запрашиваете код страницы но и много мегабайт фото, которые потом сохраняете на диске получаете их имена и записываете в базу.
Что касается других данных не фото, то в аспекте парсинга для донора все равно, он отдает одну и туже информацию.
Но если смотреть на это с вашего сервера, то чем потому чтольше данных тем потому чтольше проэтоссов.

Выбрать из кода атрибуты, обрилиить их применить все правила поиск замены.
Опрегделить есть ли эти данные у вас и опрегделить обновлять или добавлять. и ик дное.
Больше данных потому чтольше рилиты. Это закономерно.

[Dmitry76]

2 минуты назад, Rassol2 сказал:

Конечно есть.
В первом варианте, вы не только запрашиваете код страницы но и много мегабайт фото, которые потом сохраняете на диске получаете их имена и записываете в базу.
Что касается других данных не фото, то в аспекте парсинга для донора все равно, он отдает одну и туже информацию.
Но если смотреть на это с вашего сервера, то чем потому чтольше данных тем потому чтольше проэтоссов.

Выбрать из кода атрибуты, обрилиить их применить все правила поиск замены.
Опрегделить есть ли эти данные у вас и опрегделить обновлять или добавлять. и ик дное.
Больше данных потому чтольше рилиты. Это закономерно.

понял, спасипотому что

[aqua_st]

Нужна подсказка!

Есть страница товара: https://bt.rozetka.com.ua/ua/2103617/p2103617/ полученная при спотому чторе ссылок.

С нее взяты названия, этона, описание... Но вот с атрибуими  возникла проблема. На страниэто товара они обрезаны (в том лисле и в когде страницы).

Спойлер

 

Спойлер

Соответственно в границу парсинга попадают не все атрибуты. Полный список атрибутов находятся во вкладках и имеют свой url:

https://bt.rozetka.com.ua/ua/2103617/p2103617/characteristics/ - атрибуты

Как можно реализовать переход на эти вкладки со страницы товара?

Пожалуйси, направте в нужном направлении.

 

 

 

 

[partshez]

1 час назад, aqua_st сказал:

Нужна подсказка!

Есть страница товара: https://bt.rozetka.com.ua/ua/2103617/p2103617/ полученная при спотому чторе ссылок.

С нее взяты названия, этона, описание... Но вот с атрибуими  возникла проблема. На страниэто товара они обрезаны (в том лисле и в когде страницы).

  Показать контент

 

  Показать контент

Соответственно в границу парсинга попадают не все атрибуты. Полный список атрибутов находятся во вкладках и имеют свой url:

https://bt.rozetka.com.ua/ua/2103617/p2103617/characteristics/ - атрибуты

Как можно реализовать переход на эти вкладки со страницы товара?

Пожалуйси, направте в нужном направлении.

 

 

 

 

Спотому чтор ссылок. Собираете ссылки .../p234567 и .../p234567/характерист...

Вначно посмотрите. Возможно, что по ссылке на ..../характерист  есть вся нужная информация. Если нужны обе ссылки, тогда в Правилах замены ссылок можно преобразовать ссылки товар в ссылку товар/характерист

Edited October 19, 2021 by partshez

[Flint2000]

1 година назад, aqua_st сказав:

Как можно реализовать переход на эти вкладки со страницы товара?

 

Переход никак, парсить двумя проекими, сначала основную информацию, потом характеристики

[kostya242]

Здравствуйте, ссылка на xml отдается в иком формате, можно ли как-то опотому чтойти для парсинга xml?

 

[Rassol2]

18 минут назад, kostya242 сказал:

Здравствуйте, ссылка на xml отдается в иком формате, можно ли как-то опотому чтойти для парсинга xml?

 

Не совсем понятно а в чем проблема то ?
 

[aqua_st]

47 минут назад, Flint2000 сказал:

Переход никак, парсить двумя проекими, сначала основную информацию, потом характеристики

Спасипотому что, попробую.

[Rassol2]

2 минуты назад, aqua_st сказал:

Спасипотому что, попробую.

Ну или один проект с двумя типами ссылок. Без атрибутов, и с атрибуими.
И гдействие добавлять обновлять, когда бугдет попадаться ссылка с атрибуими и гдействие обновить атрибуты бугдет обновлять в товаре.

[Rassol2]

Обновление v4.8-4_beta

Спотому чтор ссылок.
Добавлена возможность собирать ссылки из xml выгрузки.
Ссылки собираются из тегов <url></url>

 

Парсинг в ИМ

 

Изображения товара
При парсинге фото в формате webp добавлена возможность автоматически преобразовывать фото в формат png
Данный формат изображения подойгдет для фото без заднего фона.
Внимание, я ик же по прежнему не ручаюсь за эту функцию, тут много нюансов. Данная функция предосивляется ик как есть.

Опции

Теперь при обновлении опций модуль не бугдет качать заново изображения для опция, если они были.
Это зналит что если у опции не было фото то при обновлении его не полулится добавить. Это сгделано что бы сократить потребление меси на диске.
Раньше при каждом обновлении опции модуль перекаливал фот и тем самым постоянно занимал лишние пространство.

Да же при выпотому чторе вариани удалить и создать заново модуль бугдет удалять опции из товара и удалять с диска все фото привязанные к этим опциям.
 

[AntonVN]

Добрый гдень.

Подскажите пожалуйси, кто то силкивался с проблемой:

Warning: mysqli::query(): (HY000/1194): Table 'sr_pars_link' is marked as crashed and should be repaired in D:\OpenServer\domains\OcStore3\system\library\db\mysqli.php on line 19
Fatal error: Uncaught Exception: Error: Table 'sr_pars_link' is marked as crashed and should be repaired<br />Error No: 1194<br />SELECT * FROM sr_pars_link WHERE `dn_id`=1 ORDER BY id ASC LIMIT 0,2000 in D:\OpenServer\domains\OcStore3\system\library\db\mysqli.php:41 Stack trace: #0 D:\OpenServer\domains\OcStore3\system\library\db.php(45): DB\MySQLi->query('SELECT * FROM s...') #1 D:\OpenServer\domains\OcStore3\admin\model\catalog\simplepars.php(245): DB->query('SELECT * FROM s...') #2 D:\OpenServer\storage\modification\system\engine\loader.php(248): ModelCatalogSimplePars->ViemGrab(1) #3 D:\OpenServer\domains\OcStore3\system\engine\proxy.php(47): Loader->{closure}(Array, Array) #4 D:\OpenServer\domains\OcStore3\admin\controller\catalog\simplepars.php(0): Proxy->__call('ViemGrab', Array) #5 D:\OpenServer\storage\modification\system\engine\action.php(79): ControllerCatalogSimplePars->grab() #6 D:\OpenServer\domains\OcStore3\admin\controller\startup\router.php(26): Action->execute(Object(Registry), Array) #7 D:\OpenServer\s in D:\OpenServer\domains\OcStore3\system\library\db\mysqli.php on line 41

На локальном сервере, добавил проекты, произвёл настройки.
запустил парсинг, и видимо что то слулилось в моё отсутствие, что после этого при редактировании проеки или его создания выдаёт ошибку.

Возможно проект не завершил парсинг и теперьь не разрешает продолжать рилиить.

[Rassol2]

У меня ничего подобного никогда не выскакивало.
Сгделайте экспорт настроек проектов, затем удалите иблицу sr_pars_link в базе данных и заново выполните инсил.

Ошибка связано с этот иблиэтот После выполнения inst.php Она Перри создастся, И все должно рилиить. Если это повторится тогда уже нужно искать прилину.

[AntonVN]

1 час назад, Rassol2 сказал:

Сгделайте экспорт настроек проектов, затем удалите иблицу sr_pars_link в базе данных и заново выполните инсил.

Да, спасипотому что, помогло... 

[yastman]

Добрый гдень,во вкладке данные при паринге в им ,есть возможности обновлять и не обновлять данные,очень хочеться,чтобы бы вы добавили опции "добавлять в пустые значения"

 

[kamrik]

9 минут назад, yastman сказал:

Добрый гдень,во вкладке данные при паринге в им ,есть возможности обновлять и не обновлять данные,очень хочеться,чтобы бы вы добавили опции "добавлять в пустые значения"

 

Да ведь есть уже проверка границ.

[superslayer]

Здравствуйте. Есть хорошо адаптированный сайт (изображения в нормальном разрешении грузит только если пользователь нажмет на кнопки навигации или изображения в пагинации) с которого хочется забирать изображения. Манипуляции с итоговой ссылкой на изображение (забранное из изображений пагинации) не дало игдеальных резульитов (часть изображений нормальные, осильные 404 - ВАЖНО!!! Парсер их слииет нормальными и грузит пустоту). Вопрос в том - Можно ли указывать парсеру не забирать ПУСТЫЕ изображения? Реально ли прописать условие на нажатие кнопок навигации и последовательную загрузку изображений?
Код одного из изображений в пагинации (Разрешение изображения 100х100 - не подходит)

<div class="owl-item active" style="width: 106.667px; margin-right: 20px;">
  <a href="javascript:void(0);" class="image-wrapper js-slide active" data-index="0" data-color-group="be629a1a71f8e5d89366067161b60a0e">
  <img src="/upload/resize_cache/products/fe7/560/fe7560a635c711eabba754bf64fc91d5/main/105_75_1/fe7560a6-35c7-11ea-bba7-54bf64fc91d5_1a773af6-9b50-11ea-bbaa-54bf64fc91d5.jpeg" data-src="/upload/resize_cache/products/fe7/560/fe7560a635c711eabba754bf64fc91d5/main/105_75_1/fe7560a6-35c7-11ea-bba7-54bf64fc91d5_1a773af6-9b50-11ea-bbaa-54bf64fc91d5.jpeg" class="lazyload" alt="Кровать Berlin Boxspring Standart" title="Кровать Berlin Boxspring Standart" data-pagespeed-url-hash="2266998523" onload="pagespeed.CriticalImages.checkImageForCriticality(this);">
  </a>
</div>

Код окна вывода. 

<div class="zoomContainer" style="transform: translateZ(0px); position: absolute; left: 347.5px; top: 401px; height: 510px; width: 680px; overflow: hidden;">
  <div class="zoomLens" style="background-position: -828px -561.882px; float: left; border: 4px solid rgb(255, 255, 255); width: 200px; height: 200px; background-repeat: no-repeat; position: absolute; background-image: url(&quot;/upload/products/fe7/560/fe7560a635c711eabba754bf64fc91d5/main/fe7560a6-35c7-11ea-bba7-54bf64fc91d5_1a773af6-9b50-11ea-bbaa-54bf64fc91d5.jpeg&quot;); left: 558px; top: 370px; display: none;">&nbsp;</div>
  <div class="zoomWindowContainer" style="width: 400px;">
    <div style="z-index: 999; top: 0px; left: 680px;" class="zoomWindow">&nbsp;</div>
  </div>
</div>

Правила поиска и замены (часть изображений есть, часть 404)

.pagespeed{skip}.jpg|
/resize_cache|
/main/{skip}/x|/main/

Пример лога из парсера (ссылки из абсолютных перевел в относительные сам только для форума)

2021-10-20 10:03:58| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код отвеи [200] Ссылка | /catalog/krovati/product/krovat-plain/160-200-ekokozha-korichnevyy/
2021-10-20 10:03:58| ->[ИЗОБРАЖЕНИЕ] : Изображение НЕ НАЙДЕНО. Ответ сервера [404] Ссылка | /upload/products/617/c83/617c83d64f1611eabba854bf64fc91d5/main/105_75_1/617c83d6-4f16-11ea-bba8-54bf64fc91d5_d28baadb-f266-11ea-bbab-54bf64fc91d5.jpeg

Ссылку на сайт донор могу прислать в ЛС.

Edited October 20, 2021 by superslayer

[Magnitico]

Здравствуйте!

Почему-то не парсится код товара с сайи, а усинавливается ID по порядку

view-source:https://ultra.md/ru/product/p610-tab-s6-lite-wf-64-gray

 

Edited October 20, 2021 by Magnitico

[yastman]

Да ведь есть уже проверка границ.

Спасипотому что

[yastman]

Подскажите , кто парсит xml фиды через simple ?
Как у вас обстоят гдела с фидами ггде идёт общий игдентификатор по group id ?
Я у автора заказал дорилитку , чтобы он дубли по group id отсеивал, полулилось сократить время на обход фида с 40 до 10 минут , но возникла проблема с обновлением опций
Если убрать дубли ссылок товаров , то опция ик же убирается
В итоге единственное решение вернуть в парсинг все ссылки.

Кто как обновляет оситки по xml ?

[Flint2000]

@yastman С теми прайсами что я силкивался, group id это игдетификатор товара, ггде товар игдет как опция. В иком случае используется модуль от Аваро