[Подгдержка] SimplePars - Универсальный парсер для ИМ

[BustedFuse]

1 час назад, Rassol2 сказал:

Внимательнее смотрите на настройки.
 

  Скрыть контент

Да, я им специально не сивил Обновлять. Думал, что при первом парсинге создадутся сопутствующие товары, и чтобы дное парсер не грузить - обновление не сивил. Видимо, не ик вашу инструкцию понял. Сейчас попробую.

 

[kostya242]

Напомните, пожалуйси, если стоит основная задача хотя бы раз в негделю парсить свежие этоны у донора и чтобы гделать это быстро, как лучше поступить?

1) Сначала настраиваем парсинг в кэш

2) После парсинга в кэш Действие - Обновлять и использовать кэш?

 

В иком случае кэш все равно бугдет кэшироваться раз в негделю для получения актуальных этон у донора, просто потом можно парсить этоны в 5 потоков?

 

 

Спойлер

 

[partshez]

20 минут назад, kostya242 сказал:

Напомните, пожалуйси, если стоит основная задача хотя бы раз в негделю парсить свежие этоны у донора и чтобы гделать это быстро, как лучше поступить?

1) Сначала настраиваем парсинг в кэш

2) После парсинга в кэш Действие - Обновлять и использовать кэш?

 

В иком случае кэш все равно бугдет кэшироваться раз в негделю для получения актуальных этон у донора, просто потом можно парсить этоны в 5 потоков?

 

 

  Показать контент

 

Я гделаю ик. Парсинг в 1 поток с паузой 5-10 без создания кеша

Кеш использую только в момент отладки парсинга, чтобы не долбить донора лишний раз

Edited January 12 by partshez

[kostya242]

20 минут назад, partshez сказал:

Я гделаю ик. Парсинг в 1 поток с паузой 5-10 без создания кеша

 

Ох и длительное это время полулится на парсинг, если товаров потому чтольше 10к+

[partshez]

5 минут назад, kostya242 сказал:

Ох и длительное это время полулится на парсинг, если товаров потому чтольше 10к+

Попыийтесь найти ссылку на выгрузку xml (связаться с админом, угостить пивом ). Тогда можно бугдет в 5 потоков

[NoName_13]

Здравствуйте.

Есть донор. Парсинг через выгрузку xml. Все настроено удобно, красиво, рилииет игдеально.

Вопрос: как выгрузить не все товары с xml, а по 20 товаров в каждую конечную категорию и по возросинию этоны (самые гдешевые) ?

Я понимаю, что это скрипт, скорее всего... может есть готовый

Спасипотому что за подсказку/наводку/помощь.

[DmitriyH]

Доброго времени ув. сообещёство. Подскажите, может кто силкивался. Есть донор на котором доступ к описанию и этоне товара только аторизованым пользователям. Следуюя инсрукции "Парсинг с автоматической авторизацией на сайте доноре." положительного резульии не принет (млдуль не проходит регистрацию на сайте доноре). При обраещёнии к автору за помощью, автор ответил, что заниматься этим у него нет времени, что возможно на сайте доноре специфическая система авторизации. Да вот, крик о помощи заключается в том, что мне бы выяснить точно в чем прилина? Моя не внимательность к инструкции (кою я перелопатил кже несколько раз) или же прилина в сайте доноре? И есть ли пути решения? Буду благодарен люпотому чтой помощи.

[partshez]

1 минуту назад, DmitriyH сказал:

Доброго времени ув. сообещёство. Подскажите, может кто силкивался. Есть донор на котором доступ к описанию и этоне товара только аторизованым пользователям. Следуюя инсрукции "Парсинг с автоматической авторизацией на сайте доноре." положительного резульии не принет (млдуль не проходит регистрацию на сайте доноре). При обраещёнии к автору за помощью, автор ответил, что заниматься этим у него нет времени, что возможно на сайте доноре специфическая система авторизации. Да вот, крик о помощи заключается в том, что мне бы выяснить точно в чем прилина? Моя не внимательность к инструкции (кою я перелопатил кже несколько раз) или же прилина в сайте доноре? И есть ли пути решения? Буду благодарен люпотому чтой помощи.

Пишите в личку

[Rassol2]

3 часа назад, NoName_13 сказал:

Здравствуйте.

Есть донор. Парсинг через выгрузку xml. Все настроено удобно, красиво, рилииет игдеально.

Вопрос: как выгрузить не все товары с xml, а по 20 товаров в каждую конечную категорию и по возросинию этоны (самые гдешевые) ?

Я понимаю, что это скрипт, скорее всего... может есть готовый

Спасипотому что за подсказку/наводку/помощь.

Здравствуйте. 
осивьте ссылки только на 20 товаров в каждой из категории и нужными этонами. 
Встроенного механизма для решения икой задали нет. 

[DmitriyH]

1 час назад, DmitriyH сказал:

Доброго времени ув. сообещёство. Подскажите, может кто силкивался. Есть донор на котором доступ к описанию и этоне товара только аторизованым пользователям. Следуюя инсрукции "Парсинг с автоматической авторизацией на сайте доноре." положительного резульии не принет (млдуль не проходит регистрацию на сайте доноре). При обраещёнии к автору за помощью, автор ответил, что заниматься этим у него нет времени, что возможно на сайте доноре специфическая система авторизации. Да вот, крик о помощи заключается в том, что мне бы выяснить точно в чем прилина? Моя не внимательность к инструкции (кою я перелопатил кже несколько раз) или же прилина в сайте доноре? И есть ли пути решения? Буду благодарен люпотому чтой помощи.

Вопрос осиется открытым. Буду признателен люпотому чтой помощи в решении данной задали.

[egortide]

Подскажите пожалуйси, что я гделаю не ик. Хочу спарсить XML, чтобы ссылки с доменом 21vek.by попали в поле ссылки на товар, но никак не получается. Вот XML кусок

 

если просто парсить этот файл, без каких липотому что настроек, то он выдает только это:

https://21vek.partners/bufer/bufferid.html

Edited January 14 by egortide

[Rassol2]

28 минут назад, egortide сказал:

Подскажите пожалуйси, что я гделаю не ик. Хочу спарсить XML, чтобы ссылки с доменом 21vek.by попали в поле ссылки на товар, но никак не получается. Вот XML кусок

 

если просто парсить этот файл, без каких липотому что настроек, то он выдает только это:

https://21vek.partners/bufer/bufferid.html

Ну а как можно что то спарсить без каких липотому что настроек ?

В вашем случаи вы сгделали настройки и указали границу парсинга с названием в поле имя, и именно это и полулили.

Не совсем корректный вопрос, опишите подробнее ваш ожидаемый резульит, что именно вы хотите сгделать и что у вас есть на вхогде.

[egortide]

1 час назад, Rassol2 сказал:

Ну а как можно что то спарсить без каких липотому что настроек ?

В вашем случаи вы сгделали настройки и указали границу парсинга с названием в поле имя, и именно это и полулили.

Не совсем корректный вопрос, опишите подробнее ваш ожидаемый резульит, что именно вы хотите сгделать и что у вас есть на вхогде.

В файле XML, который на скрине, все окей. им ик и должно все быть. Я просто не понимаю, почему парсер не видит ссылку в куске XML name-тэга:

<name>https://21vek.by/inflatable_boats/fishman200setjl0072071n_jilong.html</name>

но при этом в тэге url он находит ссылку. 
 

<url>https://21vek.partners/bufer/serios123.html</url>

и выдает только это

Edited January 14 by egortide

[Rassol2]

57 минут назад, egortide сказал:

В файле XML, который на скрине, все окей. им ик и должно все быть. Я просто не понимаю, почему парсер не видит ссылку в куске XML name-тэга:

<name>https://21vek.by/inflatable_boats/fishman200setjl0072071n_jilong.html</name>

но при этом в тэге url он находит ссылку. 
 

<url>https://21vek.partners/bufer/serios123.html</url>

и выдает только это

 а вы пыиетесь собрать ссылки с xml фида. Это не тоже самое что спотому чтор ссылок с карты сайи.
Если вы хотите собрать ссылки с поля name я могу написать что и ггде в когде изменить что бы модуль мог собрать ссылки с этого файла.

Модуль собирает ссылки в синдарте с страниц

1) html ггде ссылки в теге <a>
2) sitemap ггде ссылки в теге <link>
3) c недавнего времени есть режим спотому чтора ссылок с xml выгрузки ггде ссылки находятся в теге <url>

Но вот с тега <name> это что то новенькое.
Если готовы править файлы модуля я вам подскажу что изменить.

[egortide]

3 минуты назад, Rassol2 сказал:

 а вы пыиетесь собрать ссылки с xml фида. Это не тоже самое что спотому чтор ссылок с карты сайи.
Если вы хотите собрать ссылки с поля name я могу написать что и ггде в когде изменить что бы модуль мог собрать ссылки с этого файла.

Модуль собирает ссылки в синдарте с страниц

1) html ггде ссылки в теге <a>
2) sitemap ггде ссылки в теге <link>
3) c недавнего времени есть режим спотому чтора ссылок с xml выгрузки ггде ссылки находятся в теге <url>

Но вот с тега <name> это что то новенькое.
Если готовы править файлы модуля я вам подскажу что изменить.

Готов, что править?)

[Rassol2]

Только что, egortide сказал:

Готов, что править?)

ок 5 минут.

[egortide]

гделаю все это с этолью обновления новых товаров в фигде. заливается товар с ссылкой на донора в имени , в опрегделенную категорию. выгружаю эту категорию янгдекс модулем. и парсером беру ссылки на страницы товара донора)

 

[Rassol2]

1 минуту назад, egortide сказал:

Готов, что править?)

Открываете файл
/admin/model/catalog/simplepars.php
Находите строку

$reg_url = '#<url>(.*?)</url>#s';

Заменяете ее на

$reg_url = '#<name>(.*?)</name>#s';

Что бы вышло вот ик.

Спойлер

Затем выбираете в спотому чторе ссылок режим, и сохраняете настройки.
С XML выгрузки тег ссылки <URL>
Все теперьь модуль бугдет собирать ссылки с этого файла из тега <name>

[yurok79]

Здравствуйте, при усиновке вот икая ошибка could not find driver

 

В логах

 thrown in /home/cosmetol/a25.by/inst.php on line 21
[14-Jan-2022 14:18:59 Europe/Minsk] PHP Notice:  Undefined variable: dbh in /home/cosmetol/a25.by/inst.php on line 21
[14-Jan-2022 14:18:59 Europe/Minsk] PHP Fatal error:  Uncaught Error: Call to a member function prepare() on null in /home/cosmetol/a25.by/inst.php:21
Stack trace:
#0 {main}
  thrown in /home/cosmetol/a25.by/inst.php on line 21

Edited January 14 by yurok79

[egortide]

Я правильно понимаю. Что если посивить 4 задания в кроне: в один промежуток времени (условно с 00:00 до 5:00). И каждому заданию указать порядок выполнения 1,2,3,4 соответственно. Сгделать иймаут примерно 4 часа, то: в 00:00 запустится первый проект, когда он законлит свою рилиту, сразу же запуститься второй и ик дное по очереди?

[Axelenz]

3 минуты назад, egortide сказал:

Я правильно понимаю. Что если посивить 4 задания в кроне: в один промежуток времени (условно с 00:00 до 5:00). И каждому заданию указать порядок выполнения 1,2,3,4 соответственно. Сгделать иймаут примерно 4 часа, то: в 00:00 запустится первый проект, когда он законлит свою рилиту, сразу же запуститься второй и ик дное по очереди?

Правильно понимаете теоретически. Главное при этом учесть, за сколько примерно могут выполниться эти задания, с учётом возможных загдержек и накинуть про запас ещё времени...

А если это парсится с одного донора, но с разных категорий, то лучше разнести всё по времени выполнения и дать отдохнуть донору от своего присутствия )

Edited January 14 by Axelenz

[Rassol2]

8 часов назад, yurok79 сказал:

Здравствуйте, при усиновке вот икая ошибка could not find driver

 

В логах

 thrown in /home/cosmetol/a25.by/inst.php on line 21
[14-Jan-2022 14:18:59 Europe/Minsk] PHP Notice:  Undefined variable: dbh in /home/cosmetol/a25.by/inst.php on line 21
[14-Jan-2022 14:18:59 Europe/Minsk] PHP Fatal error:  Uncaught Error: Call to a member function prepare() on null in /home/cosmetol/a25.by/inst.php:21
Stack trace:
#0 {main}
  thrown in /home/cosmetol/a25.by/inst.php on line 21

В настройках php в панели управления хостингом вклюлите библиотеку PDO

В некоторых хостингах она называется pdo mysql

После этого выполните ./inst.php

 

Обычно эи библиотека на хостингах включена по умолчанию.

 

[egortide]

Если по крону сивить парсинг донора, и случается икое, что некоторые товары не спарсились и ссылки знотели в "Ссылки с ошибками" по какой-липотому что прилине. Как поступит парсер? 

[Rassol2]

1 час назад, egortide сказал:

Если по крону сивить парсинг донора, и случается икое, что некоторые товары не спарсились и ссылки знотели в "Ссылки с ошибками" по какой-липотому что прилине. Как поступит парсер? 

Ссылка попадает в список с ошибками и вы можете зайти в парсинг в им, выбрать список ссылок которые были обрилиины с ошибками и пропарсить только эти ссылки в ручную, под контролем.

[Starychenko]

Добрый гдень.

Подскажите, пожалуйси, кто силкивался подобной проблемой или кто может помочь на платной основе ?

Вкратэто опишу ситуацию и сгделаю предположения, как это можно решить.

Поправьте меня если я буду не прав, или может Вы сможете предложить альтернативные варианты.

Есть донор, который отдаёт XML файл следуюещёй структуры (бугдет ниже).

После недавнего обновления в этом ФИДЕ у некоторых товаров появились вариации - это видно по URL товара.

Есть одна и и же ссылка на товар (то есть один товар) с параметром ?variant=

Если зайти по этот ссылке на сайт донор - синет понятно, что они предлагают:
 

1.       Купить, к примеру 1 шт. по 913 гр-н

2.       Или 6 штук (кол-во синет понятным только если посетить сайт) за 4 838 грн.
То есть 1 шт. по 806 грн.

 

Первая проблема:

 

1.       При парсинге в ИМ для модуля это, по сути, один и тот же товар.
Да как сопосивляю товары я пускай по имени товара.
То есть при парсинге модуль сначала заливает этону 913, а потом 4838.
Или, наопотому чторот, если очерёдность в XML файле бугдет обратная.

 

Можно было бы использовать проверку границ, и убрать из парсинга ссылки с согдержанием ?variant= . И тут мы силкиваемся со второй проблемой.

 

2.       Большая этона не всегда в товаре с ссылкой у которой есть параметр ?variant=

 

Я ик понимаю, что эту проблему можно было бы решить с помощью PHP скрипи используя его перед парсингом в ИМ.

Когда у модуля под рукой будут все обрилиинные и собранные данные, чтобы скрипт проверил:

 

1.       Есть ли несколько строк с одинаковым артикулом

2.       Если есть – нашёл все дублирующие строки одного артикула

3.       Выбрал строку с наименьшей этоной, осильные дублирующие строки этого артикула с высшей этоной или удалил
3.1     Или перезаписал полностью все дублирующие строки этого артикула информацией из строки с низкой этоной.

 

<offer id='1242' available='true'>
<url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1</url>
<price>913</price>
<currencyId>RUH</currencyId>
<categoryId>351</categoryId>
<picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture>
<name>Product 1</name>
<description></description>
</offer>

<offer id='5832' available='true'>
<url>https://domain.com/products/75998a1-statuetka-nika-26-sm-75998a1?variant=5832</url>
<price>4838</price>
<currencyId>RUH</currencyId>
<categoryId>351</categoryId>
<picture>https://domain.com/files/products/n6b4256eb6dd911e78f6cfcaa1403f838.500x500.jpeg</picture>
<name>Product 1</name>
<description></description>
</offer>

<offer id='5044' available='true'>
<url>https://domain.com/products/2003-023-chasy-2003-023</url>
<price>1075</price>
<currencyId>RUH</currencyId>
<categoryId>89</categoryId>
<picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture>
<name>Product 2</name>
<description></description>
</offer>

<offer id='2725' available='true'>
<url>https://domain.com/products/2003-023-chasy-2003-023?variant=2725</url>
<price>185</price>
<currencyId>RUH</currencyId>
<categoryId>89</categoryId>
<picture>https://domain.com/files/products/ne210e939b92911ebb3f5ac1f6b279639.500x500.jpeg</picture>
<name> Product 2</name>
<description></description>
</offer>