[Поддержка] SimplePars - Универсальный парсер для ИМ

[Kiyoshi]

30.10.2022 в 10:59, Topar сказал:

Кто нибудь, знает - в чем может быть проблема? У меня OcStore 3 версии, в препросмотре Парсинга - парсит все, а вот при парсинге в Интернет магазин, нечего кроме Названия и в некоторых случаях изображения - он не парсит.

 Здравствуйте в пред просмотре показывается что модуль может получить согласно заданным настройкам.  По поводу загрузки

1. Выбрано их добавление добавление при загрузке во вкладке парсинга в ИМ?
2. Встречается в описаний данный символ � ? (если модуль младше 4.9 рекомендую обновить)

30.10.2022 в 12:47, Topar сказал:

UPD к последнему сообщению, программа - фотографии парсит, даже вставляет их в нужные папки, но почему то - сам сайт их не видит в нужном формате, и даже смена аттрибутов - не помогает. 

Посмотрите не попадает чего-то лишнего в фото и дополнительно добавьте переименование фото например в имя товара или код.

[partshez]

30.10.2022 в 19:47, Topar сказал:

UPD к последнему сообщению, программа - фотографии парсит, даже вставляет их в нужные папки, но почему то - сам сайт их не видит в нужном формате, и даже смена аттрибутов - не помогает. 

 

Самое смешное, что сам менеджер их выводит - но выводит с непонятным путем:

https://topar.uz/home/s/surovov/topar.uz/public_html/image/catalog/product/_knigi_/_nauchno-populyarnaya_literatura_/_psihologiya_/_populyarnaya_psihologiya_/_sila_malenkih_shagov_egednevnik-trening_na_100_dnej_kak_postepenno_i_komfortno_izmenit_svoyu_gizn_k_luchshemu/acd4f3db41e87547674dd64cd7e0df1c.jpg 

То есть там идет путь по хостингу. 

Для начала укоротить название фото. Название изображения сделать по названию товара, например. Открыть на сервере папку, посмотреть путь до нее

 

[Kiyoshi]

 

Есть ссылка на категорию.   https://sadovod-vip.ru/category/men-polo  Переход на следующую страницу с товаром этой категории <div id="ajax_page" data-page="1" data-post_date_vk="1666703460" data-max="0">  , насколько я понимаю.   Возможно ли собрать все ссылки на товар данной категории?  В sitemap.xml  ссылки на товар отсутствуют

Возможности получить весть товар с данной ссылки нет тут только вручную подготавливать ссылки для загрузки.

[Rassol2]

30.10.2022 в 12:47, Topar сказал:

UPD к последнему сообщению, программа - фотографии парсит, даже вставляет их в нужные папки, но почему то - сам сайт их не видит в нужном формате, и даже смена аттрибутов - не помогает. 

 

Самое смешное, что сам менеджер их выводит - но выводит с непонятным путем:

Так как примера фото нет, могу предположить что фото в формате webp, такие фото opencart не умеет сжимать и по этому выводить такие непонятные ссылки что у вас. Проверяйте формат фото у донора.
PS. Проверка формата изображения у донора это не только посмотреть что там написано после точки.
.jpg
.png
Это еше не значит что фото jpg или png. Сейчас расплодились не-до модули которые конвертируют фото в формат webp но почему то в имени фото не меняют формат. В связи с этим уже порядка 20% всех сайтов на webp имеют такую кашу в фото, и эту проблему просто так не решить.

[Axelenz]

30.10.2022 в 21:29, Kiyoshi сказал:

Возможности получить весть товар с данной ссылки нет тут только вручную подготавливать ссылки для загрузки.

Вот они все

Скрытый текст

https://sadovod-vip.ru/product/2756061

https://sadovod-vip.ru/product/2053521

https://sadovod-vip.ru/product/2749099

https://sadovod-vip.ru/product/2101472

https://sadovod-vip.ru/product/2389843

https://sadovod-vip.ru/product/2729074

https://sadovod-vip.ru/product/2727647

https://sadovod-vip.ru/product/2058468

https://sadovod-vip.ru/product/2696652

https://sadovod-vip.ru/product/2685438

https://sadovod-vip.ru/product/2671501

https://sadovod-vip.ru/product/2628136

https://sadovod-vip.ru/product/2624718

https://sadovod-vip.ru/product/2512410

https://sadovod-vip.ru/product/2618319

https://sadovod-vip.ru/product/1946074

https://sadovod-vip.ru/product/1946050

https://sadovod-vip.ru/product/2076368

https://sadovod-vip.ru/product/2598679

https://sadovod-vip.ru/product/2598434

https://sadovod-vip.ru/product/2590468

https://sadovod-vip.ru/product/2582122

https://sadovod-vip.ru/product/2577097

https://sadovod-vip.ru/product/2572096

https://sadovod-vip.ru/product/2533618

https://sadovod-vip.ru/product/2533075

https://sadovod-vip.ru/product/1972868

https://sadovod-vip.ru/product/2521993

https://sadovod-vip.ru/product/2521849

https://sadovod-vip.ru/product/2414161

https://sadovod-vip.ru/product/2492062

https://sadovod-vip.ru/product/2333367

https://sadovod-vip.ru/product/2492230

https://sadovod-vip.ru/product/2492238

https://sadovod-vip.ru/product/2368399

https://sadovod-vip.ru/product/2392966

https://sadovod-vip.ru/product/2398627

https://sadovod-vip.ru/product/2466171

https://sadovod-vip.ru/product/1941899

https://sadovod-vip.ru/product/2100038

https://sadovod-vip.ru/product/2448179

https://sadovod-vip.ru/product/2439702

https://sadovod-vip.ru/product/2415136

https://sadovod-vip.ru/product/2414152

https://sadovod-vip.ru/product/2320716

https://sadovod-vip.ru/product/2367618

https://sadovod-vip.ru/product/2333368

https://sadovod-vip.ru/product/2333362

https://sadovod-vip.ru/product/2239984

https://sadovod-vip.ru/product/2329281

https://sadovod-vip.ru/product/2301603

https://sadovod-vip.ru/product/2291321

https://sadovod-vip.ru/product/2290685

https://sadovod-vip.ru/product/1809905

https://sadovod-vip.ru/product/2324147

https://sadovod-vip.ru/product/2286055

https://sadovod-vip.ru/product/2220754

https://sadovod-vip.ru/product/2227463

https://sadovod-vip.ru/product/1931721

https://sadovod-vip.ru/product/2272565

https://sadovod-vip.ru/product/2271703

https://sadovod-vip.ru/product/2257743

https://sadovod-vip.ru/product/2257744

https://sadovod-vip.ru/product/2250921

https://sadovod-vip.ru/product/2131006

https://sadovod-vip.ru/product/2225606

https://sadovod-vip.ru/product/2090017

https://sadovod-vip.ru/product/2222786

https://sadovod-vip.ru/product/2222590

https://sadovod-vip.ru/product/2218485

https://sadovod-vip.ru/product/1618257

https://sadovod-vip.ru/product/1500484

https://sadovod-vip.ru/product/1448370

https://sadovod-vip.ru/product/1895666

https://sadovod-vip.ru/product/2072504

https://sadovod-vip.ru/product/2190603

https://sadovod-vip.ru/product/2184917

https://sadovod-vip.ru/product/2180955

https://sadovod-vip.ru/product/2178600

https://sadovod-vip.ru/product/1576345

https://sadovod-vip.ru/product/2073456

https://sadovod-vip.ru/product/2175164

https://sadovod-vip.ru/product/2174792

https://sadovod-vip.ru/product/2171755

https://sadovod-vip.ru/product/1894351

https://sadovod-vip.ru/product/2159671

https://sadovod-vip.ru/product/2156012

https://sadovod-vip.ru/product/2082717

https://sadovod-vip.ru/product/1973095

https://sadovod-vip.ru/product/2122481

https://sadovod-vip.ru/product/2120801

https://sadovod-vip.ru/product/1794546

https://sadovod-vip.ru/product/2073100

https://sadovod-vip.ru/product/2102314

https://sadovod-vip.ru/product/2068865

https://sadovod-vip.ru/product/2064951

https://sadovod-vip.ru/product/2055724

https://sadovod-vip.ru/product/2053522

https://sadovod-vip.ru/product/2050686

https://sadovod-vip.ru/product/1788604

https://sadovod-vip.ru/product/1549629

https://sadovod-vip.ru/product/2020486

https://sadovod-vip.ru/product/2014635

https://sadovod-vip.ru/product/2014548

https://sadovod-vip.ru/product/2011190

https://sadovod-vip.ru/product/1422806

https://sadovod-vip.ru/product/1996000

https://sadovod-vip.ru/product/1992107

https://sadovod-vip.ru/product/1915526

https://sadovod-vip.ru/product/1723111

https://sadovod-vip.ru/product/1979417

https://sadovod-vip.ru/product/1765280

https://sadovod-vip.ru/product/1978240

https://sadovod-vip.ru/product/673806

https://sadovod-vip.ru/product/1302538

https://sadovod-vip.ru/product/1967096

https://sadovod-vip.ru/product/1965829

https://sadovod-vip.ru/product/1956412

https://sadovod-vip.ru/product/1716722

https://sadovod-vip.ru/product/1951860

https://sadovod-vip.ru/product/1950010

https://sadovod-vip.ru/product/1944595

https://sadovod-vip.ru/product/1935114

https://sadovod-vip.ru/product/1934227

https://sadovod-vip.ru/product/1923228

https://sadovod-vip.ru/product/1908612

https://sadovod-vip.ru/product/1865286

https://sadovod-vip.ru/product/1909484

https://sadovod-vip.ru/product/1908757

https://sadovod-vip.ru/product/1907429

https://sadovod-vip.ru/product/1906655

https://sadovod-vip.ru/product/1905586

https://sadovod-vip.ru/product/1904147

https://sadovod-vip.ru/product/1903905

https://sadovod-vip.ru/product/1903552

https://sadovod-vip.ru/product/1903065

https://sadovod-vip.ru/product/1902386

https://sadovod-vip.ru/product/1901286

https://sadovod-vip.ru/product/1898449

https://sadovod-vip.ru/product/1884951

https://sadovod-vip.ru/product/1882172

https://sadovod-vip.ru/product/1878372

https://sadovod-vip.ru/product/1877537

https://sadovod-vip.ru/product/1878547

https://sadovod-vip.ru/product/1877504

https://sadovod-vip.ru/product/1877503

https://sadovod-vip.ru/product/1875405

https://sadovod-vip.ru/product/1875301

https://sadovod-vip.ru/product/1874772

https://sadovod-vip.ru/product/1653400

https://sadovod-vip.ru/product/1864871

https://sadovod-vip.ru/product/1865040

https://sadovod-vip.ru/product/1863719

https://sadovod-vip.ru/product/1863763

https://sadovod-vip.ru/product/1860017

https://sadovod-vip.ru/product/1758196

https://sadovod-vip.ru/product/1804734

https://sadovod-vip.ru/product/1819505

https://sadovod-vip.ru/product/1851530

 

Изменено 30 октября 2022 пользователем Axelenz

[Kiyoshi]

30.10.2022 в 16:00, Axelenz сказал:

Вот они все

  Показать содержимое

https://sadovod-vip.ru/product/2756061

https://sadovod-vip.ru/product/2053521

https://sadovod-vip.ru/product/2749099

https://sadovod-vip.ru/product/2101472

https://sadovod-vip.ru/product/2389843

https://sadovod-vip.ru/product/2729074

https://sadovod-vip.ru/product/2727647

https://sadovod-vip.ru/product/2058468

https://sadovod-vip.ru/product/2696652

https://sadovod-vip.ru/product/2685438

https://sadovod-vip.ru/product/2671501

https://sadovod-vip.ru/product/2628136

https://sadovod-vip.ru/product/2624718

https://sadovod-vip.ru/product/2512410

https://sadovod-vip.ru/product/2618319

https://sadovod-vip.ru/product/1946074

https://sadovod-vip.ru/product/1946050

https://sadovod-vip.ru/product/2076368

https://sadovod-vip.ru/product/2598679

https://sadovod-vip.ru/product/2598434

https://sadovod-vip.ru/product/2590468

https://sadovod-vip.ru/product/2582122

https://sadovod-vip.ru/product/2577097

https://sadovod-vip.ru/product/2572096

https://sadovod-vip.ru/product/2533618

https://sadovod-vip.ru/product/2533075

https://sadovod-vip.ru/product/1972868

https://sadovod-vip.ru/product/2521993

https://sadovod-vip.ru/product/2521849

https://sadovod-vip.ru/product/2414161

https://sadovod-vip.ru/product/2492062

https://sadovod-vip.ru/product/2333367

https://sadovod-vip.ru/product/2492230

https://sadovod-vip.ru/product/2492238

https://sadovod-vip.ru/product/2368399

https://sadovod-vip.ru/product/2392966

https://sadovod-vip.ru/product/2398627

https://sadovod-vip.ru/product/2466171

https://sadovod-vip.ru/product/1941899

https://sadovod-vip.ru/product/2100038

https://sadovod-vip.ru/product/2448179

https://sadovod-vip.ru/product/2439702

https://sadovod-vip.ru/product/2415136

https://sadovod-vip.ru/product/2414152

https://sadovod-vip.ru/product/2320716

https://sadovod-vip.ru/product/2367618

https://sadovod-vip.ru/product/2333368

https://sadovod-vip.ru/product/2333362

https://sadovod-vip.ru/product/2239984

https://sadovod-vip.ru/product/2329281

https://sadovod-vip.ru/product/2301603

https://sadovod-vip.ru/product/2291321

https://sadovod-vip.ru/product/2290685

https://sadovod-vip.ru/product/1809905

https://sadovod-vip.ru/product/2324147

https://sadovod-vip.ru/product/2286055

https://sadovod-vip.ru/product/2220754

https://sadovod-vip.ru/product/2227463

https://sadovod-vip.ru/product/1931721

https://sadovod-vip.ru/product/2272565

https://sadovod-vip.ru/product/2271703

https://sadovod-vip.ru/product/2257743

https://sadovod-vip.ru/product/2257744

https://sadovod-vip.ru/product/2250921

https://sadovod-vip.ru/product/2131006

https://sadovod-vip.ru/product/2225606

https://sadovod-vip.ru/product/2090017

https://sadovod-vip.ru/product/2222786

https://sadovod-vip.ru/product/2222590

https://sadovod-vip.ru/product/2218485

https://sadovod-vip.ru/product/1618257

https://sadovod-vip.ru/product/1500484

https://sadovod-vip.ru/product/1448370

https://sadovod-vip.ru/product/1895666

https://sadovod-vip.ru/product/2072504

https://sadovod-vip.ru/product/2190603

https://sadovod-vip.ru/product/2184917

https://sadovod-vip.ru/product/2180955

https://sadovod-vip.ru/product/2178600

https://sadovod-vip.ru/product/1576345

https://sadovod-vip.ru/product/2073456

https://sadovod-vip.ru/product/2175164

https://sadovod-vip.ru/product/2174792

https://sadovod-vip.ru/product/2171755

https://sadovod-vip.ru/product/1894351

https://sadovod-vip.ru/product/2159671

https://sadovod-vip.ru/product/2156012

https://sadovod-vip.ru/product/2082717

https://sadovod-vip.ru/product/1973095

https://sadovod-vip.ru/product/2122481

https://sadovod-vip.ru/product/2120801

https://sadovod-vip.ru/product/1794546

https://sadovod-vip.ru/product/2073100

https://sadovod-vip.ru/product/2102314

https://sadovod-vip.ru/product/2068865

https://sadovod-vip.ru/product/2064951

https://sadovod-vip.ru/product/2055724

https://sadovod-vip.ru/product/2053522

https://sadovod-vip.ru/product/2050686

https://sadovod-vip.ru/product/1788604

https://sadovod-vip.ru/product/1549629

https://sadovod-vip.ru/product/2020486

https://sadovod-vip.ru/product/2014635

https://sadovod-vip.ru/product/2014548

https://sadovod-vip.ru/product/2011190

https://sadovod-vip.ru/product/1422806

https://sadovod-vip.ru/product/1996000

https://sadovod-vip.ru/product/1992107

https://sadovod-vip.ru/product/1915526

https://sadovod-vip.ru/product/1723111

https://sadovod-vip.ru/product/1979417

https://sadovod-vip.ru/product/1765280

https://sadovod-vip.ru/product/1978240

https://sadovod-vip.ru/product/673806

https://sadovod-vip.ru/product/1302538

https://sadovod-vip.ru/product/1967096

https://sadovod-vip.ru/product/1965829

https://sadovod-vip.ru/product/1956412

https://sadovod-vip.ru/product/1716722

https://sadovod-vip.ru/product/1951860

https://sadovod-vip.ru/product/1950010

https://sadovod-vip.ru/product/1944595

https://sadovod-vip.ru/product/1935114

https://sadovod-vip.ru/product/1934227

https://sadovod-vip.ru/product/1923228

https://sadovod-vip.ru/product/1908612

https://sadovod-vip.ru/product/1865286

https://sadovod-vip.ru/product/1909484

https://sadovod-vip.ru/product/1908757

https://sadovod-vip.ru/product/1907429

https://sadovod-vip.ru/product/1906655

https://sadovod-vip.ru/product/1905586

https://sadovod-vip.ru/product/1904147

https://sadovod-vip.ru/product/1903905

https://sadovod-vip.ru/product/1903552

https://sadovod-vip.ru/product/1903065

https://sadovod-vip.ru/product/1902386

https://sadovod-vip.ru/product/1901286

https://sadovod-vip.ru/product/1898449

https://sadovod-vip.ru/product/1884951

https://sadovod-vip.ru/product/1882172

https://sadovod-vip.ru/product/1878372

https://sadovod-vip.ru/product/1877537

https://sadovod-vip.ru/product/1878547

https://sadovod-vip.ru/product/1877504

https://sadovod-vip.ru/product/1877503

https://sadovod-vip.ru/product/1875405

https://sadovod-vip.ru/product/1875301

https://sadovod-vip.ru/product/1874772

https://sadovod-vip.ru/product/1653400

https://sadovod-vip.ru/product/1864871

https://sadovod-vip.ru/product/1865040

https://sadovod-vip.ru/product/1863719

https://sadovod-vip.ru/product/1863763

https://sadovod-vip.ru/product/1860017

https://sadovod-vip.ru/product/1758196

https://sadovod-vip.ru/product/1804734

https://sadovod-vip.ru/product/1819505

https://sadovod-vip.ru/product/1851530

 

Неплохо так. Если не секрет какой вариант пагинаций было добавлен в ссылку чтобы модуль переходил на новую старицу.

Изменено 30 октября 2022 пользователем Kiyoshi

[Axelenz]

30.10.2022 в 23:07, Kiyoshi сказал:

Неплохо какое слово подставили под ссылку чтобы получить страницу?

Просканировал страницу https://sadovod-vip.ru/category/men-polo

Любой сборщик ссылок Вам в помощь.

Изменено 30 октября 2022 пользователем Axelenz

[Topar]

31.10.2022 в 01:54, Rassol2 сказал:

Так как примера фото нет, могу предположить что фото в формате webp, такие фото opencart не умеет сжимать и по этому выводить такие непонятные ссылки что у вас. Проверяйте формат фото у донора.
PS. Проверка формата изображения у донора это не только посмотреть что там написано после точки.
.jpg
.png
Это еше не значит что фото jpg или png. Сейчас расплодились не-до модули которые конвертируют фото в формат webp но почему то в имени фото не меняют формат. В связи с этим уже порядка 20% всех сайтов на webp имеют такую кашу в фото, и эту проблему просто так не решить.

У меня как оказалось - тот случай. В названии стоит jpg - качаешь вручную - качает как webp. При этом есть фотографии с чистым JPG - они выводятся нормально, но вот эти оборотни нет. Что с ними можно сделать? Это надо опенкарт как нибудь подлатать? Что бы он мог такие форматы читать? Или надо через парсинг - как то насильно менять формат? Если да, то как? Так как не особо понятно, как это делать в simplepars.

[partshez]

30.10.2022 в 23:12, Axelenz сказал:

30.10.2022 в 23:12, Axelenz сказал:

Просканировал страницу https://sadovod-vip.ru/category/men-polo

Любой сборщик ссылок Вам в помощь.

Век живи, век учись...

 

[partshez]

30.10.2022 в 23:12, Axelenz сказал:

Просканировал страницу https://sadovod-vip.ru/category/men-polo

Любой сборщик ссылок Вам в помощь.

Век живи, век учись...

[Rassol2]

30.10.2022 в 20:45, Topar сказал:

У меня как оказалось - тот случай. В названии стоит jpg - качаешь вручную - качает как webp. При этом есть фотографии с чистым JPG - они выводятся нормально, но вот эти оборотни нет. Что с ними можно сделать? Это надо опенкарт как нибудь подлатать? Что бы он мог такие форматы читать? Или надо через парсинг - как то насильно менять формат? Если да, то как? Так как не особо понятно, как это делать в simplepars.

Ну тут пока что все не однозначно.
Суть проблемы теперь такова. Преобразование фото в формате webp в обычные происходит встроенной библиотекой в php, то есть не мой алгоритм.
Это внешний механизм, мы туда что то отправляем, библиотека что то делает и возвращает нам.
И тут у нас проблема, если отправить туда нормальную фотку jpg или png то эта мясорубка попробует преобразовать ее и в итоге вернется битый файл.
А если отправить нормальное фото в формате webp вернется норм изображение.

И вот тут делема модуль как то должен определить что у него в руках, и он определяет по формату указанному в имени.
А если оно не правильное то мы теряем механизм определения формата и отправки его на пересжатия.
У меня были мысли как развить эту тему, еше до войны но пока что все пошло по п***е так что имеем что имеем.

Сейчас такое средствами модуля не решить, все равно нужно ручками менять формат фото и в базе данных в опенкарте менять имена ссылок и тогда модуль сможет перекрутить эти изображения, либо использовать какой то внешний инструмент для решения этой задачи.

[Topar]

31.10.2022 в 15:24, Rassol2 сказал:

Ну тут пока что все не однозначно.
Суть проблемы теперь такова. Преобразование фото в формате webp в обычные происходит встроенной библиотекой в php, то есть не мой алгоритм.
Это внешний механизм, мы туда что то отправляем, библиотека что то делает и возвращает нам.
И тут у нас проблема, если отправить туда нормальную фотку jpg или png то эта мясорубка попробует преобразовать ее и в итоге вернется битый файл.
А если отправить нормальное фото в формате webp вернется норм изображение.

И вот тут делема модуль как то должен определить что у него в руках, и он определяет по формату указанному в имени.
А если оно не правильное то мы теряем механизм определения формата и отправки его на пересжатия.
У меня были мысли как развить эту тему, еше до войны но пока что все пошло по п***е так что имеем что имеем.

Сейчас такое средствами модуля не решить, все равно нужно ручками менять формат фото и в базе данных в опенкарте менять имена ссылок и тогда модуль сможет перекрутить эти изображения, либо использовать какой то внешний инструмент для решения этой задачи.

А нет не каких плагинов / улучшений - что бы опенкарт просто работал с ним? Я весь форум перерыл, решения похоже нет. Просто чем проводить танцы с бубнами и менять псевдо-форматы webp, где фиг разберешь - что это, мне кажется - легче опенкарт научить читать / воспринимать эти файлы

[zahar92]

Всем привет!

Не могу понять, как указать свои ссылки в очереди для сканирования товаров. 

У меня есть 9 ссылок, которые хотелось бы спарсить одновременно, т.к. товары из этих ссылок попадают в одну категорию.

Я указываю эти ссылки в верхнем поле Очередь сканирования ссылок (но не понимаю, что указывать в Стартовая ссылка).

В сумме по этим ссылкам около 500 товаров, но после старта сканирования, очередь сканирования растет далеко за пределы 500. 

Если сканирование остановить, то в верхнем поле я вижу ссылки не только те, что указывал я.

Также в ссылках на товар присутствуют ссылки корзины, например, хотя эта ссылка не попадает в диапазон текста начала сбора.

 

Имеется несколько вопросов:

1. Как мне указать список моих ссылок и только по ним искать товар?

2. Почему в ссылки товаров попадают ссылки за пределами границ Текста начала/конца сбора?

 

Страницы без пагинации, пример ссылок

https://vendem.ru/catalog/ultrazvukovaya_diagnostika/lineynye_datchiki_uzi/?SHOWALL_1=1

https://vendem.ru/catalog/ultrazvukovaya_diagnostika/karandashnye_dopplerovskie_datchiki_uzi/?SHOWALL_1=1

 

Скриншот настроек верхнего поля

 

Скриншот настроек нижнего поля

 

[partshez]

31.10.2022 в 19:53, zahar92 сказал:

Всем привет!

Не могу понять, как указать свои ссылки в очереди для сканирования товаров. 

У меня есть 9 ссылок, которые хотелось бы спарсить одновременно, т.к. товары из этих ссылок попадают в одну категорию.

Я указываю эти ссылки в верхнем поле Очередь сканирования ссылок (но не понимаю, что указывать в Стартовая ссылка).

В сумме по этим ссылкам около 500 товаров, но после старта сканирования, очередь сканирования растет далеко за пределы 500. 

Если сканирование остановить, то в верхнем поле я вижу ссылки не только те, что указывал я.

Также в ссылках на товар присутствуют ссылки корзины, например, хотя эта ссылка не попадает в диапазон текста начала сбора.

 

Имеется несколько вопросов:

1. Как мне указать список моих ссылок и только по ним искать товар?

2. Почему в ссылки товаров попадают ссылки за пределами границ Текста начала/конца сбора?

 

Страницы без пагинации, пример ссылок

https://vendem.ru/catalog/ultrazvukovaya_diagnostika/lineynye_datchiki_uzi/?SHOWALL_1=1

https://vendem.ru/catalog/ultrazvukovaya_diagnostika/karandashnye_dopplerovskie_datchiki_uzi/?SHOWALL_1=1

 

Скриншот настроек верхнего поля

 

Скриншот настроек нижнего поля

 

Для верхнего поля попробуйте так https://prnt.sc/VX3q3zg8KX3K

[zahar92]

Получаю 117 ссылок на товары, среди которых нет части разделов из поля выше. Например https://vendem.ru/catalog/ultrazvukovaya_diagnostika/lineynye_datchiki_uzi/?SHOWALL_1=1

Только в этой категории 157 товаров.

Изменено 31 октября 2022 пользователем zahar92

[Kiyoshi]

31.10.2022 в 13:36, zahar92 сказал:

Получаю 117 ссылок на товары, среди которых нет части разделов из поля выше. Например https://vendem.ru/catalog/ultrazvukovaya_diagnostika/lineynye_datchiki_uzi/?SHOWALL_1=1

Только в этой категории 157 товаров.

Попробуйте так

Шаблон ссылок очереди + Или/И

Заглушка

Шаблон ссылок на товар

ultrazvukovaya_diagnostika

 

Не должно быть в ссылках на товар

?
filter/

 

Глубина ссылок

5-8

Изменено 31 октября 2022 пользователем Kiyoshi

[Rassol2]

31.10.2022 в 07:12, Topar сказал:

А нет не каких плагинов / улучшений - что бы опенкарт просто работал с ним? Я весь форум перерыл, решения похоже нет. Просто чем проводить танцы с бубнами и менять псевдо-форматы webp, где фиг разберешь - что это, мне кажется - легче опенкарт научить читать / воспринимать эти файлы

Ну этот вопрос уже не ко мне. Я стараюсь свой модуль подогнать так что бы дать пользователям больше возможностей.
А вот сам опенкарт я не разрабатываю, а тем более не вмешиваюсь в его логику работы.

[yurok79]

Здравствуйте, подскажите по такому вопросу.

Импортирую товары с Прома по xml - все нормально, но парсинг идет ОЧЕНЬ медренно, а там 24000 товаров.

Какие параметры кроме количества потоков могут влиять на скорость. Если паралельно создавать кеш парсинг будет быстрее или медленее. Подскажите где можно поковырять.

[SSHEVA]

01.11.2022 в 10:32, yurok79 сказал:

Здравствуйте, подскажите по такому вопросу.

Импортирую товары с Прома по xml - все нормально, но парсинг идет ОЧЕНЬ медренно, а там 24000 товаров.

Какие параметры кроме количества потоков могут влиять на скорость. Если паралельно создавать кеш парсинг будет быстрее или медленее. Подскажите где можно поковырять.

При парсинге с пром лучше не перегибайте с потоками, а то их система даст блокировку сайта по IP и прийдется писать в тех поддержку, чтобы сняли блокировку

[partshez]

01.11.2022 в 10:32, yurok79 сказал:

Импортирую товары с Прома по xml - все нормально, но парсинг идет ОЧЕНЬ медренно, а там 24000 товаров.

Если работаете Обработчиком xml, один раз обращаемся к донору. Далее все общение происходит только с файлами на нашем сервере. Исключение, загрузка фото. 

Если работает медленно, общайтесь с техподдержкой своего сайта. Увеличивайте лимиты

Изменено 1 ноября 2022 пользователем partshez

[Kiyoshi]

01.11.2022 в 03:32, yurok79 сказал:

Здравствуйте, подскажите по такому вопросу.

Импортирую товары с Прома по xml - все нормально, но парсинг идет ОЧЕНЬ медренно, а там 24000 товаров.

Какие параметры кроме количества потоков могут влиять на скорость. Если паралельно создавать кеш парсинг будет быстрее или медленее. Подскажите где можно поковырять.

Здравствуйте

1. По скорости не припомню чтобы были затруднения . Если у вас это первая загрузка по товарному фиду то все нормально так как там загружаются изображение а это требует времени.
2. Параллельно создавать кещ будет медленней так как это дополнительное действие. Кешировать товарный фид нет необходимости он сперва выгружается в оперативную память сервера где каждый товар разбивается на самостоятельны файлы.

[Rassol2]

@SSHEVA @partshez @Kiyoshi
Со всеми абсолютно согласен. И от себя закреплю эти утверждения.

Совершенно верно, когда мы работаем с xml то порядок действий таков.
1) Модуль выгружает xml к себе.

2) Нарезает его на кусочки.
3) Обращение к файлами идет само к себе.

То есть пункт 3 это ваш сайт парсит сам себя. Это не совсем корректно по ресурсам, потому што обращение идет через http протакол, хотя мы имеем физически файлы в доступности. Но это некая жертва на алтаре которую мы приносим ради интеграции функционала в общюю логику модуля.

Так же тут  можно использовать потоки, потому что парсить вы будете сами себя.
Если работает медленно наверное стоит посмотреть на ресурсы конкретно вашего хостинга. Хотя это довольно редки кейс.

Так же можно и кешировать.
Но как было замечено выше, кеширование это + одна опирация, причем эта операция делает нагрузку на файловую систуму вашего сервера, а файловые системы это сейчас самая медленная часть в компьютерах. Так что это явно не ускоряет процесс, тем более что кеширование само по себе не нужно в процесе парсинга.
Кеширование нужно для зашиты себя при повторной работе, кеширование нужно что бы заморозить результат от донора для дальнейшей аналитики.
Ну и парсинг с кеша намного быстрее, но какая разница какая скорость парсинга из кеша если он у вас появится после парсинга  
Подытожу кеш это круто и мего полезно, но нужно знать когда и для чего его использовать.

 

[yurok79]

Всем спасибо за советы

[Dimmnes]

Добрый день! Подскажите когда парсишь второй язык конкретно характеристики почему они есть на сайте а в перевод в карточке товара не записываются?

Изменено 3 ноября 2022 пользователем Dimmnes

[Axelenz]

03.11.2022 в 22:07, Dimmnes сказал:

Добрый день! Подскажите когда парсишь второй язык конкретно характеристики почему они есть на сайте а в перевод каталог-характеристики-атрибуты не записываются?

А тут читали ?

 

https://simplepars.top/index.php?page=note&n=39

 

Скрытый текст

Что значить не можем полноценно ?

Это значит что мы не можем спарсить атрибут на втором языке так что бы привязать его к атрибуту на первом языке. Приведу пример на Русской и ******ской локализации.

Допустим у нас есть атрибут Цвет (рус) и Колiр (укр)
Сперва мы парсим сайт на русском языке, а затем переключаемся на парсинг на ******ском языке.
В первом случаи модуль создаст вам атрибут Цвет, а во втором случаи при обновлении модуль получить слово Колiр
И как модулю понять что это не новый атрибут, а тот же самый только на другом языке? Ведь Цвет и Колiр это совершенно разные слова не имеющие ничего общего. Это мы понимаем что это одно и тоже, но не компьютер.

И это утверждение справедливо и для других данных в товаре, кроме тех что описаны в первом пункте. В этом случаи модуль просто будет создавать отдельно атрибуты на Русском языке, и отдельно Атрибуты на ******ском языке. (Если вы это захотите конечно)
Но другого решения нет.

 

Цитата

В первом случаи модуль создаст вам атрибут Цвет, а во втором случаи при обновлении модуль получить слово Колiр

 

Эти слова необходимо понимать так, что модуль создаст не один Атрибут Цвет и в другой язык добавит Колiр, а то, что будет создано ДВА абсолютно разных атрибута.

Изменено 3 ноября 2022 пользователем Axelenz