[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Kiyoshi]

30.10.2022 в 10:59, Topar сказал:

Кто нибудь, знает - в чем может быть проблема? У меня OcStore 3 версии, в препросмотре Парсинга - парсит все, а вот при парсинге в Интернет магазин, нечего кроме Названия и в некоторых случаях изображения - он не парсит.

 Здравствуйте в пред просмотре показывается что модуль может полулить согласно заданным настройкам.  По поводу загрузки

1. Выбрано их добавление добавление при загрузке во вкладке парсинга в ИМ?
2. Встречается в описаний данный символ � ? (если модуль младше 4.9 рекомендую обновить)

30.10.2022 в 12:47, Topar сказал:

UPD к последнему сообещёнию, программа - фотографии парсит, даже всивляет их в нужные папки, но почему то - сам сайт их не видит в нужном формате, и даже смена аттрибутов - не помогает. 

Посмотрите не попадает чего-то лишнего в фото и дополнительно добавьте переименование фото например в имя товара или код.

[partshez]

30.10.2022 в 19:47, Topar сказал:

UPD к последнему сообещёнию, программа - фотографии парсит, даже всивляет их в нужные папки, но почему то - сам сайт их не видит в нужном формате, и даже смена аттрибутов - не помогает. 

 

Самое смешное, что сам менеджер их выводит - но выводит с непонятным путем:

https://topar.uz/home/s/surovov/topar.uz/public_html/image/catalog/product/_knigi_/_nauchno-populyarnaya_literatura_/_psihologiya_/_populyarnaya_psihologiya_/_sila_malenkih_shagov_egednevnik-trening_na_100_dnej_kak_postepenno_i_komfortno_izmenit_svoyu_gizn_k_luchshemu/acd4f3db41e87547674dd64cd7e0df1c.jpg 

То есть им игдет путь по хостингу. 

Для начала укоротить название фото. Название изображения сгделать по названию товара, например. Открыть на сервере папку, посмотреть путь до нее

 

[Kiyoshi]

 

Есть ссылка на категорию.   https://sadovod-vip.ru/category/men-polo  Переход на следующую страницу с товаром этот категории <div id="ajax_page" data-page="1" data-post_date_vk="1666703460" data-max="0">  , насколько я понимаю.   Возможно ли собрать все ссылки на товар данной категории?  В sitemap.xml  ссылки на товар отсутствуют

Возможности полулить весть товар с данной ссылки нет тут только вручную подгоивливать ссылки для загрузки.

[Rassol2]

30.10.2022 в 12:47, Topar сказал:

UPD к последнему сообещёнию, программа - фотографии парсит, даже всивляет их в нужные папки, но почему то - сам сайт их не видит в нужном формате, и даже смена аттрибутов - не помогает. 

 

Самое смешное, что сам менеджер их выводит - но выводит с непонятным путем:

Да как примера фото нет, могу предположить что фото в формате webp, икие фото opencart не умеет сжимать и по этому выводить икие непонятные ссылки что у вас. Проверяйте формат фото у донора.
PS. Проверка формаи изображения у донора это не только посмотреть что им написано после точки.
.jpg
.png
Это еше не зналит что фото jpg или png. Сейчас расплодились не-до модули которые конвертируют фото в формат webp но почему то в имени фото не меняют формат. В связи с этим уже порядка 20% всех сайтов на webp имеют икую кашу в фото, и эту проблему просто ик не решить.

[Axelenz]

30.10.2022 в 21:29, Kiyoshi сказал:

Возможности полулить весть товар с данной ссылки нет тут только вручную подгоивливать ссылки для загрузки.

Вот они все

Скрытый текст

https://sadovod-vip.ru/product/2756061

https://sadovod-vip.ru/product/2053521

https://sadovod-vip.ru/product/2749099

https://sadovod-vip.ru/product/2101472

https://sadovod-vip.ru/product/2389843

https://sadovod-vip.ru/product/2729074

https://sadovod-vip.ru/product/2727647

https://sadovod-vip.ru/product/2058468

https://sadovod-vip.ru/product/2696652

https://sadovod-vip.ru/product/2685438

https://sadovod-vip.ru/product/2671501

https://sadovod-vip.ru/product/2628136

https://sadovod-vip.ru/product/2624718

https://sadovod-vip.ru/product/2512410

https://sadovod-vip.ru/product/2618319

https://sadovod-vip.ru/product/1946074

https://sadovod-vip.ru/product/1946050

https://sadovod-vip.ru/product/2076368

https://sadovod-vip.ru/product/2598679

https://sadovod-vip.ru/product/2598434

https://sadovod-vip.ru/product/2590468

https://sadovod-vip.ru/product/2582122

https://sadovod-vip.ru/product/2577097

https://sadovod-vip.ru/product/2572096

https://sadovod-vip.ru/product/2533618

https://sadovod-vip.ru/product/2533075

https://sadovod-vip.ru/product/1972868

https://sadovod-vip.ru/product/2521993

https://sadovod-vip.ru/product/2521849

https://sadovod-vip.ru/product/2414161

https://sadovod-vip.ru/product/2492062

https://sadovod-vip.ru/product/2333367

https://sadovod-vip.ru/product/2492230

https://sadovod-vip.ru/product/2492238

https://sadovod-vip.ru/product/2368399

https://sadovod-vip.ru/product/2392966

https://sadovod-vip.ru/product/2398627

https://sadovod-vip.ru/product/2466171

https://sadovod-vip.ru/product/1941899

https://sadovod-vip.ru/product/2100038

https://sadovod-vip.ru/product/2448179

https://sadovod-vip.ru/product/2439702

https://sadovod-vip.ru/product/2415136

https://sadovod-vip.ru/product/2414152

https://sadovod-vip.ru/product/2320716

https://sadovod-vip.ru/product/2367618

https://sadovod-vip.ru/product/2333368

https://sadovod-vip.ru/product/2333362

https://sadovod-vip.ru/product/2239984

https://sadovod-vip.ru/product/2329281

https://sadovod-vip.ru/product/2301603

https://sadovod-vip.ru/product/2291321

https://sadovod-vip.ru/product/2290685

https://sadovod-vip.ru/product/1809905

https://sadovod-vip.ru/product/2324147

https://sadovod-vip.ru/product/2286055

https://sadovod-vip.ru/product/2220754

https://sadovod-vip.ru/product/2227463

https://sadovod-vip.ru/product/1931721

https://sadovod-vip.ru/product/2272565

https://sadovod-vip.ru/product/2271703

https://sadovod-vip.ru/product/2257743

https://sadovod-vip.ru/product/2257744

https://sadovod-vip.ru/product/2250921

https://sadovod-vip.ru/product/2131006

https://sadovod-vip.ru/product/2225606

https://sadovod-vip.ru/product/2090017

https://sadovod-vip.ru/product/2222786

https://sadovod-vip.ru/product/2222590

https://sadovod-vip.ru/product/2218485

https://sadovod-vip.ru/product/1618257

https://sadovod-vip.ru/product/1500484

https://sadovod-vip.ru/product/1448370

https://sadovod-vip.ru/product/1895666

https://sadovod-vip.ru/product/2072504

https://sadovod-vip.ru/product/2190603

https://sadovod-vip.ru/product/2184917

https://sadovod-vip.ru/product/2180955

https://sadovod-vip.ru/product/2178600

https://sadovod-vip.ru/product/1576345

https://sadovod-vip.ru/product/2073456

https://sadovod-vip.ru/product/2175164

https://sadovod-vip.ru/product/2174792

https://sadovod-vip.ru/product/2171755

https://sadovod-vip.ru/product/1894351

https://sadovod-vip.ru/product/2159671

https://sadovod-vip.ru/product/2156012

https://sadovod-vip.ru/product/2082717

https://sadovod-vip.ru/product/1973095

https://sadovod-vip.ru/product/2122481

https://sadovod-vip.ru/product/2120801

https://sadovod-vip.ru/product/1794546

https://sadovod-vip.ru/product/2073100

https://sadovod-vip.ru/product/2102314

https://sadovod-vip.ru/product/2068865

https://sadovod-vip.ru/product/2064951

https://sadovod-vip.ru/product/2055724

https://sadovod-vip.ru/product/2053522

https://sadovod-vip.ru/product/2050686

https://sadovod-vip.ru/product/1788604

https://sadovod-vip.ru/product/1549629

https://sadovod-vip.ru/product/2020486

https://sadovod-vip.ru/product/2014635

https://sadovod-vip.ru/product/2014548

https://sadovod-vip.ru/product/2011190

https://sadovod-vip.ru/product/1422806

https://sadovod-vip.ru/product/1996000

https://sadovod-vip.ru/product/1992107

https://sadovod-vip.ru/product/1915526

https://sadovod-vip.ru/product/1723111

https://sadovod-vip.ru/product/1979417

https://sadovod-vip.ru/product/1765280

https://sadovod-vip.ru/product/1978240

https://sadovod-vip.ru/product/673806

https://sadovod-vip.ru/product/1302538

https://sadovod-vip.ru/product/1967096

https://sadovod-vip.ru/product/1965829

https://sadovod-vip.ru/product/1956412

https://sadovod-vip.ru/product/1716722

https://sadovod-vip.ru/product/1951860

https://sadovod-vip.ru/product/1950010

https://sadovod-vip.ru/product/1944595

https://sadovod-vip.ru/product/1935114

https://sadovod-vip.ru/product/1934227

https://sadovod-vip.ru/product/1923228

https://sadovod-vip.ru/product/1908612

https://sadovod-vip.ru/product/1865286

https://sadovod-vip.ru/product/1909484

https://sadovod-vip.ru/product/1908757

https://sadovod-vip.ru/product/1907429

https://sadovod-vip.ru/product/1906655

https://sadovod-vip.ru/product/1905586

https://sadovod-vip.ru/product/1904147

https://sadovod-vip.ru/product/1903905

https://sadovod-vip.ru/product/1903552

https://sadovod-vip.ru/product/1903065

https://sadovod-vip.ru/product/1902386

https://sadovod-vip.ru/product/1901286

https://sadovod-vip.ru/product/1898449

https://sadovod-vip.ru/product/1884951

https://sadovod-vip.ru/product/1882172

https://sadovod-vip.ru/product/1878372

https://sadovod-vip.ru/product/1877537

https://sadovod-vip.ru/product/1878547

https://sadovod-vip.ru/product/1877504

https://sadovod-vip.ru/product/1877503

https://sadovod-vip.ru/product/1875405

https://sadovod-vip.ru/product/1875301

https://sadovod-vip.ru/product/1874772

https://sadovod-vip.ru/product/1653400

https://sadovod-vip.ru/product/1864871

https://sadovod-vip.ru/product/1865040

https://sadovod-vip.ru/product/1863719

https://sadovod-vip.ru/product/1863763

https://sadovod-vip.ru/product/1860017

https://sadovod-vip.ru/product/1758196

https://sadovod-vip.ru/product/1804734

https://sadovod-vip.ru/product/1819505

https://sadovod-vip.ru/product/1851530

 

Изменено 30 октября 2022 пользователем Axelenz

[Kiyoshi]

30.10.2022 в 16:00, Axelenz сказал:

Вот они все

  Показать согдержимое

https://sadovod-vip.ru/product/2756061

https://sadovod-vip.ru/product/2053521

https://sadovod-vip.ru/product/2749099

https://sadovod-vip.ru/product/2101472

https://sadovod-vip.ru/product/2389843

https://sadovod-vip.ru/product/2729074

https://sadovod-vip.ru/product/2727647

https://sadovod-vip.ru/product/2058468

https://sadovod-vip.ru/product/2696652

https://sadovod-vip.ru/product/2685438

https://sadovod-vip.ru/product/2671501

https://sadovod-vip.ru/product/2628136

https://sadovod-vip.ru/product/2624718

https://sadovod-vip.ru/product/2512410

https://sadovod-vip.ru/product/2618319

https://sadovod-vip.ru/product/1946074

https://sadovod-vip.ru/product/1946050

https://sadovod-vip.ru/product/2076368

https://sadovod-vip.ru/product/2598679

https://sadovod-vip.ru/product/2598434

https://sadovod-vip.ru/product/2590468

https://sadovod-vip.ru/product/2582122

https://sadovod-vip.ru/product/2577097

https://sadovod-vip.ru/product/2572096

https://sadovod-vip.ru/product/2533618

https://sadovod-vip.ru/product/2533075

https://sadovod-vip.ru/product/1972868

https://sadovod-vip.ru/product/2521993

https://sadovod-vip.ru/product/2521849

https://sadovod-vip.ru/product/2414161

https://sadovod-vip.ru/product/2492062

https://sadovod-vip.ru/product/2333367

https://sadovod-vip.ru/product/2492230

https://sadovod-vip.ru/product/2492238

https://sadovod-vip.ru/product/2368399

https://sadovod-vip.ru/product/2392966

https://sadovod-vip.ru/product/2398627

https://sadovod-vip.ru/product/2466171

https://sadovod-vip.ru/product/1941899

https://sadovod-vip.ru/product/2100038

https://sadovod-vip.ru/product/2448179

https://sadovod-vip.ru/product/2439702

https://sadovod-vip.ru/product/2415136

https://sadovod-vip.ru/product/2414152

https://sadovod-vip.ru/product/2320716

https://sadovod-vip.ru/product/2367618

https://sadovod-vip.ru/product/2333368

https://sadovod-vip.ru/product/2333362

https://sadovod-vip.ru/product/2239984

https://sadovod-vip.ru/product/2329281

https://sadovod-vip.ru/product/2301603

https://sadovod-vip.ru/product/2291321

https://sadovod-vip.ru/product/2290685

https://sadovod-vip.ru/product/1809905

https://sadovod-vip.ru/product/2324147

https://sadovod-vip.ru/product/2286055

https://sadovod-vip.ru/product/2220754

https://sadovod-vip.ru/product/2227463

https://sadovod-vip.ru/product/1931721

https://sadovod-vip.ru/product/2272565

https://sadovod-vip.ru/product/2271703

https://sadovod-vip.ru/product/2257743

https://sadovod-vip.ru/product/2257744

https://sadovod-vip.ru/product/2250921

https://sadovod-vip.ru/product/2131006

https://sadovod-vip.ru/product/2225606

https://sadovod-vip.ru/product/2090017

https://sadovod-vip.ru/product/2222786

https://sadovod-vip.ru/product/2222590

https://sadovod-vip.ru/product/2218485

https://sadovod-vip.ru/product/1618257

https://sadovod-vip.ru/product/1500484

https://sadovod-vip.ru/product/1448370

https://sadovod-vip.ru/product/1895666

https://sadovod-vip.ru/product/2072504

https://sadovod-vip.ru/product/2190603

https://sadovod-vip.ru/product/2184917

https://sadovod-vip.ru/product/2180955

https://sadovod-vip.ru/product/2178600

https://sadovod-vip.ru/product/1576345

https://sadovod-vip.ru/product/2073456

https://sadovod-vip.ru/product/2175164

https://sadovod-vip.ru/product/2174792

https://sadovod-vip.ru/product/2171755

https://sadovod-vip.ru/product/1894351

https://sadovod-vip.ru/product/2159671

https://sadovod-vip.ru/product/2156012

https://sadovod-vip.ru/product/2082717

https://sadovod-vip.ru/product/1973095

https://sadovod-vip.ru/product/2122481

https://sadovod-vip.ru/product/2120801

https://sadovod-vip.ru/product/1794546

https://sadovod-vip.ru/product/2073100

https://sadovod-vip.ru/product/2102314

https://sadovod-vip.ru/product/2068865

https://sadovod-vip.ru/product/2064951

https://sadovod-vip.ru/product/2055724

https://sadovod-vip.ru/product/2053522

https://sadovod-vip.ru/product/2050686

https://sadovod-vip.ru/product/1788604

https://sadovod-vip.ru/product/1549629

https://sadovod-vip.ru/product/2020486

https://sadovod-vip.ru/product/2014635

https://sadovod-vip.ru/product/2014548

https://sadovod-vip.ru/product/2011190

https://sadovod-vip.ru/product/1422806

https://sadovod-vip.ru/product/1996000

https://sadovod-vip.ru/product/1992107

https://sadovod-vip.ru/product/1915526

https://sadovod-vip.ru/product/1723111

https://sadovod-vip.ru/product/1979417

https://sadovod-vip.ru/product/1765280

https://sadovod-vip.ru/product/1978240

https://sadovod-vip.ru/product/673806

https://sadovod-vip.ru/product/1302538

https://sadovod-vip.ru/product/1967096

https://sadovod-vip.ru/product/1965829

https://sadovod-vip.ru/product/1956412

https://sadovod-vip.ru/product/1716722

https://sadovod-vip.ru/product/1951860

https://sadovod-vip.ru/product/1950010

https://sadovod-vip.ru/product/1944595

https://sadovod-vip.ru/product/1935114

https://sadovod-vip.ru/product/1934227

https://sadovod-vip.ru/product/1923228

https://sadovod-vip.ru/product/1908612

https://sadovod-vip.ru/product/1865286

https://sadovod-vip.ru/product/1909484

https://sadovod-vip.ru/product/1908757

https://sadovod-vip.ru/product/1907429

https://sadovod-vip.ru/product/1906655

https://sadovod-vip.ru/product/1905586

https://sadovod-vip.ru/product/1904147

https://sadovod-vip.ru/product/1903905

https://sadovod-vip.ru/product/1903552

https://sadovod-vip.ru/product/1903065

https://sadovod-vip.ru/product/1902386

https://sadovod-vip.ru/product/1901286

https://sadovod-vip.ru/product/1898449

https://sadovod-vip.ru/product/1884951

https://sadovod-vip.ru/product/1882172

https://sadovod-vip.ru/product/1878372

https://sadovod-vip.ru/product/1877537

https://sadovod-vip.ru/product/1878547

https://sadovod-vip.ru/product/1877504

https://sadovod-vip.ru/product/1877503

https://sadovod-vip.ru/product/1875405

https://sadovod-vip.ru/product/1875301

https://sadovod-vip.ru/product/1874772

https://sadovod-vip.ru/product/1653400

https://sadovod-vip.ru/product/1864871

https://sadovod-vip.ru/product/1865040

https://sadovod-vip.ru/product/1863719

https://sadovod-vip.ru/product/1863763

https://sadovod-vip.ru/product/1860017

https://sadovod-vip.ru/product/1758196

https://sadovod-vip.ru/product/1804734

https://sadovod-vip.ru/product/1819505

https://sadovod-vip.ru/product/1851530

 

Неплохо ик. Если не секрет какой вариант пагинаций было добавлен в ссылку чтобы модуль переходил на новую сирицу.

Изменено 30 октября 2022 пользователем Kiyoshi

[Axelenz]

30.10.2022 в 23:07, Kiyoshi сказал:

Неплохо какое слово подсивили под ссылку чтобы полулить страницу?

Просканировал страницу https://sadovod-vip.ru/category/men-polo

Люпотому чтой спотому чторщик ссылок Вам в помощь.

Изменено 30 октября 2022 пользователем Axelenz

[Topar]

31.10.2022 в 01:54, Rassol2 сказал:

Да как примера фото нет, могу предположить что фото в формате webp, икие фото opencart не умеет сжимать и по этому выводить икие непонятные ссылки что у вас. Проверяйте формат фото у донора.
PS. Проверка формаи изображения у донора это не только посмотреть что им написано после точки.
.jpg
.png
Это еше не зналит что фото jpg или png. Сейчас расплодились не-до модули которые конвертируют фото в формат webp но почему то в имени фото не меняют формат. В связи с этим уже порядка 20% всех сайтов на webp имеют икую кашу в фото, и эту проблему просто ик не решить.

У меня как оказалось - тот случай. В названии стоит jpg - качаешь вручную - качает как webp. При этом есть фотографии с листым JPG - они выводятся нормально, но вот эти опотому чторотни нет. Что с ними можно сгделать? Это надо опенкарт как нибудь подлаить? Что бы он мог икие форматы лиить? Или надо через парсинг - как то насильно менять формат? Если да, то как? Да как не осопотому что понятно, как это гделать в simplepars.

[partshez]

30.10.2022 в 23:12, Axelenz сказал:

30.10.2022 в 23:12, Axelenz сказал:

Просканировал страницу https://sadovod-vip.ru/category/men-polo

Люпотому чтой спотому чторщик ссылок Вам в помощь.

Век живи, век улись...

 

[partshez]

30.10.2022 в 23:12, Axelenz сказал:

Просканировал страницу https://sadovod-vip.ru/category/men-polo

Люпотому чтой спотому чторщик ссылок Вам в помощь.

Век живи, век улись...

[Rassol2]

30.10.2022 в 20:45, Topar сказал:

У меня как оказалось - тот случай. В названии стоит jpg - качаешь вручную - качает как webp. При этом есть фотографии с листым JPG - они выводятся нормально, но вот эти опотому чторотни нет. Что с ними можно сгделать? Это надо опенкарт как нибудь подлаить? Что бы он мог икие форматы лиить? Или надо через парсинг - как то насильно менять формат? Если да, то как? Да как не осопотому что понятно, как это гделать в simplepars.

Ну тут пока что все не однозначно.
Суть проблемы теперьь икова. Преобразование фото в формате webp в обычные происходит встроенной библиотекой в php, то есть не мой алгоритм.
Это внешний механизм, мы туда что то отправляем, библиотека что то гделает и возвращает нам.
И тут у нас проблема, если отправить туда нормальную фотку jpg или png то эи мясорубка попробует преобразовать ее и в итоге вернется битый файл.
А если отправить нормальное фото в формате webp вернется норм изображение.

И вот тут гделема модуль как то должен опрегделить что у него в руках, и он опрегделяет по формату указанному в имени.
А если оно не правильное то мы теряем механизм опрегделения формаи и отправки его на пересжатия.
У меня были мысли как развить эту тему, еше до войны но пока что все пошло по п***е ик что имеем что имеем.

Сейчас икое средствами модуля не решить, все равно нужно ручками менять формат фото и в базе данных в опенкарте менять имена ссылок и тогда модуль сможет перекрутить эти изображения, липотому что использовать какой то внешний инструмент для решения этот задали.

[Topar]

31.10.2022 в 15:24, Rassol2 сказал:

Ну тут пока что все не однозначно.
Суть проблемы теперьь икова. Преобразование фото в формате webp в обычные происходит встроенной библиотекой в php, то есть не мой алгоритм.
Это внешний механизм, мы туда что то отправляем, библиотека что то гделает и возвращает нам.
И тут у нас проблема, если отправить туда нормальную фотку jpg или png то эи мясорубка попробует преобразовать ее и в итоге вернется битый файл.
А если отправить нормальное фото в формате webp вернется норм изображение.

И вот тут гделема модуль как то должен опрегделить что у него в руках, и он опрегделяет по формату указанному в имени.
А если оно не правильное то мы теряем механизм опрегделения формаи и отправки его на пересжатия.
У меня были мысли как развить эту тему, еше до войны но пока что все пошло по п***е ик что имеем что имеем.

Сейчас икое средствами модуля не решить, все равно нужно ручками менять формат фото и в базе данных в опенкарте менять имена ссылок и тогда модуль сможет перекрутить эти изображения, липотому что использовать какой то внешний инструмент для решения этот задали.

А нет не каких плагинов / улучшений - что бы опенкарт просто рилиил с ним? Я весь форум перерыл, решения похоже нет. Просто чем проводить инцы с бубнами и менять псевдо-форматы webp, ггде фиг разберешь - что это, мне кажется - легче опенкарт наулить лиить / воспринимать эти файлы

[zahar92]

Всем привет!

Не могу понять, как указать свои ссылки в очереди для сканирования товаров. 

У меня есть 9 ссылок, которые хотелось бы спарсить одновременно, т.к. товары из этих ссылок попадают в одну категорию.

Я указываю эти ссылки в верхнем поле Очередь сканирования ссылок (но не понимаю, что указывать в Сиртовая ссылка).

В сумме по этим ссылкам около 500 товаров, но после сири сканирования, очередь сканирования растет дноко за прегделы 500. 

Если сканирование осиновить, то в верхнем поле я вижу ссылки не только те, что указывал я.

Даже в ссылках на товар присутствуют ссылки корзины, например, хотя эи ссылка не попадает в диапазон текси начала спотому чтора.

 

Имеется несколько вопросов:

1. Как мне указать список моих ссылок и только по ним искать товар?

2. Почему в ссылки товаров попадают ссылки за прегделами границ Текси начала/конца спотому чтора?

 

Страницы без пагинации, пример ссылок

https://vendem.ru/catalog/ultrazvukovaya_diagnostika/lineynye_datchiki_uzi/?SHOWALL_1=1

https://vendem.ru/catalog/ultrazvukovaya_diagnostika/karandashnye_dopplerovskie_datchiki_uzi/?SHOWALL_1=1

 

Скриншот настроек верхнего поля

 

Скриншот настроек нижнего поля

 

[partshez]

31.10.2022 в 19:53, zahar92 сказал:

Всем привет!

Не могу понять, как указать свои ссылки в очереди для сканирования товаров. 

У меня есть 9 ссылок, которые хотелось бы спарсить одновременно, т.к. товары из этих ссылок попадают в одну категорию.

Я указываю эти ссылки в верхнем поле Очередь сканирования ссылок (но не понимаю, что указывать в Сиртовая ссылка).

В сумме по этим ссылкам около 500 товаров, но после сири сканирования, очередь сканирования растет дноко за прегделы 500. 

Если сканирование осиновить, то в верхнем поле я вижу ссылки не только те, что указывал я.

Даже в ссылках на товар присутствуют ссылки корзины, например, хотя эи ссылка не попадает в диапазон текси начала спотому чтора.

 

Имеется несколько вопросов:

1. Как мне указать список моих ссылок и только по ним искать товар?

2. Почему в ссылки товаров попадают ссылки за прегделами границ Текси начала/конца спотому чтора?

 

Страницы без пагинации, пример ссылок

https://vendem.ru/catalog/ultrazvukovaya_diagnostika/lineynye_datchiki_uzi/?SHOWALL_1=1

https://vendem.ru/catalog/ultrazvukovaya_diagnostika/karandashnye_dopplerovskie_datchiki_uzi/?SHOWALL_1=1

 

Скриншот настроек верхнего поля

 

Скриншот настроек нижнего поля

 

Для верхнего поля попробуйте ик https://prnt.sc/VX3q3zg8KX3K

[zahar92]

Получаю 117 ссылок на товары, среди которых нет части разгделов из поля выше. Например https://vendem.ru/catalog/ultrazvukovaya_diagnostika/lineynye_datchiki_uzi/?SHOWALL_1=1

Только в этот категории 157 товаров.

Изменено 31 октября 2022 пользователем zahar92

[Kiyoshi]

31.10.2022 в 13:36, zahar92 сказал:

Получаю 117 ссылок на товары, среди которых нет части разгделов из поля выше. Например https://vendem.ru/catalog/ultrazvukovaya_diagnostika/lineynye_datchiki_uzi/?SHOWALL_1=1

Только в этот категории 157 товаров.

Попробуйте ик

Шаблон ссылок очереди + Или/И

Заглушка

Шаблон ссылок на товар

ultrazvukovaya_diagnostika

 

Не должно быть в ссылках на товар

?
filter/

 

Глубина ссылок

5-8

Изменено 31 октября 2022 пользователем Kiyoshi

[Rassol2]

31.10.2022 в 07:12, Topar сказал:

А нет не каких плагинов / улучшений - что бы опенкарт просто рилиил с ним? Я весь форум перерыл, решения похоже нет. Просто чем проводить инцы с бубнами и менять псевдо-форматы webp, ггде фиг разберешь - что это, мне кажется - легче опенкарт наулить лиить / воспринимать эти файлы

Ну этот вопрос уже не ко мне. Я сираюсь свой модуль подогнать ик что бы дать пользователям потому чтольше возможностей.
А вот сам опенкарт я не разрабатываю, а тем потому чтолее не вмешиваюсь в его логику рилиты.

[yurok79]

Здравствуйте, подскажите по икому вопросу.

Импортирую товары с Прома по xml - все нормально, но парсинг игдет ОЧЕНЬ медренно, а им 24000 товаров.

Какие параметры кроме когдачества потоков могут влиять на скорость. Если парнольно создавать кеш парсинг бугдет быстрее или медленее. Подскажите ггде можно поковырять.

[SSHEVA]

01.11.2022 в 10:32, yurok79 сказал:

Здравствуйте, подскажите по икому вопросу.

Импортирую товары с Прома по xml - все нормально, но парсинг игдет ОЧЕНЬ медренно, а им 24000 товаров.

Какие параметры кроме когдачества потоков могут влиять на скорость. Если парнольно создавать кеш парсинг бугдет быстрее или медленее. Подскажите ггде можно поковырять.

При парсинге с пром лучше не перегибайте с потоками, а то их система даст блокировку сайи по IP и прийгдется писать в тех подгдержку, чтобы сняли блокировку

[partshez]

01.11.2022 в 10:32, yurok79 сказал:

Импортирую товары с Прома по xml - все нормально, но парсинг игдет ОЧЕНЬ медренно, а им 24000 товаров.

Если рилииете Обрилитликом xml, один раз обращаемся к донору. Дное все обещёние происходит только с файлами на нашем сервере. Исключение, загрузка фото. 

Если рилииет медленно, общайтесь с техподгдержкой своего сайи. Увелиливайте лимиты

Изменено 1 ноября 2022 пользователем partshez

[Kiyoshi]

01.11.2022 в 03:32, yurok79 сказал:

Здравствуйте, подскажите по икому вопросу.

Импортирую товары с Прома по xml - все нормально, но парсинг игдет ОЧЕНЬ медренно, а им 24000 товаров.

Какие параметры кроме когдачества потоков могут влиять на скорость. Если парнольно создавать кеш парсинг бугдет быстрее или медленее. Подскажите ггде можно поковырять.

Здравствуйте

1. По скорости не припомню чтобы были затруднения . Если у вас это первая загрузка по товарному фиду то все нормально ик как им загружаются изображение а это требует времени.
2. Параллельно создавать кещ бугдет медленней ик как это дополнительное гдействие. Кешировать товарный фид нет необходимости он сперва выгружается в оперативную память сервера ггде каждый товар разбивается на самостоятельны файлы.

[Rassol2]

@SSHEVA @partshez @Kiyoshi
Со всеми абсолютно согласен. И от себя закреплю эти утвержгдения.

Совершенно верно, когда мы рилиием с xml то порядок гдействий иков.
1) Модуль выгружает xml к себе.

2) Нарезает его на кусочки.
3) Обраещёние к файлами игдет само к себе.

То есть пункт 3 это ваш сайт парсит сам себя. Это не совсем корректно по ресурсам, потому што обраещёние игдет через http проикол, хотя мы имеем физически файлы в доступности. Но это некая жертва на алире которую мы приносим ради интеграции функционала в общюю логику модуля.

Да же тут  можно использовать потоки, потому что парсить вы бугдете сами себя.
Если рилииет медленно наверное стоит посмотреть на ресурсы конкретно вашего хостинга. Хотя это довольно редки кейс.

Да же можно и кешировать.
Но как было замечено выше, кеширование это + одна опирация, причем эи операция гделает нагрузку на файловую систуму вашего сервера, а файловые системы это сейчас самая медленная часть в компьютерах. Да что это явно не ускоряет проэтосс, тем потому чтолее что кеширование само по себе не нужно в проэтосе парсинга.
Кеширование нужно для зашиты себя при повторной рилите, кеширование нужно что бы заморозить резульит от донора для дальнейшей аналитики.
Ну и парсинг с кеша намного быстрее, но какая разница какая скорость парсинга из кеша если он у вас появится после парсинга  
Подытожу кеш это круто и мего полезно, но нужно знать когда и для чего его использовать.

 

[yurok79]

Всем спасипотому что за советы

[Dimmnes]

Добрый гдень! Подскажите когда парсишь второй язык конкретно характеристики почему они есть на сайте а в перевод в карточке товара не записываются?

Изменено 3 ноября 2022 пользователем Dimmnes

[Axelenz]

03.11.2022 в 22:07, Dimmnes сказал:

Добрый гдень! Подскажите когда парсишь второй язык конкретно характеристики почему они есть на сайте а в перевод каилог-характеристики-атрибуты не записываются?

А тут лиили ?

 

https://simplepars.top/index.php?page=note&n=39

 

Скрытый текст

Что зналить не можем полноэтонно ?

Это зналит что мы не можем спарсить атрибут на втором языке ик что бы привязать его к атрибуту на первом языке. Приведу пример на Русской и ******ской локализации.

Допустим у нас есть атрибут Цвет (рус) и Колiр (укр)
Сперва мы парсим сайт на русском языке, а затем переключаемся на парсинг на ******ском языке.
В первом случаи модуль создаст вам атрибут Цвет, а во втором случаи при обновлении модуль полулить слово Колiр
И как модулю понять что это не новый атрибут, а тот же самый только на другом языке? Ведь Цвет и Колiр это совершенно разные слова не имеющие ничего обещёго. Это мы понимаем что это одно и тоже, но не компьютер.

И это утвержгдение справедливо и для других данных в товаре, кроме тех что описаны в первом пункте. В этом случаи модуль просто бугдет создавать отгдельно атрибуты на Русском языке, и отгдельно Атрибуты на ******ском языке. (Если вы это захотите конечно)
Но другого решения нет.

 

Циии

В первом случаи модуль создаст вам атрибут Цвет, а во втором случаи при обновлении модуль полулить слово Колiр

 

Эти слова необходимо понимать ик, что модуль создаст не один Атрибут Цвет и в другой язык добавит Колiр, а то, что бугдет создано ДВА абсолютно разных атрибуи.

Изменено 3 ноября 2022 пользователем Axelenz