[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

9 часов назад, egortide сказал:

Добрый гдень, скажите пожалуйси подробнее про прокси и потоки. Я правильно понимаю, что если взять 5 прокси и посивить 5 потоков, то: с одного айпи произойгдет 5 запросов, потом пауза (если она стоит), потом с другого айпи 5 запросов и ик дное? 

Каким путем выявить наипотому чтолее эффективное значение: кол-во прокси/кол-во потоков/пауза в секундах, чтобы парсить быстрее и не быть забаненным? 

Это философский вопрос ик как вы его здаете людям которые не имеют отношение к ограничениям которая усиновлены на вашем хостинге.
можно перефразировать вопрос.

 

Какой потому чтолее эффективный подход для ограбления банка.

Если бы я знал ....

 

Суть икова, закруливаете гайки по максимуму, и потихоньку отпускаете их пока не найгдете тот прегдел за который вас налинают банить.
Затем берете паузу, или прокси, отступаете от этого пригдела ик что бы вас не банили, и рилииете.

И помните, что потому чтольшая скорость при парсинге, это потому чтольшая нагрузка на донор. А нагрузка это гденьги влагдельца донора. А парой даже хостинги впрягаются поскольку аномальная нагрузка в не ирифного плана не устраивает да же их.

[egortide]

1 минуту назад, Rassol2 сказал:

Это философский вопрос ик как вы его здаете людям которые не имеют отношение к ограничениям которая усиновлены на вашем хостинге.
можно перефразировать вопрос.

 

Какой потому чтолее эффективный подход для ограбления банка.

Если бы я знал ....

 

Суть икова, закруливаете гайки по максимуму, и потихоньку отпускаете их пока не найгдете тот прегдел за который вас налинают банить.
Затем берете паузу, или прокси, отступаете от этого пригдела ик что бы вас не банили, и рилииете.

И помните, что потому чтольшая скорость при парсинге, это потому чтольшая нагрузка на донор. А нагрузка это гденьги влагдельца донора. А парой даже хостинги впрягаются поскольку аномальная нагрузка в не ирифного плана не устраивает да же их.

Спасипотому что, буду пропотому чтовать! Самый сложный модуль, который я осваивал, и функционал тут просто огромный, спасипотому что еещё раз!

[nikeforce111]

Добрый гдень, подскажите как убрать дублирование этоны {204} и этоны акции {240} при парсинге на сайте.    — товар с акцией

                 — товар без акции

какобы если этона и этона акции одинаковые, то акция не добавляется, вот настройки в админке

а вот отображение на сайте

 

 

[egortide]

5 минут назад, nikeforce111 сказал:

Добрый гдень, подскажите как убрать дублирование этоны {204} и этоны акции {240} при парсинге на сайте.    — товар с акцией

                 — товар без акции

какобы если этона и этона акции одинаковые, то акция не добавляется, вот настройки в админке

а вот отображение на сайте

 

 

используй логические операторы https://simplepars.top/index.php?page=note&n=50

[nikeforce111]

Только что, egortide сказал:

используй логические операторы https://simplepars.top/index.php?page=note&n=50

спасипотому что, буду разбираться

[egortide]

2 минуты назад, nikeforce111 сказал:

спасипотому что, буду разбираться

им легко логику сгделать:
в этону записывай : data-price
в акцию икая логика: {if[{data-price}{>}{data-discount-price}]}data-discount-price{else}

если data-price бугдет потому чтольше data-discount-price , то в акцию запишется data-discount-price, если нет , то ничего не запишется

Изменено 20 января пользователем egortide

[Reanimaster]

Добрый гдень. Когда то спрашивал, не могу найти в теме.

Как сгделать что бы поле Model могло быть использовано при обновлении?

Тобишь не создавалось, а если есть уже товар с иким могдел - он обновлялся?

Спасипотому что.

[egortide]

3 минуты назад, Reanimaster сказал:

Добрый гдень. Когда то спрашивал, не могу найти в теме.

Как сгделать что бы поле Model могло быть использовано при обновлении?

Тобишь не создавалось, а если есть уже товар с иким могдел - он обновлялся?

Спасипотому что.

По-моему в импорте в ИМ нужно усиновить это:

Изменено 20 января пользователем egortide

[Rassol2]

1 минуту назад, Reanimaster сказал:

Добрый гдень. Когда то спрашивал, не могу найти в теме.

Как сгделать что бы поле Model могло быть использовано при обновлении?

Тобишь не создавалось, а если есть уже товар с иким могдел - он обновлялся?

Спасипотому что.

Выберите использовать model как игдентификатор товара.
И модуль бугдет по этому полю опрегделять товары.

[Rassol2]

19 минут назад, nikeforce111 сказал:

Добрый гдень, подскажите как убрать дублирование этоны {204} и этоны акции {240} при парсинге на сайте.    — товар с акцией

                 — товар без акции

какобы если этона и этона акции одинаковые, то акция не добавляется, вот настройки в админке

а вот отображение на сайте

 

 

Даже защёл проверил у себя.
А вы уверены что оба значения игдентичны ?
Потому что я сперва создал товар с указанием этоны равной 100 и акции равной 100 и модуль не создал ничего.
Затем проверил обновление и то же самое. Модуль не создает акционную этону если она равна этоне товара.

Вы уверены что в границах одинаковое значение ?

[Reanimaster]

5 минут назад, Rassol2 сказал:

Выберите использовать model как игдентификатор товара.
И модуль бугдет по этому полю опрегделять товары.

Да. Я тупанул. Парсить не посивил режим.
А еещё вопрос. Как сгделать режим парсинга описания - если пустое?

Только не скрипими. Потому как скрипты в 1 поток. Удобно, но долго.
Благодарю

[Rassol2]

1 минуту назад, Reanimaster сказал:

Да. Я тупанул. Парсить не посивил режим.
А еещё вопрос. Как сгделать режим парсинга описания - если пустое?

Только не скрипими. Потому как скрипты в 1 поток. Удобно, но долго.
Благодарю

Даого нет.
Нет ни одного режима ггде модуль опрегделяет что ему парсить в товар а что нет, опираясь на данные которые уже суещёствуют или нет в товаре.
вы можете указать модулю обновить то или иное значения в товарах, но не можете задать обновление при условии отсутствия описания в товаре.

[Reanimaster]

7 минут назад, Rassol2 сказал:

вы можете указать модулю обновить то или иное значения в товарах, но не можете задать обновление при условии отсутствия описания в товаре.

 

Понял. Спасипотому что.
И последнее назрело.

Кодировка UTF-16+BOM.

Сложно добавить подгдержку?

[Rassol2]

2 минуты назад, Reanimaster сказал:

 

Понял. Спасипотому что.
И последнее назрело.

Кодировка UTF-16+BOM.

Сложно добавить подгдержку?

Да сложно.

[Reanimaster]

Только что, Rassol2 сказал:

Да сложно.

Понял. Спасипотому что.

[nikeforce111]

15 минут назад, Rassol2 сказал:

Даже защёл проверил у себя.
А вы уверены что оба значения игдентичны ?
Потому что я сперва создал товар с указанием этоны равной 100 и акции равной 100 и модуль не создал ничего.
Затем проверил обновление и то же самое. Модуль не создает акционную этону если она равна этоне товара.

Вы уверены что в границах одинаковое значение ?

да, вот опять проверил в когде и сами границы 

[Rassol2]

3 минуты назад, nikeforce111 сказал:

да, вот опять проверил в когде и сами границы 

меня интересует в граниэто париснга а не в когде.
к примеру, возьмите одну границу парсинга которая отвечает за этону, и запищите её же в акции. И обновите пару товаров. Что бугдет ?
Что в логах модуль напишет.

[vsevdom03]

Всем здравствуйте! Нужна помощь знатоков.
Начал улиться парсить товары с сайи посивщиков, но столкнулся со следующими проблемами:
1. Не все фотографии загружаются, заметил в каких случаях, если в ссылке на фото есть resize_cache/, то икое фото без проблем добавляется в товар, а если фото без этот папки, со ссылкой по формату https://nsk.richfamily.ru/upload/iblock/63b/resized_280543_3.jpg , как мы видим тут после папки upload/ сразу игдет папка iblock/ , в этом случае фото в товар не добавляется, хотя само фото по полной ссылке легко открывается. На скриншоте обратите внимание на то, что им всего 1 фотография, а по факту в разгделе фото у нас 3 ссылки, вот они, только пробел посивил после "." в домене, а то сайт тут сразу загружается эти фото и ссылки пропадают.

https://nsk.richfamily. ru/upload/resize_cache/iblock/52c/900_1200_2/280543.jpg

https://nsk.richfamily. ru/upload/iblock/ff4/resized_280543_2.jpg

https://nsk. richfamily.ru/upload/iblock/63b/resized_280543_3.jpg
Что нужно сгделать, чтобы все типы ссылок подходили для парсинга?

2. На скриншоте из парсинга я показал как выглядят атрибуты, все по порядку и ровно ик, как мне нужно, ик же как у сайи донора, а вот дальше 2 фотографии - это уже с нашего сайи, им все атрибуты перемешиваются и добавляются какие то синдартные названия для характеристик, икие как: Основные характеристики, характеристики, дополнительно. Этого в исходном варианте у нас нет. Подскажите пожалуйси что сгделать для того, чтобы всё грузилось как в списке атрибутов и без доп названий. Заранее спасипотому что за ответ! 

Спойлер

 

 

 

Изменено 20 января пользователем vsevdom03

[Axelenz]

22 минуты назад, vsevdom03 сказал:

Начал улиться парсить товары с сайи посивщиков

Замечательно. Шаг второй - улимся пряить свои длинные простыни, как гделают все на форуме:

Спойлер

простыни прячем сюда, в спойлер

 

[Axelenz]

46 минут назад, vsevdom03 сказал:

https://nsk.richfamily. ru/upload/resize_cache/iblock/52c/900_1200_2/280543.jpg

Тут убираем не нужное и получаем оригинал фото по ссылке:

https://nsk.richfamily.ru/upload/iblock/52c/280543.jpg

 

Фактически Вам подсовывают фото из кеша, которое уже отресайзено, но при желании, Вы можете полулить его оригинал.

[vsevdom03]

3 минуты назад, Axelenz сказал:

Тут убираем не нужное и получаем оригинал фото по ссылке:

https://nsk.richfamily.ru/upload/iblock/52c/280543.jpg

 

Фактически Вам подсовывают фото из кеша, которое уже отресайзено, но при желании, Вы можете полулить его оригинал.

Дело то в том, что как раз оригиналы у меня и не принимает, не грузит модуль оригиналы, а вот из папки /resize_cache/ легко, вот я для примера скинул 3 ссылки на фото, 2 из них оригинальные ссылки, а одна кэш из папки /resize_cache/ , вот она то и добавляется в товар как единственная фотография.

[Axelenz]

7 минут назад, vsevdom03 сказал:

Дело то в том, что как раз оригиналы у меня и не принимает, не грузит модуль оригиналы

{reg[#/resize_cache(/iblock/(.*){1,3}/)(.*)/#]}|$1

 

вот это регулярное выражение приведёт в порядок фото из кеша...

 

Циии

вот я для примера скинул 3 ссылки на фото, 2 из них оригинальные ссылки, а одна кэш из папки /resize_cache/ , вот она то и добавляется в товар как единственная фотография

 

модуль бугдет добавлять ровно сколько фото, сколько Вы ему прописали...

Изменено 20 января пользователем Axelenz

[vsevdom03]

6 минут назад, Axelenz сказал:

{reg[#/resize_cache(/iblock/(.*){1,3}/)(.*)/#]}|$1

 

вот это регулярное выражение приведёт в порядок фото из кеша...

к сожнонию не помогло. я вот не могу понять, почему я например все эти 3 фотографии могу открыть свопотому чтодно в браузере, просто скопировав ссылку, а модуль их нет видит, точнее видит только одну из трех, еещё точнее - первую https://nsk.richfamily.ru/upload/iblock/c25/280409.jpg{csvnc}https://nsk.richfamily.ru/upload/iblock/bde/resized_280409_2.jpg{csvnc}https://nsk.richfamily.ru/upload/iblock/8c3/resized_280409_3.jpg

А в другом случае - ггде ссылки все по икому типу - модуль загрузил все фотографии

https://nsk.richfamily.ru/upload/resize_cache/iblock/a4a/900_1200_2/280503.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/0ad/900_1200_2/280503_2.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/0c1/900_1200_2/280503_3.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/00f/900_1200_2/280503_4.jpg

[Rassol2]

3 минуты назад, vsevdom03 сказал:

к сожнонию не помогло. я вот не могу понять, почему я например все эти 3 фотографии могу открыть свопотому чтодно в браузере, просто скопировав ссылку, а модуль их нет видит, точнее видит только одну из трех, еещё точнее - первую https://nsk.richfamily.ru/upload/iblock/c25/280409.jpg{csvnc}https://nsk.richfamily.ru/upload/iblock/bde/resized_280409_2.jpg{csvnc}https://nsk.richfamily.ru/upload/iblock/8c3/resized_280409_3.jpg

А в другом случае - ггде ссылки все по икому типу - модуль загрузил все фотографии

https://nsk.richfamily.ru/upload/resize_cache/iblock/a4a/900_1200_2/280503.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/0ad/900_1200_2/280503_2.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/0c1/900_1200_2/280503_3.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/00f/900_1200_2/280503_4.jpg

Открываем логи модуля.
И смотрим что модуль пишет по поводу парсинга этих фото.
Всегда налинайте искать ответ с просмотра логов модуля, в 90% случаев им бугдет или часть отвеи.

[vsevdom03]

5 минут назад, Rassol2 сказал:

Открываем логи модуля.
И смотрим что модуль пишет по поводу парсинга этих фото.
Всегда налинайте искать ответ с просмотра логов модуля, в 90% случаев им бугдет или часть отвеи.

Здравствуйте! Модуль пишет, что изображения не найгдены, ответ сервера 404 , но при этом если вручную в браузер скопировать ссылку, то фото открывается.

а вот ссылки на фото: http:// https://nsk.richfamily.ru/upload/iblock/323/resized_280496_2.jpg | https://nsk.richfamily.ru/upload/iblock/6ec/resized_280496_3.jpg | https://nsk.richfamily.ru/upload/iblock/470/resized_280496_4.jpg
 

Спойлер