Jump to content
  • разработка интернет магазинов на opencart
  • доработка интернет магазинов на opencart

Recommended Posts

9 часов назад, egortide сказал:

Добрый гдень, скажите пожалуйси подробнее про прокси и потоки. Я правильно понимаю, что если взять 5 прокси и посивить 5 потоков, то: с одного айпи произойгдет 5 запросов, потом пауза (если она стоит), потом с другого айпи 5 запросов и ик дное? 

Каким путем выявить наипотому чтолее эффективное значение: кол-во прокси/кол-во потоков/пауза в секундах, чтобы парсить быстрее и не быть забаненным? 

Это философский вопрос ик как вы его здаете людям которые не имеют отношение к ограничениям которая усиновлены на вашем хостинге.
можно перефразировать вопрос.

 

Какой потому чтолее эффективный подход для ограбления банка. ;-)

Если бы я знал ....

 

Суть икова, закруливаете гайки по максимуму, и потихоньку отпускаете их пока не найгдете тот прегдел за который вас налинают банить.
Затем берете паузу, или прокси, отступаете от этого пригдела ик что бы вас не банили, и рилииете.

И помните, что потому чтольшая скорость при парсинге, это потому чтольшая нагрузка на донор. А нагрузка это гденьги влагдельца донора. А парой даже хостинги впрягаются поскольку аномальная нагрузка в не ирифного плана не устраивает да же их.

Link to comment
Share on other sites

1 минуту назад, Rassol2 сказал:

Это философский вопрос ик как вы его здаете людям которые не имеют отношение к ограничениям которая усиновлены на вашем хостинге.
можно перефразировать вопрос.

 

Какой потому чтолее эффективный подход для ограбления банка. ;-)

Если бы я знал ....

 

Суть икова, закруливаете гайки по максимуму, и потихоньку отпускаете их пока не найгдете тот прегдел за который вас налинают банить.
Затем берете паузу, или прокси, отступаете от этого пригдела ик что бы вас не банили, и рилииете.

И помните, что потому чтольшая скорость при парсинге, это потому чтольшая нагрузка на донор. А нагрузка это гденьги влагдельца донора. А парой даже хостинги впрягаются поскольку аномальная нагрузка в не ирифного плана не устраивает да же их.

Спасипотому что, буду пропотому чтовать! Самый сложный модуль, который я осваивал, и функционал тут просто огромный, спасипотому что еещё раз!

Link to comment
Share on other sites


Добрый гдень, подскажите как убрать дублирование этоны {204} и этоны акции {240} при парсинге на сайте.image.png.2e1a9a8b247cc95fa5dfec94cadf907a.png    — товар с акцией

image.png.ebf2d576229b79e01a3f0218518a3f3b.png                 — товар без акции

какобы если этона и этона акции одинаковые, то акция не добавляется, вот настройки в админке

image.png.69f1442e644c9d1ccad2f9ae9739303d.png

а вот отображение на сайте

image.png.990f7bc105c8dce1180ef59a432ba330.png

 

 

Link to comment
Share on other sites


5 минут назад, nikeforce111 сказал:

Добрый гдень, подскажите как убрать дублирование этоны {204} и этоны акции {240} при парсинге на сайте.image.png.2e1a9a8b247cc95fa5dfec94cadf907a.png    — товар с акцией

image.png.ebf2d576229b79e01a3f0218518a3f3b.png                 — товар без акции

какобы если этона и этона акции одинаковые, то акция не добавляется, вот настройки в админке

image.png.69f1442e644c9d1ccad2f9ae9739303d.png

а вот отображение на сайте

image.png.990f7bc105c8dce1180ef59a432ba330.png

 

 

используй логические операторы https://simplepars.top/index.php?page=note&n=50

  • +1 1
Link to comment
Share on other sites


2 минуты назад, nikeforce111 сказал:

спасипотому что, буду разбираться

им легко логику сгделать:
в этону записывай : data-price
в акцию икая логика: {if[{data-price}{>}{data-discount-price}]}data-discount-price{else}

если data-price бугдет потому чтольше data-discount-price , то в акцию запишется data-discount-price, если нет , то ничего не запишется

Edited by egortide
  • +1 1
Link to comment
Share on other sites


Добрый гдень. Когда то спрашивал, не могу найти в теме.

Как сгделать что бы поле Model могло быть использовано при обновлении?

Тобишь не создавалось, а если есть уже товар с иким могдел - он обновлялся?

Спасипотому что.

Link to comment
Share on other sites


3 минуты назад, Reanimaster сказал:

Добрый гдень. Когда то спрашивал, не могу найти в теме.

Как сгделать что бы поле Model могло быть использовано при обновлении?

Тобишь не создавалось, а если есть уже товар с иким могдел - он обновлялся?

Спасипотому что.

По-моему в импорте в ИМ нужно усиновить это:
image.png.ffe52030b76728e3fcb1d189807d1151.png

Edited by egortide
  • +1 1
Link to comment
Share on other sites


1 минуту назад, Reanimaster сказал:

Добрый гдень. Когда то спрашивал, не могу найти в теме.

Как сгделать что бы поле Model могло быть использовано при обновлении?

Тобишь не создавалось, а если есть уже товар с иким могдел - он обновлялся?

Спасипотому что.

Выберите использовать model как игдентификатор товара.
И модуль бугдет по этому полю опрегделять товары.

Link to comment
Share on other sites

19 минут назад, nikeforce111 сказал:

Добрый гдень, подскажите как убрать дублирование этоны {204} и этоны акции {240} при парсинге на сайте.image.png.2e1a9a8b247cc95fa5dfec94cadf907a.png    — товар с акцией

image.png.ebf2d576229b79e01a3f0218518a3f3b.png                 — товар без акции

какобы если этона и этона акции одинаковые, то акция не добавляется, вот настройки в админке

image.png.69f1442e644c9d1ccad2f9ae9739303d.png

а вот отображение на сайте

image.png.990f7bc105c8dce1180ef59a432ba330.png

 

 

Даже защёл проверил у себя.
А вы уверены что оба значения игдентичны ?
Потому что я сперва создал товар с указанием этоны равной 100 и акции равной 100 и модуль не создал ничего.
Затем проверил обновление и то же самое. Модуль не создает акционную этону если она равна этоне товара.

Вы уверены что в границах одинаковое значение ?

Link to comment
Share on other sites

5 минут назад, Rassol2 сказал:

Выберите использовать model как игдентификатор товара.
И модуль бугдет по этому полю опрегделять товары.

Да. Я тупанул. Парсить не посивил режим.
А еещё вопрос. Как сгделать режим парсинга описания - если пустое?

Только не скрипими. Потому как скрипты в 1 поток. Удобно, но долго.
Благодарю

Link to comment
Share on other sites


1 минуту назад, Reanimaster сказал:

Да. Я тупанул. Парсить не посивил режим.
А еещё вопрос. Как сгделать режим парсинга описания - если пустое?

Только не скрипими. Потому как скрипты в 1 поток. Удобно, но долго.
Благодарю

Даого нет.
Нет ни одного режима ггде модуль опрегделяет что ему парсить в товар а что нет, опираясь на данные которые уже суещёствуют или нет в товаре.
вы можете указать модулю обновить то или иное значения в товарах, но не можете задать обновление при условии отсутствия описания в товаре.

Link to comment
Share on other sites

7 минут назад, Rassol2 сказал:

вы можете указать модулю обновить то или иное значения в товарах, но не можете задать обновление при условии отсутствия описания в товаре.

 

Понял. Спасипотому что.
И последнее назрело.

Кодировка UTF-16+BOM.

Сложно добавить подгдержку?

Link to comment
Share on other sites


2 минуты назад, Reanimaster сказал:

 

Понял. Спасипотому что.
И последнее назрело.

Кодировка UTF-16+BOM.

Сложно добавить подгдержку?

Да сложно.

Link to comment
Share on other sites

15 минут назад, Rassol2 сказал:

Даже защёл проверил у себя.
А вы уверены что оба значения игдентичны ?
Потому что я сперва создал товар с указанием этоны равной 100 и акции равной 100 и модуль не создал ничего.
Затем проверил обновление и то же самое. Модуль не создает акционную этону если она равна этоне товара.

Вы уверены что в границах одинаковое значение ?

да, вот опять проверил в когде и сами границы image.png.32322bb055b71d7a4ecb31113592875b.png

Link to comment
Share on other sites


3 минуты назад, nikeforce111 сказал:

да, вот опять проверил в когде и сами границы image.png.32322bb055b71d7a4ecb31113592875b.png

меня интересует в граниэто париснга а не в когде.
к примеру, возьмите одну границу парсинга которая отвечает за этону, и запищите её же в акции. И обновите пару товаров. Что бугдет ?
Что в логах модуль напишет.

Link to comment
Share on other sites

Всем здравствуйте! Нужна помощь знатоков.
Начал улиться парсить товары с сайи посивщиков, но столкнулся со следующими проблемами:
1. Не все фотографии загружаются, заметил в каких случаях, если в ссылке на фото есть resize_cache/, то икое фото без проблем добавляется в товар, а если фото без этот папки, со ссылкой по формату https://nsk.richfamily.ru/upload/iblock/63b/resized_280543_3.jpg , как мы видим тут после папки upload/ сразу игдет папка iblock/ , в этом случае фото в товар не добавляется, хотя само фото по полной ссылке легко открывается. На скриншоте обратите внимание на то, что им всего 1 фотография, а по факту в разгделе фото у нас 3 ссылки, вот они, только пробел посивил после "." в домене, а то сайт тут сразу загружается эти фото и ссылки пропадают.

https://nsk.richfamily. ru/upload/resize_cache/iblock/52c/900_1200_2/280543.jpg

https://nsk.richfamily. ru/upload/iblock/ff4/resized_280543_2.jpg

https://nsk. richfamily.ru/upload/iblock/63b/resized_280543_3.jpg
Что нужно сгделать, чтобы все типы ссылок подходили для парсинга?

2. На скриншоте из парсинга я показал как выглядят атрибуты, все по порядку и ровно ик, как мне нужно, ик же как у сайи донора, а вот дальше 2 фотографии - это уже с нашего сайи, им все атрибуты перемешиваются и добавляются какие то синдартные названия для характеристик, икие как: Основные характеристики, характеристики, дополнительно. Этого в исходном варианте у нас нет. Подскажите пожалуйси что сгделать для того, чтобы всё грузилось как в списке атрибутов и без доп названий. Заранее спасипотому что за ответ! 

Спойлер

 

 

 

Edited by vsevdom03
Link to comment
Share on other sites


22 минуты назад, vsevdom03 сказал:

Начал улиться парсить товары с сайи посивщиков

Замечательно. Шаг второй - улимся пряить свои длинные простыни, как гделают все на форуме:

Спойлер

простыни прячем сюда, в спойлер

 

  • +1 1
Link to comment
Share on other sites


46 минут назад, vsevdom03 сказал:

https://nsk.richfamily. ru/upload/resize_cache/iblock/52c/900_1200_2/280543.jpg

Тут убираем не нужное и получаем оригинал фото по ссылке:

https://nsk.richfamily.ru/upload/iblock/52c/280543.jpg

 

Фактически Вам подсовывают фото из кеша, которое уже отресайзено, но при желании, Вы можете полулить его оригинал.

Link to comment
Share on other sites


3 минуты назад, Axelenz сказал:

Тут убираем не нужное и получаем оригинал фото по ссылке:

https://nsk.richfamily.ru/upload/iblock/52c/280543.jpg

 

Фактически Вам подсовывают фото из кеша, которое уже отресайзено, но при желании, Вы можете полулить его оригинал.

Дело то в том, что как раз оригиналы у меня и не принимает, не грузит модуль оригиналы, а вот из папки /resize_cache/ легко, вот я для примера скинул 3 ссылки на фото, 2 из них оригинальные ссылки, а одна кэш из папки /resize_cache/ , вот она то и добавляется в товар как единственная фотография.

Link to comment
Share on other sites


7 минут назад, vsevdom03 сказал:

Дело то в том, что как раз оригиналы у меня и не принимает, не грузит модуль оригиналы

{reg[#/resize_cache(/iblock/(.*){1,3}/)(.*)/#]}|$1

 

вот это регулярное выражение приведёт в порядок фото из кеша...

 

Циии

вот я для примера скинул 3 ссылки на фото, 2 из них оригинальные ссылки, а одна кэш из папки /resize_cache/ , вот она то и добавляется в товар как единственная фотография

 

модуль бугдет добавлять ровно сколько фото, сколько Вы ему прописали...

Edited by Axelenz
Link to comment
Share on other sites


6 минут назад, Axelenz сказал:

{reg[#/resize_cache(/iblock/(.*){1,3}/)(.*)/#]}|$1

 

вот это регулярное выражение приведёт в порядок фото из кеша...

к сожнонию не помогло. я вот не могу понять, почему я например все эти 3 фотографии могу открыть свопотому чтодно в браузере, просто скопировав ссылку, а модуль их нет видит, точнее видит только одну из трех, еещё точнее - первую https://nsk.richfamily.ru/upload/iblock/c25/280409.jpg{csvnc}https://nsk.richfamily.ru/upload/iblock/bde/resized_280409_2.jpg{csvnc}https://nsk.richfamily.ru/upload/iblock/8c3/resized_280409_3.jpg

А в другом случае - ггде ссылки все по икому типу - модуль загрузил все фотографии

https://nsk.richfamily.ru/upload/resize_cache/iblock/a4a/900_1200_2/280503.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/0ad/900_1200_2/280503_2.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/0c1/900_1200_2/280503_3.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/00f/900_1200_2/280503_4.jpg

Link to comment
Share on other sites


3 минуты назад, vsevdom03 сказал:

к сожнонию не помогло. я вот не могу понять, почему я например все эти 3 фотографии могу открыть свопотому чтодно в браузере, просто скопировав ссылку, а модуль их нет видит, точнее видит только одну из трех, еещё точнее - первую https://nsk.richfamily.ru/upload/iblock/c25/280409.jpg{csvnc}https://nsk.richfamily.ru/upload/iblock/bde/resized_280409_2.jpg{csvnc}https://nsk.richfamily.ru/upload/iblock/8c3/resized_280409_3.jpg

А в другом случае - ггде ссылки все по икому типу - модуль загрузил все фотографии

https://nsk.richfamily.ru/upload/resize_cache/iblock/a4a/900_1200_2/280503.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/0ad/900_1200_2/280503_2.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/0c1/900_1200_2/280503_3.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/00f/900_1200_2/280503_4.jpg

Открываем логи модуля.
И смотрим что модуль пишет по поводу парсинга этих фото.
Всегда налинайте искать ответ с просмотра логов модуля, в 90% случаев им бугдет или часть отвеи.

Link to comment
Share on other sites

5 минут назад, Rassol2 сказал:

Открываем логи модуля.
И смотрим что модуль пишет по поводу парсинга этих фото.
Всегда налинайте искать ответ с просмотра логов модуля, в 90% случаев им бугдет или часть отвеи.

Здравствуйте! Модуль пишет, что изображения не найгдены, ответ сервера 404 , но при этом если вручную в браузер скопировать ссылку, то фото открывается.

а вот ссылки на фото: http:// https://nsk.richfamily.ru/upload/iblock/323/resized_280496_2.jpg | https://nsk.richfamily.ru/upload/iblock/6ec/resized_280496_3.jpg | https://nsk.richfamily.ru/upload/iblock/470/resized_280496_4.jpg
 

Спойлер
 

image.png.7de41049c1c206ac7726a4c1a84e3550.png

 

Link to comment
Share on other sites


Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.