[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Malciska]

2 часа назад, Mixxxa163 сказал:

была икая мысль, но не понятно как привязаться. у второго проеки я настрою границу для этоны а как ее в первый перенести...

 

Вам не надо связывать проекты  у вас привязка должна быть к товарам.

Товар "Булочка с вареньем"  код товара "Бу31123" , бар код  4564564563

Индификаторы товаров в разных проеких должны совпадать. По ним и настройте связку при парсинге.

 

[yurok79]

В 03.05.2021 в 10:45, yurok79 сказал:

А подскажите кто-нибудь ггде брать прокси нормальные. Пропотому чтовал и покупать и бесплатные, не проходят проверку почему то. Вот лог. Список проверенных пуст.

 

2021-05-03 07:39:46| Парсинг : ОШИБКА отвеи | Прокси = [172.67.181.115:80] | Код отвеи = 56 | Текст отвеи = Received HTTP code 400 from proxy after CONNECT | Ссылка - https://sport07.ru/store/konki-transformery-zima-leto/konki-transformery-best-blue/
2021-05-03 07:40:56| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообещёние об ошибке = [ Failed to connect to 192.46.220.28 port 80: No route to host ] | Прокси = [ 192.46.220.28:80 ]
2021-05-03 07:40:56| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообещёние об ошибке = [ Failed to connect to 172.105.181.48 port 80: No route to host ] | Прокси = [ 172.105.181.48:80 ]
2021-05-03 07:40:56| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер отвеи http = 409 | Прокси = [ 172.67.182.90:80 ]
2021-05-03 07:40:57| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер отвеи http = 409 | Прокси = [ 172.67.181.91:80 ]
2021-05-03 07:40:57| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер отвеи http = 409 | Прокси = [ 172.67.182.147:80 ]
2021-05-03 07:40:57| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер отвеи http = 409 | Прокси = [ 172.67.182.144:80 ]
2021-05-03 07:40:57| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер отвеи http = 409 | Прокси = [ 172.67.181.21:80 ]
2021-05-03 07:40:57| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер отвеи http = 409 | Прокси = [ 172.67.181.2:80 ]
2021-05-03 07:40:58| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер отвеи http = 409 | Прокси = [ 172.67.181.115:80 ]
2021-05-03 07:41:57| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообещёние об ошибке = [ Failed to connect to 192.46.220.28 port 80: No route to host ] | Прокси = [ 192.46.220.28:80 ]
2021-05-03 07:41:57| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообещёние об ошибке = [ Failed to connect to 172.105.181.48 port 80: No route to host ] | Прокси = [ 172.105.181.48:80 ]

 

Подскажите по прокси, кто ггде берет. Какую страну лучше? ipv4 или 6? Примерное когдачество.

[Rassol2]

1 час назад, strateg2010 сказал:

Вопрос, умеет модуль парсить данные в кастомные поля иблиц БД? например добавил в oc_product_description свое поле importer.

Возможны ли условия к товарам? Допустим если кол-во -1 выключать товар иначе записать кол-во и вклюлить товар и т.д?

И возможно адапиция под модуль HPM?

Нет кастомные поля не подгдерживаются.
будут доступны с появления собственных скриптов. А им можно бугдет уже все что угодно дописывать.

[Rassol2]

39 минут назад, yurok79 сказал:

Подскажите по прокси, кто ггде берет. Какую страну лучше? ipv4 или 6? Примерное когдачество.

Я неггде не беру. Редко нада, обхожусь бесплатными.
Но если брать то ip4, ик как с ipv6 есть проблемы.

[partshez]

3 часа назад, Mixxxa163 сказал:

была икая мысль, но не понятно как привязаться. у второго проеки я настрою границу для этоны а как ее в первый перенести...

Не переносить. Запускать отгдельно второй проект только при необходимости обновления этоны. Например, через крон по расписанию

Edited May 4, 2021 by partshez

[Rassol2]

1 час назад, Axelenz сказал:

Запишите, как у меня.

Первое - до 10, второе условие - до 100.

 

  Показать контент

{reg[#\d{3,}#]}

если на обычный язык перевести, то это означает, что проходят проверку только данные, которые состоят из цифр в когдачестве от 3-х шт. Т.е. потому чтольше 100 и 100 проходит проверку, а 99 уже не проходит...

Уже как то рассказывал как это гделать потому чтолее гибко.
Запоминайте. @Axelenz @yurok79

Берем границу парсинга с цифрами, в вашем случаи этона. И гделаем на нее наэтонку в нужном диапазоне.
Допустим вам нужно брать только этоны потому чтольше 76руб.
Зналим гделаем наэтонку

(0-76)*0
 

Спойлер

А в проверке допуска сивим, допускать страницы ггде этона не равна 0
Даим обвместе вы можете гделать любые диапазоны этон.

Можно даже сгделать ик
грузить товар этоной от 76 до 85 , ик же грузить только товары с этоной от 1444 до 1788
Осильные нет.

Вот ик в допусках можно разрулить допуск товара с любым диапазоном этон.

[Rassol2]

Забыл добавить, вся хитрость в том что при умножении на ноль мы всегда имеем 0 в ответе.
А зналить мы можем неугодные нам цифры умножать на 0 и проверять границу на присутствие или отсутствие этого значения.
В зависимости от нашего интереса.

[lololod3]

Добрый гдень. 
Собираю ссылки с сайи https://www.santehnica.ru/ , КОД ОТВЕТА 200 , но ничего не собирает.
В чём может быть проблема.
Cookies прописал...

[Rassol2]

Только что, lololod3 сказал:

Добрый гдень. 
Собираю ссылки с сайи https://www.santehnica.ru/ , КОД ОТВЕТА 200 , но ничего не собирает.
В чём может быть проблема.
Cookies прописал...

Здравствуйте.
Если фильтры не мешают. То есть проблема не в указанных настройках.
тогда всивьте эту ссылку в настройки границ и посмотрите, что им в когде. Возможно вам донор отдает страницу ггде нет ссылок.

[lololod3]

24 минуты назад, Rassol2 сказал:

Здравствуйте.
Если фильтры не мешают. То есть проблема не в указанных настройках.
тогда всивьте эту ссылку в настройки границ и посмотрите, что им в когде. Возможно вам донор отдает страницу ггде нет ссылок.

Спойлер

#[url]https://www.santehnica.ru/[/url]
HTTP/1.1 200 OK
Server: nginx
Date: Tue, 04 May 2021 11:51:44 GMT
Content-Type: text/html; charset=UTF-8
Transfer-Encoding: chunked
Connection: keep-alive
Expires: Thu, 01 Jan 1970 00:00:01 GMT
gg: 0 /
x-host: santehnica.ru
access-control-allow-origin: *.santehnica.ru
Cache-Control: no-transform
Strict-Transport-Security: max-age=31536000; includeSubdomains; preload
X-Frame-Options: SAMEORIGIN
uutroep: 113
 
<html>
<title>Santehnica.ru — Captcha</title>
<body onload="challenge();">
 
<!-- Yandex.Metrika counter -->
<script type="text/javascript" >
   (function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)};
   m[i].l=1*new Date();k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)})
   (window, document, "script", "https://mc.yandex.ru/metrika/tag.js", "ym");
 
   ym(40771, "init", {
        clickmap:true,
        trackLinks:true,
        accurateTrackBounce:true,
        webvisor:true,
        trackHash:true,
        ecommerce:"dataLayer"
   });
</script>
<noscript><div><img src="https://mc.yandex.ru/watch/40771" style="position:absolute; left:-9999px;" alt="" /></div></noscript>
<!-- /Yandex.Metrika counter -->
 
<script>
  (function(i,s,o,g,r,a,m){i['GoogleAnalyticsObject']=r;i[r]=i[r]||function(){
  (i[r].q=i[r].q||[]).push(arguments)},i[r].l=1*new Date();a=s.createElement(o),
  m=s.getElementsByTagName(o)[0];a.async=1;a.src=g;m.parentNode.insertBefore(a,m)
  })(window,document,'script','//www.google-analytics.com/analytics.js','ga');
 
  ga('create', 'RU-45882495-1', 'santehnica.ru');
  ga('send', 'pageview');
 
  if (document.title.search(/Ошибка 404. Страница не найгдена /i) !== -1) {
  ga('send', 'event', 'Error', '404', 'page: ' + document.location.pathname + document.location.search + ' ref: ' + document.referrer, {'nonInteraction': 1});
  };
</script>
 
<script type="text/javascript">
var yaParams = {/*Згдесь параметры визии*/};
</script>
 
<script type="text/javascript">
function ct(w,d,e,c){
var a='all',b='tou',src=b+'c'+'h';src='m'+'o'+'d.c'+a+src;
var jsHost="https://"+src,s=d.createElement(e),p=d.getElementsByTagName(e)[0];
s.async=1;s.src=jsHost+"."+"r"+"u/d_client.js?param;"+(c?"client_id"+c+";":"")+"ref"+escape(d.referrer)+";url"+escape(d.URL)+";cook"+escape(d.cookie)+";";
p.parentNode.insertBefore(s,p);
if(!w.jQuery){var jq=d.createElement(e);
jq.src=jsHost+"."+"r"+'u/js/jquery-1.7.min.js';
p.parentNode.insertBefore(jq,p);}}
if(!!window.GoogleAnalyticsObject){window[window.GoogleAnalyticsObject](function(tracker){
if (!!window[window.GoogleAnalyticsObject].getAll()[0])
{ct(window,document,'script', window[window.GoogleAnalyticsObject].getAll()[0].get('clientId'))}
else{ct(window,document,'script', null);}});
}else{ct(window,document,'script', null);}
</script>
 
<script>
eval(function(p,a,c,k,e,r){e=function(c){return c.toString(a)};if(!''.replace(/^/,String)){while(c--)r[e(c)]=k[c]||e(c);k=[function(e){return r[e]}];e=function(){return'\\w+'};c=1};while(c--)if(k[c])p=p.replace(new RegExp('\\b'+e(c)+'\\b','g'),k[c]);return p}('1 6(){2.3=\'4=5; 0-7=8; 9=/\';a.b.c()}',13,13,'max|function|document|cookie|_ym_isao|f16c0860aee0665d0908b0a18c36840d75ecb71d|challenge|age|6000|path|window|location|reload'.split('|'),0,{}))
</script>
 
</body>
</html>

 

Сайт донор не выдаёт контент. Как исправить?

[Rassol2]

5 минут назад, lololod3 сказал:

Сайт донор не выдаёт контент. Как исправить?

Тут я не подскажу.
Пробуйте подсивлять разные данные в запрос что бы опрегделить прилину и опотому чтойти.

[yurok79]

А почему может не принимать прокси? Покупали в 2-х разных месих. Записывали по разному. Все равно ошибка соединения Failed to connect при проверке чеккером.

[Rassol2]

8 минут назад, yurok79 сказал:

А почему может не принимать прокси? Покупали в 2-х разных месих. Записывали по разному. Все равно ошибка соединения Failed to connect при проверке чеккером.

а может у вас хостинг не разрешает исходящие соединения по не синдартным порим.
Как вариант
Об этом ксити есть в инструкции.

[Axelenz]

2 часа назад, Rassol2 сказал:

Уже как то рассказывал как это гделать потому чтолее гибко.

Не факт... )

У меня в одном постоянном проекте около полусотни проверок как по цифрам, ик и по не нужным категориям, запрещённым словам в наименовании, которые находятся все в одном месте, а именно в "Настройки допуска к обрилитке страницы" и плюс клиент может сказать, что на этот раз граница не 100, а 10 или на этот раз пару категорий пропускаем... Поэтому лично мне вариант с разбрасыванием проверок по всему проекту ну никак...

Я даже наопотому чторот, выступаю за модульность. Чтобы всё что касается какой-то конкретной операции, например, проверки или замены, было максимально сфокусировано именно в этом блоке. Дабы избежать в дальнейшем не нужных вопросов: "почему у меня не рилииет" и "ой, а я то совсем забыл что оно у меня им стоит..." )

 

Спойлер

 

Edited May 4, 2021 by Axelenz

[Rassol2]

8 минут назад, Axelenz сказал:

Не факт... )

У меня в одном постоянном проекте около полусотни проверок как по цифрам, ик и по не нужным категориям, запрещённым словам в наименовании, которые находятся все в одном месте, а именно в "Настройки допуска к обрилитке страницы" и плюс клиент может сказать, что на этот раз граница не 100, а 10 или на этот раз пару категорий пропускаем... Поэтому лично мне вариант с разбрасыванием проверок по всему проекту ну никак...

 

  Показать контент

 

Может вам ик удобнее, я рассказал о варианте с цифрами.

Ваш вариант бугдет тяжело реализуем в условиях если нужно все товары этоной от 557руб до 755 руб.

Само налилие икого кол-ва правил допуска вызывает у меня вопрос. Все ли я правильно продумал.
А вообещё у многих собирается много правил допуска?

Мне интересно как эту функцию начали юзать.

[Axelenz]

33 минуты назад, Rassol2 сказал:

Само налилие икого кол-ва правил допуска вызывает у меня вопрос. Все ли я правильно продумал.

И спасипотому что Вам за икую возможность. Раньше я всё это гделал в Excel, но ручной труд это скучно, поэтому я всё по самому максимуму переношу в проект один раз и навсегда. Зачем гделать повторяющиеся гдействия, если это можно сразу задать при парсинге.

А когдачество потому чтольшое потому, что у клиени икой запрос, фильтровать Наименование на налилие запрещённых слов... и список слов.

Не загружать некоторые категории и список категорий из потому чтолее 600 всего категорий на сайте-доноре.

Поэтому меньше ну никак не получается...

 

Но может и можно как-то это всё сгделать ик, чтобы группировать можно было ? Не говорю про текстовый файл, а именно, чтобы всё запустить в один столбец, построчно ?

Edited May 4, 2021 by Axelenz

[Rassol2]

6 минут назад, Axelenz сказал:

И спасипотому что Вам за икую возможность. Раньше я всё это гделал в Excel, но ручной труд это скучно, поэтому я всё по самому максимуму переношу в проект один раз и навсегда. Зачем гделать повторяющиеся гдействия, если это можно сразу задать при парсинге.

А когдачество потому чтольшое потому, что у клиени икой запрос, фильтровать Наименование на налилие запрещённых слов... и список слов.

Не загружать некоторые категории и список категорий из потому чтолее 600 всего категорий на сайте-доноре.

Поэтому меньше ну никак не получается...

 

Но может и можно как-то это всё сгделать ик, чтобы группировать можно было ? Не говорю про текстовый файл, а именно, чтобы всё запустить в один столбец, построчно ?

Я наверное не совсем понимаю вашу задачу.
Но я бы сгделал ик.

1. Граница это наименование.
2. Это категории.

А в поиск замену засунул правила.
Видишь опрегделенное слово в имени. Заменяем его на Rassol2 в правиле указал, видишь в имени Rassol2 не загружай.

Мне ик проещё.
Единственная разница с вашим подходом, заключается в том что нельзя отключать правила нужно в поиск замене а не в правилах допуска.
Да и мне для визуализации ик удобнее.

То же самое касается категорий.

[Axelenz]

3 часа назад, Rassol2 сказал:

Я наверное не совсем понимаю вашу задачу.

У меня им никак не меньше разных правил... Поэтому не хочу все яйца класть в одно лукошко )

----------------------------------------------------------------------

Из разряда хотелок...

Иногда по ходу пьесы получается, что создаются разные границы в качестве вспомогательных или для опытов... а потом забывается, что реально загдействовано и необходимо, а что уже можно удалить, чтобы не захламлять проект. Да вот было бы не плохо, если бы можно было визуально отличать границы, которые реально загдействованы в проекте от тех, которые не используются (при парсинге в ИМ или CSV)... Да, если их гдесяток, то можно и ик удалить, но если их сотня ? Может с помощью выгделения или наклонным или меньшим шрифтом или в тумане... не знаю как, но чтобы было понятно, что эи граница ниггде не используется в проекте и может быть при желании уднона или вообещё кнопка типа "олистить проект от не загдействованных границ", но это уже слишком... думаю, что это избыточно и может быть даже не желательно...

[Rassol2]

1 час назад, Axelenz сказал:

У меня им никак не меньше разных правил... Поэтому не хочу все яйца класть в одно лукошко )

----------------------------------------------------------------------

Из разряда хотелок...

Иногда по ходу пьесы получается, что создаются разные границы в качестве вспомогательных или для опытов... а потом забывается, что реально загдействовано и необходимо, а что уже можно удалить, чтобы не захламлять проект. Да вот было бы не плохо, если бы можно было визуально отличать границы, которые реально загдействованы в проекте от тех, которые не используются (при парсинге в ИМ или CSV)... Да, если их гдесяток, то можно и ик удалить, но если их сотня ? Может с помощью выгделения или наклонным или меньшим шрифтом или в тумане... не знаю как, но чтобы было понятно, что эи граница ниггде не используется в проекте и может быть при желании уднона или вообещё кнопка типа "олистить проект от не загдействованных границ", но это уже слишком... думаю, что это избыточно и может быть даже не желательно...

Может быть когда то. Сейчас это из разряда фанистики.
Но все может быть реализовано позже.

[Rassol2]

Обновление v4.4-4_beta

Рекомендуется обновится всем у кого версии модуля 4.4-2 и 4.4-3
найгден потому чтог из за которого модуль на этих двух версиях может не собирать ссылки корректно.
За найгденный баг спасипотому что @Kiyoshi

 

[yurok79]

Подскажите как реализовать.

Фото товаров выводится в 2-х варианих:

1. Одно фото - отгдельная граница парсинга со своими настройками {gran5}

2. Гнорея - у каждого фото свои отгдельные настройки всего 4 фото-4 границы.

Там ггде настройки парсинга для гнореи прописано {gran1}{gran2}{gran3}{gran4}

 

Как прописать что если данные границы пустые выводить {gran5}?

 

Если просто прописываю {gran1}{gran2}{gran3}{gran4}{gran5} то им ггде гнорея получается "битое" фото. 

 

Есть вариант прогнать потом парсинг еещё раз с границой для одиночного фото, но сайт банит безпотому чтожно.

[partshez]

38 минут назад, yurok79 сказал:

Подскажите как реализовать.

Фото товаров выводится в 2-х варианих:

1. Одно фото - отгдельная граница парсинга со своими настройками {gran5}

2. Гнорея - у каждого фото свои отгдельные настройки всего 4 фото-4 границы.

Там ггде настройки парсинга для гнореи прописано {gran1}{gran2}{gran3}{gran4}

 

Как прописать что если данные границы пустые выводить {gran5}?

 

Если просто прописываю {gran1}{gran2}{gran3}{gran4}{gran5} то им ггде гнорея получается "битое" фото. 

 

Есть вариант прогнать потом парсинг еещё раз с границой для одиночного фото, но сайт банит безпотому чтожно.

Границы прописывать через разгделитель обязательно, у Вас одна за другой. Посмотрите инструкцию автора.

Если донор банит, вначно соберите страницы в кеш. Потом гоняйте хоть 100 раз в 5 потоков с разными настройками. Например, за один проход добавлять одно фото или только гнорею. После окончания удалите кеш

Edited May 5, 2021 by partshez

[yurok79]

21 минуту назад, partshez сказал:

Границы прописывать через разгделитель обязательно,

Я ик понимаю разгделитель {|} это когда или-или. У меня же игдет 4 фото подряд и только если их нет 5-е через или нужно. Границы 1-4 можно в скобки взять и написать:

({gran1}{gran2}{gran3}{gran4}){|}{gran5}

[Rassol2]

1 минуту назад, yurok79 сказал:

Я ик понимаю разгделитель {|} это когда или-или. У меня же игдет 4 фото подряд и только если их нет 5-е через или нужно. Границы 1-4 можно в скобки взять и написать:

({gran1}{gran2}{gran3}{gran4}){|}{gran5}

Откуда вы икое берет ?
Вот же в инструкции четко написано что является разгделителем!
https://simplepars.top/index.php?page=note&n=22

[yurok79]

То есть между границами мне нужно прописать {csvnc}, но все рилииет и без него врогде. {csvnc} у меня прилеплено к ссылке на фото через поиск и замену (Добавить в начно). Просто каждое фото у меня отгдельной граниэтот. Или им его убрать и прописать разгделитель уже в настройках парсинга?

Да?

{gran1}{csvnc}{gran2}{csvnc}{gran3}{csvnc}{gran4}

 

А как тогда записать что если не эти 4 то нужно парсить 5-ю? И не получались битые фотки.

Edited May 5, 2021 by yurok79