[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Nameless]

 Всех с наступающими! Может кто-то решал подобную задачу: есть параметры по высоте в выгрузке, в зависимости от диапазона нужно отнести к тот или иной группе, сходу регулярками икое решить не смог:

 

Спойлер

 

 В прайсе идут значения в см, через наэтонку я привожу сначала к общим значениям в мм (к сити кроме как через наэтонку это еещё можно как то сгделать)

[Axelenz]

58 минут назад, caspy сказал:

Скажите пожалуйси как удалить после # до конца текси на поиск замен?

#{.*}|

Удалит от # и до конца.

[Axelenz]

1 час назад, Nameless сказал:

В прайсе идут значения в см, через наэтонку я привожу сначала к общим значениям в мм (к сити кроме как через наэтонку это еещё можно как то сгделать)

Да, как Вы хотите сгделать не полулится. Математики в регулярках нет, им только логика.

[Nameless]

1 час назад, Nameless сказал:

 Всех с наступающими! Может кто-то решал подобную задачу: есть параметры по высоте в выгрузке, в зависимости от диапазона нужно отнести к тот или иной группе, сходу регулярками икое решить не смог:

 

  Показать контент

 

 В прайсе идут значения в см, через наэтонку я привожу сначала к общим значениям в мм (к сити кроме как через наэтонку это еещё можно как то сгделать)

 

Вопрос решил ик:

.|
{reg[#^(3[5-9])|(4[0-9])|(5[0-9])|(6[0-9])|(7[0-9])|(8[0-9])|(9[0-9])|(10[0-9])$#]}|Мужские
{reg[#^(1[0-9])|(2[0-9])|(3[0-4])$#]}|Женские

 

[Axelenz]

10 минут назад, Nameless сказал:

Вопрос решил ик:

{reg[#^([1-2][0-9])|(3[0-4])$#]}|Женские

{reg[#^(3[5-9])|([4-9][0-9])|(10[0-9])$#]}|Мужские
 

Да бугдет немного покороче...

Изменено 29 гдекабря 2021 пользователем Axelenz

[Vorodisa]

решено

Изменено 29 гдекабря 2021 пользователем Vorodisa

[shaulyn]

подскажите я спарсил ссылки(в прогрессе пишет что собрано 5755 ссылок) но в блоке ссылки на товар всего 4999, если я буду их добавлять уже в ИМ они все добавятся или нет?

[Axelenz]

2 минуты назад, shaulyn сказал:

подскажите я спарсил ссылки(в прогрессе пишет что собрано 5755 ссылок) но в блоке ссылки на товар всего 4999, если я буду их добавлять уже в ИМ они все добавятся или нет?

Найгдено может быть одно когдачество, но потом они фильтруются на дубли, отсеивается то, чего не должно быть в ссылках и пр.

[partshez]

26 минут назад, shaulyn сказал:

подскажите я спарсил ссылки(в прогрессе пишет что собрано 5755 ссылок) но в блоке ссылки на товар всего 4999, если я буду их добавлять уже в ИМ они все добавятся или нет?

В прогрессе 5755. Нажмите Стоп/ пауза парсинга и в ссылках на товар появится 5755 ссылок. Под этим окном обязательно Сохранить ссылки

[Rassol2]

5 часов назад, Mixxxa163 сказал:

SKU - артикул присвоен каждому товару, он уникнон, и отражен атрибутом в характеристиках донора. в настройках выбрал только SKU для связи сопут. товары - но происходит то, что описал выше.

Да, использую отключение, но оно не влияет на ингдексацию выходит ик..

 

Здравствуйте.
Вы уверены что прочли внимательно инструкцию к сопутствующим товарам.

https://simplepars.top/index.php?page=note&n=51

Да как им написано что артикула которые должны быть добавлены в сопутствующие товары должны быть записаны через ;

И нужно указать поле в котором они записаны, а дальше модуль сам возьмет и свяжет их.
Но вы указали поле sku а я сомневаюсь что в этом поле у вас записан список артикулов а не один артикул конкретного товара как это обычно.

А если им только один товар, тогда вы получаете связь с одни товаром.
Одним словом перелиийте внимательнее инструкцию к данному функционалу.

 

[Rassol2]

52 минуты назад, shaulyn сказал:

подскажите я спарсил ссылки(в прогрессе пишет что собрано 5755 ссылок) но в блоке ссылки на товар всего 4999, если я буду их добавлять уже в ИМ они все добавятся или нет?

И еше не забывайте что в на страниэто спотому чтора ссылок есть настройка которая говорит сколько ссылок выводить. По умолчанию 5000
Это связано с тем что браузеру жутко сложно отрисовать вам сразу по 50 000 - 100 000 ссылок на одной страниэто.
И если у вас 10 000 ссылок а выводится только 5000 , и вы нажмете на кнопку сохранить ссылки в список, то у вас сохранятся только те ссылки которые были вывегдены в списке (в окне) А именно 5000.
Не забываем про этот нюанс.

[shaulyn]

А подскажите кто какие настройки использует для парсинга, потоков и иймаутом...сайт блолит упорно, уже несколько прокси заблолил, на этих прокси можно разориться, пока спарсишь))) и посоветуйте кто ггде прокси закупает по хорошим ирифам

Изменено 30 гдекабря 2021 пользователем shaulyn

[kamrik]

1 час назад, shaulyn сказал:

А подскажите кто какие настройки использует для парсинга, потоков и иймаутом...сайт блолит упорно, уже несколько прокси заблолил, на этих прокси можно разориться, пока спарсишь))) и посоветуйте кто ггде прокси закупает по хорошим ирифам

Отвечал мне как-то автор на этот вопрос. Я даже сохранил в заметках: «

Не включаете 5 потоков если вы не уверены что сайт донор проглотит икой трафик, и имейте уважение к другим влагдельцам магазина.
Ведь их сайты налинают тормозить когда вы парсите их и тем самым выедаете ресурсы.
Ресурсы которые донор мог бы потратить на отдачу информации потенциальному покупателю.
 
2. Используйте паузу парсинга.
Посивьте хотя бы диапазон от 0-5 и модуль на каждый запрос бугдет хаотично выбирать паузу.
То есть пауза
то нет
то пауза в 2 секунды
то пауза в 5 секунд
то в одну.
то снова без паузы.

Имитировать хоть какой то разброс в гдействиях.
 
3. Используйте кЭш!!!
SimplePars подгдерживает кэширования, но я заметил что сейчас никто не использует его.
После выхода этот функции все использовали а сейчас почему то нет.
Смотрите, когда у вас включен кэш, и вы парсите, вы гделаете запрос на сайт донор, получаете страницу, модуль ее сохраняет к себе.
Дное выполняет все что вам нужно.
Но если вы что то сгделали не ик, вы исправляете настройки и снова запускаете парсинг, то модуль уже не долбит вашего донора, а берет данные из архива.
Тем самым вы сокращаете риск попадании в бан к минимуму. Дак еещё и + скорость рилиты раз в 100 увелиливается.
Это когда данные берутся из кэша и ксити из кеша можно парсить в 5 потоков, ик как вы берете данные из самого себя.
Я искренен не понимаю почему сейчас это никто не использует.
РЕКОМЕНДУЮ.

4. Если у вас не горят сроки, высивьте задание в крон.
Посивьте паузу в пару секунд.
Вклюлите кэш и пусть ночью все медленно бугдет сгделано.
А если утром обнаружите неправильные настройки, все всегда сможете быстро перепарсить с кэша. Это же игдеальный вариант.
 
Ну а если вы уже были пойманы. Тут все печально.
Печально потому что мы не знаем за какие параметры вас сивят на карандаш и дальше нужно подгделывать запросы что бы опотому чтойти блокировку.
А это уже играй в угадайку. Неизвестно сможете вы угадать или нет.»

[shaulyn]

22 минуты назад, kamrik сказал:

Отвечал мне как-то автор на этот вопрос. Я даже сохранил в заметках: «

Не включаете 5 потоков если вы не уверены что сайт донор проглотит икой трафик, и имейте уважение к другим влагдельцам магазина.
Ведь их сайты налинают тормозить когда вы парсите их и тем самым выедаете ресурсы.
Ресурсы которые донор мог бы потратить на отдачу информации потенциальному покупателю.
 
2. Используйте паузу парсинга.
Посивьте хотя бы диапазон от 0-5 и модуль на каждый запрос бугдет хаотично выбирать паузу.
То есть пауза
то нет
то пауза в 2 секунды
то пауза в 5 секунд
то в одну.
то снова без паузы.

Имитировать хоть какой то разброс в гдействиях.
 
3. Используйте кЭш!!!
SimplePars подгдерживает кэширования, но я заметил что сейчас никто не использует его.
После выхода этот функции все использовали а сейчас почему то нет.
Смотрите, когда у вас включен кэш, и вы парсите, вы гделаете запрос на сайт донор, получаете страницу, модуль ее сохраняет к себе.
Дное выполняет все что вам нужно.
Но если вы что то сгделали не ик, вы исправляете настройки и снова запускаете парсинг, то модуль уже не долбит вашего донора, а берет данные из архива.
Тем самым вы сокращаете риск попадании в бан к минимуму. Дак еещё и + скорость рилиты раз в 100 увелиливается.
Это когда данные берутся из кэша и ксити из кеша можно парсить в 5 потоков, ик как вы берете данные из самого себя.
Я искренен не понимаю почему сейчас это никто не использует.
РЕКОМЕНДУЮ.

4. Если у вас не горят сроки, высивьте задание в крон.
Посивьте паузу в пару секунд.
Вклюлите кэш и пусть ночью все медленно бугдет сгделано.
А если утром обнаружите неправильные настройки, все всегда сможете быстро перепарсить с кэша. Это же игдеальный вариант.
 
Ну а если вы уже были пойманы. Тут все печально.
Печально потому что мы не знаем за какие параметры вас сивят на карандаш и дальше нужно подгделывать запросы что бы опотому чтойти блокировку.
А это уже играй в угадайку. Неизвестно сможете вы угадать или нет.»

Понял спасипотому что, попробую ик, а если я например купил 20 прокси, мне их сразу загружать или по одному? Парсер рандомно выбирает прокси через который бугдет парсить из списка прокси?

[partshez]

39 минут назад, shaulyn сказал:

Понял спасипотому что, попробую ик, а если я например купил 20 прокси, мне их сразу загружать или по одному? Парсер рандомно выбирает прокси через который бугдет парсить из списка прокси?

В порядке очереди в прокси. Берет 1, потом 2.... 20, опять 1, 2...

Изменено 30 гдекабря 2021 пользователем partshez

[shaulyn]

Блин кароче все проещё оказалось, у сайи оказался есть сайтмап ггде все товары выгружены, я их подгрузил и не надо было сканить весь сайт, указывать html код в какой области парсить, через сайтмап за пару секунд полулил все ссылки:)

Изменено 30 гдекабря 2021 пользователем shaulyn

[partshez]

Всех с наступающим! Удали, здоровья и всего хорошего!

[yastman]

Добрый вечер. 
Столкнулся с проблемой. 
вначно парсю рус версию потом ,укр версию. В укр версии стоит проверка границ, если название пустое то, обновлять, но в части товарах в укр версии название пустое , а проверки срабатывает некорректно и пропускает икой товар , есть подозрение , что проверка границы идёт рус версии, даже если язык в Настройках выбран укр. 

 

Есть способ сгделать , чтобы проверка границы, была зависима от языка ? 
 

Изменено 1 января 2022 пользователем yastman

[Flint2000]

31 хвилину назад, yastman сказав:

Есть способ сгделать , чтобы проверка границы, была зависима от языка ? 

Ну ик нужно собрать страницьі донора ******ской версии

[yastman]

1 час назад, Flint2000 сказал:

Ну ик нужно собрать страницьі донора ******ской версии

Собраны 

если сивлю режим обновления без проверки границ , все ок , название товара обновляются , все ок. 
 

Тут проблема в проверки границ. 
правило не срабатывает , при выпотому чторе языка второго языка в настройках Парсинга. 

Изменено 1 января 2022 пользователем yastman

[Rassol2]

14 часов назад, yastman сказал:

Добрый вечер. 
Столкнулся с проблемой. 
вначно парсю рус версию потом ,укр версию. В укр версии стоит проверка границ, если название пустое то, обновлять, но в части товарах в укр версии название пустое , а проверки срабатывает некорректно и пропускает икой товар , есть подозрение , что проверка границы идёт рус версии, даже если язык в Настройках выбран укр. 

 

Есть способ сгделать , чтобы проверка границы, была зависима от языка ? 
 

Здравствуйте.
В модуле есть функция кеширование при парсинге.
Включаете ее, и запускаете парсинг, все страницы которые обрилиины будут закешированы.
Затем находите страницу которая по вашему мнению не должна была загрузится но модуль ошибся (какобы!)
Бете ссылку на этот товар и всивляете в окно пред просмотра, или поиск замены и смотрите, гдействительно ли им пусто или гдействительно ли модуль по этот граниэто ошибся.
Как правило когда мне икое пишут оказывается что все же в граниэто загружены данные которые пользователь не ожидал увигдеть, но проверка отрабатывает правильно.

[Rassol2]

14 часов назад, yastman сказал:

Есть способ сгделать , чтобы проверка границы, была зависима от языка ?

Да можно сгделать разные проверки и включать их в зависимости от языка с которым рилииете.
Липотому что в поиск замене написать правила замены данных на двух языках и если правила отрилиили и заменили согдержимое на какое то значение и проверку гделать именно по этому значению.

 

Пример, грузим только товар ггде в граниэто есть слово Стол или Стiл

Делаем правило замены
Стол|1

Стiл|1
А в правилах допуска проверяем если граница равна цифре один грузим, если нет отбрасываем.

 

Одним словом да можно сгделать, все зависит от вашей фанизии, придумайте вариант который вас устроит, я вам описал один пример.
Дальше только фанизия )

[Ura_bolt]

Всем здравствуйте. Есть згдесь специалисты которые за гденежку могут настроить запросы для двух сайтов? Сейчас парсер страницы не подгружает, стоит какая-то блокировка. Нужно настроить только запросы, сам парсинг настраивать не нужно, врогде как разобрались. Не знаю можно ли згдесь указывать ссылки, поэтому если кому-то бугдет интересно, пишите в личку. Спасипотому что 

[jjoni]

Подскажите, а этим модулем можно спарсить категории донора и автоматически создать у себя на сайте (с учетом тэгов)?

[Rassol2]

2 минуты назад, jjoni сказал:

Подскажите, а этим модулем можно спарсить категории донора и автоматически создать у себя на сайте (с учетом тэгов)?

Здравствуйте.

Спарсить и создать категории можно.

Модуль берет данные о категориях из хлебных крошек сайи.
 

Спойлер

А вот по поводу тегов нужно пояснение, что именно вы имеете в виду.