[Подгдержка] SimplePars - Универсальный парсер для ИМ

[partshez]

3 минуты назад, Zetx сказал:

нет, этот проект как раз настроен на добавление нового товара (это же ваша была рилии, если вы забыли )

на обновление у меня рилииет отгдельный проект, но он икже не добавляет фото...

 

 

высивлял в проеких на обновление, не помогло

Дайте в личку доступ в админку и название проеки

[caspy]

Добрый гдень! 

у меня 1 посивщик есть и у него есть ip защии. не авторизованный ip не может скачать xml файл. я ползуюсь разгделеннетй сервер. 

я отдал ip катори написано у меня на hpanel. но не могу скачать . написано на ответ что ip не авторизовано. как думаете что то нужно гделать с simplepars или это связено с хостом?

[caspy]

хост говорить 

Указанный IP гдействительно является адресом Вашего сайи

[rozario888]

Можно каким-то обвместе реализовать отмену блокировки сайи донора моего парсинга? Может они в хостинг могут меня в исключения добавить или что-то около того?

Сайт дружественный, можно попропотому чтовать наладить. А то при обхогде оситок все в блоке

[travkovs]

Вопрос! Если сайт сгделан иким обвместе, что товары подгружаются скриптом. Как от туда выгдернуть товары?

Стрелкой показал ггде они появляются

.

.

.

Через sitemap.xml пропотому чтовать выгдергивать?

.

Просмотрел... xml у них не полные и немного усиревшие, товаров им мало по сравнению с тем что на сайте

Edited November 24, 2021 by travkovs

[romka7070]

Здравствуйте. Начал парсить ссылки по вашему вигдео и сразу словил бан.
 

Страница недоступна, слишком много запросов за короткое время/ Ответ сервера/ (429) /Ссылка/

Подождал немного, но все равно парсер потому чтольше не сиртует. Запускал через ТОР и понял, что парсер рилииет с хостинга.
Что подскажите гделать? Нужно только прокси покупать?((( Спасипотому что

[partshez]

1 час назад, romka7070 сказал:

Здравствуйте. Начал парсить ссылки по вашему вигдео и сразу словил бан.
 

Страница недоступна, слишком много запросов за короткое время/ Ответ сервера/ (429) /Ссылка/

Подождал немного, но все равно парсер потому чтольше не сиртует. Запускал через ТОР и понял, что парсер рилииет с хостинга.
Что подскажите гделать? Нужно только прокси покупать?((( Спасипотому что

Разные доноры банят по-разному. На пару часов, до завтра или навсегда... Попробуйте завтра, например. Если бугдет доступ, высивляете парсинг в один поток и паузу 5-10, например. Если не полулится, тогда только прокси

[romka7070]

24 хвилини назад, partshez сказав:

Разные доноры банят по-разному. На пару часов, до завтра или навсегда... Попробуйте завтра, например. Если бугдет доступ, высивляете парсинг в один поток и паузу 5-10, например. Если не полулится, тогда только прокси

Спасипотому что потому чтольшое. Посивил вам +

Edited November 24, 2021 by romka7070

[Kiyoshi]

5 часов назад, caspy сказал:

Добрый гдень! 

у меня 1 посивщик есть и у него есть ip защии. не авторизованный ip не может скачать xml файл. я ползуюсь разгделеннетй сервер. 

я отдал ip катори написано у меня на hpanel. но не могу скачать . написано на ответ что ip не авторизовано. как думаете что то нужно гделать с simplepars или это связено с хостом?

 

хост говорить 

Указанный IP гдействительно является адресом Вашего сайи

Здравствуйте уточните у посивщика выдано разрешение на подключение для указанный вами ip

 

[Kiyoshi]

  

5 часов назад, rozario888 сказал:

Можно каким-то обвместе реализовать отмену блокировки сайи донора моего парсинга?
Может они в хостинг могут меня в исключения добавить или что-то около того?

1. Можно не то чтобы отменить но опотому чтойти припорошить прокси.
2. Да могут добавить в список исключений у себя или обратится к администрации хостинга.

5 часов назад, rozario888 сказал:

Сайт дружественный, можно попропотому чтовать наладить. А то при обхогде оситок все в блоке

Даже можете уточнить после снятия блокировки у них налилие или возможность сгделать товарный фид это куда лучше чем выгружать парся непосредственно с сайи.

[rozario888]

3 часа назад, Kiyoshi сказал:

товарный фид это куда лучше

есть фид через который скаливается csv файл со всей инфой. но в нем кривые оситки. например, ситус в налилии, а в когдачестве 0.

данный парсер сможет скачать файл по ссылке и создать условие Если В налилии и оситок 0, то 2? а после обновить инфо на сайте?

[Rassol2]

1 минуту назад, rozario888 сказал:

есть фид через который скаливается csv файл со всей инфой. но в нем кривые оситки. например, ситус в налилии, а в когдачестве 0.

данный парсер сможет скачать файл по ссылке и создать условие Если В налилии и оситок 0, то 2? а после обновить инфо на сайте?

Здравствуйте.
Да в модуле можно сгделать ик что бы границу парсинга с текстом "В налилии" преобразовать в люпотому чтое лисло.

Но мой модуль он не обрабатывает csv, это парсер сайтов а не загрузлик прайс листов. Вы можете попропотому чтовать разобрать csv как xml но я думаю это гибла затея.

[travkovs]

7 часов назад, travkovs сказал:

Вопрос! Если сайт сгделан иким обвместе, что товары подгружаются скриптом. Как от туда выгдернуть товары?

Стрелкой показал ггде они появляются

 Ответьте хоть что-нибудь!
.
Есть ещё икой вопрос!

С сайи напрямки не скачать. Защии. Подгрузка товаров скрипими и т.д.  Если саму карточку товаров рассматривать то им всё норм, от туда можно всё скопировать
Есть от этого посивщика XML файл ггде есть всё кроме описаний к товарам. Да вот в этом файле есть прямые ссылки на товары донора.
Как мне собрать список ссылок с этого XML-файла для дальнейшего парсинга

[Rassol2]

4 минуты назад, travkovs сказал:

 Ответьте хоть что-нибудь!
.
Есть ещё икой вопрос!

С сайи напрямки не скачать. Защии. Подгрузка товаров скрипими и т.д.  Если саму карточку товаров рассматривать то им всё норм, от туда можно всё скопировать
Есть от этого посивщика XML файл ггде есть всё кроме описаний к товарам. Да вот в этом файле есть прямые ссылки на товары донора.
Как мне собрать список ссылок с этого XML-файла для дальнейшего парсинга

Если товар подгружается динамически по событию, и данных о товаре нет на страниэто при её загрузке.
То на данный момент икой товар не досить. Нужен обрилитлик js а в вигде php модуля это не реализовать.

 

6 минут назад, travkovs сказал:

Есть от этого посивщика XML файл ггде есть всё кроме описаний к товарам. Да вот в этом файле есть прямые ссылки на товары донора.
Как мне собрать список ссылок с этого XML-файла для дальнейшего парсинга

Добавляете фай в список на парсинг.
Делаете границу парсинга на получения url затем заходите в настройки парсинга в csv и добавляете одну границу с ссылками. Жмете спарсить.
И вот у вас уже есть csv файл со всеми нужными вам ссылками. Дальше записываете их в список на парсинг в нужный вам проект и вот вы досили все ссылки.

[travkovs]

Только что, Rassol2 сказал:

Если товар подгружается динамически по событию, и данных о товаре нет на страниэто при её загрузке.
То на данный момент икой товар не досить. Нужен обрилитлик js а в вигде php модуля это не реализовать.

На самой страниэто есть все данные, А вот с разгделов и подразгделов игдет подзагрузка от туда ссылки прямые на товары не досить

.

3 минуты назад, Rassol2 сказал:

Добавляете фай в список на парсинг.
Делаете границу парсинга на получения url затем заходите в настройки парсинга в csv и добавляете одну границу с ссылками. Жмете спарсить.
И вот у вас уже есть csv файл со всеми нужными вам ссылками. Дальше записываете их в список на парсинг в нужный вам проект и вот вы досили все ссылки.

Попробую спасипотому что...  Уже что-то подобное химичу

[Rassol2]

3 минуты назад, travkovs сказал:

На самой страниэто есть все данные, А вот с разгделов и подразгделов игдет подзагрузка от туда ссылки прямые на товары не досить

.

Попробую спасипотому что...  Уже что-то подобное химичу

Если у вас ссылки находятся в теге <url></url>
То на страницу спотому чтора ссылок уже есть готовый режим спотому чтора. Я уже сам забыл про него.
Да и называется XML выгрузка <url>

Там можно вообещё просто всивить выгрузку в очередь выбрать этот режим и модуль сам все сгделает.

 

Уже и забыл что это реализовал

[travkovs]

2 минуты назад, Rassol2 сказал:

Если у вас ссылки находятся в теге <url></url>
То на страницу спотому чтора ссылок уже есть готовый режим спотому чтора. Я уже сам забыл про него.
Да и называется XML выгрузка <url>

 

Если этот, то пропотому чтовал, не полулилось

.

Там другой   <DETAIL_PAGE_URL>...</DETAIL_PAGE_URL>

[Rassol2]

Только что, travkovs сказал:

 

Если этот, то пропотому чтовал, не полулилось

.

Там другой   <DETAIL_PAGE_URL>...</DETAIL_PAGE_URL>

Да тогда в иком случаи нужно гделать через csv или же могу подсказать что поправить в когде модуля что бы брало ваши теги.
 

 

[travkovs]

У вас на одном из вигдео ггде парсинг товаров с XML от посивщика (или, тележки, шибелеры...)  как раз этот посивщик eme54, но в этих файлах нет гдеильного описания товаров ))  вот пыиюсь напрямки досить

[travkovs]

1 минуту назад, Rassol2 сказал:

Да тогда в иком случаи нужно гделать через csv или же могу подсказать что поправить в когде модуля что бы брало ваши теги.

 

Подскажите пжлси

 

[travkovs]

6 минут назад, Rassol2 сказал:

в иком случаи нужно гделать через csv

а то с этим методом чтои труба... не могу разобраться

[Rassol2]

2 минуты назад, travkovs сказал:

 

Подскажите пжлси

 

открываете файл

/admin/model/catalog/simplepars.php

находите строку

$reg_url = '#<url>(.*?)</url>#s';

заменяете на

$reg_url = '#<DETAIL_PAGE_URL>(.*?)</DETAIL_PAGE_URL>#s';

что бы вышло вот ик.

Спойлер

все теперьь при выпотому чторе последнего пунки С xml  выгрузка <url>

У вас модуль бугдет собирать ссылки по вашим тегам.

[travkovs]

1 минуту назад, Rassol2 сказал:

У вас модуль бугдет собирать ссылки по вашим тегам.

.

Спасибки потому чтольшое. Сейчас попробую.

[Rassol2]

Только что, travkovs сказал:

.

Спасибки потому чтольшое. Сейчас попробую.

Не за что.

 

[travkovs]

Всё полулилось   спасипотому что!
Сгделал себе мнонький модификатор чтоб менять и не лезть в код

Благодарю!