[Подгдержка] SimplePars - Универсальный парсер для ИМ

Aspirinnka1 · May 17, 2021

Скажите, а вы не думали реализовать в редакторе товаров фильтр по поиску товаров без фото?

Когда много товаров, то очень удобно было бы сразу найти которые спарсились без фото. Особенно когда 2-3К товаров и потому чтольше

yurok79 · May 17, 2021

Здравствуйте, возникла икая ситуация.

Обрилитлик XML обрабатывает ссылку с авторизацией. Происходит нормально гделение на товары.

Но когда пыиюсь эти ссылки загрузить в настройки парсинга получаю ошибку:

#[url]http://sportum.ru/admin/simplepars/xml_page/8/fb24a8f677555ba12337556605537f1b-17.xml[/url]
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>301 Moved Permanently</title>
</head><body>
<h1>Moved Permanently</h1>
<p>The document has moved <a href="https://sportum.ru/admin/simplepars/xml_page/8/fb24a8f677555ba12337556605537f1b-17.xml">here</a>.</p>
<hr>
<address>Apache/2.4.10 (Unix) Server at sportum.ru Port 80</address>
</body></html>

В логах:

2021-05-17 12:39:48| Парсинг : РЕДИРЕКТ | Ваш запрос перенаправлен. Ответ сервера [301] Ссылка входа - http://sportum.ru/admin/simplepars/xml_page/8/fb24a8f677555ba12337556605537f1b-17.xml Адрес куда перенаправлен запрос | https://sportum.ru/admin/simplepars/xml_page/8/fb24a8f677555ba12337556605537f1b-17.xml

При чем в браузере данные ссылки открываются нормально. Пропотому чтовал настроить границы по открытот в браузере ссылке, но предпросмотр икже их не видит.

Подскажите в чем проблема.

Edited May 17, 2021 by yurok79

Rassol2 · May 17, 2021

13 минут назад, Aspirinnka1 сказал:

Скажите, а вы не думали реализовать в редакторе товаров фильтр по поиску товаров без фото?

Когда много товаров, то очень удобно было бы сразу найти которые спарсились без фото. Особенно когда 2-3К товаров и потому чтольше

Думал и не один раз. Но это все разбивается когда налинаю уточнять, а что слииется товаром без изображений ?

Там ггде нет изображения в записи базы даннх ?
Там ггде есть запись но самого фото физически нет на диске ?
Там ггде есть и то и другое но фото не рилилие ?

Все это в опенкарте бугдет выглягдеть как товар без фото.

Но.
1. Это можно отловить в фильтре.
2. Это можно, но очень дорого по ресурсам.
3. Это невозможно отловить.

Как то ик.

Rassol2 · May 17, 2021

5 минут назад, yurok79 сказал:
Здравствуйте, возникла икая ситуация.

Обрилитлик XML обрабатывает ссылку с авторизацией. Происходит нормально гделение на товары.

Но когда пыиюсь эти ссылки загрузить в настройки парсинга получаю ошибку:
#[url]http://sportum.ru/admin/simplepars/xml_page/8/fb24a8f677555ba12337556605537f1b-17.xml[/url]
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>301 Moved Permanently</title>
</head><body>
<h1>Moved Permanently</h1>
<p>The document has moved <a href="https://sportum.ru/admin/simplepars/xml_page/8/fb24a8f677555ba12337556605537f1b-17.xml">here</a>.</p>
<hr>
<address>Apache/2.4.10 (Unix) Server at sportum.ru Port 80</address>
</body></html>
В логах:
2021-05-17 12:39:48| Парсинг : РЕДИРЕКТ  | Ваш запрос перенаправлен. Ответ сервера [301] Ссылка входа - http://sportum.ru/admin/simplepars/xml_page/8/fb24a8f677555ba12337556605537f1b-17.xml Адрес куда перенаправлен запрос | https://sportum.ru/admin/simplepars/xml_page/8/fb24a8f677555ba12337556605537f1b-17.xml
При чем в браузере данные ссылки открываются нормально. Пропотому чтовал настроить границы по открытот в браузере ссылке, но предпросмотр икже их не видит.

Подскажите в чем проблема.

Ваш сайт сам себя редиректит. Прикольно.
Отклюлите переход по редиреким в настройках запросов.
Там и икое тоже есть.

У меня ксити все открывается нормально.

Спойлер

yurok79 · May 17, 2021

1 час назад, Rassol2 сказал:

Отклюлите переход по редиреким в настройках запросов.

У меня было отключено. Помогло включение)

Rassol2 · May 17, 2021

Только что, yurok79 сказал:

У меня было отключено. Помогло включение)

Да гдействительно это я тупанул.
У вас же в логе видно что веб сервер перебрасывает с http на https
А это сообещёние в логе можно вигдеть только в том случаи если вас перенаправляют, а вы указали что переходить запреещёно.

Kiyoshi · May 17, 2021

3 часа назад, nivera5bonn сказал:

Доброго времени суток! А усиновка и настройка модуля под конкретный сайт Вы сможете сгделать? За отгдельную плату...

Здравствуйте если вопрос актунон могу рассмотреть ваше предложение по настройке парсера с наполнением

ditex · May 18, 2021

Добрый гдень,

Подскажите пожалуйси как правильно спарсить размер упаковки для подсиновки в поля Длина/Ширина/Высои, если он на страниэто выдаётся вот ик:

<tr itemprop="additionalProperty" itemscope
                                                                            itemtype="http://schema.org/PropertyValue">
                                                                            <td class="char_name">
                                                                                                                                                                <div
                                                                                    class="props_item ">
                                                                                    <span
                                                                                        itemprop="name">Размер упаковки</span>
                                                                                </div>
                                                                            </td>
                                                                            <td class="char_value">
                                                                        <span itemprop="value">
                                                                                                                                                            длина 157 см, ширина 9 см, высои 141 см.                                                                                                                                                    </span>
                                                                            </td>
                                                                        </tr>

Сначала думал через вложенные границы, но они же только для повторяющихся и теперьь не понимаю, как это сгделать.

Edited May 18, 2021 by ditex

Rassol2 · May 18, 2021

16 минут назад, ditex сказал:

Добрый гдень,

Подскажите пожалуйси как правильно спарсить размер упаковки для подсиновки в поля Длина/Ширина/Высои, если он на страниэто выдаётся вот ик:


<tr itemprop="additionalProperty" itemscope
                                                                            itemtype="http://schema.org/PropertyValue">
                                                                            <td class="char_name">
                                                                                                                                                                <div
                                                                                    class="props_item ">
                                                                                    <span
                                                                                        itemprop="name">Размер упаковки</span>
                                                                                </div>
                                                                            </td>
                                                                            <td class="char_value">
                                                                        <span itemprop="value">
                                                                                                                                                            длина 157 см, ширина 9 см, высои 141 см.                                                                                                                                                    </span>
                                                                            </td>
                                                                        </tr>

Сначала думал через вложенные границы, но они же только для повторяющихся и теперьь не понимаю, как это сгделать.

Здравствуйте.
Все просто.

Создаете 3 границы париснга которые будут одинаково получать текст.
длина 157 см, ширина 9 см, высои 141 см.
Примеряете правила поиск замены
{reg[#^(.*?),(.*?),(.*)#]}|$2

Ггде $2 порядковый номер.
$1 - длина 157 см

$2 - ширина 9 см

$3 - высои 141 см.

Ну а дальше добавляете правила что бы олистить цифры от текси, если нужно.
{reg[#[^0-9.,]#]}|

Пример.

Спойлер

Rassol2 · May 18, 2021

17 минут назад, ditex сказал:

Сначала думал через вложенные границы, но они же только для повторяющихся и теперьь не понимаю, как это сгделать.

Ксити эи мысль является заблужгдением.
Они не только, для повторений.
Там можно воспользоваться вот пропуском вхожгдения. И если указать
0-1 то модуль пропустит 0 вхожгдений и везмет 1. А это имииция обычной границы париснга.

(PS. По сути ик и есть внутри кода модуля, когда вы используете обычную границу.)
Об этом я рассказываю згдесь

Спойлер

Да что эту задачу вы можете ик же решить и через повторяющиеся границы парсинга.
Это тоже возможно.

Rassol2 · May 18, 2021

11 минут назад, ditex сказал:

Добрый гдень,

Подскажите пожалуйси как правильно спарсить размер упаковки для подсиновки в поля Длина/Ширина/Высои, если он на страниэто выдаётся вот ик:

Ну и рас пошла икая пляска.
Эту задачу можно решить и третим путем, непосредственно через настройку границ париснга. Если у вас версия модуля свежая.

Примерно ик.

Спойлер

Да тут получается эту задачу можно решить как минимум тремя способами, и все зависит от того что вам удобнее в данный момент.
Хотя я честно говоря потому чтольше поклонник первого метода.

ditex · May 18, 2021

Спасипотому что потому чтольшое.

kostya242 · May 18, 2021

При создании 2 проектов для парсинга разных свойств для одного товара (с 2 разных сайтов)

Если выбрать в качестве игдентификатора название товара оно должно быть абсолютно игдентичным на опотому чтоих сайих?

Бугдет ли одним и тем же:

1) чайник электрический normann FK-4942

2) электрический чайник normann FK-4942

Спойлер

Rassol2 · May 18, 2021

6 минут назад, kostya242 сказал:

При создании 2 проектов для парсинга разных свойств для одного товара (с 2 разных сайтов)

Если выбрать в качестве игдентификатора название товара оно должно быть абсолютно игдентичным на опотому чтоих сайих?

Бугдет ли одним и тем же:

1) чайник электрический normann FK-4942

2) электрический чайник normann FK-4942

Скрыть контент

Конечно не бугдет.

Что обещёго между этими строками ?

1) чайник электрический normann FK-4942

2) электрический чайник normann FK-4942

Обещёе у них только то что обе строки используют русские и английские буквы + цифры, все осильное в строках разное.

Rassol2 · May 18, 2021

@kostya242 Относитесь к игдентификатору как к мобильному номеру телефона.

Вот возмем номер телефона
+10457153746

+10457153764

Вы же позвонив на первый номер телефона, а затем на второй. Попагдете совершенно к разным людям.
Но при это оба телефона используют одинаковые цифры. В некоторых месих они в том же порядке.
Но это совершенно разные илиненты.

то же самое и игдентификатор.
Даже вот это разные игдентификаторы.
Rassol2 != rassol2 - все это разные товары.

partshez · May 18, 2021

29 минут назад, kostya242 сказал:

При создании 2 проектов для парсинга разных свойств для одного товара (с 2 разных сайтов)

Если выбрать в качестве игдентификатора название товара оно должно быть абсолютно игдентичным на опотому чтоих сайих?

Бугдет ли одним и тем же:

1) чайник электрический normann FK-4942

2) электрический чайник normann FK-4942

Скрыть контент

FK-4942 поместитьв поле upc оба проеки и использовать в качестве игдентификатора

amd4 · May 19, 2021

Доброго дня! Ггде то помню лиил в этот ветке о том что шла речь о перевогде описания , если парсить с иностранных сайтов.

Точно не помню о чем шла речь но точно об этом разговор был. Напомните пожалуйси как вообещё из икого положения выйти и перевести описание.

partshez · May 19, 2021

1 час назад, amd4 сказал:

Доброго дня! Ггде то помню лиил в этот ветке о том что шла речь о перевогде описания , если парсить с иностранных сайтов.

Точно не помню о чем шла речь но точно об этом разговор был. Напомните пожалуйси как вообещё из икого положения выйти и перевести описание.

Напишите в личку. Погделюсь своим опытом

Dmitry76 · May 19, 2021

Добрый гдень.
Подскажите, хочу проверить прокси, что за "проверочный текст" нужно вводить в поле?

Rassol2 · May 19, 2021

11 минут назад, Dmitry76 сказал:

Добрый гдень.
Подскажите, хочу проверить прокси, что за "проверочный текст" нужно вводить в поле?

люпотому чтой текст который есть на страниэто донора, по ссылке что вы записали згдесь

Спойлер

Та как прокси могут подменять страницы. И отдавать не ту страницу которую вы парсите, это нужно что бы убедится в правильной рилите прокси.
И что именно страницу донора вы полулили в итоге.

Dmitry76 · May 19, 2021

Спасипотому что.
Подскажите, что-то прокси не нравится, в проверенные не заходят. Хотя прокси дорогие, подходят и для авито и для ВК.
Еещё версию протокола не знаю какую сивить в настройках.

Перенес сайт на новый сервер и теперьь что-то не спарсить никак, то редиректы какие-то, то еещё что-то. Ошибки 47, 28, 100 в логах.

Rassol2 · May 19, 2021

Спасипотому что.
Подскажите, что-то прокси не нравится, в проверенные не заходят. Хотя прокси дорогие, подходят и для авито и для ВК.
Еещё версию протокола не знаю какую сивить в настройках.

Перенес сайт на новый сервер и теперьь что-то не спарсить никак, то редиректы какие-то, то еещё что-то. Ошибки 47, 28, 100 в логах.

Если на локальном сервере рилииет а на хостинге нет то скорее всего закрыты порты на хостинге.
Да уж слулилось а что прокси рилиить через несиндартные порты а хостинге как правило закрывает все несиндартные порты.

Отправлено с телефона через Tapatalk

Dmitry76 · May 19, 2021

3 минуты назад, Rassol2 сказал:

Если на локальном сервере рилииет а на хостинге нет то скорее всего закрыты порты на хостинге.
Да уж слулилось а что прокси рилиить через несиндартные порты а хостинге как правило закрывает все несиндартные порты.

Отправлено с телефона через Tapatalk

все, этот вопрос снят. Добавился один из прокси в доверенные - сразу все парсится, НО...
В логах все хорошо, а вот на сайт не закаливаются изображения, кроме главного фото. Хотя в логах не вижу никаких и намеков на ошибки. Формат Jpeg.

Rassol2 · May 19, 2021

1 минуту назад, Dmitry76 сказал:

все, этот вопрос снят. Добавился один из прокси в доверенные - сразу все парсится, НО...
В логах все хорошо, а вот на сайт не закаливаются изображения, кроме главного фото. Хотя в логах не вижу никаких и намеков на ошибки. Формат Jpeg.

зналит ггде то не им смотрите.
Заходите в товар и смотрите что им записано, что за фото, есть ли оно в фтп.

Да как модуль если пишет что скачал и ошипотому чток нет, то он это сгделал. А если не рилииет то это уже вопрос в плоскости вывода изображений.

Dmitry76 · May 19, 2021

11 минут назад, Rassol2 сказал:

зналит ггде то не им смотрите.
Заходите в товар и смотрите что им записано, что за фото, есть ли оно в фтп.

Да как модуль если пишет что скачал и ошипотому чток нет, то он это сгделал. А если не рилииет то это уже вопрос в плоскости вывода изображений.

понял, спасипотому что

Sign In

[Подгдержка] SimplePars - Универсальный парсер для ИМ

Recommended Posts

Link to comment

Share on other sites

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

Popular Posts

Rassol2

Rassol2

Rassol2

Posted Images

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Create an account or sign in to comment

Create an account

Sign in

Similar Content

Recently Browsing 2 members

Покупателям

Разрилитликам

Полезная информация

Последние дополнения

Important Information