[Поддержка] SimplePars - Универсальный парсер для ИМ

[2b3]

нажна помощь с настройкой SimplePars, ну или хотя бы дельный совет, если можно в лс, дабы не засорять тему автору

[Nameless]

Всем, привет! Обнаружил, что в задании крона выполняется только часть задания. С чем может быть связано, что обрабатываются не все ссылки. У меня вкл. все 5 потоков с 0 таймаутом. Если запустить руками то это задание вообще меньше минуты выполняется:

Скрытый текст

 

 

 

 

 

 П.С.

 

Походу получается парсер дергает все задания по таймауту в кроне, у меня стоит 1 минута и 5 потоков, выходит 300 операций в час. И как тогда быть если в кроне ограничение на запуск до 1 минуты...

[Rassol2]

05.05.2022 в 05:38, Nameless сказал:

Всем, привет! Обнаружил, что в задании крона выполняется только часть задания. С чем может быть связано, что обрабатываются не все ссылки. У меня вкл. все 5 потоков с 0 таймаутом. Если запустить руками то это задание вообще меньше минуты выполняется:

  Скрыть содержимое

 

 

 

 

 

 П.С.

 

Походу получается парсер дергает все задания по таймауту в кроне, у меня стоит 1 минута и 5 потоков, выходит 300 операций в час. И как тогда быть если в кроне ограничение на запуск до 1 минуты...

В корне нет такого ограничения. Настройте крон как в инструкции написано, инструкция про крон на хостинге. И что бы файл /admin/sp_cron.php вызывался через веб запрос и будет счастье. 

[Nameless]

05.05.2022 в 14:43, Rassol2 сказал:

В корне нет такого ограничения. Настройте крон как в инструкции написано, инструкция про крон на хостинге. И что бы файл /admin/sp_cron.php вызывался через веб запрос и будет счастье. 

 

 Так у вас в примере как раз каждую минуту запуск идет и скрин из isp панели в которой также минимальное время 1 минута. Для запуска чаще нужно кастыли мутить, все бы ничего только доступа к серванту нету: https://ru.stackoverflow.com/questions/851280/cron-запуск-каждые-10-секунд или https://www.opennet.ru/openforum/vsluhforumID9/9734.html

 Выходит я могу спарить только 300 ссылок/час получается или что-то недопонимаю?

 

[Rassol2]

05.05.2022 в 07:03, Nameless сказал:

 

 Так у вас в примере как раз каждую минуту запуск идет и скрин из isp панели в которой также минимальное время 1 минута. Для запуска чаще нужно кастыли мутить, все бы ничего только доступа к серванту нету: https://ru.stackoverflow.com/questions/851280/cron-запуск-каждые-10-секунд или https://www.opennet.ru/openforum/vsluhforumID9/9734.html

 Выходит я могу спарить только 300 ссылок/час получается или что-то недопонимаю?

 

Задание выполняется а дальше само себя дергает повторно, так что нет раз в минуту дергает крон на хостинге, но это не значит что модуль выполняет задание только раз в минуту.

[Rassol2]

05.05.2022 в 04:58, 2b3 сказал:

нажна помощь с настройкой SimplePars, ну или хотя бы дельный совет, если можно в лс, дабы не засорять тему автору

Вас нет в числе покупателей модуля.
Так же вы мне в лс написали что у вас стоят или стоит ломанный модуль, понятное дело что я таким пользователям не предоставляю поддержку, а сейчас трачу время только на ответы своим клиентам, мне бы на них время достать.
 

[2b3]

05.05.2022 в 15:14, Rassol2 сказал:

Вас нет в числе покупателей модуля.
Так же вы мне в лс написали что у вас стоят или стоит ломанный модуль, понятное дело что я таким пользователям не предоставляю поддержку, а сейчас трачу время только на ответы своим клиентам, мне бы на них время достать.
 

да, извините, действительно так и есть - я ничего не скрываю говорю как есть..., но ради того что б оно толком работало, как нужно , я судовольствием купил бы у вас лицензию и настройку (если таковую предоставляете)

[Rassol2]

05.05.2022 в 07:41, 2b3 сказал:

да, извините, действительно так и есть - я ничего не скрываю говорю как есть..., но ради того что б оно толком работало, как нужно , я судовольствием купил бы у вас лицензию и настройку (если таковую предоставляете)

У меня услуги настройки модуля нет, у меня нет на это время. Есть ребята у кого вы можете заказать настройку я думаю они сами тут отзовутся.

 

[Nameless]

05.05.2022 в 15:09, Rassol2 сказал:

Задание выполняется а дальше само себя дергает повторно, так что нет раз в минуту дергает крон на хостинге, но это не значит что модуль выполняет задание только раз в минуту.

 

 

А оно себя дергает только если через wget запускается, если напрямую, то нет? Вгет у меня авторизацию не проходит...

 

[Rassol2]

05.05.2022 в 10:06, Nameless сказал:

 

 

А оно себя дергает только если через wget запускается, если напрямую, то нет? Вгет у меня авторизацию не проходит...

 

Вот и ответ на ваш вопрос.

Поскольку половина хостеров рукожопы, то я всегда рекомендую через вегет, он работает всегда.

 

Откройте

/admin/model/catalog/simplepars.php

найдите строку

#curl_setopt($ch, CURLOPT_USERPWD, 'login:password');

и удалите в начале нее знак решетки, а вместо логина и паролья запищите логин и пароль от вашей дополнительной авторизации.
И мродуль сможет дергать с учетом htpasswd

[Nameless]

06.05.2022 в 04:10, Rassol2 сказал:

Откройте

/admin/model/catalog/simplepars.php

 

 

Точно, менял пароль от предавторизации и забыл про этот файл. Работает не только через вгет но и на прямую. спасибо

[Aspirinnka1]

04.05.2022 в 14:07, AntonVN сказал:

В следствии чего я и полагаю, что предварительно xml загружается на сервер и обрабатывается уже на месте...

хм, когда у меня в списке товаров стали появляться товары с окончанием .xml - я решил, что что-то делаю не так, а в списке должны появиться конкретные товары со ссылкой на сайт донора. Вот блин, похоже, вы правы. Я просто не дошел до вкладки Парсинг в ИМ и не посмотрел, что там будет! Спасибо за подсказку! Буду пробовать.

[partshez]

Подскажите, кто знает. До вчерашнего дня крон работал нормально. Сегодня не запускается даже из браузера ваш сайт/admin/ sp_cron.php.

Переустановил модуль, файл php загружен правильный. Не срабатывает. Ничего не изменялось на сайте, особо не добавлялось, свободное место на сервере есть. Куда смотреть? 

[Rassol2]

06.05.2022 в 08:24, partshez сказал:

Подскажите, кто знает. До вчерашнего дня крон работал нормально. Сегодня не запускается даже из браузера ваш сайт/admin/ sp_cron.php.

Переустановил модуль, файл php загружен правильный. Не срабатывает. Ничего не изменялось на сайте, особо не добавлялось, свободное место на сервере есть. Куда смотреть? 

Зачем переставлять модуль ? Он не яйца и сам по себе не тухнет.
Вам нужно было открыть файл логов ошибок и посмотреть что там, есть ли ошибки в файлах с именем simplepars.

Так же предварительно выключить вывод ошибок на экран или в файл, а то часто люди отключают показ ошибок и говорят что их нет.

[Nameless]

06.05.2022 в 16:24, partshez сказал:

Подскажите, кто знает. До вчерашнего дня крон работал нормально. Сегодня не запускается даже из браузера ваш сайт/admin/ sp_cron.php.

Переустановил модуль, файл php загружен правильный. Не срабатывает. Ничего не изменялось на сайте, особо не добавлялось, свободное место на сервере есть. Куда смотреть? 

 

 

Вкл оповещение по работе крона на почту, там видно ошибки будет и проверьте пароли авторизации

[egortide]

Подскажите пожалуйста, как себя будет вести парсер, если я поставлю в такой последовательности задачи:

1) Обработчик XML (с 11 до 23, пауза 1 час)
2) Парсинг в XML (с 11 до 23, пауза 1 час)

При этом файла, который должен открыть обработчик XML не будет. Файл появится в 14-15 часов условно. SimplePars будет пытаться запустить обработчик, он будет давать ошибку, что файл не найден, парсинг тоже будет выдавать ошибку. И так каждый час эти две задачи будут "пытаться" запуститься до тех пор пока не появится файл?
Или не каждый час? Как себя ведет парсер в таком случае?

[Rassol2]

07.05.2022 в 09:45, egortide сказал:

Подскажите пожалуйста, как себя будет вести парсер, если я поставлю в такой последовательности задачи:

1) Обработчик XML (с 11 до 23, пауза 1 час)
2) Парсинг в XML (с 11 до 23, пауза 1 час)

При этом файла, который должен открыть обработчик XML не будет. Файл появится в 14-15 часов условно. SimplePars будет пытаться запустить обработчик, он будет давать ошибку, что файл не найден, парсинг тоже будет выдавать ошибку. И так каждый час эти две задачи будут "пытаться" запуститься до тех пор пока не появится файл?
Или не каждый час? Как себя ведет парсер в таком случае?

Здравствуйте.

Модуль будет пытатся только в то время когда вы указали с 11 до 23
Если файл будет то будет парсинг если нет то нет. Второе задание точно так же если ссылки будут то будет работать если нет то нет. Но только в указанное вами время.

[egortide]

07.05.2022 в 19:46, Rassol2 сказал:

Модуль будет пытатся только в то время когда вы указали с 11 до 23

А с какой частотой будет пытаться? С частотой равной таймауту?)

[Rassol2]

07.05.2022 в 19:15, egortide сказал:

А с какой частотой будет пытаться? С частотой равной таймауту?)

Раз в минуту. 

[3DO]

@Rassol2 , форум, приветствую!

 

  

Скрытый текст

В xml выгрузке

https://novasport.ru/yml/gen3.xml

 

блок товара

 

<price Уровень1="Зимние спортивные товары" Уровень2="Лыжные ботинки" Уровень3="SPINE" Уровень4="Ботинки NNN" Уровень5="Ботинки лыжные NNN SPINE Next (кожа)" Артикул="8468" Наименование="Ботинки лыжные NNN SPINE Next (кожа) 35р." Цена="2497" ЦенаОПТ1="1619" ЦенаОПТ2="1542" ЦенаОПТ3="1469" Остаток="-" id="5083"/>

 

При указании границы деления текста на товары

начало "<price" и

конец "/>"

обработчик xml не подает признаков окончания процесса (5мин, 10мин, 30мин), ошибок тоже нет, если принудительно остановить и зайти на вкладку сбора ссылок всегда разное количество, но не все.

Настройки хостинга менял, в настройке модуля "Макс. время выполнения запроса" тоже, результат тот же.

 

Попытался сократить границу до:

Артикул="8468" Наименование="Ботинки лыжные NNN SPINE Next (кожа) 35р." Цена="2497" ЦенаОПТ1="1619" ЦенаОПТ2="1542" ЦенаОПТ3="1469" Остаток="-" id="5083"/>

начало "Артикул="" и

конец "/>"

 

Скрытый текст

 

Обработчик завершает процесс деления на товары, ссылок: 29453, ок!

Но когда переходим на вкладку "Настройка парсинга", выбираем любую ссылку для просмотра то выдается пустая граница:

 

Скрытый текст

 

SPsetting-3.json

 

SPsetting-4.json

 

 

Изменено 8 мая 2022 пользователем 3DO

[Rassol2]

Здравствуйте. 
так ответить не могу на ваш вопрос но сегодня завтра посмотрю настройки и отпишусь. 

[egortide]

Подскажите пожалуйста, Настройки допуска к обработке страниц в вкладке Парсинг в ИМ работают по какой логике: И ? ИЛИ? не нашел инфы в документации

[Rassol2]

09.05.2022 в 09:19, egortide сказал:

Подскажите пожалуйста, Настройки допуска к обработке страниц в вкладке Парсинг в ИМ работают по какой логике: И ? ИЛИ? не нашел инфы в документации

По логике И

[Rassol2]

08.05.2022 в 06:05, 3DO сказал:

@Rassol2 , форум, приветствую!

 

  

  Скрыть содержимое

В xml выгрузке

https://novasport.ru/yml/gen3.xml

 

блок товара

 

<price Уровень1="Зимние спортивные товары" Уровень2="Лыжные ботинки" Уровень3="SPINE" Уровень4="Ботинки NNN" Уровень5="Ботинки лыжные NNN SPINE Next (кожа)" Артикул="8468" Наименование="Ботинки лыжные NNN SPINE Next (кожа) 35р." Цена="2497" ЦенаОПТ1="1619" ЦенаОПТ2="1542" ЦенаОПТ3="1469" Остаток="-" id="5083"/>

 

При указании границы деления текста на товары

начало "<price" и

конец "/>"

обработчик xml не подает признаков окончания процесса (5мин, 10мин, 30мин), ошибок тоже нет, если принудительно остановить и зайти на вкладку сбора ссылок всегда разное количество, но не все.

Настройки хостинга менял, в настройке модуля "Макс. время выполнения запроса" тоже, результат тот же.

 

Попытался сократить границу до:

Артикул="8468" Наименование="Ботинки лыжные NNN SPINE Next (кожа) 35р." Цена="2497" ЦенаОПТ1="1619" ЦенаОПТ2="1542" ЦенаОПТ3="1469" Остаток="-" id="5083"/>

начало "Артикул="" и

конец "/>"

 

  Показать содержимое

 

Обработчик завершает процесс деления на товары, ссылок: 29453, ок!

Но когда переходим на вкладку "Настройка парсинга", выбираем любую ссылку для просмотра то выдается пустая граница:

 

  Показать содержимое

 

SPsetting-3.json 3 \u041a\u0431 · 0 скачиваний

 

SPsetting-4.json 3 \u041a\u0431 · 0 скачиваний

 

 

Взял ваш файл настроек 3 и поделил все вышло.

вы уверены что у вас нет ошибок в логха php ?

[yastman]

Добрый день, подскажите а где хранятся настройки всех проектов и настройка крона, хочу переустановить все.

но не особо хочеться,заново все проекты подымать