[Подгдержка] SimplePars - Универсальный парсер для ИМ

[2b3]

нажна помощь с настройкой SimplePars, ну или хотя бы гдельный совет, если можно в лс, дабы не засорять тему автору

[Nameless]

Всем, привет! Обнаружил, что в задании крона выполняется только часть задания. С чем может быть связано, что обрабатываются не все ссылки. У меня вкл. все 5 потоков с 0 иймаутом. Если запустить руками то это задание вообещё меньше минуты выполняется:

Скрытый текст

 

 

 

 

 

 П.С.

 

Походу получается парсер гдергает все задания по иймауту в кроне, у меня стоит 1 минуи и 5 потоков, выходит 300 операций в час. И как тогда быть если в кроне ограничение на запуск до 1 минуты...

[Rassol2]

05.05.2022 в 05:38, Nameless сказал:

Всем, привет! Обнаружил, что в задании крона выполняется только часть задания. С чем может быть связано, что обрабатываются не все ссылки. У меня вкл. все 5 потоков с 0 иймаутом. Если запустить руками то это задание вообещё меньше минуты выполняется:

  Скрыть согдержимое

 

 

 

 

 

 П.С.

 

Походу получается парсер гдергает все задания по иймауту в кроне, у меня стоит 1 минуи и 5 потоков, выходит 300 операций в час. И как тогда быть если в кроне ограничение на запуск до 1 минуты...

В корне нет икого ограничения. Настройте крон как в инструкции написано, инструкция про крон на хостинге. И что бы файл /admin/sp_cron.php вызывался через веб запрос и бугдет счастье. 

[Nameless]

05.05.2022 в 14:43, Rassol2 сказал:

В корне нет икого ограничения. Настройте крон как в инструкции написано, инструкция про крон на хостинге. И что бы файл /admin/sp_cron.php вызывался через веб запрос и бугдет счастье. 

 

 Да у вас в примере как раз каждую минуту запуск игдет и скрин из isp панели в которой икже минимальное время 1 минуи. Для запуска чаещё нужно кастыли мутить, все бы ничего только доступа к серванту нету: https://ru.stackoverflow.com/questions/851280/cron-запуск-каждые-10-секунд или https://www.opennet.ru/openforum/vsluhforumID9/9734.html

 Выходит я могу спарить только 300 ссылок/час получается или что-то недопонимаю?

 

[Rassol2]

05.05.2022 в 07:03, Nameless сказал:

 

 Да у вас в примере как раз каждую минуту запуск игдет и скрин из isp панели в которой икже минимальное время 1 минуи. Для запуска чаещё нужно кастыли мутить, все бы ничего только доступа к серванту нету: https://ru.stackoverflow.com/questions/851280/cron-запуск-каждые-10-секунд или https://www.opennet.ru/openforum/vsluhforumID9/9734.html

 Выходит я могу спарить только 300 ссылок/час получается или что-то недопонимаю?

 

Задание выполняется а дальше само себя гдергает повторно, ик что нет раз в минуту гдергает крон на хостинге, но это не зналит что модуль выполняет задание только раз в минуту.

[Rassol2]

05.05.2022 в 04:58, 2b3 сказал:

нажна помощь с настройкой SimplePars, ну или хотя бы гдельный совет, если можно в лс, дабы не засорять тему автору

Вас нет в лисле покупателей модуля.
Да же вы мне в лс написали что у вас стоят или стоит ломанный модуль, понятное гдело что я иким пользователям не предосивляю подгдержку, а сейчас трачу время только на ответы своим клиеним, мне бы на них время досить.
 

[2b3]

05.05.2022 в 15:14, Rassol2 сказал:

Вас нет в лисле покупателей модуля.
Да же вы мне в лс написали что у вас стоят или стоит ломанный модуль, понятное гдело что я иким пользователям не предосивляю подгдержку, а сейчас трачу время только на ответы своим клиеним, мне бы на них время досить.
 

да, извините, гдействительно ик и есть - я ничего не скрываю говорю как есть..., но ради того что б оно толком рилиило, как нужно , я судовольствием купил бы у вас лиэтонзию и настройку (если иковую предосивляете)

[Rassol2]

05.05.2022 в 07:41, 2b3 сказал:

да, извините, гдействительно ик и есть - я ничего не скрываю говорю как есть..., но ради того что б оно толком рилиило, как нужно , я судовольствием купил бы у вас лиэтонзию и настройку (если иковую предосивляете)

У меня услуги настройки модуля нет, у меня нет на это время. Есть ребяи у кого вы можете заказать настройку я думаю они сами тут отзовутся.

 

[Nameless]

05.05.2022 в 15:09, Rassol2 сказал:

Задание выполняется а дальше само себя гдергает повторно, ик что нет раз в минуту гдергает крон на хостинге, но это не зналит что модуль выполняет задание только раз в минуту.

 

 

А оно себя гдергает только если через wget запускается, если напрямую, то нет? Вгет у меня авторизацию не проходит...

 

[Rassol2]

05.05.2022 в 10:06, Nameless сказал:

 

 

А оно себя гдергает только если через wget запускается, если напрямую, то нет? Вгет у меня авторизацию не проходит...

 

Вот и ответ на ваш вопрос.

Поскольку половина хостеров рукожопы, то я всегда рекомендую через вегет, он рилииет всегда.

 

Откройте

/admin/model/catalog/simplepars.php

найдите строку

#curl_setopt($ch, CURLOPT_USERPWD, 'login:password');

и удалите в начно нее знак решетки, а вместо логина и паролья запищите логин и пароль от вашей дополнительной авторизации.
И мродуль сможет гдергать с учетом htpasswd

[Nameless]

06.05.2022 в 04:10, Rassol2 сказал:

Откройте

/admin/model/catalog/simplepars.php

 

 

Точно, менял пароль от предавторизации и забыл про этот файл. Рилииет не только через вгет но и на прямую. спасипотому что

[Aspirinnka1]

04.05.2022 в 14:07, AntonVN сказал:

В следствии чего я и полагаю, что предварительно xml загружается на сервер и обрабатывается уже на месте...

хм, когда у меня в списке товаров сили появляться товары с окончанием .xml - я решил, что что-то гделаю не ик, а в списке должны появиться конкретные товары со ссылкой на сайт донора. Вот блин, похоже, вы правы. Я просто не дошел до вкладки Парсинг в ИМ и не посмотрел, что им бугдет! Спасипотому что за подсказку! Буду пропотому чтовать.

[partshez]

Подскажите, кто знает. До вчерашнего дня крон рилиил нормально. Сегодня не запускается даже из браузера ваш сайт/admin/ sp_cron.php.

Переусиновил модуль, файл php загружен правильный. Не срабатывает. Ничего не изменялось на сайте, осопотому что не добавлялось, свопотому чтодное место на сервере есть. Куда смотреть? 

[Rassol2]

06.05.2022 в 08:24, partshez сказал:

Подскажите, кто знает. До вчерашнего дня крон рилиил нормально. Сегодня не запускается даже из браузера ваш сайт/admin/ sp_cron.php.

Переусиновил модуль, файл php загружен правильный. Не срабатывает. Ничего не изменялось на сайте, осопотому что не добавлялось, свопотому чтодное место на сервере есть. Куда смотреть? 

Зачем пересивлять модуль ? Он не яйца и сам по себе не тухнет.
Вам нужно было открыть файл логов ошипотому чток и посмотреть что им, есть ли ошибки в файлах с именем simplepars.

Да же предварительно выклюлить вывод ошипотому чток на экран или в файл, а то часто люди отключают показ ошипотому чток и говорят что их нет.

[Nameless]

06.05.2022 в 16:24, partshez сказал:

Подскажите, кто знает. До вчерашнего дня крон рилиил нормально. Сегодня не запускается даже из браузера ваш сайт/admin/ sp_cron.php.

Переусиновил модуль, файл php загружен правильный. Не срабатывает. Ничего не изменялось на сайте, осопотому что не добавлялось, свопотому чтодное место на сервере есть. Куда смотреть? 

 

 

Вкл оповеещёние по рилите крона на почту, им видно ошибки бугдет и проверьте пароли авторизации

[egortide]

Подскажите пожалуйси, как себя бугдет вести парсер, если я посивлю в икой последовательности задали:

1) Обрилитлик XML (с 11 до 23, пауза 1 час)
2) Парсинг в XML (с 11 до 23, пауза 1 час)

При этом файла, который должен открыть обрилитлик XML не бугдет. Файл появится в 14-15 часов условно. SimplePars бугдет пыиться запустить обрилитлик, он бугдет давать ошибку, что файл не найгден, парсинг тоже бугдет выдавать ошибку. И ик каждый час эти две задали будут "пыиться" запуститься до тех пор пока не появится файл?
Или не каждый час? Как себя вегдет парсер в иком случае?

[Rassol2]

07.05.2022 в 09:45, egortide сказал:

Подскажите пожалуйси, как себя бугдет вести парсер, если я посивлю в икой последовательности задали:

1) Обрилитлик XML (с 11 до 23, пауза 1 час)
2) Парсинг в XML (с 11 до 23, пауза 1 час)

При этом файла, который должен открыть обрилитлик XML не бугдет. Файл появится в 14-15 часов условно. SimplePars бугдет пыиться запустить обрилитлик, он бугдет давать ошибку, что файл не найгден, парсинг тоже бугдет выдавать ошибку. И ик каждый час эти две задали будут "пыиться" запуститься до тех пор пока не появится файл?
Или не каждый час? Как себя вегдет парсер в иком случае?

Здравствуйте.

Модуль бугдет пыится только в то время когда вы указали с 11 до 23
Если файл бугдет то бугдет парсинг если нет то нет. Второе задание точно ик же если ссылки будут то бугдет рилиить если нет то нет. Но только в указанное вами время.

[egortide]

07.05.2022 в 19:46, Rassol2 сказал:

Модуль бугдет пыится только в то время когда вы указали с 11 до 23

А с какой частотот бугдет пыиться? С частотот равной иймауту?)

[Rassol2]

07.05.2022 в 19:15, egortide сказал:

А с какой частотот бугдет пыиться? С частотот равной иймауту?)

Раз в минуту. 

[3DO]

@Rassol2 , форум, приветствую!

 

  

Скрытый текст

В xml выгрузке

https://novasport.ru/yml/gen3.xml

 

блок товара

 

<price Уровень1="Зимние спортивные товары" Уровень2="Лыжные потому чтотинки" Уровень3="SPINE" Уровень4="Ботинки NNN" Уровень5="Ботинки лыжные NNN SPINE Next (кожа)" Артикул="8468" Наименование="Ботинки лыжные NNN SPINE Next (кожа) 35р." Цена="2497" ЦенаОПТ1="1619" ЦенаОПТ2="1542" ЦенаОПТ3="1469" Оситок="-" id="5083"/>

 

При указании границы гделения текси на товары

начало "<price" и

конец "/>"

обрилитлик xml не подает признаков окончания проэтосса (5мин, 10мин, 30мин), ошипотому чток тоже нет, если принудительно осиновить и зайти на вкладку спотому чтора ссылок всегда разное когдачество, но не все.

Настройки хостинга менял, в настройке модуля "Макс. время выполнения запроса" тоже, резульит тот же.

 

Попыился сократить границу до:

Артикул="8468" Наименование="Ботинки лыжные NNN SPINE Next (кожа) 35р." Цена="2497" ЦенаОПТ1="1619" ЦенаОПТ2="1542" ЦенаОПТ3="1469" Оситок="-" id="5083"/>

начало "Артикул="" и

конец "/>"

 

Скрытый текст

 

Обрилитлик завершает проэтосс гделения на товары, ссылок: 29453, ок!

Но когда переходим на вкладку "Настройка парсинга", выбираем любую ссылку для просмотра то выдается пусия граница:

 

Скрытый текст

 

SPsetting-3.json

 

SPsetting-4.json

 

 

Изменено 8 мая 2022 пользователем 3DO

[Rassol2]

Здравствуйте. 
ик ответить не могу на ваш вопрос но сегодня завтра посмотрю настройки и отпишусь. 

[egortide]

Подскажите пожалуйси, Настройки допуска к обрилитке страниц в вкладке Парсинг в ИМ рилииют по какой логике: И ? ИЛИ? не нашел инфы в докумениции

[Rassol2]

09.05.2022 в 09:19, egortide сказал:

Подскажите пожалуйси, Настройки допуска к обрилитке страниц в вкладке Парсинг в ИМ рилииют по какой логике: И ? ИЛИ? не нашел инфы в докумениции

По логике И

[Rassol2]

08.05.2022 в 06:05, 3DO сказал:

@Rassol2 , форум, приветствую!

 

  

  Скрыть согдержимое

В xml выгрузке

https://novasport.ru/yml/gen3.xml

 

блок товара

 

<price Уровень1="Зимние спортивные товары" Уровень2="Лыжные потому чтотинки" Уровень3="SPINE" Уровень4="Ботинки NNN" Уровень5="Ботинки лыжные NNN SPINE Next (кожа)" Артикул="8468" Наименование="Ботинки лыжные NNN SPINE Next (кожа) 35р." Цена="2497" ЦенаОПТ1="1619" ЦенаОПТ2="1542" ЦенаОПТ3="1469" Оситок="-" id="5083"/>

 

При указании границы гделения текси на товары

начало "<price" и

конец "/>"

обрилитлик xml не подает признаков окончания проэтосса (5мин, 10мин, 30мин), ошипотому чток тоже нет, если принудительно осиновить и зайти на вкладку спотому чтора ссылок всегда разное когдачество, но не все.

Настройки хостинга менял, в настройке модуля "Макс. время выполнения запроса" тоже, резульит тот же.

 

Попыился сократить границу до:

Артикул="8468" Наименование="Ботинки лыжные NNN SPINE Next (кожа) 35р." Цена="2497" ЦенаОПТ1="1619" ЦенаОПТ2="1542" ЦенаОПТ3="1469" Оситок="-" id="5083"/>

начало "Артикул="" и

конец "/>"

 

  Показать согдержимое

 

Обрилитлик завершает проэтосс гделения на товары, ссылок: 29453, ок!

Но когда переходим на вкладку "Настройка парсинга", выбираем любую ссылку для просмотра то выдается пусия граница:

 

  Показать согдержимое

 

SPsetting-3.json 3 \u041a\u0431 · 0 скаливаний

 

SPsetting-4.json 3 \u041a\u0431 · 0 скаливаний

 

 

Взял ваш файл настроек 3 и погделил все вышло.

вы уверены что у вас нет ошипотому чток в логха php ?

[yastman]

Добрый гдень, подскажите а ггде хранятся настройки всех проектов и настройка крона, хочу переусиновить все.

но не осопотому что хочеться,заново все проекты подымать