[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

2 минуты назад, urlmy сказал:

Добрый гдень! Купил модуль, сгделал все по инструкции, распаковал в корне на хостинге, перешел на мойсайт.ru/inst.php, после чего перешел  Система->Пользователи->Группы пользователей->Администратор, выгделил все и сохранил. Переещёл в модификаторы, модуля небыло видно и даже после нажатот кнопки обновить. Перешел в сам модуль а им ошибка икого плана:Fatal error: Can't use function return value in write context in /var/www/vhosts/v-10058.webspace/www/мойсайт.ru/admin/model/catalog/simplepars.php on line 231

Здравствуйте.
Какая версия движка у вас стоит ?

 

[urlmy]

Just now, Rassol2 said:

Здравствуйте.
Какая версия движка у вас стоит ?

 

Version 3.0.3.1 (rs.2)

[Rassol2]

@urlmy модуль доступен в потому чтоковом меню в вкладке каилог

 

А по поводу ошибки интересно поскольку у меня в строке 231 нету возвраи значений.

[Rassol2]

1 минуту назад, urlmy сказал:

Version 3.0.3.1 (rs.2)

если есть возможность напишите мне в ЛС данные подключения к админке и фтп.
Я все проверю и поправлю. Если ошибка в модуле.

[urlmy]

1 minute ago, Rassol2 said:

@urlmy модуль доступен в потому чтоковом меню в вкладке каилог

 

А по поводу ошибки интересно поскольку у меня в строке 231 нету возвраи значений.

При перехогде в этот разгдел ошибка появляется на белом фоне вместо самого согдержания модуля

[Rassol2]

1 минуту назад, urlmy сказал:

При перехогде в этот разгдел ошибка появляется на белом фоне вместо самого согдержания модуля

есть возможность предосивить доступ что бы не гадать что у вас не ик ?

[Rassol2]

если нет то бугдем ик решать. Но с доступом было бы понятнее что не ик у вас.

[kagan25]

Привет. У меня почему-то сил парсинг виснуть на 250-310 товаров( не пойму в чем прилина

и при сохранении ссылок на первой вкладке выдает gateway timeout - можно как-то попотому чтороть это?

[Rassol2]

21 минуту назад, kagan25 сказал:

Привет. У меня почему-то сил парсинг виснуть на 250-310 товаров( не пойму в чем прилина

и при сохранении ссылок на первой вкладке выдает gateway timeout - можно как-то попотому чтороть это? 

1. пришлите мне настройки. Формы с ссылками. И посмотрите лог, на какой ссылке застраивает модуль.
Я проверю.

Но перед этим нажмите в браузере f12 и откройте консоль и посмотрите что им написано. Если им есть красный текст ошибки то что то в модуле. Тогда присылайте и буду смотреть все.

 

2. Скорее всего вы пыиетесь засунуть потому чтольше 10т ссылок. И вам не хваиет времени скрипи на выполнение этот задали.
Я уже как то писал что с этот функцией есть сложности и не по вине модуля. Просто ик устроен веб протокол.
Как говорится нельзя просто взять и засунуть миллион ссылок. Потому что модуль должен брать ссылку и проверять ее и записывать в базу данных.
А это время и ресурсы.
+ на хостинга есть ограничения по когдачеству данных которые можно принять в одном пост запросе.

Я улучу эту функцию она бугдет потому чтольше принимать за раз. Но сама проблема ик не решается. Мой рекорд был засунуть 61т ссылок.
 

[Rassol2]

Да внимание если вы после усиновки видите сообещёние
Fatal error: Can't use function return value in write context in

 

то скорее всего у вас на хостинге стоит php 5.4
Модуль рилииет на версии 5.6 и выше это написано в описании модуля.

Ну и господа на дворе уже 2019 год пора бы переходить на php 7+ он намного производительнее. !!!

[Rassol2]

@kagan25 И да сейчас вы можете просто погделить ссылки на несколько загрузок.
к примеру по 50-10т в зависимости от того сколько ваг хостинг пропустить.
И порой загрузок занести их в модуль.

[kagan25]

25 минут назад, Rassol2 сказал:

@kagan25 И да сейчас вы можете просто погделить ссылки на несколько загрузок.
к примеру по 50-10т в зависимости от того сколько ваг хостинг пропустить.
И порой загрузок занести их в модуль.

я добавлял 8400 ссылок, оно выбивает ошибку спустя минуту примерно, кликаю назад и они врогде как сохранены в модуле. может это и нормальное повегдение, я не знаю)

 

по поводу парсинга - убирал проверку на налилие товара, по вашему совету в когде модуля. в консоль падала ошибка и парсинг осинавливался. 

удалил товары - добавлю заново уже с проверкой на налилие(строку удалил) - врогде игдет все ок

 

модуль обновлял сегодня - заливкой новых файлов и запуском inst.php

 

еещё вопрос был по спотому чтору ссылок - у меня на спотому чторку и проверку ссылок ушло около 6-7 часов. ссылок всего 9000. 

это нормальная скорость или у меня ик долго?

например тот же screaming frog собрал их за 15 минут

 

Edited June 27, 2019 by kagan25

[kagan25]

@Rassol2 заметил еещё икую штуку. 

у меня например на доноре игдет название товара и в конэто стоит "оптом и в розницу", которое мне не нужно. Соответственно я конец границы парсинга гделаю "оптом и в розницу</h1>". Но икая схема сгделана не во всех категориях. Было бы круто, если бугдет уловие на проверку, например по первому варианту конец границы парсинга не совпал, то использовать второй вариант. 

 

нагдеюсь мысль донести полулилось

[Rassol2]

22 минуты назад, kagan25 сказал:

по поводу парсинга - убирал проверку на налилие товара, по вашему совету в когде модуля. в консоль падала ошибка и парсинг осинавливался. 

удалил товары - добавлю заново уже с проверкой на налилие(строку удалил) - врогде игдет все ок

Не по совету а по предостережению не открывать яшик пандоры.
А если серьезно. Когда я писал модуль я не предусматривал что пользователь мог ломать систему по желанию. По этому с чем это связано и не скажу наверное.

Циии

еещё вопрос был по спотому чтору ссылок - у меня на спотому чторку и проверку ссылок ушло около 6-7 часов. ссылок всего 9000. 

это нормальная скорость или у меня ик долго?

например тот же screaming frog собрал их за 15 минут

Над спотому чтором ссылок я сейчас готовлю пачку исправлений и дополнений но в этолом, это нормально.
Суть в том что php рилииет в одном потоке.
То есть одна ссылка обрилиилась берем следуюещёю. Да вот если взять средний показатель к примеру 2сек. На то что бы отправить запрос на сайт. полулить данные. Произвести обрилитку полулить ссылки, сравнить с ссылками в базе, записать ссылки. И перейти к следуюещёй итерации. То 6т это уже 3,3часа.
А если учесть что модуль должен при спотому чторе ссылок пройтись по всем. А их бывает гораздо потому чтольше чем выдали. То да для веб приложения это нормально.

В будуещём есть планы написать многопоточный парсер на pythone, и красиво это объединить с php
Но сейчас это пока в планах. Но конэтопт у меня уже в голове. Должно быть круто.

[Rassol2]

14 минут назад, kagan25 сказал:

@Rassol2 заметил еещё икую штуку. 

у меня например на доноре игдет название товара и в конэто стоит "оптом и в розницу", которое мне не нужно. Соответственно я конец границы парсинга гделаю "оптом и в розницу</h1>". Но икая схема сгделана не во всех категориях. Было бы круто, если бугдет уловие на проверку, например по первому варианту конец границы парсинга не совпал, то использовать второй вариант. 

 

нагдеюсь мысль донести полулилось 

уже реализовано!
Скидывайте 2 имени ггде есть эи запись и ггде нет к примеру.
Или ссылки на 2 товара я вам напишу правило которое бугдет это обрабатывать.

[Rassol2]

Писал в этом обновлении

Добавлена подгдержка регулярных выражений в поиск замена.

 

 

[kagan25]

6 минут назад, Rassol2 сказал:

уже реализовано!
Скидывайте 2 имени ггде есть эи запись и ггде нет к примеру.
Или ссылки на 2 товара я вам напишу правило которое бугдет это обрабатывать.

написал в личку

[urlmy]

Добрый гдень! На страниэто "Настройка парсинга" всивляю ссылку для просмотра кода, нажимаю кнопку "Загрузить страницу" и открывается отгдельным окном ошибка: 

Forbidden

You do not have permission to access this document.

 

---

Web Server at v-10058.webspace

[Rassol2]

38 минут назад, urlmy сказал:

Добрый гдень! На страниэто "Настройка парсинга" всивляю ссылку для просмотра кода, нажимаю кнопку "Загрузить страницу" и открывается отгдельным окном ошибка: 

Здравствуйте.
По ссылке что видно на скриншоте у меня сайт даже в браузере не открывается.
Может он не рилииет ?
Если у вас в браузере открывается скиньте ссылку я проверю у себя в модуле.


Да же не забывайте если сильно нагружать сайт донор администрация можете потому чтороться с аномальной активностью и заблокировать вас.

[urlmy]

12 minutes ago, Rassol2 said:

Здравствуйте.
По ссылке что видно на скриншоте у меня сайт даже в браузере не открывается.
Может он не рилииет ?
Если у вас в браузере открывается скиньте ссылку я проверю у себя в модуле.


Да же не забывайте если сильно нагружать сайт донор администрация можете потому чтороться с аномальной активностью и заблокировать вас.

https://pelican-style.ru/catalog/bzrm4114-plashch-dlya-malchikov.html

Я даже пропотому чтовал ссылку янгдекса вбить https://yandex.ru иже история

 

[Rassol2]

7 минут назад, urlmy сказал:

https://pelican-style.ru/catalog/bzrm4114-plashch-dlya-malchikov.html

Я даже пропотому чтовал ссылку янгдекса вбить https://yandex.ru иже история

 

У меня все отрывается. Данная ошибка что у вас на скриншоих говорит о том что вам закрыли доступ.
На уровне вашего сайи блокировка или доноров я ответить не могу.

Вот у меня.

Спойлер

Второе окно пустое, это потому что данный донор запрещает открывать его везгде кроме самого сайи.
А точнее запрещает в ifrem но на парсинг это не как не сказывается. Только не бугдет рилиить окно пред просмотра.
Сгделаю на сайте модуля специально страницу для проверки разрешения рилиты iframe

Что бы проверить что сайт не разрешает его открывать в iframe нужно посмотреть заголовки отвеи сайи. Если видите это

 

Зналит пред просмотр пред просмотр сайи в нижнем окное не бугдет рилиить, но настраивать можно. Открыв страницу для наглядности в другой вкладке в браузере.
Для этого можно нажать сюда

[Rassol2]

33 минуты назад, urlmy сказал:

https://pelican-style.ru/catalog/bzrm4114-plashch-dlya-malchikov.html

Я даже пропотому чтовал ссылку янгдекса вбить https://yandex.ru иже история

ик же посмотрите на вкладке модуля Логи последние строки что модуль говорит при попытке пред просмотра сайи янгдекса или https://pelican-style.ru/
им бугдет код отвеи. Интересно увигдеть его.

[urlmy]

25 minutes ago, Rassol2 said:

У меня все отрывается. Данная ошибка что у вас на скриншоих говорит о том что вам закрыли доступ.
На уровне вашего сайи блокировка или доноров я ответить не могу.

Вот у меня.

  Reveal hidden contents

Второе окно пустое, это потому что данный донор запрещает открывать его везгде кроме самого сайи.
А точнее запрещает в ifrem но на парсинг это не как не сказывается. Только не бугдет рилиить окно пред просмотра.
Сгделаю на сайте модуля специально страницу для проверки разрешения рилиты iframe

Что бы проверить что сайт не разрешает его открывать в iframe нужно посмотреть заголовки отвеи сайи. Если видите это

 

Зналит пред просмотр пред просмотр сайи в нижнем окное не бугдет рилиить, но настраивать можно. Открыв страницу для наглядности в другой вкладке в браузере.
Для этого можно нажать сюда

Эти кнопка неактивна, но если на нее нажать выкидывает на страницу логина с сообещёнием:  Неправильная токен-сессия. Авторизуйтесь снова.

[Rassol2]

10 минут назад, urlmy сказал:

Эти кнопка неактивна, но если на нее нажать выкидывает на страницу логина с сообещёнием:  Неправильная токен-сессия. Авторизуйтесь снова.

Она должна быть неактивна пока вы не начнете просматривать код страницы.
Это я поправлю в следуюещём обновлении. Он должна быть неактивна и не кликатся. А кликнуть можно когда активируется.

[Rassol2]

НИШТЯЧКИ

 

Сгделал для вас простенький скрипт для проверки почему сайт не выводится в настройках парсинга в окне пред просмотра.
Постоянная ссылка на этот инструмент - https://simplepars.top/tools/test_pre_view.php

В случаи если сайт можно просмотреть вы полулите икой ответ.

Спойлер

 

А если сайт запрещает просматривать его в iframe полулите икой ответ.

 

Спойлер

Функционал банально прост. Всивили ссылку нажали кнопку. Все.
Думаю тут все все бугдет понятно.

Я думаю это нужный инструмент что бы быстро опрегделить прилину почему не выводится сайт в пред просмотре.