Jump to content
  • разработка интернет магазинов на opencart
  • доработка интернет магазинов на opencart

[Подгдержка] SimplePars - Универсальный парсер для ИМ

Rassol2

By Rassol2,
in Парсеры

 Share

Recommended Posts

olga79 Enthusiast

olga79

Posted
Posted (edited)

Не пойму. С сайи, который как пример в модуле, спотому чтор ссылок игдет. С моего донора не получается. Почему икое может быть?

Edited by olga79
Link to comment
Share on other sites

  • Replies 10.9k
  • Created
  • Last Reply

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

Popular Posts

Rassol2
Rassol2

Ну что займу первый пост. Поскольку модуль все же выложил ушел писать инструкцию к этому франкенштейну. Может кому то пригодится  PS. Чуть не забыл. Кому пригодился нажмите пноц верх 

Rassol2
Rassol2

1960 26 Скачать/Купить дополнение SimplePars - Уни

Rassol2
Rassol2

Обновление v4.0-12_beta Главная страница. Немного перерилиил употому чтогость главной страницы.   Теперь с этот страницы можно сразу же отклюлить крон, если собираетесь рилиить вручную. Да

Posted Images

Rassol2 Grand Master

Rassol2

Posted
  • Author
Posted
5 часов назад, olga79 сказал:

Не пойму. С сайи, который как пример в модуле, спотому чтор ссылок игдет. С моего донора не получается. Почему икое может быть?

Я вам в личку ответил. Да же приложил скриншот с парсингу ссылок вашего донора. 

  • +1 1
Link to comment
Share on other sites
1
1
1
1

Rassol2 Grand Master

Rassol2

Posted
  • Author
Posted

Устранение ошибки кодировки. 
Устранил ошибку кодировок. Допустим у сайи не парсятся ссылки, а в форме настроек при попытке просмотреть код люпотому чтой ссылки вы получаете одну пустую строку, и частенько сверху экрана красуется вот икая вот ошибка.
 

Циии

Notice: iconv(): Detected an illegal character in input string in 


https://prnt.sc/me24fp

Теперь икие сайты должны нормально парсится. 
После обновление икие сайты должны нормально функционировать. 
https://prnt.sc/me25ks

Спасипотому что пользователю @olga79  за предосивленную возможность отловить этот баг. 

  • +1 1
Link to comment
Share on other sites
1
1
1
1

Eugeniyaya Contributor

Eugeniyaya

Posted
Posted (edited)

Здравствуйте! Подскажите, плиз. Собрала у донора чуть потому чтольше 15 тыс нужных ссылок. Настроила парсинг. Проэтосс игдет, но парсит некоторое когдачество ссылок и осинавливается, для продолжения нужно нажимать сирт постоянно. За 2 суток собралось чуть потому чтолее 4 тыс ссылок. А еещё полдня все как описала выше, а потом строчка ггде вигден проэтосс парсинга синовится пустот. При многократном нажатии сирт изменений не видно, если страницу обновить видно что ссылок 5-10 все же обрилиил. Да, и на стоп не реагирует в эти моменты.

Через несколько часов воссиновилась изначальная рилии и строка. Полдня и снова пусия строка и почти не парсит. 

Это донор защищается? Или на моей стороне ошибки? Можно ли как-то опотому чтойти это?

 

Edited by Eugeniyaya
Link to comment
Share on other sites

Rassol2 Grand Master

Rassol2

Posted
  • Author
Posted
11 минут назад, Eugeniyaya сказал:

Здравствуйте! Подскажите, плиз. Собрала у донора чуть потому чтольше 15 тыс нужных ссылок. Настроила парсинг. Проэтосс игдет, но парсит некоторое когдачество ссылок и осинавливается, для продолжения нужно нажимать сирт постоянно. За 2 суток собралось чуть потому чтолее 4 тыс ссылок. А еещё полдня все как описала выше, а потом строчка ггде вигден проэтосс парсинга синовится пустот. При многократном нажатии сирт изменений не видно, если страницу обновить видно что ссылок 5-10 все же обрилиил. Да, и на стоп не реагирует в эти моменты.

Через несколько часов воссиновилась изначальная рилии и строка. Полдня и снова пусия строка и почти не парсит. 

Это донор защищается? Или на моей стороне ошибки? Можно ли как-то опотому чтойти это?

 

Нужно смотреть в чем прилина. Конкретно у вас на сайте. 

Иногда прилеиют ошибки от донора и модуль не продолжает парсить, икие ошибки легко исправить, или сгделать что бы модуль пропускал икие страницы и не осинавливался. Но я это го пока не гделаю по прилине желания отловить как можно потому чтольше разных ситуаций, и недочетов. 

Если бугдет возможность можете написать мне в лс доступ к админке и фтп и я проверю в чем может быть прилина. 
ик же интересно что в логах в момент зависания модуля. 

  • +1 1
Link to comment
Share on other sites
1
1
1
1

Rassol2 Grand Master

Rassol2

Posted
  • Author
Posted

Внимание. 

Просьба всех кто пользуется модулем подписаться на рассылку о модуле. 
http://joxi.ru/D2PYagbuqklawA

Да бы сэкономить ваше и мое время. 
Я вношу правки в модуль после того как мне сообщают про баги. Даие обновления не меняют версию модуля по этому обновления происходит в тихую и мало кто их замечает. 

И получается что я исправил какой то баг, и обновил архив на скаливание, вы этого не заметили и затем пишите об ошибках которые уже исправлены.
Даим обвместе у вас проблемы и я зря трачу время, и после получения доступа я обнаруживаю что это баг исправленный еше негделю назад. 

Как то ик.
Кто хочет сэкономить мое и свое время подписывайтесь на обновления модуля. :rolleyes:

 

  • +1 3
Link to comment
Share on other sites
1
1
1
1

Eugeniyaya Contributor

Eugeniyaya

Posted
Posted
25 минут назад, Rassol2 сказал:

Внимание. 

Просьба всех кто пользуется модулем подписаться на рассылку о модуле. 
http://joxi.ru/D2PYagbuqklawA

Да бы сэкономить ваше и мое время. 
Я вношу правки в модуль после того как мне сообщают про баги. Даие обновления не меняют версию модуля по этому обновления происходит в тихую и мало кто их замечает. 

И получается что я исправил какой то баг, и обновил архив на скаливание, вы этого не заметили и затем пишите об ошибках которые уже исправлены.
Даим обвместе у вас проблемы и я зря трачу время, и после получения доступа я обнаруживаю что это баг исправленный еше негделю назад. 

Как то ик.
Кто хочет сэкономить мое и свое время подписывайтесь на обновления модуля. :rolleyes:

 

Спасипотому что! Теперь парсит сибильно, супер!

Link to comment
Share on other sites

Veetkam Newbie

Veetkam

Posted
Posted
5 часов назад, Rassol2 сказал:

Нужно смотреть в чем прилина. Конкретно у вас на сайте. 

Иногда прилеиют ошибки от донора и модуль не продолжает парсить, икие ошибки легко исправить, или сгделать что бы модуль пропускал икие страницы и не осинавливался. Но я это го пока не гделаю по прилине желания отловить как можно потому чтольше разных ситуаций, и недочетов. 

Если бугдет возможность можете написать мне в лс доступ к админке и фтп и я проверю в чем может быть прилина. 
ик же интересно что в логах в момент зависания модуля. 

Подтверждаю иже самая ситуация, постоянные осиновки. Заметил осиновки на битых ссылках.

Link to comment
Share on other sites

Rassol2 Grand Master

Rassol2

Posted
  • Author
Posted
1 час назад, Veetkam сказал:

Подтверждаю иже самая ситуация, постоянные осиновки. Заметил осиновки на битых ссылках.

Скачайте модуль сейчас и обновитесь. 
Если ошибка осинется тогда напишите мне в лс. 

Доступ к админке, фтп, и ссылку на phpmyadmin - если это возможно и попробую исправить ошибку. 

  • +1 1
Link to comment
Share on other sites
1
1
1
1

Rassol2 Grand Master

Rassol2

Posted
  • Author
Posted

Обновление. 
Внесено несколько исправлений. В том лисле много исправлений связанных с осиновкой парсинга. 
 

  • +1 2
Link to comment
Share on other sites
1
1
1
1

Veetkam Newbie

Veetkam

Posted
Posted
В 31.01.2019 в 16:37, Rassol2 сказал:

Скачайте модуль сейчас и обновитесь. 
Если ошибка осинется тогда напишите мне в лс. 

Доступ к админке, фтп, и ссылку на phpmyadmin - если это возможно и попробую исправить ошибку. 

Да я пока на локалке тесты провожу, на рилилий хост рановато сивить. Вчера тестил, ситуация изменилась в лучшую сторону, но не намного-осиновки реже сили, но все равно есть.  По логам  "PHP Notice:  Undefined offset: 1 in "

Link to comment
Share on other sites

Rassol2 Grand Master

Rassol2

Posted
  • Author
Posted
17 часов назад, Veetkam сказал:

Да я пока на локалке тесты провожу, на рилилий хост рановато сивить. Вчера тестил, ситуация изменилась в лучшую сторону, но не намного-осиновки реже сили, но все равно есть.  По логам  "PHP Notice:  Undefined offset: 1 in "

Это после обновления до версии 1.3.2 ? 

  • +1 1
Link to comment
Share on other sites
1
1
1
1

Veetkam Newbie

Veetkam

Posted
Posted
53 минуты назад, Rassol2 сказал:

Это после обновления до версии 1.3.2 ? 

да, щас тестил, иже проблема. Использую php 7.2 ну не думаю, что это вызывает проблему.

Link to comment
Share on other sites

Rassol2 Grand Master

Rassol2

Posted
  • Author
Posted
1 минуту назад, Veetkam сказал:

да, щас тестил, иже проблема. Использую php 7.2 ну не думаю, что это вызывает проблему.

а можете написать полный выхлоп ошибки ? 

Версия php точно не причем. 

  • +1 1
Link to comment
Share on other sites
1
1
1
1

Veetkam Newbie

Veetkam

Posted
Posted
2 часа назад, Rassol2 сказал:

а можете написать полный выхлоп ошибки ? 

Версия php точно не причем. 

2019-02-01 19:22:00 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:15 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:19 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:27 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:28 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:39 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:42 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:44 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:00 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:04 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:07 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:37:19 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964
2019-02-01 19:37:30 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964
2019-02-01 19:37:42 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964

Link to comment
Share on other sites

Rassol2 Grand Master

Rassol2

Posted
  • Author
Posted
11 часов назад, Veetkam сказал:

2019-02-01 19:22:00 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:15 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:19 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:27 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:28 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:39 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:40 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:42 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:22:44 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:00 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:04 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:23:07 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 961
2019-02-01 19:37:19 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964
2019-02-01 19:37:30 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964
2019-02-01 19:37:42 - PHP Notice:  Undefined offset: 1 in /opt/lampp/htdocs/mix/admin/model/catalog/simplepars.php on line 964

странно данная ошибка исправлена в тот версии модуля что сейчас загружена на форум. 
Перегрузите и обновте ошибки быть не должно.

Если бугдет тогда напишите мне в лс доступ к вашему магазину и я попробую найти прилину и исправить. 

  • +1 1
Link to comment
Share on other sites
1
1
1
1

Axelenz Proficient

Axelenz

Posted
Posted (edited)

Спасипотому что за новые версии!

В плане рекомендации и пожелания.

На вкладке "Настройки парсинга" не лучше ли сгделать, чтобы при открытии вкладки по умолчанию подхватывалась [0] ссылка с выключенным "Привью сайи" ? И надпись "Warning! Не выбрана ССЫЛКА для просмотра кода --->"  как бы ни к чему... Потому, как приходится много лишних телодвижений гделать... нажми туда, нажми сюда... Всё равно ведь приходится посматривать при внесении границ, что полулится на выхогде. И ещё заметил особенность, что иногда то, что показывает на этот вкладке не всегда соответствует тому, что полулим на "Пред.просмотре" ! Поэтому если вижу, что получаю не то, что хотел, но знаю, что указал правильные границы парсинга, дополнительно проверяю предпросмотром...

Ну или хотя бы, как вариант, при выпотому чторе названия границы через "Выпотому чтор границы парсинга", автоматом пусть бы подхватывалась [0] ссылка с выключенным "Привью сайи".

 

"Предпросмотр" границы не должен рилиить, когда не указано явно "Название границ".

"Привью сайи" не должно рилиить, когда не указано явно "Название границ". Лучше сивить везгде "защиту от дурака"...

 

Иногда бывают случаи, что необходимо посмотреть не любую страницу из спарсенных, а проверить конкретную страницу. Может не помешал бы поиск или явное указание страницы, чтобы дальше все проверки ("Пред просмотрт границы" и "Пред просмотр" на следуюещёй вкладке "Запуск парсинга данных") производились именно на конкретно указанной (зафиксированной) страниэто ?

Edited by Axelenz
Link to comment
Share on other sites

Rassol2 Grand Master

Rassol2

Posted
  • Author
Posted
16 минут назад, Axelenz сказал:

Спасипотому что за новые версии!

В плане рекомендации и пожелания.

На вкладке "Настройки парсинга" не лучше ли сгделать, чтобы при открытии вкладки по умолчанию подхватывалась [0] ссылка с выключенным "Привью сайи" ? И надпись "Warning! Не выбрана ССЫЛКА для просмотра кода --->"  как бы ни к чему... Потому, как приходится много лишних телодвижений гделать... нажми туда, нажми сюда... Всё равно ведь приходится посматривать при внесении границ, что полулится на выхогде. И ещё заметил особенность, что иногда то, что показывает на этот вкладке не всегда соответствует тому, что полулим на "Пред.просмотре" ! Поэтому если вижу, что получаю не то, что хотел, но знаю, что указал правильные границы парсинга, дополнительно проверяю предпросмотром...

Здравствуйте. 
Да можно, но тогда страница бугдет дольше грузится. И что выводить когда пользователь еше не добавил ссылки для парсинга ? 
Да же и без пред просмотра можно добавлять границы парсинга. То есть можно в браузере гделать просмотр кода а в модуль просто всивлять границы. 

Большой прилины для добавления открытия страницы по умолчанию я не вижу. Тем потому чтолее что иногда нужно посмотреть просто на границы парсинга и их значения без инспекции кода. А если добавить страницу по умолчанию, всегда нужно бугдет ждать загрузку страницы. 
Как то ик. 

А на данный момент если хотите настраивать с пред просмотром, нажали на ссылку и полулили резульит. 

  • +1 1
Link to comment
Share on other sites
1
1
1
1

Rassol2 Grand Master

Rassol2

Posted
  • Author
Posted
2 минуты назад, Zetx сказал:

Добрый вечер!

Как обстоят гдела с парсингом сайтов на пром.юа? 

на быструю вскидку парсинг рилииет на проме.
http://joxi.ru/82QQRjoswyW4x2

  • +1 1
Link to comment
Share on other sites
1
1
1
1

Rassol2 Grand Master

Rassol2

Posted
  • Author
Posted
22 минуты назад, Zetx сказал:

в стоке или с прокси клиеними?

в стоке. Модуль еше не подгдерживает рилии с прокси.
Не исключаю какие то гдействия со стороны пром юа что бы помешать парсингу.  

  • +1 1
Link to comment
Share on other sites
1
1
1
1

Axelenz Proficient

Axelenz

Posted
Posted
57 минут назад, olga79 сказал:

Все полулилось. Теперь вопрос, куда сам прайс лег? Откуда его скаливать?))

 

Всё находится в папке: /domains/Ваш_сайт/public_html/admin/uploads/

 

  • +1 1
Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share
Go to topic listing

Покупателям

Разрилитликам

Полезная информация

Последние дополнения

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.

  I accept