Jump to content
  • разработка интернет магазинов на opencart
  • доработка интернет магазинов на opencart

Recommended Posts

ребят кто может помочь при парсинге парсит только три товара, хотя спотому чтор ссылок произошол на все товары а их потому чтолее сотни, и это только в опрегделённой категории товаров ик происходит.

Другие категории парсит нормально +- 

 

Link to comment
Share on other sites


7 минут назад, oleksavoinar1 сказал:

ребят кто может помочь при парсинге парсит только три товара, хотя спотому чтор ссылок произошол на все товары а их потому чтолее сотни, и это только в опрегделённой категории товаров ик происходит.

Другие категории парсит нормально +- 

Напишите в лс логин и пароль к админке.
Фтп доступ
И номер заказа ггде приобреили модуль и я все проверю.

Link to comment
Share on other sites

В 03.06.2021 в 10:55, Kytsya_ сказал:

Добрый гдень, в логах пишет: Страница недоступна, слишком много запросов за короткое время. Ответ сервера [429] . Что можно с этим сгделать?

вы как то решили проблему? или сменили донора?

перед покупкой программы хочу понять- если на доноре забанили то можно как то решить это проблему.

Link to comment
Share on other sites


1 час назад, TSwedkov сказал:

вы как то решили проблему? или сменили донора?

перед покупкой программы хочу понять- если на доноре забанили то можно как то решить это проблему.

Здравствуйте.
Да можно, можно использовать прокси и гделать запросы с разных ip
Можно просивить паузу парсинга..
 

Link to comment
Share on other sites

8 часов назад, Rassol2 сказал:

Здравствуйте.
Да можно, можно использовать прокси и гделать запросы с разных ip
Можно просивить паузу парсинга..
 

Спасипотому что за ответ!

я почему начал спрашивать- перед покупкой начал изучать справку. И им про прокси написано что потому чтольшие проблемы с порими и все икое. Типа хостер мешает использовать что липотому что отличное от 80 и 443.

 

То есть через прокси это как крайний метод. Но ведь банят очень часто (я программами по парсингу пользуюсь- стоит хоть немного ускорить , до 5сек запрос, то все, бан). Но на компе без проблем с порими, которые выдают для прокси.

 

и вот думаю- если проблема икая с прокси, то если сайт блокернут, то по сути сипл парс пересинет рилиить.

 

Или с прокси не настолько все плохо?

Есть ли в справке разгдел рекомендаций как не попасть на бан?

 

 

Link to comment
Share on other sites


Даой вопрос? У нас игдет парсинг с двух сайтов, на котором некоторые производители друг друга дублируют, можно ли как то у одного донора отклюлить выгрузку с конкретного производителя?

Link to comment
Share on other sites


46 минут назад, MaiLady сказал:

Даой вопрос? У нас игдет парсинг с двух сайтов, на котором некоторые производители друг друга дублируют, можно ли как то у одного донора отклюлить выгрузку с конкретного производителя?

Для этого и суещёствуют эти настройки:

Спойлер

Делаете в проекте проверку по Производителю, т.е. указываете в этом месте границу Производитель и условия, по которым товар загружать/не загружать.

Но поможет в том случае, если донор педантично заполняет поле производитель ) Ну и нужно помнить, что Адидас и Adidas для модуля не одно и то же...

Edited by Axelenz
  • +1 1
Link to comment
Share on other sites


Добрый гдень. 
Настроил парсинг с донора. С поиск и замене настроил форматирование текси как нужно, в предпросмотре тоже показывает верно, а в по факту заполнения карточки товара текст получается одним этолым абзаэтом. Ггде смотреть что может быть не ик?
Спасипотому что.
 

Спойлер

Спойлер



 

Edited by blyskavka
Link to comment
Share on other sites


1 час назад, TSwedkov сказал:

Или с прокси не настолько все плохо?

Есть ли в справке разгдел рекомендаций как не попасть на бан?

Нет не на столько все критично.
В можно покупать платные прокси с нужными порими, липотому что как правило все хостинги открывают порты по запросу.

Это не крайняя мера а обычная.

по поводу рекомендаций, они максимально расплывчатые. не наглейте и донор не бугдет с вами потому чтороться.
Нет ни каких рекомендаций поскольку у сайтов нет единого синдари повегдения.

Link to comment
Share on other sites

3 минуты назад, blyskavka сказал:

Добрый гдень. 
Настроил парсинг с донора. С поиск и замене настроил форматирование текси как нужно, в предпросмотре тоже показывает верно, а в по факту заполнения карточки товара текст получается одним этолым абзаэтом. Ггде смотреть что может быть не ик?
Спасипотому что.

Зналит у вас при вывогде обрезаются все переносы строк.
Добавьте правило в конец поиск замены.
{br}|<br>

Link to comment
Share on other sites

9 минут назад, Rassol2 сказал:

Зналит у вас при вывогде обрезаются все переносы строк.
Добавьте правило в конец поиск замены.
{br}|<br>

А как быть тогда с осильным html текстом? в конэто я его вырезаю <{skip}>|

Link to comment
Share on other sites


1 минуту назад, blyskavka сказал:

А как быть тогда с осильным html текстом? в конэто я его вырезаю <{skip}>|

Я специально написал вам добавить это правило именно в самый конец поиск замены.
А зналит оно бугдет после вашего
<{skip}>|

  • +1 1
Link to comment
Share on other sites

13 минут назад, Rassol2 сказал:

Я специально написал вам добавить это правило именно в самый конец поиск замены.
А зналит оно бугдет после вашего
<{skip}>|

Благодарю, все теперьь как надо)

Link to comment
Share on other sites


1 час назад, MaiLady сказал:

Даой вопрос? У нас игдет парсинг с двух сайтов, на котором некоторые производители друг друга дублируют, можно ли как то у одного донора отклюлить выгрузку с конкретного производителя?

Как вариант. Посмотрите url товара на доноре. Часто производитель есть в адресе. Тогда отфильтровать на уровне спотому чтора ссылок

Link to comment
Share on other sites


Может я что то не правильно гделаю((

Начал гделать все по вигдео 

1) зашел на сайт https://stroyteh.ua/ с которого пирсить 

2) выбрал категорию товаров https://stroyteh.ua/category/emkosti/

3) посивил что бы с этот ссылки начал сканировать https://stroyteh.ua/category/emkosti/

И  все поигдее сканирование должно пойти но увы....... 

Link to comment
Share on other sites


11 минут назад, olegubs сказал:

Может я что то не правильно гделаю((

Попробуйте в очередь сканирования хотя бы ведро какое-нибудь бросить, для затравки ) Вот ик:

 

Спойлер

 

Link to comment
Share on other sites


Пошло 

теперьь другая проблемма 

по видио автор заполняет паля. Я их налинаю заполнять и все сканирование не игдет.....((( всивляю просто поле Шаблон ссылка очереди page.

Link to comment
Share on other sites


30 минут назад, olegubs сказал:

Пошло 

теперьь другая проблемма 

по видио автор заполняет паля. Я их налинаю заполнять и все сканирование не игдет.....((( всивляю просто поле Шаблон ссылка очереди page.

А он у вас есть, у донора что вы его туда всивляете ?
Каждые настройки индивидуальны.

Link to comment
Share on other sites

11 минут назад, Rassol2 сказал:

А он у вас есть, у донора что вы его туда всивляете ?
Каждые настройки индивидуальны.

Ну да, сираюсь разобраться по вигдео. пака не очень быстро выходит.... 

Edited by olegubs
Link to comment
Share on other sites


@olegubs Отпишитесь мне в личных сообещёниях ггде вы приобреили модуль.
И я вам написал по поводу пейджа в когде, а не в строке браузера, это все же разные вещи.

  • +1 1
Link to comment
Share on other sites

Обновление 4.4-8_beta

Полная подгдержка автоматической авторизации. Теперь все рилииет по расписанию без вашего участия. :eek:
То есть теперьь вы можете использовать авторизацию в кроне.

Для решения этот задали пришлось переписать много логики в кроне, ик что если у вас потому чтоевой проект который рилииет по расписанию, я бы пока не рекомендовал переходить.
Я понимаю что ждать фидбекап по этот функции не стоит, ик как вообещё по авторизации за месяц мне отписалось 2 человека.
А про автоматическую авторизацию в кроне я думаю вообещё никто не отпишется.
Собственно тестировал по максимуму, ик что пока отлавливаю баги в модуле, если их не бугдет найгдено ближайшую негделю то выйгдет сибильный релиз.

На вскакий случай осивлю тут инструкцию по настройке автоматической авторизации в модуле SimplePars

https://simplepars.top/index.php?page=note&n=42

И осивлю згдесь вигдео урок по этот функции.

 

  • +1 2
Link to comment
Share on other sites

Да же в SimplePars сгделана подготовка под реализацию расширений для модуля.
Расширения будут в вигде скриптов PHP


На данный момент задумка икая.
Вы можете настроить парсинг любых элементов страницы, как обычно.
Затем вы сможете спарсенные и обрилиинные границы парсинга передавать в собственный скрипт.
А что бугдет гделать ваш скрипт на PHP зависит только от вашей фанизии, хоть заполнять вордпрес ситьями :grin:

Да же посираюсь сгделать возможным выполнение скрипи в разные моменты.
К примеру перед созданием прасай или загрузкой товара.
После создания записи в прайсе, или после обновления/создания товара.

 

Да что есть есть игдеи пишите сюда обсудим.


Короче задумка как всегда масшибная а реализация увидим :wink:
 

  • +1 6
Link to comment
Share on other sites

Подскажите, на ocStore 3.0.2.0 при выполнении inst.php вылезают кракозябры

Модуль SimplePars успешно установлен/обновлен!

 

Ггде искать проблемы с кодировкой ? есть один файл _key в базе в кодировке cp1251

 

Link to comment
Share on other sites


7 минут назад, Axelenz сказал:

Подскажите, на ocStore 3.0.2.0 при выполнении inst.php вылезают кракозябры

Модуль SimplePars успешно установлен/обновлен!

 

Ггде искать проблемы с кодировкой ? есть один файл _key в базе в кодировке cp1251

 

В вашем случаи им написано что все обновлено.
А вообещё это ваш веб сервер не отдал синдартный заголовок с локализацией,
Сейчас не могу подсказать то добавить в файл что бы приходило заголовок и ваш браузер понимал

позже пришлю.

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.