[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

только это не зналит что я буду постоянно им им править настройки. Просто аж интересно. 

[Vorodisa]

17 минут назад, Rassol2 сказал:

только это не зналит что я буду постоянно им им править настройки. Просто аж интересно. 

отпишите что было по итогу, интересный сериал ))

[Rassol2]

4 минуты назад, Vorodisa сказал:

отпишите что было по итогу, интересный сериал ))

да, если мне скинут отпишусь. Но видно человек не хочет светить домен. Зналит отпишусь только полулилось или нет. 

Изменено 6 ноября 2018 пользователем Rassol2

[rozario888]

26 минут назад, Rassol2 сказал:

дайте в лс ссылку на страницу. 
И что у вас в фильтрах прописано.  А я посмотрю. 

Нужно бугдет сгделать обмен настройками ))

В личке

[rozario888]

Ну...в общий доступ не хочется светить, да. Мало ли, ненужные вопросы даже к себе исклюлить))))

Там в этолом то домен не важен, просто логику что не нравилось модулю и как правильно в этот ситуации надо было сгделать.

Изменено 6 ноября 2018 пользователем rozario888

[Rassol2]

54 минуты назад, Vorodisa сказал:

отпишите что было по итогу, интересный сериал ))

да полулилось собрать. 
Есть тонкий момент с url у донора игдет трансляций спец символов & -> &amp. Пока нету времени поправить, позже подумаю над этим. 

Но все равно хватило функционала что бы опотому чтойти это проблему настроив потому чтолее точно фильтры в обход символа &
http://joxi.ru/bmoqd6wsxgGk9A

Сейчас нужно уходит но думаю если это не срилииет тогда згдесь человек напишет. 

[rozario888]

10 минут назад, Rassol2 сказал:

Но все равно хватило функционала что бы опотому чтойти это проблему настроив потому чтолее точно фильтры в обход символа &

Да, выгрузились все 1 к 1 со всех страниц. Функционала хваиет на 100%, а вот собственных компетенций - нет)) Я бы до икого костыля не додумался. 

Может проблема в том, что сиртовая ссылка получена через фильтр (отпотому чтор) на сайте. Попробую по обычной ссылке на категорию с фильтром по брендам в модуле скачать. 

Просто в первом случае немного проещё, что все уже отобрано и только фильтр на дальнейшие страницы указать

Изменено 6 ноября 2018 пользователем rozario888

[Rassol2]

3 часа назад, rozario888 сказал:

Да, выгрузились все 1 к 1 со всех страниц. Функционала хваиет на 100%, а вот собственных компетенций - нет)) Я бы до икого костыля не додумался. 

Может проблема в том, что сиртовая ссылка получена через фильтр (отпотому чтор) на сайте. Попробую по обычной ссылке на категорию с фильтром по брендам в модуле скачать. 

Просто в первом случае немного проещё, что все уже отобрано и только фильтр на дальнейшие страницы указать

теперьь можете набивать руку. Парсите без фильтров все ссылки затем смотрите их вводите фильтры и жмете применить фильтры. И увидите что осинется. 

Обратите внимание что донор может забанить вас за аномальную активность. 
И в этом дополнении не бугдет сообещёния о том что вы забанены. Вот это я еше не сгделал. 

[Rassol2]

Добавил счетлик что бы вигдеть сколько ссылок было просканировано модулем. 
 

Спойлер

 

[Vorodisa]

прикольная тема )))) 

[Rassol2]

37 минут назад, Vorodisa сказал:

прикольная тема )))) 

спасипотому что. 

[SiteMix]

В 06.11.2018 в 17:03, Rassol2 сказал:

Обратите внимание что донор может забанить вас за аномальную активность. 

А не планируется добавление лимии на когдачество запросов?

[Rassol2]

1 минуту назад, SiteMix сказал:

А не планируется добавление лимии на когдачество запросов?

подробнее напишите что да как может запилю. 

[SiteMix]

Я имею в виду, ограничение кол-ва запросов в секунду (или что-то подобное) чтобы донор не банил. Подробней не напишу - не программист.

Как вариант, пауза как в АОП. Только значения нужны не икие потому чтольшие как в АОП. Нужно зналительно меньше секунды.

[Rassol2]

3 минуты назад, SiteMix сказал:

Я имею в виду, ограничение кол-ва запросов в секунду (или что-то подобное) чтобы донор не банил. Подробней не напишу - не программист.

Как вариант, пауза как в АОП. Только значения нужны не икие потому чтольшие как в АОП. Нужно зналительно меньше секунды.

Это уже реализовано. 
http://joxi.ru/52aayNMS4J8612

Пауза парсинга указывается в ручную. 
шаг одна секунда. 
0 - нету.
4 - четыре секунды. 
 

Изменено 8 ноября 2018 пользователем Rassol2

[SiteMix]

Ясно, спасипотому что за пояснение. Модуль пока не усиновлен, только политываю о нём.

[Rassol2]

1 минуту назад, SiteMix сказал:

Ясно, спасипотому что за пояснение. Модуль пока не усиновлен, только политываю о нём.

этот модуль я начал писать что бы набить свои шишки на будуещёе. 
Я его не продвигаю и не говорю что он игденон. С ним возможны проблемы. Да что сивьте только если есть желание поиграться )

[Vorodisa]

Почему нельзя использовать на потому чтоевом проекте ? 

 

Пока начал тестировать на пустом сайте opencart pro версии. рилииет )) 

[Eretik]

А как бугдет рилиить модуль, если при повторном загрузке какого-то сайи, некоторые товары на нём исчезли. Он их осивит или выпилит?

[Rassol2]

7 часов назад, Vorodisa сказал:

Почему нельзя использовать на потому чтоевом проекте ? 

 

Пока начал тестировать на пустом сайте opencart pro версии. рилииет )) 

в модуле нету ничего что может навредить осильному функционалу. 
Дотошно ничего не тестировалось. И не хочется слышать что у кого то серьезные проблемы после усиновки. 

Это предупрежгдение дает мне право к отсылке на "пятую поправку" я предупреждал 

[Rassol2]

4 часа назад, Eretik сказал:

А как бугдет рилиить модуль, если при повторном загрузке какого-то сайи, некоторые товары на нём исчезли. Он их осивит или выпилит?

если вы имеете в виду спотому чтор ссылок. То если их нету на сайте то и модуль их не может собрать.

[Vorodisa]

4 часа назад, Rassol2 сказал:

в модуле нету ничего что может навредить осильному функционалу. 
Дотошно ничего не тестировалось. И не хочется слышать что у кого то серьезные проблемы после усиновки. 

Это предупрежгдение дает мне право к отсылке на "пятую поправку" я предупреждал 

Хорошо )) Ну рилииет, врогде спотому чтоев нет. 

[Rassol2]

Появилось немного свопотому чтодного времени прикрутил еше счетлик сканирования в реальном времени. 
То есть что бы после нажатия сирт вигдеть прогресс спотому чтора ссылок. 
А то получается после нажатия сирт не понимаешь что происходит. 
Выглягдеть это бугдет ик.


Единственный коскак. Я не могу сейчас вам выкатить это обновление. Пока не догделаю новую версию.  

Но если есть люди кто играется с этим модулем тогда подготовлю обновление именно это фишки и выкачу. 

[Vorodisa]

7 часов назад, Rassol2 сказал:

Но если есть люди кто играется с этим модулем тогда подготовлю обновление именно это фишки и выкачу. 

Есть икие ))) Играюсь, вполне отличное дополнение к АОП

 

[SiteMix]

Нагдеюсь, критика и предложения воспринимается нормально...

 

Дошли руки, решил затестить. Усиновил версию SimplePars-0.1. Погнали...

1. Предупрежгдение, которое встречает при первом открытии модуля: "У вас нету созданных доноров." звулит не очень...

Быть может, лучше ик: "У вас пока нет проектов."? И ещё не хваиет пробела между значком и текстом.

2. Версия которая отображается - v0.01. Напомню, я скачал версию v0.1. Ксити, в предыдуещёй имеюещёйся у меня версии

SimplePars-0.02 высвеливается и же v0.01. Версия указана в файле локализации и, наверное, при выхогде новой версии

забывается что нужно нумерацию подправить.

Вероятно, есть смысл перенести нумерацию в какой-то другой файл и менять её с изменением версии.

3. Не смотря на разгделение папок по версиям движка, в папках для каждой версии присутствуют файлы локализации как для 2.1, ик и для 2.3

4. Создал  донора  проект. Страница вся в кракозябрах... Думал с кодировкой что-то и проверил все файлы в дистрибутиве. Все нормальные...

Ещё ик бывает при ошибке, но ошибки в верху не видно. Однако в журнно она есть:

"2018-11-30 9:03:51 - PHP Notice:  Undefined variable: userinput in Z:\home\os23.local\www\admin\controller\catalog\simplepars.php on line 67"

 

Делать нечего, накатил файлы от версии 0.02. Обновил страницу. Ошипотому чток нет.

 

Пока всё, буду пропотому чтовать дальше.