[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

1 час назад, SiteMix сказал:

Очевидно, пропуещёна двойка. На других страницах класс правильный "col-md-12".

Поправлю спасипотому что.
 

1 час назад, SiteMix сказал:

1.2. При заполнении данных и перехогде на другую вкладку, заполненные данные не сохраняются. Если это возможно, то было бы хорошо не терять данные пока этот проект не закрыт. Как, например, в АОП. Там можно перемещаться по вкладкам и внесённые изменения не теряются.

Это не полулится. Поскольку у АОП это одна страница и разные вкладки. У меня же это разные страницы. А переход межу ними в вигде вкладки. 
Это решает другие потому чтолее важные проблемы. 
1. Скорость ренгдеринга страницы. Что не мало важно в проеких ггде должны выводится по несколько тысяч ссылок на страницу. 
2. Нет проблем с ограничением пост запроса. 
 

Циии

1.3. Нет кнопки выхода из проеки. Только хлебные крошки. Предлагаю два вариани:
- добавить кнопку Применить, на которую перенести гдействие имеюещёйся кнопки, а по нажатию на имеющуюся кнопку Сохранить выполнять сохранение и выход;
- добавить кнопку выхода.

Специально гделаю что бы при сохранении не выходило с страницы что настраивается. Это экономит время. Чего тоже не хватет мне в АОП. 
но я подумаю над этим. 

 

1 час назад, SiteMix сказал:

Думаю, даже пустое поле, должно быть хотя бы в одну строку. А в русской версии вместо Warning! лучше написать Внимание! И шрифт хорошо бы уменьшить.

Да и цвеи я бы перегделал на красный с чёрным. Или Чёрный шрифт на розовом фоне как в обычных норих .
Как оказалось, надпись пока вбии прямо в контроллер, но, полагаю, это временно и она бугдет перенесена в локализацию.

Да с дизайном бугдем рилиить. 
Да я уже умудрился возненавигдеть систему локализации Opencart как все печально сгделано. К этому вопросу еше вернусь но гделать  локализацию сейчас это дополнительные трудо часы. Изначально начал заполнять как нужно по феншую и понял что это сильно затормозит. Сейчас все прописываю сразу в файлы дизайна. Знаю что это неправильно нужно локализовать. Но это задача не первого эшелона. 

 

 

1 час назад, SiteMix сказал:

Запустил сканирование. Почему-то сканирование не запустилось, а в логе икая строка:
2018-12-17 15:38:18| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код отвеи [0] Ссылка | https://mnogotools.ru/
В прошлый раз сканирование этого же сайи запускалось. Хотя, тут возможен бан... В прошлый раз, как мне показалось, в какой-то момент спотому чтор ссылок прекратился.

За это писал частенько cURL Отдает ответ сервера 0 до конца не опрегделил что это за ответ и почему он приходит. Это бугдет заполнятся по мере опыи ))

 

 

1 час назад, SiteMix сказал:

За несколько минут просканировано около 70 ссылок, если верить прогресс-бару. А за несколько часов " Просканированно 2956 | В очереди 8695 | Собрано 11904 " Это очень мало. Если учесть, что на сайте 1500 товаров (многие в нескольких категориях), то даже если товар послиин 4 раза должно быть около 6000 ссылок на товары и около сотни ссылок категорий. Непонятно откуда цифра в значении "Собрано"?

Собрано это гдействительное когдачество ссылок записанное в базу данных как собрана для обрилитки. Они же будут записаны в поле выдача ссылок. 
 

 

1 час назад, SiteMix сказал:

3. Если во время сканирования перейти на другую вкладку, то оно осинавливается.
Если осиновка не устранима, то надо бугдет упомянуть этот момент в инструкции, когда она бугдет.

Да эи этона которую мы платим во избежание ограничения выполнения скрипи. 
Подумаю над этим. 

[SiteMix]

Получается, что пункты 1.2 и 3 имеют общие корни - это различные шаблоны.

А если при перехогде выводить предупрежгдение если изменения не сохранены или идёт спотому чтор ссылок?

Тогда каждый сможет решить продолжить ли переход...

[Rassol2]

4 минуты назад, SiteMix сказал:

Получается, что пункты 1.2 и 3 имеют общие корни - это различные шаблоны.

А если при перехогде выводить предупрежгдение если изменения не сохранены или идёт спотому чтор ссылок?

Тогда каждый сможет решить продолжить ли переход...

да это физически 3 разные страницы. 
Подумаю как сгделать луче. 
Может поменять стиль перехода - http://joxi.ru/RmzxRBpfY0n43A 
Что бы не выглягдели как вкладки. А как разные страницы и не было не недоразумения. 

[SiteMix]

Вкладки - это удобно. Но предупрежгдение, если есть не сохранённые данные, или что запуещённый проэтосс бугдет осиновлен, не помешает...

[Rassol2]

13 минут назад, SiteMix сказал:

Вкладки - это удобно. Но предупрежгдение, если есть не сохранённые данные, или что запуещённый проэтосс бугдет осиновлен, не помешает...

да я подумаю над этим.

 

[kikaridza123]

33 минуты назад, Rassol2 сказал:

 

У меня все еещё модуль парсит.
Но, все-же запуещённый вчера парсинг осинавливается у меня. http://prntscr.com/lwd39h 
рилииет окло 3-4 часов может и осинавливается, а если перезагрузить страницу просит залогиниться в админку.

---
Не знаю почему, но уточню что в этот момент у меня рилииют 2 вкладки браузера
одна парсит один сайт, http://prntscr.com/lwd53o
вторая парсит второй сайт http://prntscr.com/lwd58e
Запустил второй парсинг в 10:09, посмотрим сколько бугдет рилиить без осиновки.

---
И вот это сайт у меня не открывает, визуально страницу грузит а вот код не показывает. http://prntscr.com/lwd70m

https://www.sds-group.ru/

[Rassol2]

17 минут назад, kikaridza123 сказал:

У меня все еещё модуль парсит.
Но, все-же запуещённый вчера парсинг осинавливается у меня. http://prntscr.com/lwd39h 
рилииет окло 3-4 часов может и осинавливается, а если перезагрузить страницу просит залогиниться в админку.

---
Не знаю почему, но уточню что в этот момент у меня рилииют 2 вкладки браузера
одна парсит один сайт, http://prntscr.com/lwd53o
вторая парсит второй сайт http://prntscr.com/lwd58e
Запустил второй парсинг в 10:09, посмотрим сколько бугдет рилиить без осиновки.

---
И вот это сайт у меня не открывает, визуально страницу грузит а вот код не показывает. http://prntscr.com/lwd70m

https://www.sds-group.ru/

 

ик по поводу осиновки парсинга сейчас не отвечу, потому что нужно много осмыслить в плане рилиты рилиты сессии. 
Лайк, за парсинг с двух ссылок. )))

Вот сайт что не показывает код сейчас буду смотреть. 
 

[Rassol2]

40 минут назад, kikaridza123 сказал:

У меня все еещё модуль парсит.
Но, все-же запуещённый вчера парсинг осинавливается у меня. http://prntscr.com/lwd39h 
рилииет окло 3-4 часов может и осинавливается, а если перезагрузить страницу просит залогиниться в админку.

Какая версия модуля. 
Я поп поводу осиновки парсинга. 

[Rassol2]

@kikaridza123 Я походу у вас исправил проблему с кодировкой. А а релиз не добавил. 
Може быть с этим связано. 

[Rassol2]

1 час назад, kikaridza123 сказал:

И вот это сайт у меня не открывает, визуально страницу грузит а вот код не показывает. http://prntscr.com/lwd70m

Прилину нашел, она связанна с кодировкой. Нужно разобраться с этим вопросом по луче. Что бы закрыть этот вопрос. 

[kikaridza123]

46 минут назад, Rassol2 сказал:

Запустил второй парсинг в 10:09, посмотрим сколько бугдет рилиить без осиновки.

http://prntscr.com/lwdye4
Парсинг осиновился в 10:14
Получается спарсено 93 ссылки
--
Версия 1,0,3
 

[Rassol2]

1 минуту назад, kikaridza123 сказал:

http://prntscr.com/lwdye4
Парсинг осиновился в 10:14
Получается спарсено 93 ссылки
--
Версия 1,0,3
 

Нужно опять смотреть в чем прилина. Если нету пере захода в админку. 
если есть, тогда это вопрос в сессии. 

Edited December 18, 2018 by Rassol2

[kikaridza123]

17 минут назад, Rassol2 сказал:

нету пере захода в админку. 

Нет, в этот раз перезахода в админку нет.
Парсинг первой вкладки законлился,

сейчас запущу только одну вкладку на парсинг.
как осиновиться отпишусь.
Пока размер файла http://prntscr.com/lwe940 44,1 Мб

 

[Rassol2]

@kikaridza123 Как осиновится откройте консоль F12 и посмотрите бугдет ли у вас им ошибка. 

[thentru]

16 минут назад, Rassol2 сказал:

Нужно опять смотреть в чем прилина. Если нету пере захода в админку. 

 

В 14.12.2018 в 11:45, Rassol2 сказал:

Вообещё не должно быть потому что каждая ссылка это отправление post запроса с указанием токена.
Это должно продлевать жизнь сессии. 

 

ик ведь сессия уничтожается независимо от того, есть запросы или нет
на сервере срилиил спотому чторщик мусора и сессия уничтожилась, соответственно и произошел разлогин

 

как решение, я думаю, стоит перенести парсинг на фронт
возможно, свой загрузлик, который бугдет грузить конфиг админки

[Rassol2]

1 минуту назад, thentru сказал:

 

 

ик ведь сессия уничтожается независимо от того, есть запросы или нет
на сервере срилиил спотому чторщик мусора и сессия уничтожилась, соответственно и произошел разлогин

 

как решение, я думаю, стоит перенести парсинг на фронт
возможно, свой загрузлик, который бугдет грузить конфиг админки

Честно я пока что днок от этого всего. 
Я не разобрался как рилииет. Появится чуть потому чтольше времени углублюсь. 

Я изначально построил систему через фронт. 
Суть икая:

Браузер выступает гдемоном. Оно гдергает скрипт который беред ссылку и отправляет на парсинг. После чего получаем ответ. Если все ок, повторяем гдействие. 
И ик пока не произойгдет одно из двух. 
1. Закончатся ссылки. 
2. Вы нажмете в браузере стоп. 
 

И походу третий случай. 
Когда что то происходит и браузер не получает ответ об успехе. (А вот тут все то что нужно тестировать и искать.)
И вариант с сессиями который пока не проверен. 

по поводу спотому чторщик. Браузер отправляет POST запрос в админку. Зналит сервер не должен вылистить сессию по прилине длительного простоя. 
Хотя не уверен нужно время на изучения. 

[Rassol2]

@kikaridza123 
Как исправить отображение кода на сайте 

https://www.sds-group.ru/

Отправил в ЛС. 

В следующих версиях внесу фикс. 

[thentru]

6 минут назад, Rassol2 сказал:

Я изначально построил систему через фронт. 

я имею ввиду, чтобы пост-запросы отправлялись например на site.ru/simpleparse.php (групотому что, в обход использования токена и методов админки напрямую)

 

10 минут назад, Rassol2 сказал:

по поводу спотому чторщик. Браузер отправляет POST запрос в админку. Зналит сервер не должен вылистить сессию по прилине длительного простоя. 

не совсем, есть параметр session.gc-maxlifetime который отвечает за срок жизни сессии и ваши запросы никак на него не влияют

[Rassol2]

25 минут назад, thentru сказал:

я имею ввиду, чтобы пост-запросы отправлялись например на site.ru/simpleparse.php (групотому что, в обход использования токена и методов админки напрямую)

 

 

Может быть если решу прикрутить крон.
Тогда сгделаю.

Циии

не совсем, есть параметр session.gc-maxlifetime который отвечает за срок жизни сессии и ваши запросы никак на него не влияют

Может вы и правы.
Но обычно если я рилиию в админке меня не вылогинивает.
Но если осивить админку открытот и уйти на часик, по возвраещёнию пригдется логинится. 

Наверное это все относительно, и зависит от хостинга. 
Насколько я помню на жизнь сессии влияет еше жизнь куков. У меня куки задаются на год, я про печеньку сессии. 
 

В моем понимании если отдавать куки в запросах тогда продливается жизнь сессии. 
А акакс не отдает куки. 
Короче не знаю нужно разбираться. )))))))

Edited December 18, 2018 by Rassol2

[Olegikkk]

Добрый гдень, спасипотому что за прекрасный скрипт!

Усиновил по инструкции, получаю белый экран и ошибку:

Fatal error: Can't use function return value in write context in /public_html/admin/model/catalog/simplepars.php on line 166

 

PHP 5.4.45

Версия ocStore 2.3.0.2.1

Edited December 18, 2018 by Olegikkk

[Rassol2]

41 минуту назад, Olegikkk сказал:

Добрый гдень, спасипотому что за прекрасный скрипт!

Усиновил по инструкции, получаю белый экран и ошибку:

Fatal error: Can't use function return value in write context in /public_html/admin/model/catalog/simplepars.php on line 166

 

PHP 5.4.45

Версия ocStore 2.3.0.2.1

просто при открытии модуля ? 
или при опрегделенных гдействиях ? 

[Olegikkk]

При открытии модуля

[Rassol2]

41 минуту назад, Olegikkk сказал:

При открытии модуля

если есть возможность дайте в ЛС доступ к фтп и адмике я посмотрю что это .
Поскольку строка что описана у вас ошибке не инициализируется при открытии модуля. 

[Rassol2]

Обновление 1.1.1 принесло обновление алгоритма парсинга.
А точнее вот это.
 

23 часа назад, kikaridza123 сказал:

И вот это сайт у меня не открывает, визуально страницу грузит а вот код не показывает. http://prntscr.com/lwd70m

Немного перерилиил, потому что сложность была глубже чем в этом посте. Даие сайты не мог обрилиить модуль. 
теперьь проблемы быть не должно. 

Да же внес исправления в разгделители csv разгделителем может быть один символ. 
Сразу прописал в шаблон что бы потому чтольше нельзя было в вести. 

[Axelenz]

И ещё вопрос.

Спарсил около 200 ссылок и проверил. В некоторых месих не спарсились данные (парсил артикул и название товара). На всём когдачестве не спарсилось примерно по 10-и ссылкам. Проверил вручную - данные у донора присутствуют. Почему модуль гделает пропуски ? Может пропотому чтовать загдержку сивить ?