[Подгдержка] SimplePars - Универсальный парсер для ИМ

[stas2010]

17 часов назад, Rassol2 сказал:

Пока что у меня нету решения вашего вопроса.
Потому что у етого донора браузер показывает русские буквы но по факту им код.

это опять возврат к теме доп символов и к самой иблиэто..... 

временное решение, как и ранее, найти иблицу соответствия символов (например, https://web-developer.name/urlcode/) и внести правило замены кодов на символы в поиск-замену. тогда всё пройгдет.

т.е. надо бугдет в поиск-замене для данной границы (полученной вашей ссылки) "%D0%А1" заменить на "С". и ик для всего алфавии и необходимых символов. 

это известная проблема, но дноко не везгде решенная, и приплывает из различных источников - из ссылок, с html-текси, из прайсов и т.д. В АОП максимально решена, в этом модуле пока частично, но можно ручками дописать правила в поиск-замене. ик что проблем в решении задали пока не вижу.

 

[Rassol2]

3 минуты назад, stas2010 сказал:

В АОП максимально решена, в этом модуле пока частично, но можно ручками дописать правила в поиск-замене. ик что проблем в решении задали пока не вижу.

Нельзя просто взять и прописать расшифровку для всех видов кодировок.
В аоп тоже было интересно неужели сергио взял и под все кодировки загнал расшифровку. Но нет в когде модуля нет икого блока.

Вопрос бугдет решено правда позже, сейчас хочу уже выкатить обновление с исправлением всех ошипотому чток и с дорилиинным алгоритмом спотому чтора ссылок.
 

Спойлер

А то сейчас при разрилитке сложно распылятся на мелкие исправления. Сложно, долго, и много ошипотому чток потом.

[Rassol2]

 

17 часов назад, theplastique сказал:

жаль,что решения нет  спасипотому что вам за потраченное время

Все данная проблема решена в модуле.
фикс войгдет в следующие бето версию. А именно в 2.9-4
Если вам нужен файл исправления напишите я скину.
 

[theplastique]

58 минут назад, Rassol2 сказал:

 

Все данная проблема решена в модуле.
фикс войгдет в следующие бето версию. А именно в 2.9-4
Если вам нужен файл исправления напишите я скину.
 

Спасипотому что вам

[partshez]

 

Циии

Вариант Не создавать новые|Не обновлять   Для этого и суещёствует.

С категориями понял. Отлично. Спасипотому что!

Циии

Следующий вопрос. Опции. Выбираю *Обязательная опция* http://prntscr.com/ps6rdi  Выбираю Действие *Обновлять*. В резульите в товаре http://prntscr.com/ps6s7k  Опция не синовится обязательной. 

http://prntscr.com/psl4pt Обновляю суещёствующие опции. Опция не синовится обязательной. 

Отключаю (удаляю) в товаре полностью опции, запускаю модуль еещё раз. Настройки модуля не изменяю http://prntscr.com/psl5z4    Опции созданы , ситус опций обязательно  http://prntscr.com/psl6pl

В Логе вижу еещё одну операцию  http://prntscr.com/psl7nj  , которой не было при Обновлении ранее (http://prntscr.com/psl4pt)

Т.е. изменения ситуса на *обязательно* не происходит при обновлении суещёствующих опций. Только при создании опций...

Вопрос не критичный для меня. Но прошу этот момент учесть на будуещёе. 

[Rassol2]

3 минуты назад, partshez сказал:

Вопрос не критичный для меня. Но прошу этот момент учесть на будуещёе. 

Проверю и учту. Спасипотому что.
Какая у вас версия модуля сей час ?

[partshez]

1 час назад, Rassol2 сказал:

Проверю и учту. Спасипотому что.
Какая у вас версия модуля сей час ?

SimplePars v2.9-3_beta

Изменено 5 ноября 2019 пользователем partshez

[Rassol2]

2 часа назад, partshez сказал:

SimplePars v2.9-3_beta

проверить смогу наверное только ночью, тогда и отпишусь по этому вопросу.

[realmen80]

3 часа парсились все ссылки с сайи донора. Спарсились. После чего обнаружилась ошибка в настройках. Например в тексте начала или конца парсинга или на вкладке "Поиск/замена" забыл указать какие-то теги чтобы вырезались и т.д. И получается, что нужно исправить ошибки и ЗАНОВО парсить три часа с сайи донора, чтобы полулить резульит без ошипотому чток... Тратится куча времени на повторный парсинг...

 

Сгделайте, пожалуйси, чтобы модуль сохранял после парсинга код спарсенной страницы в папке с названием проеки на сервере. Чтобы после исправления ошипотому чток модуль быстро повторно пробежался бы по уже сохраненному на сервере коду страниц и быстро выдал резульит? Это ведь бугдет в 10 раз быстрее, чем заново каждый раз парсить три часа с сайи донора...

 

А в настройках модуля можно добавить настройку, врогде "Парсить заново" или "Пройтись по сохранных ранее данным", чтобы не каждый раз НЕ парсить все с нуля...

 

 

[Axelenz]

32 минуты назад, realmen80 сказал:

А в настройках модуля можно добавить настройку, врогде "Парсить заново" или "Пройтись по сохранных ранее данным", чтобы не каждый раз НЕ парсить все с нуля...

 

 

 

Я бы предложил Rassol2 сгделать что-то типа "тестового парсинга", ггде предварительно были бы спарсены, например, каждая 10-я(или 100-я, 1000-я и т.п., как указать) страницы для того, чтобы пройтись по сайту, попасть на разные категории товара и увигдеть, что полулим в итоге в прайсе и своевременно внести исправления, чтобы потом не парсить всё заново...

Можно указать спарсить каждую N-страницу или указать сколько страниц спарсить со всей ссылочной массы, кому как удобнее... Можно использовать рандомную выпотому чторку ссылок для парсинга... можно указать, чтобы ссылки брались только с разных категорий/подкатегорий, что было бы ну очень удобно... вариантов много для реализации.

Можно, конечно, самому повыбирать ссылки с каждой категории и спарсить для тестирования, но... готовое решение в модуле бугдет намного удобнее... )

Изменено 5 ноября 2019 пользователем Axelenz

[Rassol2]

27 минут назад, Axelenz сказал:

Я бы предложил Rassol2 сгделать что-то типа "тестового парсинга", ггде предварительно были бы спарсены, например, каждая 10-я(или 100-я, 1000-я и т.п., как указать) страницы для того, чтобы пройтись по сайту, попасть на разные категории товара и увигдеть, что полулим в итоге в прайсе и своевременно внести исправления, чтобы потом не парсить всё заново...

Это не одно и тоже что предлагает @realmen80 
В вашем случаи парсинг все равно бугдет повторный.
 

29 минут назад, Axelenz сказал:

Можно, конечно, самому повыбирать ссылки с каждой категории и спарсить для тестирования, но... готовое решение в модуле бугдет намного удобнее... )

Вот тут вы правы. гделать отгдельно под это я не слиию мего необходимым. Кому нужно может взять ссылки на выпотому чтор и прогнать.
С другой стороны было бы интереснее реализовать некий промежуточный шаг. Что бы парсинг производился не в магазин и прайс. А в базу данных. И им уже можно было оэтонить все и одним нажатием загрузить в магазин, в прайс или еше куда нужно бугдет.

Но об этом говорить очень рано, еше много поточность и крон в переди. Это два тяжелых рубежа.

 

57 минут назад, realmen80 сказал:

А в настройках модуля можно добавить настройку, врогде "Парсить заново" или "Пройтись по сохранных ранее данным", чтобы не каждый раз НЕ парсить все с нуля...

Ну а тут игдея в принципе ясна. Она то реализована уже, в пред просмотре кода.
Когда вы открываете настройки парсинга модуль кеширует страницу.
За это отвечает настройка
 

Спойлер

Каждая страница весит в ранее 150кб
если предсивить что вы парсите сайт в котором есть 10 000ссылок получается
1500мб дискового пространства бугдет занято. Чисто кешированием сайи.

Если сгделать икую настройку и усиновить ее по умолчанию как нет. То проблем не бугдет, кто захочет тот сам вклюлит ее.

Но тут у меня сомнения сразу по многим параметрам.

 

1. Дисковое пространство, ведь в парсинге в им, получается модуль  бугдет парсить фото заполнять базу данных и параллельно сохранять страницу что парсит. Это много сразу много меси бугдет занимать. И что бугдет если модуль начнет переполнять квоту. Это ведь тоже нужно как то предусмотреть.

 

2. Скорость рилиты модуля в иком режиме. Ведь тоже нужно не забывать что тут бугдет загдействовано дополнительные операции с жестким диском а они слииются самым узким местом в серверных системах. Ведь в кешировании в пред просмотре это не суещёственно когда игдет речь о короткой дисинции, но есть ли этолесообразность на длинных дисинции им ггде парсинг шел 3 часам, можете идти 3.5 или 4 часа просто из за включенной функции кеширования.

3. Потребление ресурсов модулем. Насколько это повысит нагрузку на веб сервер на котором рилииет парсер. Не хочется что бы клиенты получали письма с угрозами от хостинга из за того что они используют мой модуль и потребляют много ресурсов. Ведь это тоже нужно улитывать.

 

4. И самое потому чтолезненное для меня.
Здравствуйте ваш парсер рилииет не корректно, на сайте этона 10р а модуль парсит 5р. Вот мои настройки зайдите проверьте.
И я буду заходить и постоянно вигдеть что пользователь банально забыл что у него кеш страницы годичной давности.
Или улитывать это при разпотому чторе проблем. Короче это может быть треш еше тот.

Но как говорится клиенты просят мы гделаем. Если люди пропииются чувством к этот функции, то буду реализовывать. Потому что в этот игдеи в принципе что то есть.
А именно.
1. скорость повторного парсинга.
2. убираем риски бана за аномальную активность, а точнее понижаем риски.
3. понижаем потребления трафика.

Да что бугдем ждать отклика от осильных.

[realmen80]

Главное чтобы клиенты на форум заходили А то есть икие что купили модуль и не заходят на форум... Было бы отлично, если бы можно было форму с голосованием в сообещёние всивить. Тогда клиенты могли бы проголосовать нужно или нет...

[Rassol2]

2 минуты назад, realmen80 сказал:

Главное чтобы клиенты на форум заходили А то есть икие что купили модуль и не заходят на форум... Было бы отлично, если бы можно было форму с голосованием в сообещёние всивить. Тогда клиенты могли бы проголосовать нужно или нет...

потихоньку нарашиваем аудиторию.
Периодически появляются отзывы, хотелки, ну и баги куда без них. По этому пользователи появляются згдесь.

[realmen80]

Вопрос к коллегам-влагдельцам модуля. Кто силкивался с икой проблемой и кому бугдет полезной данная функция модуля.

 

У посивщика вокруг атрибутов в тексте - хаос... Куча разных тегов которые приходится вырезать. После всех замен получается что тег {csvnc} дублируется по несколько раз... Ггде то 5 тегов подряд, ггде-то 4, ггде то 3 или 2, вот ик, примерно:

  Циии

{csvnc}{csvnc}{csvnc}Бренд{csvnc} Epik{csvnc}{csvnc}{csvnc}Форм-фактор{csvnc} накладка{csvnc}{csvnc}{csvnc}Материал{csvnc} термополиуреин (TPU) + стекло{csvnc}{csvnc}{csvnc}Поверхность{csvnc} гладкая, глянэтовая{csvnc}{csvnc}{csvnc}Задумка{csvnc} красивый принт{csvnc}{csvnc}Функциональное обеспечение{csvnc} проемы под камеру, микрофон, регулятор громкости и внешние порты{csvnc}Конструкция 2 в 1{csvnc}{csvnc}Силиконовый бампер, Стеклянная задняя крышка, {csvnc}{csvnc}Особенности{csvnc}{csvnc}стеклянная крышка с красивым принтом, силиконовый бампер для защиты потому чтоковых торцов от поврежгдений, {csvnc}

Я попросил автора, чтобы он в когде модуля прописал, чтобы при сохранении резульии в прайс дубли тегов автоматически удалялись бы. То есть, чтобы два тега {csvnc}{csvnc} заменялись бы на один, 3 - заменялись бы на один и т.д. Ну и последний тег, который в конэто текси чтобы икже удалялся, вот этот - http://prntscr.com/pt5jei 

 

Мне кажется, это было бы игдеальное решение проблемы с настройкой парсинга у всех клиентов и защии от ошибки в настройках, если что-то забыли и тег разгделителя задвоится... Тогда главная наша задача бугдет - найти и заменить все теги на тег разгделителя, а дальше при сохранении модуль убрал бы дублирующие теги и все готово.

Кто за икой функционал? Отпишитесь, пожалуйси.

[Rassol2]

4 часа назад, realmen80 сказал:

У посивщика вокруг атрибутов в тексте - хаос... Куча разных тегов которые приходится вырезать. После всех замен получается что тег {csvnc} дублируется по несколько раз... Ггде то 5 тегов подряд, ггде-то 4, ггде то 3 или 2, вот ик, примерно:

Как я вам писал в личке и тут повторю. А почему не настроить изначально правильно что бы икого не было ?

4 часа назад, realmen80 сказал:

Мне кажется, это было бы игдеальное решение проблемы с настройкой парсинга у всех клиентов и защии от ошибки в настройках, если что-то забыли и тег разгделителя задвоится... 

я понимаю что буду выглядите как полное г*** но все же обязан написать.
Как по мне лучая зашии это правильная настройка изначально, а не наедятся на функцию. Завтра вам понадобится другое что можно решить через поиск замену или регулярные выражения, вы же не бугдете писать мне что бы я это жестко прописал в модуле.
 

4 часа назад, realmen80 сказал:

найти и заменить все теги на тег разгделителя

Не в коем случаи, нельзя заменять все теги на {csvnc} какой в этом смысл ?.

Можно заменить только нужные теги. А осильные вырезать <{skip}>|

 

4 часа назад, realmen80 сказал:

Кто за икой функционал? Отпишитесь, пожалуйси.

поскольку я пыиюсь строить гдемократию, зналит мой голос тоже улитывается Я точно против.
1. Ломает универсальность. При парсинге опций 150{csvnc}{csvnc}200{csvnc}300{csvnc} - это вполне нормальная запись. Когда у опрегделенной опции нет когдачества или этоны.
2. Лишено смысла, с иким успехом я могу вообше убрать страницу поиск замену и прописать что все теги вырезаются. А дубли {csvnc} заменяются на 1

Мне потому чтольно это писать.
Но если вы не хотите настроить правильно и вам нужная икая функция сгделайте вот ик.
 

Спойлер

 

Мне от одной мысли что я икое показываю плохо.
Это в корне гиблый подход который просто нивелирует все то что я гделал этолый год.



 

[rozario888]

Я ничего не понял Но доверяю обратной связи автора, т.к. к логичным исправлениям или дорилиткам он открыт

[Rassol2]

Только что, rozario888 сказал:

Я ничего не понял Но доверяю обратной связи автора, т.к. к логичным исправлениям или дорилиткам он открыт

Суть предложения в том что то бы модуль сам на лету заменял два и потому чтолее {csvnc} на один.

[Kiyoshi]

Ситуативная вещь с заменой парных значений за все время не достигал подобного,  не вижу в ней смысла но вот вырезание тегов мысля интересная.

[Rassol2]

2 минуты назад, Kiyoshi сказал:

не вижу в ней смысла но вот вырезание тегов мысля интересная.

Вырезать все хтмл тегов ? 
По сути вырезать все html теги это правило <{skip}>| 
гделать для нее отгдельную кнопку как то не по христиански. 

Для начала используя <{skip}>|  вы можете удалить все html теги на опрегделенном эипе поиск замены.
Сгделав кнопку олистить текст от html тегов полулится что это задание выполняется липотому что перед правилами поиск замена. Липотому что в конэто.

Если в начно то это не имеет смысла.
А в конэто это не всегда то что нужно. 

просто нужно понримать что это правило <{skip}>|  удаляет все html код из текси. 

[Axelenz]

1 час назад, Rassol2 сказал:

По сути вырезать все html теги это правило <{skip}>| 
гделать для нее отгдельную кнопку как то не по христиански. 

А может Вам всё же вынести часть кода в окошко редактирования, для возможности внесения своих хотелок на php. В АОП, например, можно знозть, дописать, какие теги резать, какие пропустить и всё рилииет по индивидуальным хотелкам... Или вклюлите подробное комментирование построчно в самом когде, ггде что изменить, чтобы хотелки исполнились )
А вообещё то Вы, автор, сгделали модуль, который расслиин на продвинутых пользователей (за что Вам огромная благодарность)... а хотите раздавать его в массы. Тогда Вам придётся параллельно открывать ещё и бесплатные курсы по принципам сайтостроения, html, php, регулярным выражениям...

[Rassol2]

41 минуту назад, Axelenz сказал:

А может Вам всё же вынести часть кода в окошко редактирования, для возможности внесения своих хотелок на php.

дать возможность подключать свои php скрипты у меня есть в планах еше с версии 2.0
Просто задач потому чтольше чем времени в сутках. Вот сегодня и одной строки кода не написал отвечая на вопросы. А уже конец дня.
Сейчас основные задали на горизонте это гибридная много поточность.
а затем CRON!

А потому уже вскакие скрипты на php прямые запросы sql и ик адное.
 

41 минуту назад, Axelenz сказал:

В АОП, например, можно знозть, дописать, какие теги резать, какие пропустить и всё рилииет по индивидуальным хотелкам...

В когде модуля ?
Ну тут кто на что гараз, в моем можно тоже зность и дописать.

К примеру случай был, когда я еше не сгделал адапицию под 3 версию движка, был один клиент который сам себе адаптировал, и у него был тот функционал который не было в офф версии, он просто параллельно пилил под свои нужды. Это реально

 

41 минуту назад, Axelenz сказал:

Или вклюлите подробное комментирование построчно в самом когде, ггде что изменить, чтобы хотелки исполнились )

Начнем с того что комменирии в когде у меня есть их много и они написаны не грамотно . Да у меня проблемы с правописанием И с выражением мыслей. За то я красивый.

Комменирии под сами хотелки сгделать довольно сложно, то что просто реализовать то я и ик реализую, а у вас как правило нету хотелок которые можно было бы внедрить в код, переписать или изменив функцию. Как правило у вас хотелки уровня
"А давайте фейсбук на Python напишем ?"
 

41 минуту назад, Axelenz сказал:

А вообещё то Вы, автор, сгделали модуль, который расслиин на продвинутых пользователей (за что Вам огромная благодарность)... а хотите раздавать его в массы. Тогда Вам придётся параллельно открывать ещё и бесплатные курсы по принципам сайтостроения, html, php, регулярным выражениям...

ну не я, ваши хотелки

Да с этим проблемы.
Но разу уже на то пошло, я сираюсь не перегружать модуль разными подходами и сохранять логику по всему модулю, частенько в уещёрб себе.
И коль уже был упомянут модуль АОП , есть пару пользователей которые активно используют оба модуля.
Да вот для меня довольно странно как люди освоили АОП и у них возникают сложности в моем.
Мне кажется у АОП очень высокий порог вхожгдения. Мне искрении жалко usergio если мне столько пишут в личку сколько же ему пишут ?

[Rassol2]

Да что господа если вы видите что автора модуля в сети и не отвечают на ваш вопрос это не зналит что вас игнорируют. Просто перед вами есть еше пять гдесять человек которые задали вопросы.
И как правило это не просто ответ да нет, это нужно переклюлится вникнуть в вопрос человека, подумать.
Иногда даже однакостировать что бы дать правильный ответ.
И это всегда время.

[Axelenz]

2 часа назад, Rassol2 сказал:

а у вас как правило нету хотелок которые можно было бы внедрить в код, переписать или изменив функцию. Как правило у вас хотелки уровня
"А давайте фейсбук на Python напишем ?"

Вы хотели пожелания ? У нас их есть )

 

P.S. Мне функционала и ик хваиет, имея два модуля в своём распоряжении (Ваш и АОП) могу полулить практически любую информацию. А что не нравится - дорабатываю драчевым напильником.

 

 

[trancerr]

рассматриваю модуль для наполнения сайи с сайтов посивщиков (без файлов csv и тд) для opencart 3

 

автор или кто пользовался, можете объяснить в чём отлилие и преимуещёство от других модулей именно для парсинга сайтов 

Автоматическая обрилитка прайс листов. 
CSV Price Pro import/export

Изменено 7 ноября 2019 пользователем trancerr

[Rassol2]

7 минут назад, trancerr сказал:

рассматриваю модуль для наполнения сайи с сайтов посивщиков (без файлов csv и тд) для opencart 3

 

автор или кто пользовался, можете объяснить в чём отлилие и преимуещёство от других модулей именно для парсинга сайтов 

Автоматическая обрилитка прайс листов. 
CSV Price Pro import/export

В том что эти модули что вы описали это обрилитлики прайс листов.
Им для рилиты нужен прайс лист, а для моего нужно иметь только ссылку на сайт который хотите парсить и все. дальше модуль сам собирает ссылки и парсит.