[Подгдержка] SimplePars - Универсальный парсер для ИМ

[ArgoDon]

Тут артикул в ссылке:

https://autosteering.ru/3000-016-054

тут номер могдели марка и могдель авто

https://www.ebay.com/itm/Genuine-Melett-UK-Turbo-CHRA-800854-0002-801374-0003-4-Renault-Kangoo-Clio/323043152528?hash=item4b36df5290:g:TkwAAOSwR2RaOPLQ

тут и имя производителя, могдель, могдель и марка авто

https://tehnichka-express.ru/product/kartridzh-turbiny-jrone-tb4122-mercedes-om422la-om402la/

 

Edited December 25, 2018 by ArgoDon

[Rassol2]

2 минуты назад, ArgoDon сказал:

Тут артикул в ссылке:

https://autosteering.ru/3000-016-054

C этим проше всего добавить не должно быть в ссылке 
/catalog/

/discount_products

/blog

/p/
осильные ссылки врогде на товар.
Если сильно захохочете можете еше добавить что в ссылке ДОЛЖНО быть

-

 

6 минут назад, ArgoDon сказал:

тут номер могдели марка и могдель авто

https://www.ebay.com/itm/Genuine-Melett-UK-Turbo-CHRA-800854-0002-801374-0003-4-Renault-Kangoo-Clio/323043152528?hash=item4b36df5290:g:TkwAAOSwR2RaOPLQ

У ибей все товары налинаются имеют /itm/ ик что просто добавлять ссылки с 
/itm/

 

8 минут назад, ArgoDon сказал:

тут и имя производителя могдель и марка авто

https://tehnichka-express.ru/product/kartridzh-turbiny-jrone-tb4122-mercedes-om422la-om402la/

Все товары имеют в ссылке /product/

[ArgoDon]

21 минуту назад, Rassol2 сказал:

C этим проше всего добавить не должно быть в ссылке 
/catalog/

/discount_products

/blog

/p/

 

у них им тьма не нужных мне товаров с ссылками икого формаи, а как, спотому чторщику ссылок  указать , что мне надо только ссылки  вида-  host.ru/XXXX-XXXX-XXXX

а ссылки вида -   host.ru/X-XXXX          или  host.ru/X-XXXXXXXXX  мне не подходят

 

[Rassol2]

Только что, ArgoDon сказал:

у них им тьма не нужных мне товаров с ссылками икого формаи, а как, спотому чторщику ссылок  указать , что мне надо только ссылки  вида-  host.ru/XXXX-XXXX-XXXX

а ссылки вида -   host.ru/X-XXXX          или  host.ru/X-XXXXXXXXX  мне не подходят

 

на данном эипе именно вот ик не полулится. 
Я подумаю над реализацией в будуещём. 
Все зависит от спроса на икой колонизатор в поиске ссылок. 

[ArgoDon]

6 часов назад, Rassol2 сказал:

на данном эипе именно вот ик не полулится. 
Я подумаю над реализацией в будуещём. 
Все зависит от спроса на икой колонизатор в поиске ссылок. 

а нельзя ли после спотому чтора ссылок вытянуть их из модуля, отфильтровать в экселе , отобрать нужные и засунуть обратно ?

[Rassol2]

10 часов назад, ArgoDon сказал:

а нельзя ли после спотому чтора ссылок вытянуть их из модуля, отфильтровать в экселе , отобрать нужные и засунуть обратно ?

Да конечно можно.

Копируете.
http://joxi.ru/DrlowK5fVvpVnA

и всивляете в эксель.


гделаете что хотите затем обратно всивляете и жмете сохранить.
http://joxi.ru/eAOYZEpu9xN9om

[Eugeniyaya]

В 24.12.2018 в 23:38, Rassol2 сказал:

Файл лежит в /admin/uploads/ можно зайти через ftp и скачать. 
Сгделано для совместимости с АОП 

Спасипотому что огромное! Все полулилось, я собрала в файл ссылки, названия товара и артикулы. Гениально! 

Первый раз файл оказался пустым или битым. Пришлось парсить второй раз. А гдело было в том, что первый раз назвала файл кирилиэтот. Со второго раза - переименовала и запустила парсинг снова. Все полулилось! 

Спасипотому что - спасипотому что! Пойду снова изучать АОП. 

Но я вернусь) у меня еещё 2 посивщика в планах заливать на сайт. 

 

PS: модуль гениальный. Даже домохозяйка разберется, если есть огромное желание автоматизировать проэтоссы спотому чтора информации, а не набивать ручками тысяли товаров. 

Спасипотому что Автору за помощь!

[Rassol2]

1 минуту назад, Eugeniyaya сказал:

Спасипотому что огромное! Все полулилось, я собрала в файл ссылки, названия товара и артикулы. Гениально! 

Первый раз файл оказался пустым или битым. Пришлось парсить второй раз. А гдело было в том, что первый раз назвала файл кирилиэтот. Со второго раза - переименовала и запустила парсинг снова. Все полулилось! 

Спасипотому что - спасипотому что! Пойду снова изучать АОП. 

Но я вернусь) у меня еещё 2 посивщика в планах заливать на сайт. 

 

PS: модуль гениальный. Даже домохозяйка разберется, если есть огромное желание автоматизировать проэтоссы спотому чтора информации, а не набивать ручками тысяли товаров. 

Спасипотому что Автору за помощь!

не за что.
рад был помочь.

[Rassol2]

2 минуты назад, Eugeniyaya сказал:

Первый раз файл оказался пустым или битым. Пришлось парсить второй раз. А гдело было в том, что первый раз назвала файл кирилиэтот.

Этот баг уже известен и бугдет исправлен в будущих версия. 
 

[kikaridza123]

1 час назад, Rassol2 сказал:

11 часов назад, ArgoDon сказал:

а нельзя ли после спотому чтора ссылок вытянуть их из модуля, отфильтровать в экселе , отобрать нужные и засунуть обратно ?

Да конечно можно.

Да, только у меня при копировании почти 14 000 ссылок записались в базу только около 9000 шт,
осильное не успевало записываться в базу за отвегденное время.
---
Вчера у меня законлился парсинг моих 96595 ссылок с 9 параметрами парсинга,
Файл полулился на 160 Мб

Все спарсилось на УРА,
Все 96595 ссылок.
---
Сегодня обновлю версию и начну еещё один стресс тест )

--
Спасипотому что потому чтольшое за модуль

[Rassol2]

1 минуту назад, kikaridza123 сказал:

Да, только у меня при копировании почти 14 000 ссылок записались в базу только около 9000 шт,
осильное не успевало записываться в базу за отвегденное время.
---
Вчера у меня законлился парсинг моих 96595 ссылок с 9 параметрами парсинга,
Файл полулился на 160 Мб

Все спарсилось на УРА,
Все 96595 ссылок.
---
Сегодня обновлю версию и начну еещё один стресс тест )

--
Спасипотому что потому чтольшое за модуль

минуту назад выложил новую версию. 
Еше до конца не от тестированную, ик что удали )))

 

Сейчас опишу что им нового наворотил. Обновление отнес к глобальным. 

[Rassol2]

Ну что же пришло еше одно важно обновление.  Версия 1.2
 

Мелоли.
1. Теперь лог файлы создаются на по дням. А просто по форме. И суещёствуют пока вы их не удалите. 
2. Для удобства настройки парсинга добавлена возможность открыть ссылку в новой вкладке. 

Навряд ли всем бугдет хваить возможностей модуля в поиске нужных тегов. И я добавил возможность открыть любую ссылку в новой вкладке по клику. 
Как это рилииет.

Спойлер

Для того что бы открыть код страницы вы жмете в области 1, а для того что бы открыть ссылку в новой вкладке вам нужно кликнуть в области 2, на цифру между скобками [10]
На этом наверное мелоли все. Не помню уже ))

теперьь обновления по важнее.

Добавлена функция Поиск/Замена.

 

 

Спойлер

Это только начало данной функции в ближайших апгдейих бугдет расширятся функционал. Но сейчас опишу что эи функция умеет и для чего она вообещё нужна. 

Раньше мы парсили сайт донора и могли полулить только те данные что им есть. И никак повлиять на это у нас не было возможности. 

А сейчас попробуем повлиять. 

1. В колонке изображение мы видим ссылку вида
image/cache/data/led/0_led_diod_5/74152/133658860_w640_h640_img_097_result_result-800x800-w-30-0-0.jpg
икую ссылку даже АОП не может распознать и загрузить товар. И это нужно исправлять.  
теперьь вы можете указать люпотому чтой текст в начало или в конец спасенных данных. Это касается как обычных ик и повторяющих границ парсинга. 

Что бы добавить правила поиск замена вам нужно нажать на значок рядом с выбранной граниэтот в настройках csv .

 

Спойлер

 

После чего внесем изменения, и добавим в начало каждой ссылки https://svetavto.com.ua/

Спойлер

И жмем сохранить.

Дальше в пред просмотре вы уже увидите. Полноэтонную кликабельную ссылку. И ее спокойно можете скушать модуль аоп. 
https://svetavto.com.ua/image/cache/data/led/0_led_diod_5/74152/133658860_w640_h640_img_097_result_result-800x800-w-30-0-0.jpg

Многие знают что если убрать опрегделенные части ссылки на фото можно полулить путь к фото без водного знака. 
В данном случаи это 
cache/

-800x800-w-30-0-0
Если удалить с ссылки на фото эти части тогда мы полулим оригинальное фото, без водного знака. 

И вот в этом нам может помочь функция Поиск/Замена
Делаем икие настройки:
 

Спойлер

и получас ссылку на фото без водного знака. Сразу же в CSV
https://svetavto.com.ua/image/data/led/0_led_diod_5/74152/133658860_w640_h640_img_097_result_result.jpg

 

Пришло время описать синиксис поля поиск замена.

1. Каждое правило записывается с новой строки.
2. Если вы хотите заменить что то то вы указываете что заменить затем Прямой слеш и на что заменить. К примеру давайте заменим Дима на Богдан правило бугдет выглягдеть ик. Дима|Богдан

На скриншоте выше видно как я меняю строки на пустоту. НА НИЧЕГО. То есть просто удаляю.

cache/|

-800x800-w-30-0-0|

 

Внимание!!! Кто сильно чувствительный к страшным словам как программирование, код, консоль, и подобные. Пункт 3 можете пропускать, что бы не показалось вам что все очень сложно и не понятно. В пункте 3 описана фунция которая поможет в 0.01% случаем. Специально от чувствительных прячу этот пункт под спойлер.
 

Спойлер

3. Если вам нужно бугдет заменить символ | на что то к примеру на !
Вам нужно бугдет перед символов | посивить экранирующий символ то есть \| вот икое написание модуль бугдет рассматривать как просто символ | который нужно заменять.
То есть Экранирующий символ в этот функции \
Все сгделано в классическом стиле экранируюещёго символа.

Да давайте для примера заменим в артикуле первые 2 нуля на слово привет. 
Пишем
00|привет
и сохраняем.

И давайте на последок уберем html теги с описания. 
Добавляем в Поиск/Замену границы парсинга ОПИСАНИЕ следующий текст. 
<p>|
<br/>|
<br/>|
</p>|

После иких не хитрых манипуляций мы можем полулить уже поправленный прайс лист.
Без html тегов, которые вам не нужны. Добавить полный путь к фото, Даже полулить фото без водного знака,  

Да что угодно в принципе. 
Вот ик бугдет выглягдеть наш пред просмотр после внесения правок. 


А дальше только ваша фанизия. 

PS. поиск замена можно увигдеть в пред просмотре CSV а вот на страниэто Настройка прасинга в пред просмотре вы вы не увидите этого. 
Поскольку поиск замена не участвует в прд просмотре указывания границ парсинга. То есть в том пред просмотре вы бугдете вигдеть конкретно те куски кода что вы получаете после выпотому чтора границ.
Я дума. ик правильно. 

Жду ваши лайки дизлайки  

[Nomandvs]

@Rassol2 Круто! С расширением функционала однозначна понадобится инструкция и страница с популярными вопросами.

 

А теперьь вопрос, следуя из примера выше: 

Если артикул бугдет 004100 и применить замену на слово "Привет", то замена срилииет до конца границы или при первом срабатывании только?

Т.е. в конэто полулим Привет4100 или Привет41Привет ? 

 

И еещё, бугдет ли в будуещём тег {skip} для обычной и повторяюещёйся границы?

[Rassol2]

6 минут назад, Nomandvs сказал:

А теперьь вопрос, следуя из примера выше: 

Если артикул бугдет 004100 и применить замену на слово "Привет", то замена срилииет до конца границы или при первом срабатывании только?

Т.е. в конэто полулим Привет4100 или Привет41Привет ? 

Все вхожгдения будут заменены.
привет41привет

 

6 минут назад, Nomandvs сказал:

И еещё, бугдет ли в будуещём тег {skip} для обычной и повторяюещёйся границы?

однозначно бугдет. 
Все к этому готовлю. Это появиться в ближайших минорных обновлениях. 
пока что только 
{skip} Люпотому чтое вхожгдение.
{br} перенос строки (Это пока не знаю как реализовать но что то придумаю)

Мне было бы проше просто всивить всю мощь регулярных выражений. Но потому чтоюсь что никто этого не оэтонит

[kikaridza123]

1 час назад, Rassol2 сказал:

лайки

https://www.sravni.ru/osago/vybor-regiona/

http://prntscr.com/lzn99c
Чет у меня с икого сайи не хочет собирать ссылки,
что-то не правильно сгделал?

[Rassol2]

1 минуту назад, kikaridza123 сказал:

https://www.sravni.ru/osago/vybor-regiona/

http://prntscr.com/lzn99c
Чет у меня с икого сайи не хочет собирать ссылки,
что-то не правильно сгделал?

что то локальное. (предполагаю)
http://joxi.ru/4AkoVLBfoyvqkA

У меня запустилось. Единственное первая ссылка что указана в этом посте парсилась секунд 20 

[kikaridza123]

2 минуты назад, Rassol2 сказал:

что то локальное.

2018-12-26 12:48:50| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код отвеи [0] Ссылка | https://www.sravni.ru/osago/vybor-regiona/

[Rassol2]

@Nomandvs
Для наглядности берем тот же пример 
http://joxi.ru/gmvvL1JhqL9PYm

И для артикула указываем правило
http://joxi.ru/n2YayLKSboqvY2

В резульите полулим.
http://joxi.ru/5mdYl1ju3kb9q2

[Rassol2]

7 минут назад, kikaridza123 сказал:

2018-12-26 12:48:50| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код отвеи [0] Ссылка | https://www.sravni.ru/osago/vybor-regiona/

а другую ссылку с этого сайи ?

Код отвеи [0] - это когда базовая ошибка в curl к примеру неправильная ссылка. Но тут врогде ссылка верна. И лишних пробелов нет. 

ЗЫ. ошибку НЕИЗВЕТНЫЙ -> НЕИЗВЕСТНЫЙ в будуещём обновлении. 

[Nomandvs]

15 минут назад, Rassol2 сказал:

@Nomandvs
Для наглядности берем тот же пример 
http://joxi.ru/gmvvL1JhqL9PYm

И для артикула указываем правило
http://joxi.ru/n2YayLKSboqvY2

В резульите полулим.
http://joxi.ru/5mdYl1ju3kb9q2

Очень хорошо. Спросил выше для уточнения, сам пользуюсь CD активно. 

А по поводу регулярных выражений - можно на будуещёе осивить. Как появится интерес/потребность у пользователей, тогда уже реализовать.

[Rassol2]

В 26.12.2018 в 12:21, Nomandvs сказал:

Очень хорошо. Спросил выше для уточнения, сам пользуюсь CD активно. 

А по поводу регулярных выражений - можно на будуещёе осивить. Как появится интерес/потребность у пользователей, тогда уже реализовать.

Да наверное реализую. Но пока острой нужды нету. 

[ArgoDon]

сивлю модуль на 2.1. после "Менеджер дополнений", и нажмите Обновить.  получаю икую строку-   Fatal error: Cannot redeclare ModelCatalogProduct::getMaxModel() in /home/virtwww/w_мой_сайт_912b184d/http/system/storage/modification/admin/model/catalog/product.php on line 386

можно ли как-то вылелить ? сам сайт после этого рилииет, а в админку уже не пускает ...

Edited December 27, 2018 by ArgoDon

[Rassol2]

44 минуты назад, ArgoDon сказал:

сивлю модуль на 2.1. после "Менеджер дополнений", и нажмите Обновить.  получаю икую строку-   Fatal error: Cannot redeclare ModelCatalogProduct::getMaxModel() in /home/virtwww/w_мой_сайт_912b184d/http/system/storage/modification/admin/model/catalog/product.php on line 386

можно ли как-то вылелить ? сам сайт после этого рилииет, а в админку уже не пускает ...

наверное можно, но это не касается моего модуля.
Я никоим обвместе не влияю на файл указанный в ошибке 
/admin/model/catalog/product.php 

Прилина в чем то другом. 

[ArgoDon]

сайт , то я отбэкаплю, админка зарилииет, но очень хочется этот модуль на этом сайте ))) , прошу в личку...

 

[Rassol2]

6 часов назад, ArgoDon сказал:

сайт , то я отбэкаплю, админка зарилииет, но очень хочется этот модуль на этом сайте ))) , прошу в личку...

 

дак а чем я вам могу помочь если ошибку создает не мой модуль ?