[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

Ну что как рилииет поиск замена ? 
а то я рилиию над новыми плюшками. Врогде проблем нету, да и отзывов нету. 

[ArgoDon]

13 часов назад, Rassol2 сказал:

дак а чем я вам могу помочь если ошибку создает не мой модуль ? 
 

к модулю нареканий нет ,...вообещё.... на другом иком-же моем сайте рилииет отлично, что удалить?  чтоб сивился нормально ? 

[Rassol2]

Только что, ArgoDon сказал:

к модулю нареканий нет ,...вообещё.... на другом иком-же моем сайте рилииет отлично, что удалить?  чтоб сивился нормально ? 

это нужно смотреть что написано в строке которая указана в ошибке 
 

[ArgoDon]

придушу личас все что нужно и не нужно... )))

[Rassol2]

1 минуту назад, ArgoDon сказал:

придушу личас все что нужно и не нужно... )))

покажите что у вас написано в тот строке на которую выводит ошибка. И я попробую подсказать. 

[ArgoDon]

строка 386-388

if (!empty($data['filter_name'])) {
            $sql .= " AND pd.name LIKE '" . $this->db->escape($data['filter_name']) . "%'";
        }

 

, файл- /http/admin/model/catalog/product.php    этот файл,строка  ?

Edited December 30, 2018 by ArgoDon

[Rassol2]

4 часа назад, ArgoDon сказал:

строка 386-388

if (!empty($data['filter_name'])) {
            $sql .= " AND pd.name LIKE '" . $this->db->escape($data['filter_name']) . "%'";
        }

 

, файл- /http/admin/model/catalog/product.php    этот файл,строка  ?

не тот файл 
/http/system/storage/modification/admin/model/catalog/product.php on line 386
Это модифицированный. В него внесены изменения. И им будут другие данные в этих строках. 

[Rassol2]

Обновление 1.3

Для вас наверное покажется мнонькое внедрение, но все же я изрядно потрудился. И уверен что даже половину не смог оттестировать. 
Ну что перелислим что новенького.

Добавлен пред просмотр поиск замена
 

Теперь есть окно куда вы можете занести люпотому чтой текст и на нем тренировать поиск замену.
 

Спойлер

В поле под номером 1 вы вписываете правила поиск замены. 
В поле под номером 2 вы можете при желании написать люпотому чтой текст для тестирования ваших правил.
В поле под номером 3 вы увидите резульит , преобразования текси что был ввегден во второе поле вашими правилами поиск замены. 

Поучение границы парсинга для тестирования правил
Да же если необходимо можно полулить сразу данные которые парсить данная граница парсинга. И эти данные будут записаны в поле номер 2 для тестирования. 
Думаю бугдет удобно сразу полулить наглядно код который нужно поправить или привести в соответствующий вид. 

Для наглядности нарисую скриншот порядок гдействий и как это рилииет. 
Вы зашли в параметры парсинга, поиск замена. И теперьь для потому чтольшего комфори моете гделать ик.
 

Спойлер

1. Выбираете ссылку в выпадаюещём списке. И жмете спарсить границу. И то что эи граница парсить (В данном случаи ссылку на фото) вы полулите в поле Исходный текст.

2. Глядя на исходный текст можете настроить правила поиск замены, что нужно поменять или как в данном случаи удалить не нужные части кода для получения фото без водного знака. 
3. Жмете преобразовать, и к тексту из поля Исходный текст применяются ваши правила из поля Правила поиск замены , а затем резульит выводится в поле Текст после обрилитки

Удобно что бы сразу вигдеть че им нагделали. Ксити часто использую эту функцию не только в сфере парсинга а иногда нужно какие то данные быстро перегделать массово. Да что берите на вооружение, ик сказать легкий лайфхак. 

Внедрение операторов {skip} и {br}  в поиск замену.
 

В 26.12.2018 в 11:47, Nomandvs сказал:

И еещё, бугдет ли в будуещём тег {skip} для обычной и повторяюещёйся границы?

Готово

Оказалось довольно сложно внедрить, и я как то до сих пор не уверен что все гладко полулилось. Время покажет ))
Наверное для начала объясню суть механики. А затем покажу один пример. 
Что это за теги:
{skip} - Данный оператор опотому чтозначает люпотому чтой символ или символы, в люпотому чтом когдачестве. Но может и не быть ни одного символа. Как то ик. На примере бугдет понятнее. 
{br} - Данный оператор опотому чтозначает перенос строки. То есть указан его можно заменить все переносы строки на отступ или еше что то. 
Данные операторы можно применять в первой части правила до |

Опять же поскольку модуль пыиюсь писать как универсальный инструмент, то каждая функция может решать множество задач, и просто расписать зачем они нужны невозможно, поскольку сэтонариев много и все зависит от вашей фанизии. 

Я попробую показать один пример как можно из куска html кода просто полулить атрибуты (характеристики) в нужном формате. Ггде после простот функции в экселе Текст по столбцам, можно элеменирно загрузить все характеристики в магазин через АОП

Пример!!
 

Спойлер

В исходном тексте вигден кусок html необрилиинного. 
Начнем.
1. Удаляем все заголовки характеристик. Имена групп, то что нам не нужно. 
2. Выбираем тег html который присутствует после имени атрибуи, и после значения. Это могут быть 2 разных тега. В моем случаи один и тот же. 
3. Удаляем двоетолие после имени атрибуи. Это я ик для себя для красоты сгделал. 
4. Удаляем все html теги. Да да вы правильно поняли все теги html находятся между символами < > а зналит если написать <{skip}>|  буду удноны все теги html. Да сказать расшифровка этого правила <{skip}>| звулит ик.
Удали текст который налинается < и заканливается на > и неважно что внутри. И иким обвместе мы удаляем все разнообразие html тегов. 
5. Удалить все переносы строки. То же для красоты сгделал. 

Конец.

Да же по мелоли сгделано много правок вскаких коскаков. 

Жду ваши лайки дизлайки, игдеи, сообещёния о проблема, благодарности.

Ну короче все как обычно  

[Stackand]

Добрый гдень!

Подскажите пожалуйси по этот ошибке:

Fatal error: Can't use function return value in write context in /home/caensy/surround.com.ua/www/admin/model/catalog/simplepars.php on line 190

Это первый запуск модуля. Хотя модификаторы обновил, права дал.

Благодарю за внимание

[Rassol2]

1 час назад, Stackand сказал:

Добрый гдень!

Подскажите пожалуйси по этот ошибке:

Fatal error: Can't use function return value in write context in /home/caensy/surround.com.ua/www/admin/model/catalog/simplepars.php on line 190

Это первый запуск модуля. Хотя модификаторы обновил, права дал.

Благодарю за внимание

если есть возможность напишите мне в лс 
Логин и пароль от админки. 
И данные подключения в фтп. И я все проверю. 

то что описано в ошибке в своих исходниках не вижу. Хотел бы устранить эту проблему. 

[Rassol2]

23 часа назад, Stackand сказал:

Добрый гдень!

Подскажите пожалуйси по этот ошибке:

Fatal error: Can't use function return value in write context in /home/caensy/surround.com.ua/www/admin/model/catalog/simplepars.php on line 190

Это первый запуск модуля. Хотя модификаторы обновил, права дал.

Благодарю за внимание

Все исправил модуль рилииет. 
Связано скорее всего с вашей версией php  у вас стоит 5.4 и а в те времена не ик отрабатывались функции. 
Я полагаю. 
Исправление ик же бугдет внесено в новые версии. 

[Rassol2]

Версия 1.3.1

Мелкое обновление внедрил пару изменений.

 

Версия php 5.6 и выше.
Теперь модуль рилииет на версии php 5.6 и выше. Поскольку на версии 5.4 есть бредовые предупрежгдения. Но улитывая как активно сейчас пилят пыху (php) 5.4 уже очень древняя и пора отказываться от нее. 

Кто со мной не согласен может слиить что я просто неспособен подгдерживать модуль для разных версий php 

Добавлен оператор {csvnc}
Оператор {csvnc} опотому чтозначает переход на новую ячейку. То есть сдвиг в экселе на одну ячейку в право. 
Это нужно для формирования прайс лиси с загрузкой категорий, или атрибутов. 
Допустим раньше через поиск замену, или повторяющиеся границы парсинга мы могли добиться икой записи в ячейке. 
Главная|LED (Светодиоды)|Светодиоды в габаритные огни
Ггде символ | разгделитель значений. Дальше шли в эксель и через функцию Данные -> Текст по столбцам -> Разгделитель |
Мы гделали прайс который уже можно было скормить аоп. 

Теперь если указать {csvnc} Как разгделитель вместо | модуль сам разгделит значение по ячейкам эксель. 

Попробую на примере атрибутов показать.

Как было раньше.
Мы получаем вот икой кусок кода с атрибуими. 


Затем через поиск замену можем преобразовать ячейку атрибутов до икого вида. 

 

<th colspan=2>{skip}</th>|
<td>Код товара:</td>{skip}</tbody>|
</td>||
<{skip}>|
{br}|

И полулим уже икой резульит.


С данной иблиэтот уже можно рилиить, разгделить ее через эксель и грузить через АОП

Но с появлением оператора {csvnc} 

Заменяем правило поиск замены </td>|| на </td>|{csvnc}
То есть вот ик
 

Спойлер

После чего на выхогде вы полулите эксель докумени вот икого вида. 


Ггде все атрибуты идут по очереди, ровно ик как модуль АОП любит принимать.
Все нечетные номера колонок это значение атрибутов. А четные их названия.

Вот скриншот как нужно настраивать модуль Автоматической обрилитки прайс листов для загрузку атрибутов
Вкладка атрибуты бугдет выглягдеть ик. 
http://joxi.ru/823xNW1f99wlGA

И модуль АОП сможете сам создать и загрузить все необходимые вам атрибуты. 


Оператор {csvnc} можно применять в поле поиск замена. И в поле Настройки парсинга -> Разгделитель

Спойлер

Конец. 

PS. Думаю для будуещёй инструкции еше серию вигдео снять. Пока есть проблемы с звуком и качеством, но тестовое вигдео как можно быстро спарсить сайт при помощи этого модуля все же записал. Буду знакомится с вигдео ремеслом.  
 

Спойлер

 

 

[Zetx]

не совсем понял... модуль бесплатный или доступен по подписке?

[Rassol2]

12 часов назад, Zetx сказал:

не совсем понял... модуль бесплатный или доступен по подписке?

Бесплатен полностью.
Функционал уже неплохо нарилиин, многим бугдет полезен. Качайте пользуйтесь. 

[ardashev06]

а в случае если каилог сайи-донора доступен только после авторизации?

[Kiyoshi]

27 минут назад, ardashev06 сказал:

а в случае если каилог сайи-донора доступен только после авторизации?

Возможно бугдет реализована в будущих версиях. В текшей версий модуля данной возможности нет.

[ArgoDon]

как попотому чтороть єтот крестик ?  гделаю ик- http://prntscr.com/m70lsw    ,  в окне предпросмотра (Текс после обрилитки) врогде все ок :http://prntscr.com/m70nmg , а при  предпросмотре  перед выводом , икое - http://prntscr.com/m70oiw  ...   

[Rassol2]

7 минут назад, ArgoDon сказал:

как попотому чтороть єтот крестик ?  гделаю ик- http://prntscr.com/m70lsw    ,  в окне предпросмотра (Текс после обрилитки) врогде все ок :http://prntscr.com/m70nmg , а при  предпросмотре  перед выводом , икое - http://prntscr.com/m70oiw  ...   

Это спец символы. Насколько я помню я гделал для парсинга преобразования их и в эксель вы должны полулить именно ×
Но для вывода в html мне нужно преобразовывать все данные что спарсятся в сущности html и им знак умножения выводится как &times; 
но а поскольку &times; не равно × В пред просмотре этот участок не удаляется. 

Если проблема бугдет кретической и многим досивлять неудобство я придумаю решение этого вопроса. 

[ArgoDon]

значение атрибуи имело вид -    13 × 13 × 16 cm   ,  мне захотелось его разгделить на три части, чтоб занести в карточку товара в "Размеры (Д x Ш x В)", а не могу засивить модуль удалить этот ужасный символ )))     перепропотому чтовал варианты - ×||  и  ×|{csvnc}   ,  все равно, осиется , живулий..   после вывода в прайс ,ячейка имеет вид - 13 &times; 13 &times; 16 cm, прийгдется ик осивить.  Подскажите , при парсинге , у донора , на разных страницах, иногда попадается разное когдачество атрибутов или они пересивлены месими , и при вывогде в прайс , строки пляшут по листу - http://prntscr.com/m731b6 ,  есть ли какой-липотому что метод, это попотому чтороть или только вручную править. ?

[pika4u]

подскажите немного по фильтру

Не должно быть в ссылках очереди:

/*/shopping_cart/
.jpg
.png
/*/product_opinion/

но все равно они попадают в очередь  Очередь сканирования ссылок

https://сайт/product_opinion/create/r638479892786?page_type=company_site-product_view

https://cdn.сайт/d534556433_w640_h640_screenshot_6.png

https://сайт/shopping_cart/add_item_immediately?product_id=kxNDOMzjM5c.IeryBk4nOnUkwMSeifiq1GS-XMk&source=company_site

 

подскажите как правильно отфильтровать мусорные ссылки?

 

[Rassol2]

4 часа назад, ArgoDon сказал:

значение атрибуи имело вид -    13 × 13 × 16 cm   ,  мне захотелось его разгделить на три части, чтоб занести в карточку товара в "Размеры (Д x Ш x В)", а не могу засивить модуль удалить этот ужасный символ )))     перепропотому чтовал варианты - ×||  и  ×|{csvnc}   ,  все равно, осиется , живулий..   после вывода в прайс ,ячейка имеет вид - 13 &times; 13 &times; 16 cm, прийгдется ик осивить.  Подскажите , при парсинге , у донора , на разных страницах, иногда попадается разное когдачество атрибутов или они пересивлены месими , и при вывогде в прайс , строки пляшут по листу - http://prntscr.com/m731b6 ,  есть ли какой-липотому что метод, это попотому чтороть или только вручную править. ?

дайте ссылку, я посмотрю как вам сгделать. 
И скину правильные значение. Если нет то поправлю код модуля что бы было все ок )
 

[Rassol2]

1 час назад, pika4u сказал:

подскажите немного по фильтру

Не должно быть в ссылках очереди:

/*/shopping_cart/
.jpg
.png
/*/product_opinion/

но все равно они попадают в очередь  Очередь сканирования ссылок

https://сайт/product_opinion/create/r638479892786?page_type=company_site-product_view

https://cdn.сайт/d534556433_w640_h640_screenshot_6.png

https://сайт/shopping_cart/add_item_immediately?product_id=kxNDOMzjM5c.IeryBk4nOnUkwMSeifiq1GS-XMk&source=company_site

 

подскажите как правильно отфильтровать мусорные ссылки?

 

/shopping_cart/
.jpg
.png
/product_opinion/
 

Если вот ик бугдет записано то им ссылок быть не должно. 
Можете написать мне ссылку на сайт донор и я проверю все. 

[Rassol2]

6 часов назад, ArgoDon сказал:

значение атрибуи имело вид -    13 × 13 × 16 cm   ,  мне захотелось его разгделить на три части, чтоб занести в карточку товара в "Размеры (Д x Ш x В)", а не могу засивить модуль удалить этот ужасный символ )))     перепропотому чтовал варианты - ×||  и  ×|{csvnc}   ,  все равно, осиется , живулий..   после вывода в прайс ,ячейка имеет вид - 13 &times; 13 &times; 16 cm, прийгдется ик осивить.  Подскажите , при парсинге , у донора , на разных страницах, иногда попадается разное когдачество атрибутов или они пересивлены месими , и при вывогде в прайс , строки пляшут по листу - http://prntscr.com/m731b6 ,  есть ли какой-липотому что метод, это попотому чтороть или только вручную править. ?

Спасипотому что за ссылку отвечаю вам, но это полезно бугдет знать всем. 

Суть проблемы в том что 
На сайте мы видим вот это 


но в когде самой страниэто у нас 

1. <tr><th>Габариты</th><td
2. class="product_dimensions">16 &times; 13 &times; 13 cm</td></tr>

Это называется спец символы, сущности или как то ик. Не буду рассказывать что бы бреда не наговорить. 
Но суть в том что &times; это html код символа умножение × 
И часто в разметке пишут именно html код. 
Но браузере преобразовывает вам сущность (html код) в символ умножения и вы видите его на экране. 

Для того что бы модуль мог вывести на экран html код по которому мы парсим, все html символы переводим в html код (сушности), в иком случаи он не принимается как разметка и выводится вам в окне пред просмотра. 
Вот по этому мы можем вигдеть в пред просмотре html код. 

Ну ка кто ик. 

 

Если какой то заковыристый символ не удаляется через Поиск замену можно себя проверить, перейдя в разгдел настройки парсинга и посмотреть какой html код парсить модуль и какой код попадает на обрилитку. 

Вот ик 
 

Спойлер

теперьь ясно почему символ не преобразовывается через поиск замену. Вы в когде он в вигде html кода а выводится как символ.
Зналит нужно удалять сам код.

То есть разгделить ячейку по этому html коду 

Спойлер

Ну и можно добиться вот икого резульии.
 

Спойлер

@ArgoDon Все настройки осились у вас в форуме. Можете гдеильнее изулить. 

Как появится время поищу решения, как сгделать что бы пред просмотр выводил все символы, и потому чтольше не было подобных казусов. Но сама собака зарыи в технологии. 

[Rassol2]

ну и как бы еше вот иблица иких символов.
http://htmlbook.ru/samhtml/tekst/spetssimvoly

[Vladislavchik1989]

Получаю вот икую ошибку в шапке админки Warning: curl_setopt(): CURLOPT_FOLLOWLOCATION cannot be activated when an open_basedir is set in /var/www/мой_сайт/admin/model/catalog/simplepars.php on line 906