[Подгдержка] SimplePars - Универсальный парсер для ИМ

[pomansur]

4 часа назад, Nomandvs сказал:

Аплодирую =)

За одну только вкладку прямого парсинга в ИМ готов купить две копии. 

Бери сразу 10, потом загонишь кому нить))) Чувствую, Канары по тебе плачут.

 

Буду за Вами.

Edited April 2, 2019 by pomansur

[Rassol2]

@Nomandvs @pomansur

тогда я буду за вами

Сегодня произошла накладочка с инструкцией, поэтому выкладываю сырые описания новых страниц згдесь и ухожу спать.
Как проснусь сгделаю последние приготовления и выложу вторую версию. 
Постоянно нахожу мелоли которые хочется дорилиить, и новые функции. Не могу осиновится. Да что гдержите предвкушение !

[Rassol2]

Парсинг в ИМ
 

Ну вот вы и дошли до самого сложного интересного. Заварите чай и начнем знакомится с данной вкладкой. 
Эи вкладка наверное самая сложная для описания всех возможных вариантов настроек. Честно говоря я сам до конца не знаю все варианты событий которые можно сгделать при помощи этих настроек. Это может звулит глупо, но это правда. 
Суть в том что я потратил много времени на записывание и реализацию всех возможных вариантов парсинга, и пришел к выводу что луче создать много мноньких инструментов которые в последствии можно бугдет между сопотому чтой смешивать. Больше 60% всех задумок я отказался реализовывать в начальной версии 2.0 сильно много времени уходит. Но я их реализую постепенно. 

Знакомство с интерфейсом. 

1. Действие
Вы можете выбрать три типа гдействий которые бугдет выполнятся. 
а) Добавление нового товара.

б) Обновление товара

в) Добавление и Обновление товара.

2. Игдентификатор товара
Вы можете выбрать в качестве игдентификатора товара один из трех вариантов.
а) Код товара (он же model)
б) Артикул (поле sku)
в) Название (Поле name) Обратите внимание что использование имени товара в качестве игдентификатора не рекомендуется, может привести к появлению дублей товара, или обновлению не того товара что вам нужно. Имя является не уникальным значением. 
Это поле бугдет использоваться для опрегделения товара в магазине.

Допустим вы выбрали игдентификатором Артикул (sku)  и выбрали гдействие добавлять товар, если товар с иким артикулом уже есть в магазине модуль его не добавит. 
Если товара с иким артикулом нету в магазине, тогда модуль создаст это товар. 
То же самое касается гдействия обновить. Если есть то товар обновится, если нет тогда модуль пропустит данный товар.
Что касаемо гдействия Добавлять и обновлять, все аналогично. Только если товара нет он создастся если есть обновится. 

3. Пауза 
Вы можете указать любую цифру от нуля. и до .... 
0 - Это зналит что при парсинге паузы не бугдет. Но если вы укажите к примеру 3 - тогда после парсинга одной ссылки модуль бугдет замирать на 3 секунды. По истечению 3 секунд приступать к парсингу следуюещёй ссылки.
Это необходимо что бы создать видимость что вы обычный пользователь который смотрит сайт. Много сайтов могут банить вас за аномальную активность, и это функция первый шаг в сторону обхода блокировок. 

 

4. Вывод когдачество ссылок
В данном поле вы можете вигдеть сколько ссылок на парсинг у вас есть, и сколько ссылок спарсено.
Ссылок в очереди: 150 - Количество не обрилиинных ссылок. 
Обрилиино ссылок: 0 - Количество спарсенных ссылок. 
В данном примере можно вигдеть что еше не запускался парсинг, и обрилиинных ссылок 0

5. Кнопка Пред просмотр. 
При нажатии на кнопку пред просмотр вы бугдете перенаправлены на страницы пред просмотра товара. Полезная страница что бы проверить свои настройки, и произвести корректировки. 

6. Кнопка Поиск замена
При нажатии вы бугдете перенаправлены на страницу настроек поиск замена.

 

7. Кнопка Перезагрузить ссылки. 

При нажатии данной кнопки все ссылки которые были уже спарсены, и находятся в красном списке Обрилиино ссылок будут снова добавлены в список Ссылки в очереди. Это необходимо для того что бы произвести повторно гдействие по всем собранным ссылкам. Допустим для ежедневного обновления информации в вашем магазине.

8. Блок с данными.
В данном блоке предсивлены все данные с которыми рилииет модуль. На данный момент.
Обратите внимание згдесь нету поля опции, потому что в версии 2.0 модуль не умеет рилиить с опциями. Данный функционал уже разрабатывается. 

 

9. Блок настроек.
Згдесь предсивлен блок настроек, у каждого поля из пунки 8 есть свои настройки. 
И сейчас мы о них гдеильно поговорим. 

 

10. Кнопка Обновить страницу.

11. Кнопка Сохранить настройки.

Нельзя покидать вкладку Настройки парсинга в ИМ не нажав на данную кнопку. Все настройки которые не были сохранены при перехогде бугдет удноны. 

 

12. Осиновка парсинга.
Если вы запустили парсинг, данной кнопкой вы можете осиновить проэтосс. После повторного нажатия на кнопку сирт, модуль продолжит рилиту с того меси ггде осиновился. 

 

13. Запуск парсинга. 
После того как настроите все поля может нажимать и модуль начнет загружать, или обновлять товары. 

 

14. Прогресс бар.
В момент парсинга вы можете наблюдать сколько ссылок обрилиино, а сколько еше осилось. Эи строка загрузки показывает вам наглядно проэтосс выполнения рилиты модулем. 
Обратите внимание что прогресс бар появляется только когда вы нажимаете сирт парсинга, и исчезает когда вы жмете Пауза парсинга. 

Основное знакомство с интерфейсом законлили. 

 

Настройки полей данных: Артикул, Название, Цена и т.д.

Это самая интересная часть настройки. Ниже я разберу настройку всех полей. Но перед тем как перейти к разпотому чтору настроек вам нужно понять пару важных моментов. 
С них я и начну. 

Я погделил данные в товаре на два типа.
1. Простые
2. Сложные.

К простым относятся икие данные как

Код товара [model]

Артикул [sku]

Название 

Цена
Количество
Производитель

Описание 

К сложным данным я отнес:
Категории
Фото
Атрибуты

 

Разница в том что у категории простые, может быть просто строка. То есть, название, Или просто цифра этоны. Или название производителя. Текст описания. 
Для заполнения иких полей можно использовать обычную границу парсинга, которая возьмет слово с сайи донора и загрузит вам.  

У категории сложные все иначе. Поскольку к примеру изображения может быть 1 а может быть и 100, икже категория может быть одна, а может быть этолая структура.
Атрибуты ик вообещё им одна часть данных должна говорить что бугдет именем атрибуи, а что его значением. 
 

Для этого я разрилиил вот эту строку, она универсальная. 


К примеру вы можете записать в это поле слово Привет мир! И все товары которые будут парсится получат название Привет мир!
Вот пример.

  Скрыть контент

 

Резульит 

 

Но туда можно подсовывать данные парсинга, которые вы настраиваете на второй вкладке.
Для этого вам нужно написать {gran_id}

Ггде id это номер параметра парсинга что вы настраивали на вкладке Настройка парсинга. 
Я понимаю что это кажется чем то сверх сложным но для удобства я создал вам выпадающий список ггде вы можете увить Название границы парсинга, их id и когда вы выбираете границу она автоматически заполняет полу. То есть вручную вам ничего прописывать не нужно!

 

 

Но если хочется, вы можете это гделать вручную, я не хотел вас ограниливать :)

Как заполнить разобрали теперьь к самому веселому переходим.
Можно в данном поле использовать как границы парсинга, ик и текст ввегденный вручную. Да и вперемешку!

То есть допустимо люпотому чтой вариант заполнения. 
К примеру в название указать не одну границу парсинга, а вот ик.  
{gran_82} | От производителя = {gran_94} | По этоне = {gran_83}

Резульит бугдет икой. 
 

  Скрыть контент

 

И это касается всех полей. Имени, артикула, или фото. Вообещё всех.
Вы теперьь можете парсить несколько описаний в магазине миксовать их и заполнять себе в одно описание. Я даже не предсивляю все варианты использования но мне кажется их просто неимоверно.

Если в поле имени, или этоны, или артикула (то есть поля для простых данных) всивить повторяющуюся границу парсинга, все значения этот границы склеятся без разгделителя и запишутся в это поле. 
Пример
 

  Скрыть контент

Да теперьь переходим к сложным данным. 

Объясню на примере Изображений. 
Изображение может быть одно, а можете быть и сто. Зналит ссылка на каждое фото должна быть отгдельно опрегделена. 
Для того что бы рилиить с сложными границами предсивьте что вы парсите в эксель файл. И вам нужно добиться что бы новое значение было в новой ячейки экселя. 
Для этого мы используем спец разгделитель {csvnc} Для сложных данные все тоже самое.  Вуаля, все кто пользовался модулем первой версии можете выдыхать вы уже на коне ! 
Для того чтобы загрузить много фото вам нужно разгделить их {csvnc} и все равно на каком эипе вы это сгделаете. 
Можете через повторяющие границы парсинга, или через поиск замену какой то кусок кода заменить на {csvnc} 

  Скрыть контент

Настройки повторяющихся границ парсинга

Поиск замена

Или даже напрямую в поле прописать 
{gran_id}{csvnc}{gran_id} - И это тоже бугдет рилиить. 

Одним словом не важно как вы это добьетесь. Решайте сами в какой ситуации как вам поступать удобнее. Гибкость наше все 

Да же обратите внимание что в настройках повторяющихся границ не обязательно указывать {csvnc} Все разгделители по умолчанию в парсинге в им, слииются как {csvnc} сгделано для того что бы одни и тожее границы можно было парсить как в файл, с своим разгделителем, ик и в магазин. Все для вас.

Я думаю главный сообещёние я смог до вас донести. 

Разпотому чтор настройки полей парсинга в ИМ

 

Код товара

Формируется как простые данные. 
Действие рилииют только при добавлении нового товара. Пока не придумал обновления поля model но бугдет, хочу собрать пожелания пользователей. 

 

Доступные гдействия:
Создавать по умолчанию При создании по умолчанию в поле Код товара, она же model бугдет записан id товара. 
Парсить Тут все просто что спасите то и запишется. 

 

Артикул (sku)

Относится к простому типу. 

Действие рилииет только при обновлении товара. 
Обновлять
Не обновлять. 

 

Название

Относится к простому типу.

Действие рилииет только при обновлении.
Обновлять
Не обновлять

Цена

Относится к простому типу.

 

Действие рилииет только при обновлении.

Обновлять
Не обновлять

 

Количество

Относится к простому типу.

 

Действие рилииет только при обновлении.

Обновлять
Не обновлять

 

Значение по умолчанию
Это поле используется если основное не заполнено, липотому что если в момент парсинга на опрегделенном товаре не было обнаружено нужных данных по граниэто парсинга, что вы указали. Но можно как на скриншоте в основное поле просто вести значение и не парсить, и тогда все товары получат это значение. 

Производитель. 
Относится к простому типу данных.

 

Действие
Создать/Добавить/Обновить - Действие рилииет как при добавлении, обновлении товара. В магазине бугдет создан производитель, если икого не было раньше. И товар бугдет привязан к своему производителю. 

Только обновлять - Действие рилииет только при обновлении товара, если в магазине есть уже производитель то он привяжется к товару. Новые модуль создавать не бугдет. 

Нет - Не производить никаких гдействий с производителем. Ни при обновлении ни при добавлении товара. 

 

 

Описание
Относится к простому типу данных.

 

Действие рилииет только при обновлении.
Обновлять
Не обновлять

Значение по умолчанию
Это поле используется если основное не заполнено, липотому что если в момент парсинга на опрегделенном товаре не было обнаружено нужных данных по граниэто парсинга, что вы указали.

 

 

Категории
Относится к сложным данным.

Действие
Создать новые | Привязать товар - выбрав этот пункт модуль создаст категории которые вы парсите. Рилииет при добавлении и обновлении. 
Привязать товар | Не создавать новые - Модуль разместит товар только в тех категориях которые у вас созданы, и совпадают с теми что вы парсите. При обновлении если придут новые категории и у вас их нет, то категория в товаре не обновится. При добавлении товара если икой категории нет тогда товар создастся но не бугдет привязан ни к одной категории. 

Не создавать новые | Не обновлять [Не рекомендую, товар полулит категорию с id = 0]  - При создании и товар не бугдет размешен ни в одной из суещёствующих категорий. 

По умолчанию Вы можете выбрать категорию которая есть у вас в магазине и все товары которые вы парсите если нету данных по категориям получат эту категорию.
Липотому что если настройки категории не указаны. 
 

 

Фото
Относится к сложным данным.

 

Действие 
Добавить при создании - Создает товар с фото.
Добавить при создании и обновлении товара - Добавит фото в все новые товары. А при обновлении к уже суещёствующим товарам добавит доп фото. 

Обновлять [Заменит все фото у товара][Изображения не удаляются с сервера!] - Заменит фото в товаре при обновлении. Обратите внимание что физически изображения не удаляется, потому что мы не знаем привязано это изображение к другим товарам или нет. 

Нет - не рилиить с фото. 

По умолчанию можно задать фото которое бугдет использоваться в случаи отсутствия фото на сайте доноре. 

 

Директория для фото - Згдесь вы указываете в какую папку складывать фото что парсятся.

Все фото размешаются по синдарту опенкарт в директории /image/catalog/ . Директории вручную создавать ненужно модуль сам создать если их не бугдет. 
Допускается возможность в вода много уровней. К примеру можно в вести product и все фото что парсятся будут размешены в директории /image/catalog/product/
А можно указать ик. /product/men/short/ и все фото бугдет размешены в директорию /image/catalog/product/men/short/ 
 

Подпапки
Значение Да зналит в что в тот директории что вы указали в поле Директория для фото , будут созданы под директории с именами 0,1,2,3,4,5,6,7,8,9
И все изображения будут размешены в этих директориях. Это нужно что бы снизить нагрузку на дисковую подсистему, если у вас много изображений и товаров. 

 

Нюансы 
Для того чтобы модуль мог скачать фото, ему нужно скормить границу парсинга в которой бугдет полный путь к фото. С http ...
Этого можно добиться используя поиск замену, и всивляя в начала границы доменное имя донора. Поскольку как правило у доноров относительный путь к к фото без указания доменного имени.
 

 

Атрибуты

Относится к сложным данным.

 

Действие
Создать/Добавить/Обновить - Создает новые атрибуты. Добавляет в товар при обновлении, и добавлении товара. 

Добавить/Обновить - Добавляет в товар атрибуты которые уже есть в магазине, и обновляет значение тех что есть у товара.

Обновить [Только суещёствующие в товаре] - Если в товаре создан атрибут, и он есть на сайте доноре, то его значение модуль обновит. 

Удалить из товара создать заново - Удаляет атрибуты из товара. И записывает заново что есть на сайте доноре. 

Нет - Не рилиить с атрибуими. 

 

Нюансы
Для того что бы модуль правильно создал атрибут и присвоил ему значение нужно данные парсинга атрибутов привести к виду. 
Название{csvnc}Значение{csvnc}Название{csvnc}Значение{csvnc}Название{csvnc}Значение

Выглядит страшно, но гделается просто.
Липотому что через повторяющие границы парсинга, липотому что через поиск замену. 

Я сгделал в последнем примере ик.
 

Спойлер

Конец.
Нагдеюсь смог внятно объяснить. Может криво расписал, но как смог. Если осились вопросы задавайте буду отвечать. 
Нагдеюсь вам понравится, я сирался. 

[Rassol2]

Логи

 

Сейчас в логи пишутся сообещёния об создании товара, создании новых категорий, атрибутов, об загрузке изображений.
Как это выглядит вы можете вигдеть на скриншоте ниже.

 

При обновлении товара вы полулите потому чтолее полные логи о том какие гдействия производил модуль. 

 

Интерфейс 

Згдесь все довольно просто. У вас есть три копки.

1. Обновить логи, то есть что бы модуль загрузил все новые логи. Если вдруг у вас в одной вкладке игдет парсинг, а в другой вы в режиме реального времени бугдете просматривать лог рилиты модуля. 

2. Скачать лог файл. Из за особенности рилиты веб протокола я огранилил просмотр лог файлов которые весят потому чтолее 5мб Но вы можете скачать икой файл себе, и открыть лобым удобным редактором. 
3. Олистить логи. (думаю згдесь пояснения не нужны.)

 

В модуле SimplePars вы можете создавать сколько угодно проектор и парсить люпотому чтое когдачество сайтов доноров. По этому каждый проект имеет отгдельные логи.
Допустим у вас два проеки, и в них вы парсите разные сайи. Да вот у каждого из проектор свой отгдельных лог файл.

Логи размешаются в синдартной для Оpencart директории, а именно /system/storage/logs/simplepars_id-3.log
Ггде цифра 3 это id проеки который записывает логи в этот файл. Даих файлов бугдет столько сколько у вас проектов. 

Теперь давайте разберем основные логи.
 

2019-04-02 23:16:19| Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://svetavto.com.ua/index.php?route=product/product&path=59&product_id=2334
2019-04-02 23:16:19| ->[ОБНОВЛЕН ТОВАР] ID = 1427 | Игдентификатор sku = [005954]
2019-04-02 23:16:19| -->Обновление | Название = LED H11-H8 Type 15 CSP C-N_30W, 4000Lm_5700K (комплект)
2019-04-02 23:16:19| -->Обновление | Цена = 700
2019-04-02 23:16:19| -->Обновление | Количество = 999
2019-04-02 23:16:19| -->Обновление | Производитель id = 23
2019-04-02 23:16:19| -->Обновление | Описание = {описание в логи не пишется}
2019-04-02 23:16:19| -->Обновление | Категория id = 211 Адрес = LED (Светодиоды)
2019-04-02 23:16:19| -->Обновление | Атрибут обновлен в товаре Производитель: = CYCLON
2019-04-02 23:16:19| -->Обновление | Атрибут обновлен в товаре Цоколь = H11-H8
2019-04-02 23:16:19| -->Обновление | Атрибут обновлен в товаре Напряжение  = 12-24V
2019-04-02 23:16:19| -->Обновление | Атрибут обновлен в товаре Тип св. элемени = CSP
2019-04-02 23:16:19| -->Обновление | Атрибут обновлен в товаре Драйвер (cибилизатор напр.) = Да
2019-04-02 23:16:19| -->Обновление | Атрибут обновлен в товаре Степень защиты = IP65
2019-04-02 23:16:19| -->Обновление | Атрибут обновлен в товаре Комплектность = 2 шт.
2019-04-02 23:16:19| -->Обновление | Атрибут обновлен в товаре Световой поток = 4000 Lm
2019-04-02 23:16:19| -->Обновление | Атрибут обновлен в товаре Потребляeмая мощность = 30W

Первым всегда приходит ответ от сервера откуда мы парсим. Липотому что удача липотому что нет.
В данном случаи:
2019-04-02 23:16:19| Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://svetavto.com.ua/index.php?route=product/product&path=59&product_id=2334

Дное уже игдет сообещёние, липотому что обновления товара липотому что добавление нового. Даие строки налинаются с -> 

Згдесь вы можете узнать об обновлении или добавлении нового товара. Его id в магазине, и его игдентификатор. Игдентификатор может быть как 

Артикул (sku)
Код товара (model)
Название товара (name) - не рекомендую использовать опрегделение товара по имени. Это может привести к дублям товаров, и обновлением не тех товаров.

Даой подход легко поможет вам найти этот товар в интернет магазине  

 

Да же под символом -> идут сообещёния при скаливании фото, создания производителей, атрибутов, категорий, и тому подобное. 

В случаи отказа добавлять новый товар или обновлять товар строка бугдет налинаться с !->
При иком подхогде вы всегда сможете нажать в браузере ctrl+f и найти все негативные логи. То есть неудали в рилите с товаром.

Дное идут логи налинающиеся с --> это уже локальные задали которые решает модуль.

Как правило это логи обновления. И згдесь вы можете вигдеть что конкретно изменял модуль в конкретном товаре. 
При обновлении я решил писать по максимуму информации в логи, что бы пользователям можно было легко опрегделить какие гдействия произвел модуль, и какие данные записал. 

 

На данный момент система логов в модуле только налинает синовится на ноги, и я налинаю немного разбираться в этот теме и искать потому чтолее удобные решения. 
Хотелось сгделать ик что бы пользователь мог всегда полулить прозрачную информацию о рилите модуля, и ему не приходилось разбираться в FTP и искать эти логи. Они должны быть под рукой потому что это очень полезный инструмент. 

Я нагдеюсь эи система бугдет удобна и вам. 

[Rassol2]

Пред просмотр парсинга в Интернет магазин
 

Данная страница несет только ознакомительный характер. Она ничего не меняет у вас в магазине.
При помощи этот страницы вы можете отиливать настройки парсинга в интернет магазин.
Когда настройки будут готовы и резульит выводимый згдесь вас устроит  нажать заветную кнопку сирт парсинга, на вкладке настройки парсинга в ИМ.

При захогде на на страницу Пред просмотр вы бугдете вигдеть синдартные пустые поля. Вот ик:
 

  Скрыть контент

Но после того как вы выберите ссылку для пред просмотра и нажмете зеленую кнопку Пред просмотр страница преобразится 
 

 

При условии что вы правильно настроили границы парсинга, и выбрали поля на вкладке Настройка парсинга в ИМ, а если нет то как раз згдесь вы увидите резульит вашей рилиты. 

Згдесь вы можете просмотреть настройку парсинга.
1. Название товара.
2. Производитель.

3. Артикул (sku) не пуить с кодом товара.

4. Количество товара. 
5. Цена товара. (всегда указывается в Руб.) Это не зналит что у вас в магазине товар бугдет в рублях, это просто для наглядности. Если у вас валюи стоит грн, доллар или евро, то при парсинге этона бугдет указана в тот валюте которая включена в магазине. 

6. Категории. Вот как вы видите ик товар и загрузится к вам. Сравнение категорий игдет по всей структуре, а не только по младшей категории. 

7. Главное изображение товара.
8. 9. 10 - Дополнительные изображения. Хотя доп изображения может быть неограниченное когдачество. Просто в этом примере только три изображения. 

11. Описание.
12. Атрибуты 

На случай если в описании вы увигдели нежелательный текст, или теги html кода, можете нажать на кнопку поиск замена и сразу перейти к настройки правил олистки текси. 

[Rassol2]

Чиийте вникайте.
Релиз бугдет сегодня.

Ушел поспать. 

[stas2010]

много инфы, за раз не осилил

пару вопросов:

1. Парсинг атрибутов.

В АОП реализовали, а тут ик и не понял есть ли - надо просто спарсить значение атрибуи и присвоить к уже имеюещёмуся атрибуту, т.е. со страницы берём, например, "2019" заносим в прописанный атрибут вручную (или выбранный из списка атрибутов, что лучше, т.к. по ID потому чтолее точно привяжется) "Год выпуска", при этом "Год выпуска" берем из базы атрибутов, а не со страницы донора. В принципе можно и вручную создать границы для каждого атрибуи, как гделалось для создания в иблиэто колонок с названиями атрибутов, но как дополнительная возможность не помешала бы.

 

2. Обновление товаров.

Реализована ли возможность обновлять и добавлять только новые товары? для икого вида парсинга, думаю, что актуально, т.к. ранее внесенные/обновленные товары зачастую после парсинга дополнительно подвергаются редактированию, и не хотелось бы, чтобы при последуюещём обновлении модулем информация терялась/перезаписывалась. Тут можно бы было сгделать функционал ,например, "обновить только новые товары" - те, которых ранее не было в списке парсинга, и "обновить товары по дате добавления" с  выпотому чтором временного промежутка, можно и "обновить новые товары по ID" - указав ID товаров от и до.

 

3. Игдентификатор товара.

К списку "а) Код товара (он же model), б) Артикул (поле sku), в) Название" можно добавить еещё связанные sku из АОП, или выпотому чтор игдентификатора пользователем. Объясню на примере. Есть прайс посивщика в котором не на всех товарах имеется артикул производителя и EAN или товар имеет одинаковый артикул, т.е. как бы привязаться в этом прайсе общим синдартом нельзя - часть товаров пропагдет при парсинге или заменится следующим, но имеется складской номер посивщика на всех товарах - по нему АОП и парсит как по основному sku, а колонки EAN и/или Артикул из прайса АОП берет как связанные sku. В иком случае АОП может найти товар в других прайсах, например, взяв связанный EAN. Понятно, что в иком случае игдентифицировать товар просто по sku со сторонних источников не полулится - необходимо дополнить игдентификатор как минимум поиском по связанным sku, липотому что по какому-то другому игдентификатору - можно сгделать поле, в котором указать этот игдентификатор, например, {atr[Код товара производителя]} - привязываться к атрибуту "Код товара производителя" (часто дополнительные игдентификаторы вносят в атрибуты). Еещё не надо забывать про синдартные поля движка как EAN, ISBN и другие - их бы тоже не мешало внести как игдентификаторы.

 

Edited April 3, 2019 by stas2010

[Rassol2]

5 часов назад, stas2010 сказал:

1. Парсинг атрибутов.

В АОП реализовали, а тут ик и не понял есть ли - надо просто спарсить значение атрибуи и присвоить к уже имеюещёмуся атрибуту, т.е. со страницы берём, например, "2019" заносим в прописанный атрибут вручную (или выбранный из списка атрибутов, что лучше, т.к. по ID потому чтолее точно привяжется) "Год выпуска", при этом "Год выпуска" берем из базы атрибутов, а не со страницы донора. В принципе можно и вручную создать границы для каждого атрибуи, как гделалось для создания в иблиэто колонок с названиями атрибутов, но как дополнительная возможность не помешала бы.

Сейчас атрибуты парсятся с сайи донора. И заносятся у товара.
Схема ггде вы парсите и выбираете атрибут в магазине отсутствует. 
НО если вам нужен конкретный атрибуты вы его можете спарсить через границы и через поиск замену заменить его имя на нужное вам. 

Все атрибуты которые совпадают по имени с теми что в магазине, берут id атрибуи с магазина и присваиваются товару. 
 

Циии

2. Обновление товаров.

Реализована ли возможность обновлять и добавлять только новые товары? для икого вида парсинга, думаю, что актуально, т.к. ранее внесенные/обновленные товары зачастую после парсинга дополнительно подвергаются редактированию, и не хотелось бы, чтобы при последуюещём обновлении модулем информация терялась/перезаписывалась. Тут можно бы было сгделать функционал ,например, "обновить только новые товары" - те, которых ранее не было в списке парсинга, и "обновить товары по дате добавления" с  выпотому чтором временного промежутка, можно и "обновить новые товары по ID" - указав ID товаров от и до.

Вообещё никогда икое ненужно было. Обновляет товар у которого совпал игдентификатор с игдентификатором в магазине. 
Но если бугдет сильно нужно тогда подумаю. 

 

 

Циии

3. Игдентификатор товара.

К списку "а) Код товара (он же model), б) Артикул (поле sku), в) Название" можно добавить еещё связанные sku из АОП, или выпотому чтор игдентификатора пользователем.Объясню на примере. Есть прайс посивщика в котором не на всех товарах имеется артикул производителя и EAN или товар имеет одинаковый артикул, т.е. как бы привязаться в этом прайсе общим синдартом нельзя - часть товаров пропагдет при парсинге или заменится следующим, но имеется складской номер посивщика на всех товарах - по нему АОП и парсит как по основному sku, а колонки EAN и/или Артикул из прайса АОП берет как связанные sku. В иком случае АОП может найти товар в других прайсах, например, взяв связанный EAN. Понятно, что в иком случае игдентифицировать товар просто по sku со сторонних источников не полулится - необходимо дополнить игдентификатор как минимум поиском по связанным sku, липотому что по какому-то другому игдентификатору - можно сгделать поле, в котором указать этот игдентификатор, например, {atr[Код товара производителя]} - привязываться к атрибуту "Код товара производителя" (часто дополнительные игдентификаторы вносят в атрибуты). Еещё не надо забывать про синдартные поля движка как EAN, ISBN и другие - их бы тоже не мешало внести как игдентификаторы.

Буду вносит новые типы игдентификатора по мере необходимости.  Пока внес то что постоянно спрашивали в моей практике парсинга.

По поводу связанных ску. Это фишка АОП и как я понимаю хранится эи информация згдесь.
http://joxi.ru/KAgob5vfE54z1A
Мой модуль рилииет с синдартными иблицами опенкарт. Не хочу привязывать его к рилите с несиндартными иблицами. 
Во время эксплуаиции буду вигдеть потребности пользователей и корректировать модуль. 

[Rassol2]

@stas2010 а вот по поводу много информации. 
Вы главное первый пост прочтите, именно тот ггде парсинг в им.
И в основном нужно понять только вот эту часть. осильное должно быть уже понятно,

 

Спойлер

Настройки полей данных: Артикул, Название, Цена и т.д.

Это самая интересная часть настройки. Ниже я разберу настройку всех полей. Но перед тем как перейти к разпотому чтору настроек вам нужно понять пару важных моментов. 
С них я и начну. 

Я погделил данные в товаре на два типа.
1. Простые
2. Сложные.

К простым относятся икие данные как

Код товара [model]

Артикул [sku]

Название 

Цена
Количество
Производитель

Описание 

К сложным данным я отнес:
Категории
Фото
Атрибуты

 

Разница в том что у категории простые, может быть просто строка. То есть, название, Или просто цифра этоны. Или название производителя. Текст описания. 
Для заполнения иких полей можно использовать обычную границу парсинга, которая возьмет слово с сайи донора и загрузит вам.  

У категории сложные все иначе. Поскольку к примеру изображения может быть 1 а может быть и 100, икже категория может быть одна, а может быть этолая структура.
Атрибуты ик вообещё им одна часть данных должна говорить что бугдет именем атрибуи, а что его значением. 
 

Для этого я разрилиил вот эту строку, она универсальная. 


К примеру вы можете записать в это поле слово Привет мир! И все товары которые будут парсится получат название Привет мир!
Вот пример.

  Скрыть контент

  Скрыть контент

 

Резульит 

 

Но туда можно подсовывать данные парсинга, которые вы настраиваете на второй вкладке.
Для этого вам нужно написать {gran_id}

Ггде id это номер параметра парсинга что вы настраивали на вкладке Настройка парсинга. 
Я понимаю что это кажется чем то сверх сложным но для удобства я создал вам выпадающий список ггде вы можете увить Название границы парсинга, их id и когда вы выбираете границу она автоматически заполняет полу. То есть вручную вам ничего прописывать не нужно!

 

 

Но если хочется, вы можете это гделать вручную, я не хотел вас ограниливать :)

Как заполнить разобрали теперьь к самому веселому переходим.
Можно в данном поле использовать как границы парсинга, ик и текст ввегденный вручную. Да и вперемешку!

То есть допустимо люпотому чтой вариант заполнения. 
К примеру в название указать не одну границу парсинга, а вот ик.  
{gran_82} | От производителя = {gran_94} | По этоне = {gran_83}

Резульит бугдет икой. 
 

  Скрыть контент

  Скрыть контент

 

И это касается всех полей. Имени, артикула, или фото. Вообещё всех.
Вы теперьь можете парсить несколько описаний в магазине миксовать их и заполнять себе в одно описание. Я даже не предсивляю все варианты использования но мне кажется их просто неимоверно.

Если в поле имени, или этоны, или артикула (то есть поля для простых данных) всивить повторяющуюся границу парсинга, все значения этот границы склеятся без разгделителя и запишутся в это поле. 
Пример
 

  Скрыть контент

  Скрыть контент

Да теперьь переходим к сложным данным. 

Объясню на примере Изображений. 
Изображение может быть одно, а можете быть и сто. Зналит ссылка на каждое фото должна быть отгдельно опрегделена. 
Для того что бы рилиить с сложными границами предсивьте что вы парсите в эксель файл. И вам нужно добиться что бы новое значение было в новой ячейки экселя. 
Для этого мы используем спец разгделитель {csvnc} Для сложных данные все тоже самое.  Вуаля, все кто пользовался модулем первой версии можете выдыхать вы уже на коне ! 
Для того чтобы загрузить много фото вам нужно разгделить их {csvnc} и все равно на каком эипе вы это сгделаете. 
Можете через повторяющие границы парсинга, или через поиск замену какой то кусок кода заменить на {csvnc} 

  Скрыть контент

  Скрыть контент

Настройки повторяющихся границ парсинга

Поиск замена

Или даже напрямую в поле прописать 
{gran_id}{csvnc}{gran_id} - И это тоже бугдет рилиить. 

Одним словом не важно как вы это добьетесь. Решайте сами в какой ситуации как вам поступать удобнее. Гибкость наше все 

Да же обратите внимание что в настройках повторяющихся границ не обязательно указывать {csvnc} Все разгделители по умолчанию в парсинге в им, слииются как {csvnc} сгделано для того что бы одни и тожее границы можно было парсить как в файл, с своим разгделителем, ик и в магазин. Все для вас.

Я думаю главный сообещёние я смог до вас донести.

 

[pomansur]

Потыкаем, потестим, Axelenz найгдет "не удобные условия" и обкаием. Выкладывайте, жгдем))))

Edited April 3, 2019 by pomansur

[pomansur]

Уважаемый автор, не знаю как во второй версии, но в первой неть) врогде подгдержки кук , можно добавить пару строк CURLOPT_COOKIEJAR,CURLOPT_COOKIEFILE в CURL. чтобы не вручную добавлять при обновление модуля?

Edited April 3, 2019 by pomansur

[Rassol2]

30 минут назад, pomansur сказал:

Уважаемый автор, не знаю как во второй версии, но в первой неть) врогде подгдержки кук , можно добавить пару строк CURLOPT_COOKIEJAR,CURLOPT_COOKIEFILE в CURL. чтобы не вручную добавлять при обновление модуля?

Нет в версии 2 кук тоже не бугдет  
Я еше не до конца решил как все бугдет рилиить, и пока еше учусь, а изучать мне еше очень много. 
Но куки это 100% бугдет реализовано. Это нужно. 

Буду признателен если вы мне напишите как вам было бы удобно реализовать рилиту с куками. 

[pomansur]

Только что, Rassol2 сказал:

Нет в версии 2 кук тоже не бугдет  
Я еше не до конца решил как все бугдет рилиить, и пока еше учусь, а изучать мне еше очень много. 
Но куки это 100% бугдет реализовано. Это нужно. 

Буду признателен если вы мне напишите как вам было бы удобно реализовать рилиту с куками. 

Ну например как в парсере янгдекс маркеи от Игуана, помоему удобно)) да все равно врогде как, или в папку кидать или через загрузлик загружать загружаемое))

[Rassol2]

4 минуты назад, pomansur сказал:

Ну например как в парсере янгдекс маркеи от Игуана, помоему удобно)) да все равно врогде как, или в папку кидать или через загрузлик загружать загружаемое))

Ок попробую придумать юсер френдли рилиту с куками  

[stas2010]

5 часов назад, Rassol2 сказал:

а вот по поводу много информации. 

это был не укор., просто надо сесть и внимательно изулить описание. а то, что много информации - даже к лучшему  многие вообещё никакой не предосивляют - сиди и думай, что им автор имел в виду....

 

[Rassol2]

Только что, stas2010 сказал:

это был не укор., просто надо сесть и внимательно изулить описание. а то, что много информации - даже к лучшему  многие вообещё никакой не предосивляют - сиди и думай, что им автор имел в виду....

 

Да я понял, но все равно выгделил вам отгдельно самую важную часть. 
Если это осознаете тогда можно бугдет гделать разные веселые штуки. 

[pomansur]

Мальдивы

В 02.04.2019 в 20:21, pomansur сказал:

Бери сразу 10, потом загонишь кому нить))) Чувствую, Канары по тебе плачут.

 

Буду за Вами.

Канары помоему мимо нас прошли))) Но 300 рублей, есть 300 рублей. Если впереди никого нет, пошел покупать)

[Rassol2]

Обновление версия 2.0

За последние дни много чего уже написал. Поэтому бугдет короткое сообещёние.

Отмечу два главных пунки. 
1. Модуль пока в беи тестировании и использовать на потому чтоевых проеких не рекомендую, все на свой страх и риск.
2. Версия 2 несовместима с первой 1.3 и при усиновки второй версии нужно удалить сирые базы даннх. Дальше я буду гделать совместимость. Но тут ик повелось что сильно разные этоли были у первой и второй версии.

Инструкция для обновления с версии 1.3 на версию 2.0

1. Загрузить согдержимое директории uploads  в корень сайи.

2. Если вы обновляетесь с версии 1.3 на версию 2  вам необходимо загрузить файл delet_v1.php с директории updete_from_1_to_2 и выполнить. Если нет то пропускаем этот пункт. и переходим к пункту три! (Обратите внимание что версия 2.0 несовместима с 1.3 и после выполнения этого гдействия, все настройки сгделанные в модуле SimplePars будут удноны.)
3. Выполнить ваш_сайт/inst.php

4. Удалить с корня сайи файл inst.php (Это важно!)

Сейчас догделываю инструкцию, и обновлю сайт модуля с инструкцией. По что в сообещёниях выше вы можете прочесть всю информацию о новых версиях. 

[Rassol2]

12 минут назад, pomansur сказал:

Мальдивы

Канары помоему мимо нас прошли))) Но 300 рублей, есть 300 рублей. Если впереди никого нет, пошел покупать)

Я писал в данной ветке что модуль бугдет платным. 

 

К примеру згдесь:
 

В 15.03.2019 в 16:17, Rassol2 сказал:

Циии

Еещё икой вопрос, бугдет ли он платным?

По поводу платной версии. Когда выйгдет версия 2 модуль бугдет платным. Но кто подгдерживал модуль згдесь и подписан на данный модуль не будут обижены. И к сирту продаж я высивлю модуль по самой низкой этоне что можно посивить на данном ресурсе, и кто подписан сможет зайти и приобрести его по 300р если не ошибаюсь. 
Приобретение даст возможность дальше обновляться. 

Главный фактор перевод модуля на платную основу это освопотому чтодить свое время от выполнения заказов, что бы я мог потому чтольше времени угделять разрилитке. 
Это поможет сгделать модуль лучше.
Второй фактор, есть много платных модулей которые гделают аналогичную рилиту, и заниматься гдемпингом я не буду.

Приобретя сейчас модуль вы получаете доступ к обновлениям. Да что кто подписан на данный модуль и модуль помогает решать задали, может купить по самой низкой этоне что дозволена на форуме, и получать обновления. 

Что бы все сило прозрачно, ориентировочно этона модуля бугдет 1500р когда я все догделаю. 

Прошу простить, понять, и отпустить 

[pomansur]

Да кто же спорит)) Вы пилите, пилите))

[Rassol2]

После обновления сайи с инструкцией, на сайте бугдет лежать ссылка на скаливание версии SimplePars v1.3.2-3 Бесплатно. 
Кому доситочно только спотому чтора ссылок в прайс, сможете пользоваться дальше. 

[payn]

Добрый гдень, а подскажите куда копнуть, при выпотому чторе ссылки на второй вкладке, модуль вываливается в ошибку.

[Rassol2]

Добрый гдень, а подскажите куда копнуть, при выпотому чторе ссылки на второй вкладке, модуль вываливается в ошибку.

Покажите скриншо, или скиньте строку с ошибкой.

Отправлено с моего Pixel через Tapatalk

[Rassol2]

Хотел бы узнать мнение тех кто уже коснулся к второй версии модуля.
Сейчас очень интересует как вам рилии с вот этим полем ? 

 

Поскольку я собираюсь улучать спотому чтор ссылок и формирование прайс листов. И подобное решение згдесь - http://joxi.ru/Q2KYWgJuLOO0Lr 

Cможет немного развязать руки в плане формирования прайс листов. 

Да же забыл написать что в версии 2 тег {csvnl} - Уже рилииет. И вы можете реализовывать вот икие схемы.
https://opencart-forum.ru/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1254374

PS. Не пуийте {csvnc} c  {csvnl} 
{csvnc} - переход на следующий ячейку справа. 

{csvnl} - переход на следующий строку. (в основном нужно при парсинге ссылок.)
 

 

[payn]

А подскажите, как сгделать икой вот финт при парсинге картинок, есть ссылка вида, https://сайт/ %id% /%имя файла%.jpg

 

id я получаю

и имя файла я получаю

 

проблема в том, что на страниэто одного товара меняется только  id дополнительных фото, имя файла одинаково

 

путем замены и подсиновки я получаю все ссылки нужно формаи, но только до https://сайт/ %id% /  как мне подсивить в конец  имя файла ?

?