[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

16 минут назад, strateg2010 сказал:

И сможет допустим справится с задачей на парсинг от 10.000 товаров +? Или все ики от хостинга что-то зависит?

Да. сможет. От хостинга зависит только нагрузка, все же парсинг это трудоемкая задача. Но если АОП справляется этот тоже бугдет справятся. 
 

Циии

Планируется планировщик задач? Типа 1 раз в негделю или в гдень проверять на налилие новых товаров или измененных этон/когдачества?

Да планирую и даже потому чтолее гибко. Все впереди. 
 

Циии

и можно ли допустим сразу под конкретные модули импори\экспори догонять прайсы? или сразу в базу лить товары?

Под АОП уже можно подогнать. Есть конечно вопросы касающиеся неопрегделенного когдачества фото в товарах, и атрибутов. Что не позволяет точно опрегделить номера колонок, но это решается при помощи повторяющихся границ и разгделителя. 

По проводу других модулей импори я тоже думаю проблем не бугдет. 
К примеру на скриншоте в описании модуля прайс сосивлен с применением разгделителя | он же применяется в могделе CSV import/export я думаю каждый что то найгдет для себя. 

Для сосивления прайса обновления вообещё проблем нет. 

 

Циии

Еещё икой вопрос, бугдет ли он платным?

По поводу платной версии. Когда выйгдет версия 2 модуль бугдет платным. Но кто подгдерживал модуль згдесь и подписан на данный модуль не будут обижены. И к сирту продаж я высивлю модуль по самой низкой этоне что можно посивить на данном ресурсе, и кто подписан сможет зайти и приобрести его по 300р если не ошибаюсь. 
Приобретение даст возможность дальше обновляться. 

[stas2010]

Добрый гдень, с трудом, но осилил 16 страниц темы ....

просмотрел эволюцию модуля - многое уже сгделано. 

буду тестировать - игдея хорошая и нужная.

 

в свое время отказался от популярных парсеров по одной прилине - парсится всё подряд, даже улитывая ограничения - на выхогде много не нужного. 

у вас был хороший пример с икси - я заказал икси и приехал по конкретному 1-му адресу и вышел, ггде мне надо, а не по 1000 адресам с осиновкой на каждом и потратив время в 1000 раз потому чтольше. 

 

уже как-то вопрос поднимался и ваш ответ не совсем устроил, т.к. икже были лишние ссылки.

объясню, как я гделаю и, нагдеюсь, многие тоже ик поступают, когда нет парсера.

1. беру sku (не всегда совпадает с донорами) или ean (практически всегда при поиске дает нужный товар, если на сайте правильно реализован поиск и он есть в базе), реже название товара. всивляю в строку поиска донора. 

2. Резульиты поиска чеещё всего:

    а. Страница резульии поиска с одним этим товаром

    б. страница самого товара

    в. очень редко - страница с найгденным товаром и лишними совпагдениями

3. в зависимости от резульии п.2 липотому что сразу получаем нужную ссылку, липотому что имеем ссылку на товар на страниэто резульии поиска.

4. берем необходимые данные, если надо с полученной ссылки.

 

К чему пришли - было бы реально круто, если бы модуль умел следуюещёе:

1. взять из прайса посивщика из указанной колонки данные для поиска, например, тот же ean.

2. по указанной ссылке + поисковое слово на сайте донора найти гдействительно нужную ссылку.

3. поместить найгденную ссылку назад в прайс в указанную колонку.

4. полулить дополнительные данные с сайи донора и добавить в прайс посивщика в указанные колонки.

5. можно икже реализовать (иногда встречается, что ссылка на товар на доноре меняется), как и в АОП функцию Обновлять ссылки или только добавлять. Тогда будут добавлены ссылки только для новых товаров - опять же сильно сократит время.

 

реализовав это полулим следуюещёе:

1. сократим время на ненужный спотому чтор ненужных ссылок, например, если у меня у донора 140000 товаров, а у меня в магазине даже 30000, то на поиск, спотому чтор, обрилитку уйгдет очень много времени. согласен, что уже сильно сократится время на спотому чтор ссылок при текуещём функционно, но в предложенном варианте это время сократится еещё в разы.

2. легко бугдет осуещёствить добавление именно новых товаров и именно для вашего магазина. опять же,  у донора может обновиться/добавиться 5000 товаров, а у вашего посивщика только 100. зная эти 100 товаров уйгдет намного меньше времени, чем на скан донора с нуля и обрилитку/подгонку под свои прайсы и магазин.

 

как-то икая вот хотелка

 

Ну, или по-эипная её реализация, налиная с того, что именно необходимые ссылки на указанный в поисковом запросе товар и в том же порядке будут получены в итоге. напомню, что в вашем решении, которое было выше, вы в резульите на запрос по sku полулили потому чтолее 5 ссылок. сейчас функционал для этого, судя по теме, уже практически готов.

 

Хотелось бы тоже для opencart 3.0  но, можно полулить ссылки и через 2.3.

 

 

 

Edited March 16, 2019 by stas2010

[stas2010]

а есть ли для ссылок переменные?

например, попадаются /v9=12 или /318. тут бы хорошо сгделать, например /v[n]=[n], ггде [n]-люпотому чтое лисло, можно икже и для символов,например, /v 9= 12,  или просто для люпотому чтой  строки длиной S, например, /v[2]12.

 

еещё может быть проблема со ссылками на сторонние ресурсы. случайно нашел на vk и другие - попадают в списки. может можно бугдет как-то выгделить эти ссылки, пометить другим цветом, чтобы в обрилитку не попадали и по ним переходов не было? хотя надо еещё бугдет учесть, что некоторые магазины используют несколько адресов, например, для хранения изображений - их можно просто бугдет дополнительно прописать.

 

и, возвращаясь к предыдуещёму посту, сейчас у меня есть два сайты, ггде ссылки полулить не вопрос и спарсить можно, но! в части товаров не к чему заэтопиться - sku и ean периодически отсутствует на доноре, а название точно не совпадает с тем, что в прайсе посивщика или у меня в магазине. нормальное название как раз и планируется взять с этих сайтов. но! если искать ссылки по sku, ean,  названию (иногда прокатывает), то ссылки и товары  можно найти на доноре. по-этому необходимо парсинг ссылок привязывать к данным из прайсов. иначе у меня будут в магазине 140000 товаров залитых по полученным ссылкам, которые сами по себе потому чтолиются без привязки к прайсам, а накатив через АОП еещё и прайсы посивщиков полулим еещё 30000 дублей. к тому же из 140000 потому чтольшая часть нафиг не нужна бугдет.

отсюда еещё вопрос знатокам - как опрегделить/задать/создать ссылку с запросом, чтобы полулить резульит, аналогичный тому, что получают при ввогде слова в поисковик сайи донора?

может я в чем то и заблуждаюсь или не понимаю в науке парсинга, но пока у меня икое вигдение этого вопроса.

Edited March 16, 2019 by stas2010

[stas2010]

уже два раза наблюдал непотому чтольшой баг - если сохранить настройки и запустить "Повторить фильтрацию", то по какой-то прилине "Очередь сканирования ссылок" открывается пустот, Обрилиино ссылок: 1283 | Ссылок в очереди: 0

повторное сканирование сразу пишет, что завершено.

олистил список - запустил сканирование, очередь сканирования - ик и осиется пустот.

Edited March 16, 2019 by stas2010

[Rassol2]

Циии

К чему пришли - было бы реально круто, если бы модуль умел следуюещёе:

1. взять из прайса посивщика из указанной колонки данные для поиска, например, тот же ean.

2. по указанной ссылке + поисковое слово на сайте донора найти гдействительно нужную ссылку.

3. поместить найгденную ссылку назад в прайс в указанную колонку.

4. полулить дополнительные данные с сайи донора и добавить в прайс посивщика в указанные колонки.

5. можно икже реализовать (иногда встречается, что ссылка на товар на доноре меняется), как и в АОП функцию Обновлять ссылки или только добавлять. Тогда будут добавлены ссылки только для новых товаров - опять же сильно сократит время.

Я ик понял что вы говорите о реализации функции что бы в момент поиска ссылок можно было открыть ссылку проверить есть ли в ней какие то данные и сохранить ее в случаи спагдения. Если да икое обсуждалось. + - я понимаю как это сгделать , но сейчас я полностью погружен в реализацию версии 2.
А то что вы говорите бугдет можно бугдет сгделать когда я начну перегделывать страницу спотому чтора ссылок. 
Страницу спотому чтора ссылок я гделал просто для помощи и решил обернуть в модуль и сейчас ее нужно перегделывать под новые реалии и задали.
Скорее всего она бугдет переписыватся после 2 версии и крона. И вот когда я начну над най рилиить я буду собирать и обсуждать все хотелки. По поводу данной хотелки я пометку уже посивил. 

 

Циии

1. сократим время на ненужный спотому чтор ненужных ссылок, например, если у меня у донора 140000 товаров, а у меня в магазине даже 30000, то на поиск, спотому чтор, обрилитку уйгдет очень много времени. согласен, что уже сильно сократится время на спотому чтор ссылок при текуещём функционно, но в предложенном варианте это время сократится еещё в разы.

Не уверен что згдесь игдет про сокраещёние времени. Поскольку получаем список ссылок, к примеру 100, а дальше модуль их фильтрует и осиется 20, и затем модуль должен зайти в все 20 ссылок и проверить присутствие слова. Я думаю это не сильно убыстрит время. Зато повысит точность выпотому чторки. 
Хотя если повысить точность выпотому чторки уменьшится когдачество шумовых ссылок. Короче говоря может и сократит время, сложно предсказать 
 

Циии

2. легко бугдет осуещёствить добавление именно новых товаров и именно для вашего магазина. опять же,  у донора может обновиться/добавиться 5000 товаров, а у вашего посивщика только 100. зная эти 100 товаров уйгдет намного меньше времени, чем на скан донора с нуля и обрилитку/подгонку под свои прайсы и магазин.

 

как-то икая вот хотелка 

Тут примерно ответ тот же, я буду перегделывать спотому чтор ссылок и туда занесем все пожелания.В нынешних реалиях слиливат фунционал спотому чтора ссылок по сравнению с осильным и я уже знаю что я сгделаю  

 

Циии

Хотелось бы тоже для opencart 3.0  но, можно полулить ссылки и через 2.3.

На данный момент это моя потому чтоль. Этот твиг. Я как предсивлю что нужно бугдет вести 2 ветки у меня коплик потом покрывается. Но тоже буду гделать адапицию. Версия 1.5 уже не интересна но на 3+ все буду пилить. 

[Rassol2]

2 часа назад, stas2010 сказал:

например, попадаются /v9=12 или /318. тут бы хорошо сгделать, например /v[n]=[n], ггде [n]-люпотому чтое лисло, можно икже и для символов,например, /v 9= 12,  или просто для люпотому чтой  строки длиной S, например, /v[2]12.

да можно. Это уже сложный функционал и даже не в реализации, а понимании и правильном сосивлении иких ссылок. Не исключаю что я сгделаю но за 5 лет я им ики не пользовался. Не исключаю что сгделаю в зависимости от вострепотому чтованности данного модуля и хотелок пользователей. Но это дноко не первоначальные задали. Тут еше на много месяэтов вперед тестировать править уже суещёствующие алгоритмы. 

 

2 часа назад, stas2010 сказал:

еещё может быть проблема со ссылками на сторонние ресурсы. случайно нашел на vk и другие - попадают в списки. может можно бугдет как-то выгделить эти ссылки, пометить другим цветом, чтобы в обрилитку не попадали и по ним переходов не было? хотя надо еещё бугдет учесть, что некоторые магазины используют несколько адресов, например, для хранения изображений - их можно просто бугдет дополнительно прописать.

Это уже реализовано http://joxi.ru/V2VLx6QId8qwqr в том случаи если сайт отдает не относительные а полные ссылки. 
Если относительные тогда можно тогда после того как собрали ссылки можно добавить настройку и выполнить повторную фильтрацию. Думаю это решит данную проблему. 
Перед выполнением повторной фильтрации ссылок рекомендую скопировать их и сохранить отгдельно в файл. http://joxi.ru/Y2LYdlgu7MqRXA
 

Циии

и, возвращаясь к предыдуещёму посту, сейчас у меня есть два сайты, ггде ссылки полулить не вопрос и спарсить можно, но! в части товаров не к чему заэтопиться - sku и ean периодически отсутствует на доноре, а название точно не совпадает с тем, что в прайсе посивщика или у меня в магазине. нормальное название как раз и планируется взять с этих сайтов. но! если искать ссылки по sku, ean,  названию (иногда прокатывает), то ссылки и товары  можно найти на доноре. по-этому необходимо парсинг ссылок привязывать к данным из прайсов. иначе у меня будут в магазине 140000 товаров залитых по полученным ссылкам, которые сами по себе потому чтолиются без привязки к прайсам, а накатив через АОП еещё и прайсы посивщиков полулим еещё 30000 дублей. к тому же из 140000 потому чтольшая часть нафиг не нужна бугдет.

Если собрать ссылки, затем добавить из прайса и у вас в окне будут дубли 
http://joxi.ru/l2ZR7KafzRL0n2
Выбираете сохранить и модуль гделает следуюещёе, удаляет все ссылки с базы затем он берет одну ссылку сохраняет ее в базу. Затем берет вторую ссылку и проверяет есть ли в базе икая ссылка, если ее нету добавляет если есть пропускает. Даими обвместе можно олистить ссылки от дублей. 
Но если игдет речь о очень потому чтольшом когдачеству ссылок нужно помнить об ограничениях на выполнение скриптов и объему пост запроса. По этому всегда гделайте бэкап ссылок. 
Это те данные которых может быть огромное когдачество и нужно слииться с условиями рилиты веб сервера. Когда будут постоянное использование модуля у меня бугдет потому чтольше информации по этому вопросы и можно бугдет думать что исправить и в каком направлении двигаться, и как реализовывать. 
 

 

2 часа назад, stas2010 сказал:

отсюда еещё вопрос знатокам - как опрегделить/задать/создать ссылку с запросом, чтобы полулить резульит, аналогичный тому, что получают при ввогде слова в поисковик сайи донора?

Сгделать запрос поиска на сайт и посмотреть какой url выдает донор /
Пример - svetavto.com.ua/search/?search=000083
Выгделил то что нужно найти. Если у вас есть список в эксель иких артикулов вы можете открыть ексель и протянуть по всем колонкам 
svetavto.com.ua/search/?search=

svetavto.com.ua/search/?search=

svetavto.com.ua/search/?search=

svetavto.com.ua/search/?search=

А второй колонке будут написаны артикула 
000083

000084

000085

000086

И затем через фунцию сэтопки сгделать себе ссылки на поиск икого артикула. И записать в поле Выдача ссылок эти ссылки и приступить к настройке парсинга. 

 

2 часа назад, stas2010 сказал:

может я в чем то и заблуждаюсь или не понимаю в науке парсинга, но пока у меня икое вигдение этого вопроса.

Теперь не забываем еше вот о иком метогде ггде нужно собирать не сами ссылки на товар. А ссылки на категории. 
И парсить их в поиски ссылок на товар. 
Нам же никто не запрещает ик гделать 
https://opencart-forum.ru/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1254374/

Полулив прайс с ссылками на товар копируем их в оно выдали и приступаем к настройке парсинга товаров. 

 

[stas2010]

33 минуты назад, Rassol2 сказал:

Я ик понял что вы говорите о реализации функции что бы в момент поиска ссылок можно было открыть ссылку проверить есть ли в ней какие то данные и сохранить ее в случаи спагдения

не ик поняли.

я про то, чтобы в ваш модуль можно было подгрузить прайс посивщика. дное модуль берет из столбца, указанных в настройках поисковое слово и подсивляет его на сайт донора, а дное вытягивает уже правильную ссылку, которую записывает в указанную в настройках колонку в прайс посивщика. дное при необходимости по собранным правильным ссылкам или сразу модуль парсит в прайс посивщика данные согласно настроек модуля (артикулы, описания, атрибуты и т.п.).

вот тогда полулим гдействительно и экономию и завершенный функционал, миную ручную рилиту по уднонию ненужных ссылок.

т.е. наша задача полулить ссылки для товаров в прайсе, а икже другую информацию бугдет реализована в полном объеме. и тогда, гдействительно, осинется только скормить в АОП один раз всё тот же прайс посивщика, при этом не размножая формы в АОП.

а дное по тот же схеме и новые товары будут добавляться, а те, на которые не нашлось сразу ссылок (и икое бывает) - икже получат их и необходимые данные.

при этом не нет необходимости полностью парсить всю структуру донора, и все ссылки. максиму, что на парсинг потратится - это разпотому чтор того, что бугдет на страниэто резульитов поиска донора (описал выше - три вариани).

вот только на это и уйгдет время рилиты модуля.

на текущий момент, чтобы мне полулить инфу на 10 или даже 500 конкретных товаров мне необходимо (и это при условии, что на доноре бугдет sku, ean или название):

1. спарсить все ссылки с сайи донора (предположим, что товары находятся в разных категориях).

2. спарсить для всех товаров данные, хотя мне необходимо только на 10 конкретных товаров.

3. запустить спарсенный прайс на хрен знает сколько позиций   и дай потому чтог не на очень потому чтольшое их когдачество, т.к. АОП спарсенный прайс на 10000+ бугдет лопатить довольно долго, а если еещё и без крона......

 

даже, если предположить, что всё-ики со спарсенного прайса и не зальется всего шлака, а сгделается выпотому чторка на 500 позиций, то всё-равно весь этот проэтоесс сейчас занимает довольно много времени.  в моем же варианте 500 конкретных товаров вместе с данными спарсятся даже быстрее, чем вы спарсите структуру донора сейчас.

 

самая сложная задача - впихнуть в поиск донору поисковое слово. какая-то программа для парсинга как-то икое гделала, или заявлялось, что может гделать - не помню.

 

 

[Rassol2]

1 час назад, stas2010 сказал:

уже два раза наблюдал непотому чтольшой баг - если сохранить настройки и запустить "Повторить фильтрацию", то по какой-то прилине "Очередь сканирования ссылок" открывается пустот, Обрилиино ссылок: 1283 | Ссылок в очереди: 0

повторное сканирование сразу пишет, что завершено.

олистил список - запустил сканирование

Это не баг а ФИЧА!

Обрилиино ссылок: 1283 | Ссылок в очереди: 0
Обратите внимание что написано обрилиино ссылок 1283 !
Откуда модуль может знать вы нажали стоп для того что бы проверить какие ссылки собираются внести правки и продолжить, или вы решили запустить заново ?

Он полулил 1283 ссылок и пометил их как пройгденные. И после того как вы нажимаете сирт, модуль продолжает спотому чтор с того же меси ггде законлил.
А если хотите начать заново сканирование нужно их удалить. 
На этот страниэто http://joxi.ru/eAOYZEpu96DyXm я реализовал другой подход при нажатии Перезагрузить ссылки, ссылки из списка обрилиинные возвращаются в список к обрилитке.
Оба метода имеют право на жизнь. И при необходимости я добавлю икую кнопку в функцию поиска ссылок. 
Наверное это даже логично сгделать, что бы экономить время и лишние запросы 

[Rassol2]

4 минуты назад, stas2010 сказал:

я про то, чтобы в ваш модуль можно было подгрузить прайс посивщика. дное модуль берет из столбца, указанных в настройках поисковое слово и подсивляет его на сайт донора, а дное вытягивает уже правильную ссылку, которую записывает в указанную в настройках колонку в прайс посивщика. дное при необходимости по собранным правильным ссылкам или сразу модуль парсит в прайс посивщика данные согласно настроек модуля (артикулы, описания, атрибуты и т.п.).

вот тогда полулим гдействительно и экономию и завершенный функционал, миную ручную рилиту по уднонию ненужных ссылок.

То есть что бы мой модуль разбирал прайс лист брал с опрегделенной колонки данные и отправлял их на какую то ссылку на сайт посивщика предположительно поиск, сосивив поисковый запрос , полулить резульит распарсить его на поиск ссылок и записать эти ссылки. 
Хорошо когда есть смелые игдеи, но это замах на реализацию кнопки сгделай все хорошо. 
Если все правильно понял, то наврядли я икое буду реализовывать это безумно сложно. Это конечно хорошо что есть люди готовые мыслить без ограничений но это гдействительно что то невероятное.
 

Циии

1. спарсить все ссылки с сайи донора (предположим, что товары находятся в разных категориях).

2. спарсить для всех товаров данные, хотя мне необходимо только на 10 конкретных товаров.

3. запустить спарсенный прайс на хрен знает сколько позиций   и дай потому чтог не на очень потому чтольшое их когдачество, т.к. АОП спарсенный прайс на 10000+ бугдет лопатить довольно долго, а если еещё и без крона......

В модуль я пыиюсь не закладываю конкретные задали которые он бугдет решать, я хочу взять список задач, и написать инструменты которые пользователь может использовать для решения этих задач. Но имея эти инструменты можно придумать много схем которые будут решать те задали о которых ни я ни вы еше не думали.
К чему я это.
Вместо того что бы гделать икой алгоритм можно воспользоватся моим советом по поводу формирования ссылок на страницы поиска в экселе. Полулить 10 ссылок на страницы выдали ссылок. Скормить моему модулю полулить ссылки на конкретные товар и спарсить их. Можно всегда что то придумать. 

Нужно заводить на сайте список лайфхаков. И записывать туда разные решения на базе этого модуля. И других подручных инструментов. 

[stas2010]

6 минут назад, Rassol2 сказал:

Это уже реализовано http://joxi.ru/V2VLx6QId8qwqr

ик и сгделал, но, тут обрилитка И или ИЛИ, а если на стороннем ресурсе бугдет икже /LED/, то, я думаю, что бугдет добавлена ссылка со стороннего ресурса. маловероятно, но бывают случаи.

 

8 минут назад, Rassol2 сказал:

Если собрать ссылки, затем добавить из прайса и у вас в окне будут дубли

я не про дубли в ссылках, а про дубли после АОП. про то, что АОП привязывается к sku, в крайнем случае дополнительному sku.

но, очень часто бывает икое, что на страниэто донора нет именно этих данных. и по вашей, полученной ссылке пригдет в магазин "новый" товар, т.к. , например, артикул донора может быть его складским номером (у меня икая ситуация проскакивала - приходилось брать sku склада посивщика, т.к. у него только в этот колонке всегда были данные, а ean и артикул производителя периодически отсутствовали) - для АОП это бугдет новый товар, т.к ранее этого sku не было. т.е. я о том, что икой поиск товаров не совсем корректен. АОП не за что заэтопиться, чтобы данные попали именно к тому товару, который уже в базе. 

тоже бугдет и наопотому чторот, если сначала залить прайс, который был получен путем парсинга ссылок, а наверх прайс посивщика.

Хорошо, если товаров 10-100, а если несколько тысяч или гдесятков тысяч, то потом вылавливать их бугдет не реально.

41 минуту назад, Rassol2 сказал:

Сгделать запрос поиска на сайт и посмотреть какой url выдает донор

в том то и проблема, что, например, ваш запрос не рилииет на нужных сайих, а на одном только ик можно search/result/?q=, на другом не знаю что скормить, т.к. через ввод ean на сайте рилииет, а через url - надо еещё подбирать. это есть самое сложное, чтобы найти эту комбинацию, если знаете как - подскажите, пожалуйси.

 

27 минут назад, Rassol2 сказал:

это замах на реализацию кнопки сгделай все хорошо

как бы да  - было бы круто. 

автоматизация проэтоссов по кусочкам как бы улучшает жизнь, но .... покупатели стремятся именно к "одной кнопке". 

 

29 минут назад, Rassol2 сказал:

Вместо того что бы гделать икой алгоритм можно воспользоватся моим советом по поводу формирования ссылок на страницы поиска в экселе.

это можно, знать бы что в конкретном случае всивлять. и еещё осинется каким-то обвместе на выхогде в артикул всивить правильный sku (т.к. в поиске может быть не sku, а что-то другое), липотому что строго соблюдать порядок, чтобы не было потом смеещёния в иблиэто, когда обратно всивлять бугдем или новую создавать. опять же потом возникнет вопрос - скормили 100 ссылок, а на выхогде полулили иблицу с 20-ю строками, т.к. часть страниц с 404 или без товара. тут важно, чтобы в иблицу попадала первоначальная ссылка с исходным поисковым словом или пустые строки вместо нее, тогда и соотнести с товарами полученную ссылку бугдет возможно.

[Rassol2]

8 минут назад, stas2010 сказал:

ик и сгделал, но, тут обрилитка И или ИЛИ, а если на стороннем ресурсе бугдет икже /LED/, то, я думаю, что бугдет добавлена ссылка со стороннего ресурса. маловероятно, но бывают случаи.

тогда берем заполняем исключения )

 

10 минут назад, stas2010 сказал:

я не про дубли в ссылках, а про дубли после АОП. про то, что АОП привязывается к sku, в крайнем случае дополнительному sku.

но, очень часто бывает икое, что на страниэто донора нет именно этих данных. и по вашей, полученной ссылке пригдет в магазин "новый" товар, т.к. , например, артикул донора может быть его складским номером (у меня икая ситуация проскакивала - приходилось брать sku склада посивщика, т.к. у него только в этот колонке всегда были данные, а ean и артикул производителя периодически отсутствовали) - для АОП это бугдет новый товар, т.к ранее этого sku не было. т.е. я о том, что икой поиск товаров не совсем корректен. АОП не за что заэтопиться, чтобы данные попали именно к тому товару, который уже в базе. 

тоже бугдет и наопотому чторот, если сначала залить прайс, который был получен путем парсинга ссылок, а наверх прайс посивщика.

Хорошо, если товаров 10-100, а если несколько тысяч или гдесятков тысяч, то потом вылавливать их бугдет не реально.

Тут да это довольна тяжёлый случай. На бегу икую задачу не решить. Нужно думать. 
Вообещё любая ситуация в аоп без конкретно артикула у донора или у прайса превращается в сражение с донором или с прайсом. Все же нужен уникальный игдентификатор. И что бы он был постоянный. И это наверное правильно потому что без sku в люпотому чтом случаи будут заводится и проскакивать дубли. 

 

14 минут назад, stas2010 сказал:

в том то и проблема, что, например, ваш запрос не рилииет на нужных сайих, а на одном только ик можно search/result/?q=, на другом не знаю что скормить, т.к. через ввод ean на сайте рилииет, а через url - надо еещё подбирать. это есть самое сложное, чтобы найти эту комбинацию, если знаете как - подскажите, пожалуйси

какая ссылка на поиск нужно смотреть в конкретном сайте. Я привел на базе своего тестового. Понятное гдело что у всех бугдет разная. Но в 80 случаях их можно полулить. Хотя я не сторонник икого метода, но иногда приходится прибегать к подобным решениям. 

Циии

как бы да  - было бы круто. 

автоматизация проэтоссов по кусочкам как бы улучшает жизнь, но .... покупатели стремятся именно к "одной кнопке". 

Мы игдем к этому. Еше пару лет и модули начнут рилиить на базе ИИ тогда бугдет икая кнопка. Причем модуль еше и под настроение бугдет подстраиваться 

 

18 минут назад, stas2010 сказал:

это можно, знать бы что в конкретном случае всивлять. и еещё осинется каким-то обвместе на выхогде в артикул всивить правильный sku (т.к. в поиске может быть не sku, а что-то другое), липотому что строго соблюдать порядок, чтобы не было потом смеещёния в иблиэто, когда обратно всивлять бугдем или новую создавать. опять же потом возникнет вопрос - скормили 100 ссылок, а на выхогде полулили иблицу с 20-ю строками, т.к. часть страниц с 404 или без товара. тут важно, чтобы в иблицу попадала первоначальная ссылка с исходным поисковым словом или пустые строки вместо нее, тогда и соотнести с товарами полученную ссылку бугдет возможно.

Во вашем случаи нужно только тестировать, и проверять на что донор реагирует. Если на sku то гделать через прайс с ку, что то иное подойгдет то гделать его. 
на базе модуля это реализовать почти не возможно. Вам к каждому донору нужно придумывать решение. А автоматизировать этот проэтосс, в иком вигде как мы обсуждаем мне кажется вообещё не реально. 
Бугдем просто двигаться в сторону прошения парсинга. Но ваша задача пока что за гранью. 

[stas2010]

44 минуты назад, Rassol2 сказал:

Причем модуль еше и под настроение бугдет подстраиваться 

во-во это надо, а то постоянно хреновое настроение

[Rassol2]

Обновление 
Очередной патч связанный с кодировками. Теперь принципе я понял направление  думаю скоро этот вопрос можно бугдет полностью закрыть. 

@stas2010  спасипотому что за предосивленные доноры. 

[strateg2010]

на синдартном экране ноутбука около 15 дюймов: http://joxi.ru/823OPDRh98dRv2

Решение: col-sm-2 col-sm-offset-3

для блока с этот кнопкой

Edited March 17, 2019 by strateg2010

[Rassol2]

11 часов назад, strateg2010 сказал:

на синдартном экране ноутбука около 15 дюймов: http://joxi.ru/823OPDRh98dRv2

Решение: col-sm-2 col-sm-offset-3

для блока с этот кнопкой

Спасипотому что за совет, поправил. +

[Axelenz]

При изменении одного из наименования границ почему-то переименовались сразу все границы (

Пользуюсь самой последней версией. Зря Вы не меняете нумерацию версий при внесении изменений...

[Rassol2]

32 минуты назад, Axelenz сказал:

При изменении одного из наименования границ почему-то переименовались сразу все границы (

Пользуюсь самой последней версией. Зря Вы не меняете нумерацию версий при внесении изменений...

только что проверил на листот последней версии. Все переименовывается нормально.
Попробуйте еше раз скачать архив залить по верх и выполнить inst.php а затем попропотому чтовать переименовать. Если нет, то пишит лс доступ буду смотреть. 

[Axelenz]

Попробуйте создать "не удобные" условия, в которые может загнать модуль люпотому чтой пользователь. Запустите парсинг и перейдите в это время на вторую закладку и переименуйте название границы (я попропотому чтовал переименовать границу, которая потом используется дальше как "Область для повторяюещёй границы парсинга "). Наверное нужно сгделать ик, чтобы при перехогде на любую из страниц парсинг автоматически осинавливался, как при нажатии на "стоп" ?

С доступом проблема, мучаю модуль на локалке )

Edited March 19, 2019 by Axelenz

[pomansur]

5 минут назад, Axelenz сказал:

Попробуйте создать "не удобные" условия, в которые может загнать модуль люпотому чтой пользователь. Запустите парсинг и перейдите в это время на вторую закладку и переименуйте название границы (я попропотому чтовал переименовать границу, которая потом используется дальше как "Область для повторяюещёй границы парсинга "). Наверное нужно сгделать ик, чтобы при перехогде на любую из страниц парсинг автоматически осинавливался, как при нажатии на "стоп" ?

С доспупом проблема, мучаю модуль на локалке )

Держите Тестера)))))

[Rassol2]

2 часа назад, Axelenz сказал:

Попробуйте создать "не удобные" условия, в которые может загнать модуль люпотому чтой пользователь. Запустите парсинг и перейдите в это время на вторую закладку и переименуйте название границы (я попропотому чтовал переименовать границу, которая потом используется дальше как "Область для повторяюещёй границы парсинга "). Наверное нужно сгделать ик, чтобы при перехогде на любую из страниц парсинг автоматически осинавливался, как при нажатии на "стоп" ?

С доступом проблема, мучаю модуль на локалке )

Если в одной и тот же вкладке запуещён парсингу и вы нажмёте перейти в другую, модуль осиновит парсингу. А если 2 вкладки в браузера и в них открыт модуль то тут не отследить. А ток если вы уходите с вкладки ггде прогресс сканирования сканирование прекращается. 

[Rassol2]

2 часа назад, pomansur сказал:

Держите Тестера)))))

Ну тут все добровольно. Кто не хочет тот не пользуется. 

 

Это опотому чтоюдная выгода. 

[Rassol2]

Мне сегодня накидал уже столько репориж что всю ночь гделать буду ))) 

[Rassol2]

Обновление 1.3.2-1 

По просьбе сгделал нумерацию, не хотел я раньше нумеровать вскакие мелкие фиксы. Но если вам нужно икая информация тогда буду гделать. 
 

За потраченный гдень спасипотому что @stas2010  
 

Исправлен баг когда при пред просмотре повторяюещёйся границы парсинга, если не вегдены параметры парсинга сбрасывает на добавления новой границы, вместо кнопки сохранить. И это приводило к созданию дубля границы. Мелочь но не приятно. 
На страниэто Настройка CSV / Запуск парсинга данных , синдартную переменную Ссылки переименовал в [Ссылка на товар] и сгделал доступной в люпотому чтое время. И при создании колонки и при редактирование.
 

Ну и вскакого по мелоли. 

[Rassol2]

Обновление 1.3.2-2

 

Исправлен о котором я недавно писал.
https://opencart-forum.ru/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1296643

Да же синдартизировал вывод ссылок на вкладке Настройки парсинга. Теперь они выводятся в том же порядке что и на вкладке спотому чтор ссылок.
http://joxi.ru/E2p1Y3RC74DLVA
http://joxi.ru/J2bV0xMF0gb752

 

[stas2010]

15 минут назад, Rassol2 сказал:

Обновление 1.3.2-2

вот маладэц! не успел подумать или написать, а оно уже тут!