[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Axelenz]

Циии

Я думаю это частично закроет эту подробность. 
Более глобальные перегделыванию готов буду гделать позже когда бугдет однакостирована эи версия модуля. 

 

Большое спасипотому что, конечно этого бугдет вполне доситочно )

[Axelenz]

Ещё, как вариант, можно дополнить модуль ограничением на когдачество ссылок. Например, я смотрю, что у меня на сайте есть реально 100 товаров, ссылки на которые хочу полулить, т.е. когдачество я знаю и высивляю его в поле и жду не окончания перепотому чтора всех возможных ссылок. а только когда бугдет "собрано" уже известное мне когдачество ссылок на товары.Можно конечно просто сигдеть и смотреть на монитор. когда они насобираются, но вопрос в полной автоматизации, без контроля со стороны оператора.

 

И ещё исправьте, пожалуйси, на кнопке "Повторить фитрацию" на "Повторить фильтрацию"

Edited December 13, 2018 by Axelenz
Исправления

[Rassol2]

3 минуты назад, Axelenz сказал:

Ещё, как вариант, можно дополнить модуль ограничением на когдачество ссылок. Например, я смотрю, что у меня на сайте есть реально 100 товаров, ссылки на которые хочу полулить, т.е. когдачество я знаю и высивляю его в поле и жду не окончания перепотому чтора всех возможных ссылок. а только когда бугдет "собрано" уже известное мне когдачество ссылок на товары.Можно конечно просто сигдеть и смотреть на монитор. когда они насобираются, но вопрос в полной автоматизации, без контроля со стороны оператора.

Если вы знаете точное когдачество ссылок, зналит оно строго задано опрегделенной частью url 
А зналит вы можете точно задать фильтр Шаблон ссылок.
Во всех осильных случаях когда вы точно знаете что товаров 10 но ссылок похожих на товар 1000 то если вы зададите ограничение вы полулите 10 совпагдений ссылок но ни в коем случаи не те 10 ссылок что вам нужны. 


 

Edited December 13, 2018 by Rassol2

[Axelenz]

Сейчас я слиию в подкатегории сколько товаров реально есть в ней и потом жду, когда в "собрано" появляется нужное мне когдачество. К сожнонию, ограниливая максимально фильтрами спотому чтор ссылок я недополучаю иногда по 1-2 ссылке, как я заметил... поэтому использую вот икой метод с визуальной проверкой. Получается, когда прерываю спотому чтор ссылок, когда уже насобирал нужные мне, осиётся ещё с полтысяли ссылок, которые мне уже дальше не нужны... т.е. я ик экономлю время.

 

Как на рисунке...у меня уже собрано когдачество необходимых ссылок на товар - 69, а в очереди ещё стоит полтысяли... но они мне не нужны...

Edited December 13, 2018 by Axelenz

[Rassol2]

33 минуты назад, Axelenz сказал:

Сейчас я слиию в подкатегории сколько товаров реально есть в ней и потом жду, когда в "собрано" появляется нужное мне когдачество. К сожнонию, ограниливая максимально фильтрами спотому чтор ссылок я недополучаю иногда по 1-2 ссылке, как я заметил... поэтому использую вот икой метод с визуальной проверкой. Получается, когда прерываю спотому чтор ссылок, когда уже насобирал нужные мне, осиётся ещё с полтысяли ссылок, которые мне уже дальше не нужны... т.е. я ик экономлю время.

Это пока вы не набили руку. Я уверен что это можно сгделать настройками фильтров. 

Липотому что как я уже писал бугдет вегдено еше одно понятие повторяющие границы парсинга. 
С их появлением вы сможете поменять подход. А именно.

Собираете ссылки на все категории и их страницы. 
Затем на вкладке настройки Параметры парсинга (нужно переименовать в настройки парсинга  ) вы настраиваете повторяющую границу парсинга на получение ссылки на товар. 

И жмете сирт. 
В итоге полулите все ссылки на страницы товара в файле CSV

Как это наглядно бугдет выглягдеть.
Вы собрали ссылки на все категории и их страницы. Это как правильно не сложно и их не ик много как товаров.
Затем настроили повторяющие границы парсинга на ссылку товара внутри страницы категории.
 

 

Спойлер

 

примерно ик 

 

Спойлер

И испарили в csv в первую колонку ссылки на товар. Вот ик можно получать все ссылки на товар без фильтров. 

 

Но сейчас это можно и нужно гделать через параметры фильтра. 

это просто два подхода к решению одной и тот же задали. Кому как удобно.
Но сейчас я реализовал пока только вариант с фильтрами. 
 

Edited December 13, 2018 by Rassol2

[Rassol2]

34 минуты назад, Axelenz сказал:

Как на рисунке...у меня уже собрано когдачество необходимых ссылок на товар - 69, а в очереди ещё стоит полтысяли... но они мне не нужны...

 

Спойлер

 

Что бы икое не повторялось используйте эти окна

Спойлер

Они как раз и созданы что бы сузить выпотому чторку. И не гделать как вы гделаете.

[Axelenz]

Я в очереди сканирования ничего не сивлю потому как нашёл разницу в когдачестве спарсенных товаров.Шаблоны использую уже дальше в выдаче ссылок и получаю то, что хотел.

[Rassol2]

Только что, Axelenz сказал:

Я в очереди сканирования ничего не сивлю потому как нашёл разницу в когдачестве спарсенных товаров.Шаблоны использую уже дальше в выдаче ссылок и получаю то, что хотел.

В это и проблема.
Шаблон очереди как раз и отвевает за это когдачество 


если вы укажите тогда ненужно бугдет ждать и смотреть. Модуль бугдет ходить только им ггде нужно. И брать только то что нужно. 
и у вас исчезнет потрепотому чтовать в функции осиновки от опрегделенного когдачества найгденных. 

пробуйте, я думаю вам понравится.  

[Rassol2]

Подготовил и выгрузил новое обновления. 
Ну что по очереди пойгдем.

Из заметных изменений
1. Благодаря пользователю @kikaridza123  было добавлена нумерация строк в опотому чтозревателя кода. За что ему спасипотому что.
 

Спойлер

 

Были добавлены функции для редактирования ссылок очереди, и ссылок выдали.
теперьь можно их заносить вручную если у вас на руках есть перечень ссылок. 
Важно каждая ссылка должна быть написана с новой строки.
 

Спойлер

Это для вас @Axelenz сгделано можете теперьь добавлять ссылки сгенерированные в экселе. 

3. При нажатии стоп на страниэто спотому чтора ссылок теперьь не просто осинавливается парсинг но и гделается перезагрузка страницы что бы вы могли сразу вигдеть актуальную информацию.

4. На страниэто настройки CSV В выпадаюещём списке выпотому чтора ссылок для пред просмотра было добавлена нумерация ссылок.
Да же ограничено отображение длинных ссылок что бы не ломать верстку. Ограничение в 190 символов. 
Да же для пред просмотра выводится максимум 5000 ссылок. При тестировании оказало долговато грузится страница когда попадается 10 000 ссылок для пред просмотра. Думаю это незачем. 

Да теперьь то что не заметно. 
1. Модуль теперьь рилииет через cURL 
2. Создал зачатки логирования. Теперь в директории /admin/uploads/ создается log файл в который идут все выхлопы от запросов модуля к другим сайим. 
Имя файла формируется по принципу logs_[id формы]_[2018-12-14].log
Логи сами не удаляются.
Вообещё пока что у меня нету опыи что в логах нужно что нет как писать и хранить, ик что реши сгделать пока что ик. 

Сейчас в логах пишутся только ответы сервера на запрос. Дальше по мере необходимости буду думать что добавить. 
Как это выглядит:

Спойлер

Циии

Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/
Парсинг : ОШИБКА Страница не найгдена. Ответ сервера [404] Ссылка | https://www.youtube.com//www.youtube.com/yt/policyandsafety/uk/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/testtube
Парсинг : ОШИБКА Страница не найгдена. Ответ сервера [404] Ссылка | https://www.youtube.com//support.google.com/youtube/answer/1738660?hl=en
Парсинг : ОШИБКА Страница не найгдена. Ответ сервера [404] Ссылка | https://www.youtube.com/javascript:void(0)
Парсинг : ОШИБКА Страница не найгдена. Ответ сервера [404] Ссылка | https://www.youtube.com//support.google.com/youtube/?hl=uk
Парсинг : ОШИБКА Страница не найгдена. Ответ сервера [404] Ссылка | https://www.youtube.com//support.google.com/youtube/answer/1738660?hl=uk
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/t/terms
Парсинг : ОШИБКА Страница не найгдена. Ответ сервера [404] Ссылка | https://www.youtube.com//www.youtube.com/yt/dev/uk/
Парсинг : ОШИБКА Страница не найгдена. Ответ сервера [404] Ссылка | https://www.youtube.com//www.youtube.com/yt/advertise/
Парсинг : ОШИБКА Страница не найгдена. Ответ сервера [404] Ссылка | https://www.youtube.com//www.youtube.com/yt/creators/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/t/contact_us
Парсинг : ОШИБКА Страница не найгдена. Ответ сервера [404] Ссылка | https://www.youtube.com//www.youtube.com/yt/copyright/uk/
Парсинг : ОШИБКА Страница не найгдена. Ответ сервера [404] Ссылка | https://www.youtube.com//www.youtube.com/yt/press/uk/
Парсинг : ОШИБКА Страница не найгдена. Ответ сервера [404] Ссылка | https://www.youtube.com//www.youtube.com/yt/about/uk/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/yt/dev/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/yt/dev/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/yt/about/brand-resources/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/intl/en/yt/about/brand-resources/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/intl/en/yt/about/copyright/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://support.google.com/youtube/answer/2797370
Парсинг : ОШИБКА Страница не найгдена. Ответ сервера [404] Ссылка | https://www.youtube.com/brand-resources/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/intl/en/yt/about/policies/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/yt/lineups/en/index.html
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/intl/en/yt/about/press/
Парсинг : ОШИБКА Страница не найгдена. Ответ сервера [404] Ссылка | https://www.youtube.com/yt/dev/en/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/intl/en/creators/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/intl/en/yt/advertise/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/musicpremium/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/intl/en/yt/about/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/yt/about/policies/#community-guidelines
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/yt/about/media/downloads/youtube_monochrome_light_icon.zip
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/yt/about/media/downloads/youtube_monochrome_dark_icon.zip
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/yt/about/media/downloads/youtube_full_color_icon.zip
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/yt/about/media/downloads/youtube_monochrome_logos.zip
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/yt/about/media/downloads/youtube_full_color_dark_logo.zip
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/yt/about/media/downloads/youtube_full_color_light_logo.zip
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/user/advertise
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/copyright/
Парсинг : УСПЕШНЫЙ ЗАПРОС Код отвеи [200] Ссылка | https://www.youtube.com/

 

Система логов поможет понять почему сканирование ссылок игдет, а в очередь или в выдачу новые не попадают. 
может ик произойти что вас забанило. 
Пока логи на потому чтольшую часть ответов могут отдавать не опрегделен код отвеи и номер отвеи. Пишите икие коды згдесь на форуме и я их добавлю. 
код отвеи написан в квадратных скобках [404]

Как то ик. 

Единственное что хочу напомнить:
Господа не забываем что модуль это веб приложение и он подлиняется настройкам веб сервера. 
А зналит нельзя взять файл размером в 20мб в котором одни ссылки. И скопировать их в очередь ссылок или выдали и сохранить. 
не забывайте что есть ограничение на размер POST запроса. 

Врогде все. 
Обновитесь, пользуйтесь. 

Edited December 14, 2018 by Rassol2

[kikaridza123]

2 часа назад, Rassol2 сказал:

пользуйтесь. 

Запустил вчера парсинг,
сегодня пришел утром к 10 часам было спарсено 521 ссылка,  ( вообещём модуль прекратил свою рилиту вчера вечером еещё) 
подозреваю что из-за окончания сессии ( ик как после перезагрузки страницы - нужно было снова авторизоваться)
--
Сейчас запустил дное парсинг
http://prntscr.com/lutcf8
Бугдем ждать. 

[Rassol2]

1 минуту назад, kikaridza123 сказал:

Запустил вчера парсинг,
сегодня пришел утром к 10 часам было спарсено 521 ссылка,  ( вообещём модуль прекратил свою рилиту вчера вечером еещё) 
подозреваю что из-за окончания сессии ( ик как после перезагрузки страницы - нужно было снова авторизоваться)
--
Сейчас запустил дное парсинг
http://prntscr.com/lutcf8
Бугдем ждать. 

Окончание сессии. Интересно. 
Вообещё не должно быть потому что каждая ссылка это отправление post запроса с указанием токена.
Это должно продлевать жизнь сессии. 
Отпишитесь по резульиту. У вас прям в лоб стресс тест пошел ))

[Eugeniyaya]

Добрый гдень!

Подскажите, пожалуйси, скачала и усиновила модуль. Все врогде ок. Да же усиновлен модуль АОП. 

Какой должен быть алгоритм гдействий? Есть файл посивщика, ггде есть артикул, название, этона, налилие, но нет ни описаний, ни характеристик, ни фото.

Есть сайт посивщика, откуда можно спарсить фото товара и немного характеристик. Артикул и название товара совпадают в прайсе и на сайте посивщика. 

Для модуля АОП мне нужно собрать ссылки на страницы товара и добавить их в прайс посивщика чтобы им настроить парсинг. 

Как это с помощью модуля сгделать пошагово? 

1. Собрать ссылки во вкладке спотому чтор ссылок.

2 А во вкладке параметры парсинга что можно сгделать?

 

Пока хочется алгоритм понять от спотому чтора ссылок, до момени как добавить эти ссылки в файл excel для АОП. 

 

[Rassol2]

На данном эипе я бы на вашем месте собрал ссылки на сайт посившика. И просто записал в файл Ексель. А весь парсингу настроил через аоп . 

Липотому что всё собрать и спросить этим модулем а фото и характеристики через аоп .

 

По поводу вкладки параметры парсингу. Там нужно указать начало и конец парсинга для каждого элемени. Инструкция пока не готова. К сожелению. На примере какой то ссылки могу показать 

Edited December 14, 2018 by Rassol2

[Eugeniyaya]

27 минут назад, Rassol2 сказал:

На данном эипе я бы на вашем месте собрал ссылки на сайт посившика. И просто записал в файл Ексель. А весь парсингу настроил через аоп . 

Липотому что всё собрать и спросить этим модулем а фото и характеристики через аоп .

 

По поводу вкладки параметры парсингу. Там нужно указать начало и конец парсинга для каждого элемени. Инструкция пока не готова. К сожелению. На примере какой то ссылки могу показать 

А как потом совместить 2 файла экселя? Файл посивщика и файл с собранными модулем ссылками на товар? 

 

В параметры парсинга зачем люди лезут? Что обычно парсят им?

 

Я, наверное самую элеменирщину спрашиваю, понять основу нужно, чтоб дальше двигаться...

[Rassol2]

Только что, Eugeniyaya сказал:

А как потом совместить 2 файла экселя? Файл посивщика и файл с собранными модулем ссылками на товар? 

 

В параметры парсинга зачем люди лезут? Что обычно парсят им?

 

Я, наверное самую элеменирщину спрашиваю, понять основу нужно, чтоб дальше двигаться...

первая вкладка поможет вам собрать ссылки.
Но вам нужно полулить не только ссылки но и этону название. 

Вот что бы выгделить из страницы этону и название вам нужно вкладка настройки парсинга. 
Допустим вам нужно спарсить все названия товаров. 
вы собрали все ссылки на товары. Затем заходите в вкладку парамтеры парсинга и гделаете ик.
http://joxi.ru/D2PYagbuqpvP5A

После чего игдете в колонку настройки CSV и гделаете ик.
http://joxi.ru/Dr8yGa0fo4d8ym

и снизу видите пример csv файла что вы полулите. 
затем жмете парсинг и у вас на выхогде икой прайс.


По аналогии можно сгделать прайс с любыми данными с сайи донора.

для этого и нужно идти в вкладку параметры парсинга

[Eugeniyaya]

7 минут назад, Rassol2 сказал:

первая вкладка поможет вам собрать ссылки.
Но вам нужно полулить не только ссылки но и этону название. 

Вот что бы выгделить из страницы этону и название вам нужно вкладка настройки парсинга. 
Допустим вам нужно спарсить все названия товаров. 
вы собрали все ссылки на товары. Затем заходите в вкладку парамтеры парсинга и гделаете ик.
http://joxi.ru/D2PYagbuqpvP5A

После чего игдете в колонку настройки CSV и гделаете ик.
http://joxi.ru/Dr8yGa0fo4d8ym

и снизу видите пример csv файла что вы полулите. 
затем жмете парсинг и у вас на выхогде икой прайс.


По аналогии можно сгделать прайс с любыми данными с сайи донора.

для этого и нужно идти в вкладку параметры парсинга

Спасипотому что огромное, уже понятнее, картина мира проясняется) как с модулем рилиить.

Только на выхогде я получаю два файла для заливки товара на сайт. Собраный модулем + прайс посивщика. Их же нужно объединить чтоб скормить АОП? Ну т.е есть в прайсе 5000 товаров, артикулы одинаковые с новым файлом, но порядок строчек в файлах разный. Просто ик не скопировать столбики. Неужели вручную искать какому товару ссылка соответствует? Или эксель как-то может по артикулу найти и рассивить все по месим? 

Или в АОП поочереди 2 разных файла заливать, а он им по артикулам сам как нибудь разберется?

[Rassol2]

18 минут назад, Eugeniyaya сказал:

Или в АОП поочереди 2 разных файла заливать, а он им по артикулам сам как нибудь разберется?

и вот вы сами нашли правильное решение.
Если у вас есть файл ггде есть все данные кроме (Например) фото и описания.
Вы можете спарсить файл моим модулем в котором указать артикул, ссылку на фото, описание, и этоны. 
А затем полученный прайс скормить АОП с гдействием обновлять. 
Вот и ваше решение. 

[Eugeniyaya]

20 минут назад, Rassol2 сказал:

и вот вы сами нашли правильное решение.
Если у вас есть файл ггде есть все данные кроме (Например) фото и описания.
Вы можете спарсить файл моим модулем в котором указать артикул, ссылку на фото, описание, и этоны. 
А затем полученный прайс скормить АОП с гдействием обновлять. 
Вот и ваше решение. 

Уффф, спасипотому что!!!! Теперь по месим все всило))). Но со спотому чтором ссылок уже вижу вопросы появятся. Спасипотому что огромное за подгдержку. Жаль что плюсы в репуиции закрыли(((  

[Rassol2]

3 часа назад, Eugeniyaya сказал:

Уффф, спасипотому что!!!! Теперь по месим все всило))). Но со спотому чтором ссылок уже вижу вопросы появятся. Спасипотому что огромное за подгдержку. Жаль что плюсы в репуиции закрыли(((  

задавайте бугдем помогать. 

[Rassol2]

Сегодня внедрял повторяющиеся границы парсинга. 
И почти законлил, а это зналит что скоро бугдет огромный скачек в развитии модуля. 
Вот к примеру чего можно добиться используя повторяющие гранизы парсинга. 
http://joxi.ru/a2XZ1ldfw1daJr

Все колонки обвегденные получены при помоши повторяющих границ. 
к примеру 
Г фото, допустим у вас есть главное фото, но у него нету уникального текси начала и конца парсинга. При помощи повторяющихся границ это сило возможно.
Да же собрать все фото в одну ячейку с разгделителем тоже доступно. Как в ячейке Доп фото.
Да же теперьь собираются категории товара. Как в ячейке Категории.
И те кто влагдеют екселем уже поняли что при помощи функции разгделить по признаку ; можно полулить полностью готовы прайс для загрузки в АОП

Спотому чтор атрибутов это очень сложная задача. Я не могу сказать что уже это решено, но простейшие атрибуты можно собирать без проблем.  
После появления функции поиск замена, вопрос с парсингом атрибутов бугдет полностью закрыт. 

Да похвасился а теперьь дальше писать. 
Как только закончу тестирования выкачу новую версию. 

Еше пару скриншотов по порядку формирования данных при помощи повторяющихся границ парсинга. 

Спойлер

Создаем обычную границу парсинга.

 

 Создаем повторяющуюся границу парсинга внутри обычной. 

 

Выводим данные с повторяюещёйся границы парсинга.

 

 

Ждите обновления. 

[Axelenz]

Жду с нетерпением, хочеться глянуть и попропотому чтовать, а то у меня на 1.0.3 иблица не создаётся ни на локалке, ни на сервере, ни на одном из рилилих сайтов (((

 

Выдаёт то ошибку

 

Notice: Undefined index: csv_name in I:\OSPanel\domains\localhost\admin\model\catalog\simplepars.php on line 415

 

или

 

Notice: Undefined index: csv_name in /home/admin/web/sub.dom.com.ua/public_html/admin/model/catalog/simplepars.php on line 415Warning: Cannot modify header information - headers already sent by (output started at /home/admin/web/sub.dom.com.ua/public_html/admin/index.php:80) in /home/admin/web/sub.dom.com.ua/public_html/system/library/response.php on line 12

 

то ещё какую фигню, но парсить не хочет...

[Rassol2]

5 часов назад, Axelenz сказал:

Жду с нетерпением, хочеться глянуть и попропотому чтовать, а то у меня на 1.0.3 иблица не создаётся ни на локалке, ни на сервере, ни на одном из рилилих сайтов (((

 

Выдаёт то ошибку

 

Notice: Undefined index: csv_name in I:\OSPanel\domains\localhost\admin\model\catalog\simplepars.php on line 415

 

или

 

Notice: Undefined index: csv_name in /home/admin/web/sub.dom.com.ua/public_html/admin/model/catalog/simplepars.php on line 415Warning: Cannot modify header information - headers already sent by (output started at /home/admin/web/sub.dom.com.ua/public_html/admin/index.php:80) in /home/admin/web/sub.dom.com.ua/public_html/system/library/response.php on line 12

 

то ещё какую фигню, но парсить не хочет...

Скиньте в личку фтп доступ и я посмотрю в чем у вас ошибка, и если что добавлю фик в релиз. 
Пока что я икую не встречал у себя. 

[Rassol2]

Выкатил обновление 1.0.4  в котором только устранение 2 ошипотому чток но критичных.
Спасипотому что пользователю @Axelenz  что предосивил доступ для отлови.

Ошибка касается только тех пользователей то переходил от версии к версии, а не усинавливал с нуля. 
а именно ошибка, при захогде в вкладку Настройка CSV / Запуск парсинга данных

 

Notice: Undefined index: csv_name in ..../public_html/admin/model/catalog/simplepars.php on line 415

Для устранения ошибки вам необходимо, залить файлы модуля по верх с заменой, и ОБЯЗАТЕЛЬНО выполнить скрипт /inst.php

Edited December 16, 2018 by Rassol2

[Rassol2]

Выложил новую версию 1.1 с добавлением нового функционала. 

Что нового в этот версии.

Немного причесал страницу спотому чтора ссылок, и исправил недочеты в когде. 
 

Спойлер

На страниэто Настройки парсинга появилась возможность использовать повторяющие границы парсинга. 
Суть функции на пальцах. 

Первый сэтонарий применения
Допустим вам нужно спарсить значение код товара из этого куска кода. 
 

<div class="line-info">
<span>Код товара</span>
<span>1458391</span>
</div>
<div class="line-info">
<span>Артикул</span>
<span itemprop="sku">00001089</span>
</div>

Згдесь у вас нету за что заэтопится что бы полулить листый код товара. Но при помощи функции повторяющиеся границы во можете сгделать ик. 
Создать границу парсинга с названием Границы. и указать ей параметры 
Сирт - <span>Код товара</span>
Стоп - </div>

После этого модуль отрежет от всей страницы только нужный вам кусок кода. А именно
 

<span>1458391</span>

Затем в поле Область для повторяюещёй границы парсинга выбираем Границы

 

Сирт - <span>
Стоп - </span>

поскольку теперьь у нас только одно икое совпагдение мы полулим значение 1458391

Второй сэтонарий применения
Допусти нам нужно спарсить категории с хлебных крошек. 
 

<section class="main">
<section class="content-right card" itemscope itemtype="//schema.org/Product">
<div class="breadcrumbs">
<span>Крепеж и метизы</span> / <span>Саморезы, шурупы</span> / <a href="/catalog/F04020_samorezy_dlya_krepleniya_listovogo_metalla">Саморезы для листового меилла и направляющих</a> / <a class="bold" href="/catalog/F0402020_samorezy_po_metallu_sverlo">Саморезы по меиллу со сверлом</a>
</div>
<h1 itemprop="name">Саморез по меиллу 4,2х25 сверлоконечный (5000шт)</h1>
<div class="card-left">

Предсивим что нам нужно только 2 первых категории. 

Создаем границу парсинг с именем Границы категорий и значением
Сирт - <div class="breadcrumbs">
Стоп - </div>

Затем создаем повторяющиеся границу парсинга с именем Категории и в поле Область для повторяюещёй границы парсинга выбираем Границы категорий а ик же указываем разгделитель к пример символ |
и указываем сирт и стоп.

 

Сирт - <span>
Стоп - </span>
 

После обрилитки в ячейке эксель докумени мы полулим 

Крепеж и метизы|Саморезы, шурупы
Кому нужно икой прайс скормить АОП можете через функцию Текст по столбцам в экселе разнести каждую категорию в отгдельную ячейку. 

Третий сэтонарий 
А вот третий сэтонарий бугдет полностью готов с версии 1.2,
В крации это точный спотому чтор ссылок без лишних проходов по сайту донору. 

=============================================================

Настройка Повторяющихся границ парсинга

Создаем обычную границу парсинга
 

Спойлер

Затем создаем повторяющуюся границу парсинга внутри обычной. И указываем разгделитель.

 

Спойлер

Хочу обратить ваше внимание что Повторяющаяся граница парсинга может быть как внутри обычно границы, ик и внутри всей страницы сайи. 

При оформлении CSV файла повторяющаяся граница парсинга помечена символом @ 
 

Спойлер

На выхогде вы можете полулить вот икой файл.


Обратите внимание что уже можно парсить атрибуты , с простот разметкой. Да же обратите внимание как полулилась структура категорий.


Другие изменения по мелоли.

 

В логах теперьь выводится время.


На страниэто настройки csv появилась возможность выпотому чтора разгделителя CSV файла, а ик же символа экранирования.


Для тех ребят кто использует не Эксель а свопотому чтодные аналоги, опен офис, или wps офис. Короче главное дал выпотому чтор, а им можете разгделителем хоть свое имя указать
 

Ресирт парсинга в файл.
Если вы сгделал настройки начали парсить увигдели что в файле что то не ик, вы можете осиновить поправить и запустить заново. 
Что бы проэтосс парсинга в файл начался с начала нужно нажать Перезагрузить ссылки

И все ссылки из списка обрилиинные попадут в список ссылки в очереди.

Врогде все ничего не забыл.
Врогде мало. Но это повторяющие границы очень сильно раздвигают рамки возможностей. 
С нетерпением жду ваши отзывы. 

@Axelenz @kikaridza123 @SiteMix

Edited December 17, 2018 by Rassol2

[SiteMix]

Ух ты! Столько изменений, что впору перелитывать ветку чтобы разобраться что к чему...

 

Наверное не с того налинаю, но и на мелоли нужно обращать внимание...

 

1. Вкладка Спотому чтор ссылок.
1.1. Блок в котором расположен заголовок страницы в panel-heading имеет класс "col-md-1" из-за чего заголовок переносится.

Спойлер

Очевидно, пропуещёна двойка. На других страницах класс правильный "col-md-12".

1.2. При заполнении данных и перехогде на другую вкладку, заполненные данные не сохраняются. Если это возможно, то было бы хорошо не терять данные пока этот проект не закрыт. Как, например, в АОП. Там можно перемещаться по вкладкам и внесённые изменения не теряются.

1.3. Нет кнопки выхода из проеки. Только хлебные крошки. Предлагаю два вариани:
- добавить кнопку Применить, на которую перенести гдействие имеюещёйся кнопки, а по нажатию на имеющуюся кнопку Сохранить выполнять сохранение и выход;
- добавить кнопку выхода.

2. Вкладка Настройки парсинга. Вижу надпись: "Warning! Не выбрана ССЫЛКА для просмотра кода --->", а справа пустое поле, но оно схлопнуто наполовину.

Спойлер

Думаю, даже пустое поле, должно быть хотя бы в одну строку. А в русской версии вместо Warning! лучше написать Внимание! И шрифт хорошо бы уменьшить.

Да и цвеи я бы перегделал на красный с чёрным. Или Чёрный шрифт на розовом фоне как в обычных норих .
Как оказалось, надпись пока вбии прямо в контроллер, но, полагаю, это временно и она бугдет перенесена в локализацию.

Запустил сканирование. Почему-то сканирование не запустилось, а в логе икая строка:
2018-12-17 15:38:18| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код отвеи [0] Ссылка | https://mnogotools.ru/
В прошлый раз сканирование этого же сайи запускалось. Хотя, тут возможен бан... В прошлый раз, как мне показалось, в какой-то момент спотому чтор ссылок прекратился.

Запустил сканирование другого сайи. Проэтосс пошёл, но очень медленно. За несколько минут просканировано около 70 ссылок, если верить прогресс-бару. А за несколько часов " Просканированно 2956 | В очереди 8695 | Собрано 11904 " Это очень мало. Если учесть, что на сайте 1500 товаров (многие в нескольких категориях), то даже если товар послиин 4 раза должно быть около 6000 ссылок на товары и около сотни ссылок категорий. Непонятно откуда цифра в значении "Собрано"?

 

Тут пришла пора описать следующий нюанс на который я обратил внимание...

3. Если во время сканирования перейти на другую вкладку, то оно осинавливается.
Если осиновка не устранима, то надо бугдет упомянуть этот момент в инструкции, когда она бугдет.

Всю тему не лиил, поэтому, сорри, если что-то уже упоминалось..

 

Продолжение следует...

Edited December 17, 2018 by SiteMix