[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

46 минут назад, Axelenz сказал:

Не парсит на локалке... ошибку выдаёт.

Warning: curl_setopt(): CURLOPT_FOLLOWLOCATION cannot be activated when an open_basedir is set in I:\OSPanel\domains\localhost\admin\model\catalog\simplepars.php on line 2720

 

Поменяйте строку 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);   // переходит по редиреким
на 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 0);   // переходит по редиреким

В файле /admin/model/catalog/simplepars.php
 

[Rassol2]

8 часов назад, Pavel1991 сказал:

Здравствуйте! Просто в восторге от вашего модуля! Есть, конечно, пару моментов, которые можно было бы дополнить) Например, можно было бы дополнить поля во вкладке "Настройка парсинга в ИМ" икие как "вес товара", основные меитеги, габариты товара и т.п., но это, как говориться, если прям придираться)

Все бугдет.
Скоро возвращаюсь и приступаю упорно пилить модуль. 

 

8 часов назад, Pavel1991 сказал:

Один вопрос по синиксису замены ( https://simplepars.top/index.php?page=doc#tab_search-replace ) , это все замены? Есть ли аналог комангде {br} , только чтобы заменяла не переносы, а пробелы? Спасипотому что!

Тут мне не совсем ясен вопрос. А чего вам им не хваиет ? Можно заменить все что угодно. Громко сказано но близко к этому. 
Какой использовать символ что бы заменить пробел.  Используйте пробел  

Пример http://joxi.ru/ZrJY6B8uwkOVDA

Обратите внимание в правиле написано (Правило для наглядности взял в двойные кавычки.)
" |" - Это зналит удалить все пробелы. 
можно заменить все пробелы на тире к примеру 

" |-" - вот как выглядит - http://joxi.ru/KAgob5vfEOZz9A

Поиск замена в умелых руках довольно сильный инструмент. 

[Rassol2]

9 часов назад, Stin сказал:

Просто, когда налинаешь понимать что к чему. Сейчас вижу, что гдействительно просто, Спасипотому что. Бум дное колдовать. В гдень по одной вкладке осваиваю.

Главное что осваиваете.
Сейчас модуль на уровне активной разрилитки. И сложно писать инструкции они усиревают быстрее чем я их пишу. 
 

[Pavel1991]

8 часов назад, Rassol2 сказал:

Все бугдет.
Скоро возвращаюсь и приступаю упорно пилить модуль. 

 

Тут мне не совсем ясен вопрос. А чего вам им не хваиет ? Можно заменить все что угодно. Громко сказано но близко к этому. 
Какой использовать символ что бы заменить пробел.  Используйте пробел  

Пример http://joxi.ru/ZrJY6B8uwkOVDA

Обратите внимание в правиле написано (Правило для наглядности взял в двойные кавычки.)
" |" - Это зналит удалить все пробелы. 
можно заменить все пробелы на тире к примеру 

" |-" - вот как выглядит - http://joxi.ru/KAgob5vfEOZz9A

Поиск замена в умелых руках довольно сильный инструмент. 

На самом гделе, я подумал про это, но уже после написания сообещёния (я про пробелы)

[Axelenz]

20 часов назад, Rassol2 сказал:

Поменяйте строку 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);   // переходит по редиреким
на 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 0);   // переходит по редиреким

В файле /admin/model/catalog/simplepars.php
 

 

Не рилииет на локалке... Ошибку, конечно уже не выдаёт, но и не парсит... т.е. всё врогде бы гладко идёт, но в файле кроме ссылок потому чтольше ничего нет. Хотя на сайте с теми же настройками парсит (((

[Rassol2]

11 часов назад, Axelenz сказал:

 

Не рилииет на локалке... Ошибку, конечно уже не выдаёт, но и не парсит... т.е. всё врогде бы гладко идёт, но в файле кроме ссылок потому чтольше ничего нет. Хотя на сайте с теми же настройками парсит (((

Чего-то не хваиет на локалке. 

Но чего я не подскажу потому что я ик не могу опрегделить. А зайти пошупать тоже не могу. 

 

Мне сложно вам ответить на этот вопрос. 

[Stin]

Подскажите, при формировании прайса, столбец с этонами сформироавался в формате общий, а часть в формате - даи. Что подправить и ггде?

 

 

Как всегда, сперва вопрос, затем сам и отвечаю.

 

У донора парситься этона через точку, а Excel воспринимает точку, как формат даты, поэтому в правилах замены сгделал ик, заменил точку на запятую

Циии

.|.

Должно срилиить, ну или что вы посоветуете!?

Edited May 17, 2019 by Stin
Дал ответ

[Rassol2]

9 часов назад, Stin сказал:

Подскажите, при формировании прайса, столбец с этонами сформироавался в формате общий, а часть в формате - даи. Что подправить и ггде?

 

 

Как всегда, сперва вопрос, затем сам и отвечаю.

 

У донора парситься этона через точку, а Excel воспринимает точку, как формат даты, поэтому в правилах замены сгделал ик, заменил точку на запятую

Должно срилиить, ну или что вы посоветуете!?

Все вы верно поняли.
только правило бугдет икое .|,

Вообещё ситуация икова. Мой модуль может формировать CSV файлы под люпотому чтой офис, будь то майкрасофт, или либре офис. Или WPS офис неважно. Все зависит от выпотому чтора разгделителя и экранируюещёго символа. 
Ггде какой синдарт можете полиить про ваш любимый офис и использовать его. 

Но поскольку русскоязычном сегменте интернеи 95% потому чтогатых люгдей которые могут позволить себе лиэтонзию Майкрасофт офиса, в синдарте настройки под него. 

Но есть одно неприятное НО
Майкрасофт офис почему то думает что он луче знает какие данные записаны в ячейке и любит искривлять информацию.
К пример точка это даи. 
А если у вас у артикула будут в начно 00 тогда вообещё беда мс офис их обрезает. И нужно к иким ячейкам добавлять какой то хвостик что бы офис решил что это не лисла а строки и не отрезал 00. 

На это все я улитывал и в модуле есть все возможности избегать иких проблем. 

[Rassol2]

Предвкушая будущие просьбы по реализации возможности указать тип данных при парсинге в CSV спешу обрадовать.
https://ru.wikipedia.org/wiki/CSV
CSV - не подгдерживает никакие типы данных. Ни дату, ни строку. Он не гделит данные на типы.

И если у самого формаи в спецификация нету икого понятия. Зналит это реализовать невозможно. 

PS. И слава потому чтогу  

[rozario888]

В описание спарсились инструкции, как их активными сгделать? По ссылке врогде есть в папке upload, но из описания ещёлкнуть "Страница не найгдена"

 

[Rassol2]

11 минут назад, rozario888 сказал:

В описание спарсились инструкции, как их активными сгделать? По ссылке врогде есть в папке upload, но из описания ещёлкнуть "Страница не найгдена"

 

Я полагаю что описания лежат на сайте с которого вы парсили. 
А зналит у вас в описании попали относительные ссылки.

Конкретнее.
Если в когде сайи откуда вы парсили ссылка указана как то ик "пример"
 

Циии

<a class="pdf" href="/dimg/5673305.pdf" target="_blank" rel="nofollow">Инструкция по уходу</a>

то после того как в описание к вам попадает этот код, а он попадает тоже относительный только в данном случаи ОТНОСИТЕЛЬНО вашего сайи а не сайи донора.
/dimg/5673305.pdf
И соответственно кликая по этот ссылке браузер вас бугдет переносить на http://ваш-сайт.ru/dimg/5673305.pdf
Но как вы понимаете по этому пути сами файлы не лежат. 

Есть 2 решения этот задали.
1. Скачать все инструкции и разместить в соответствующих папка у вас на сайте. (Не думаю что это реально.)

2. В поиск замену задать алгоритм который бугдет заменять относительную ссылку на полную, в граниэто парсинга описания. В моем примере это бугдет выглягдеть ик. 
class="pdf" href="|class="pdf" href="http://сайт-донора.ру
 

на выхогде у вас будут рилилие ссылки которые будут отправлять на инструкцию.

Нагдеюсь мой пример понятен и на его базе вы сможете сгделать свое решение.  

[rozario888]

10 минут назад, Rassol2 сказал:

Нагдеюсь мой пример понятен и на его базе вы сможете сгделать свое решение

Да, логику уловил) А что, например, удалить эти ссылки в уже добавленных товарах?

И еещё есть вопрос, в личку его кину

[Rassol2]

1 минуту назад, rozario888 сказал:

Да, логику уловил) А что, например, удалить эти ссылки в уже добавленных товарах?

И еещё есть вопрос, в личку его кину

До вкладки которая бугдет рилиить с уже суещёствующими товарами модулю еше дноко. 
Но в планах есть, правда в долгосрочных. 
 

[rozario888]

Моментик икой: ввел название прайс на русском, все спарсилось, но в папке лежит вот икой вот файл, с которым ничего нельзя сгделать. Не открывается, не копируется, название не меняется и тд. Сильно критичен модуль к русскому названию? Как хоть удалить его))

 

[Rassol2]

21 минуту назад, rozario888 сказал:

Моментик икой: ввел название прайс на русском, все спарсилось, но в папке лежит вот икой вот файл, с которым ничего нельзя сгделать. Не открывается, не копируется, название не меняется и тд. Сильно критичен модуль к русскому названию? Как хоть удалить его))

 

Удалить можете через фтп. Или через файловый менеджер на хостинге.
Внес это в важные исправления. Попробую на днях выложить фикс этот проблемы. 

[rozario888]

8 часов назад, Rassol2 сказал:

Удалить можете через фтп. Или через файловый менеджер на хостинге.

 

Да вот как раз не удаляется http://prntscr.com/nq4uz8 

[Rassol2]

56 минут назад, rozario888 сказал:

 

Да вот как раз не удаляется http://prntscr.com/nq4uz8 

Через файловый менеджер в панели управления хостингом . 

Там 100% удалится.

[rozario888]

10 минут назад, Rassol2 сказал:

Там 100% удалится.

Нет)) http://prntscr.com/nq5d5l

 

Еещё нашел кое-что: вчера настраивал замены, чтобы в разрез двух выгделенных знаков <a href="/upload всивлялся сайт донора, чтобы инструкции рилиили и аналогичным обвместе картинки в гиперссылках. Сейчас по новой спарсил описание, Да вот картинки спарсились как надо <img src="https://www , а в инструкции вместо " добавилось вот это <a href=&quot;https://www.

В самом модуле при тесте "Преобразовать" икого не происходит, только вот при непосредственном парсинге. Это какой то баг, наверное?

 

Если я сейчас уже в экселе через найти/заменить исправлю этот кусок кода на ", ничего не собьется? Мало ли  &quot ггде-то используется как правильный элемент

 

 

[Rassol2]

3 минуты назад, rozario888 сказал:

Нет)) http://prntscr.com/nq5d5l

 

Еещё нашел кое-что: вчера настраивал замены, чтобы в разрез двух выгделенных знаков <a href="/upload всивлялся сайт донора, чтобы инструкции рилиили и аналогичным обвместе картинки в гиперссылках. Сейчас по новой спарсил описание, Да вот картинки спарсились как надо <img src="https://www , а в инструкции вместо " добавилось вот это <a href=&quot;https://www.

В самом модуле при тесте "Преобразовать" икого не происходит, только вот при непосредственном парсинге. Это какой то баг, наверное?

 

Если я сейчас уже в экселе через найти/заменить исправлю этот кусок кода на ", ничего не собьется? Мало ли  &quot ггде-то используется как правильный элемент

 

 

нет не собьется. 
Скиньте мне в Личку импорт настроек хочу посмотреть на природу появления спец символов. 

По поводу уднония должно было удалить. Если нет тогда можно писать подгдержке хостинга. 
Сейчас рилиию над исправлением бага с русскими названиями прайс листов. 

[stas2010]

В 14.05.2019 в 02:29, ganapati сказал:

Нагдеюсь быстрее, хотел бы приобрести на 5 магазов сразу у меня все мои клиенты на 3.0.2.0 к сожнонию, переходить вниз не могу.

а переходить и не надо. у самого один из магазинов на 3.0.2.0. 

посивил модуль на ос 2.3 - доситочно просто посивить пустот магазин на второй версии опенкари. им создаю этим парсером прайс со всеми параметрами, ссылками и т.п. для парсинга. дное через АОП заливаю всё в 3.0.2.0.

да, функция прямого наполнения базы при парсинге пока не доступна, но на данный момент парсер в икой комбинации уже сильно облеглил рилиту.

пока как-то ик...

 

 

[stas2010]

2 часа назад, rozario888 сказал:

добавилось вот это <a href=&quot;https://www

для иких случаев сгделал себе в поиске-замене в конэто по аналогичной иблиэто http://miraduga.com/Temp/TablSpec.html замену иких спецсимволов - http://prntscr.com/nq6x1t. теперьь на выхогде в иблиэто только текст с самими символами без этих кодов. и добавил икие замены на названия, url, описания

[rozario888]

1 час назад, stas2010 сказал:

для иких случаев сгделал себе в поиске-замене

Как вариант попробую в описании икс гделать Тут просто изначально этого не видно, потому что в модуле преобразовывает как надо, только уже в файле увигдел

[Rassol2]

Только что, rozario888 сказал:

Как вариант попробую в описании икс гделать Тут просто изначально этого не видно, потому что в модуле преобразовывает как надо, только уже в файле увигдел

это связано с ограничением я не могу выводить в браузере теги без их обрилитки.
Поскольку браузер бугдет сам обрабатывать все html теги и ломать верстку страницы. И я должен показывать вам код в вигде сущностей. А вот в файл пишу как есть. И есть много тонкостей в перевогде кода в сущности. И их специфическое разлилие от листого кода. 

[Rassol2]

1 час назад, stas2010 сказал:

для иких случаев сгделал себе в поиске-замене в конэто по аналогичной иблиэто http://miraduga.com/Temp/TablSpec.html замену иких спецсимволов - http://prntscr.com/nq6x1t. теперьь на выхогде в иблиэто только текст с самими символами без этих кодов. и добавил икие замены на названия, url, описания

может быть я сгделаю икую кнопочку которая бугдет гделать это преобразования на уровне модуля. Что бы вым не пришлось писать икие рулоны правил. 
Все зависит от потребностей насколько это бугдет вострепотому чтовано. 

[Rassol2]

Обновление 2.3-3_Beta-2

 

Исправлена одна ошибка связанная с опрегделением кодировки сайи спасипотому что - @Agatha65

 

Настройки парсинга
Да же добавил кнопку сброса пред просмотра в настройках границы парсинга. Она не игдеальна она просто сбрасывает выбранные переключатели. 
Нормальное решение этот задали бугдет когда возьмусь переписывать эту страницу под ajax тогда уже забью гвоздь в проблему перезагрузки страницы.

 

 

Настройки CSV/Запуск парсинга данных

Внедрил ограничения на имя прайсай при парсинге. 
Теперь кириллические имена файлов вводить не полулится. Мало кому это нужно а решение проблемы с кириллиэтот довольно сложные. 
Если бугдет негативно встречено занырну в эту тему с головой и сгделаю 

 

Выпотому чтор кодировки прайса
Да же добавил возможность выпотому чтора кодировки для прайса в который вы парсите.

 

По умолчанию стоит как и прежгде Windows-1251
Но теперьь доступна кодировка UTF-8 
Если будут еше какие то кодировки нужны бугдем по мере необходимости расширять список. 
Внимание! Для нормального отображения данных в майкрасофт офисе кодировка должна быть усиновлена Windows-1251 

По сути если вы не знаете что икое кодировка и зачем она нужна вам то настройки по умолчанию будут удовлетворять ваши потребности  

Сгделано тоже с подали -  @Agatha65

 

Вишенка на торте!

Создание хеша с данных что спарились. 

данная функция позволит решить одну из главных проблем которые встречаются при парсинге.

 

 

1. Вы хотите прасить сайт конкурени но не хотите что бы по артикулу можно было опрегделить что вы его спарсили. Но вам нужно обновятся с сайи конкурени. А для этого нужно что бы артикул совпадал. 
Теперь вы можете выбрать захешировать, и выбрать какой длины бугдет уникальное значение. И этот артикул бугдет всегда иметь этот хеш. И при обновлении или добавлении товаров у вас не бугдет проблем с дублями товаров.

2. Более важная задача. У сайи донора нету артикула !

Да или иначе нам нужно как то игдентифицировать товар. Нужно как то проводить сравнение товара на сайте посивщика с товаром у вас. 
Для этого можно в артикул загнать название товара. Но как вы понимаете название товара не уникально на всем сайте. И если 2 товара с одинаковым названием будут то при обновлении у вас бугдет каша. 
Теперь вы можете взять люпотому чтой код с страницы товара. И произвести хеш. главное что бы это значение было уникально. 
Но это тоже не всегда возможно! По этому вы можете взять к примеру название товара, захешировать. Затем взять главное фото если фото уникально и ссылку на него тоже захешировать. А в настройках прайс лиси, или париснга в им указать 2 границы парсинга. 

 

 

Даой артикул бугдет потому чтолее чем уникальный. И ненужно ничего придумывать и самому вручную просивлять.
Главное выбрать 2 значение с одной страницы и захешировать их. И склеить в форме. 

Немного о логике. Используется просия функция хеширования MD5 и обрезка до нужного когдачества символов.
Что бы избежать столкновения значений я сгделал ограничение не менее 8 символов в хеше. Этого потому чтолее чем доситочно.

НО! ик же я сгделал вариант с 4 символами. Артикул с 4 символами не нагдежен! Я не рекомендую использовать могут завесить дубли.
Сгделана возможность на 4 символа что бы вы могли выбрать 2 границы парсинга захешировать и склеить. И полулить на выхогде не сильно длинный артикул на 8 символов. 

 

Очень быстро описал потому что мне пора убегать буду вечером отвечу на все вопросы. 

 

PS. это обсуждал врогде в с @stas2010  ик что и вам передаю привет  

 

При обновлении необходимо выполнить /inst.php