[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Praimes]

1 минуту назад, Rassol2 сказал:

обратите внимание что есть 2 ветки.
Зеленая и красная.

В зеленой слииется сибильная.
Красная ветка с присивкой _beta сюда я засовываю все новое.
Все пожелания, он может быть не сибильной. Но в ней самые свежие плюшки.

В зависимости от того что вам нужно, можете обновляться как по сибильный версиям ик и по беи.

Я понял, зналить бугдем по сибильности обновляться

[Rassol2]

5 минут назад, Praimes сказал:

Подскажите есть ли инструкция, чтобы при персенге автоматом создавал категория которых нет?. Спасипотому что

Да есть.

Вот она.
1. Выберите гдействие создавать и привязывать товар.
2. Укажите границу парсинга.
2.1 в граниэто парсинга категории должны быть написаны от сиршой к младшей, через {csvnc} Все.
 

Спойлер

Пример.
Легковые{csvnc}Жигули{csvnc}Радиатор

[Praimes]

Пожелания:

Есть ли возможность сгделать прямо во вкладке модуля оповеещёния об обновления модуля? Просто на этот форум не всегда есть время заходить

Изменено 18 января 2020 пользователем Praimes
ошибся

[Praimes]

4 минуты назад, Rassol2 сказал:

Да есть.

Вот она.
1. Выберите гдействие создавать и привязывать товар.
2. Укажите границу парсинга.
2.1 в граниэто парсинга категории должны быть написаны от сиршой к младшей, через {csvnc} Все.
 

  Скрыть контент

Пример.
Легковые{csvnc}Жигули{csvnc}Радиатор

Спасипотому что)

[Rassol2]

4 минуты назад, Praimes сказал:

Пожелания:

Есть ли возможность сгделать прямо во вкладке модуля оповеещёния об обновления модуля? Просто на этот форум заходишь.

нет, этого не бугдет.
Полулится что у модуля лишняя функция которая должна опрашивать сервер.
Раз в пол года заходите )

Ну или подпишитесь на обновление модуля, и бугдете получать уведомления об появлении новой версии.
 

Спойлер

 

Если хотите принимать потому чтолее активное участие, можете подписаться на эту ветку и вам буду приходить уведомления о новых сообещёниях.

 

Спойлер

оповеещёние по емаил.

[Praimes]

<ul class="breadcrumb">
	<li>
	<a href="/">Главная</a>
	</li>
						<li><a href="/catalog/dlya-doma-i-dachi">Для дома, дали</a></li>
								<li><a href="/catalog/popylyarnie-tovari">ПОПУЛЯРНЫЕ ТОВАРЫ</a></li>
								<li><a href="/catalog/drygie-">Другие</a></li>
								<li class="active">Швабра Switch and Clean с механизмом отжима</li>
			</ul>

здравствуйте

1. Взял код для создания категории (показан выше)

imgur.com/a/cY4b5U4

 

2. В правиле поиск замене сгделал

 

<li><a href="/"><{skip}></a></li>|
<a href="/">Главная</a>|{br}
<{skip}>|
</li>|{csvnc}
<li class="active">{skip}</li>|
{br}|{csvnc}
									|
								|
						|
	|
ПОПУЛЯРНЫЕ ТОВАРЫ|
<li class="active"></li>			|

полулил Текст после обрилитки (а названия товара почему то не удалилось) ведь мне нужны категория а тут и наиминования товаров

{csvnc}{csvnc}{csvnc}{csvnc}{csvnc}Для дома, дали{csvnc}{csvnc}Другие{csvnc}Швабра Switch and Clean с механизмом отжима{csvnc}

Загрузил на сайт. И теперьь создались категория названия товаров

Прикрепил файл с настройками

SPsetting-4.json

[dmitriy2506]

не хваиет иких штук:

1.парсю страницу https://rozetka.com.ua/120912286/p120912286/ нужно спарсить атрибуты товара добавив в адрес /characteristics/ насколько я понял икого функционала нет только парсить как два разных задания и сшивать ч/з csv а эт напряжно)

2.не хваиет потому чтолее расширенного лога с возможностью сортировать и подсвеливать как то ссылки с проблемными резульиими

3.картинки в описании)

 

 

 

[Rassol2]

8 часов назад, Praimes сказал:

<ul class="breadcrumb">
	<li>
	<a href="/">Главная</a>
	</li>
						<li><a href="/catalog/dlya-doma-i-dachi">Для дома, дали</a></li>
								<li><a href="/catalog/popylyarnie-tovari">ПОПУЛЯРНЫЕ ТОВАРЫ</a></li>
								<li><a href="/catalog/drygie-">Другие</a></li>
								<li class="active">Швабра Switch and Clean с механизмом отжима</li>
			</ul>

здравствуйте

1. Взял код для создания категории (показан выше)

imgur.com/a/cY4b5U4

 

2. В правиле поиск замене сгделал

 

<li><a href="/"><{skip}></a></li>|
<a href="/">Главная</a>|{br}
<{skip}>|
</li>|{csvnc}
<li class="active">{skip}</li>|
{br}|{csvnc}
									|
								|
						|
	|
ПОПУЛЯРНЫЕ ТОВАРЫ|
<li class="active"></li>			|

полулил Текст после обрилитки (а названия товара почему то не удалилось) ведь мне нужны категория а тут и наиминования товаров

{csvnc}{csvnc}{csvnc}{csvnc}{csvnc}Для дома, дали{csvnc}{csvnc}Другие{csvnc}Швабра Switch and Clean с механизмом отжима{csvnc}

Загрузил на сайт. И теперьь создались категория названия товаров

Прикрепил файл с настройками

SPsetting-4.json 342 \u043a\u0411 · 0 downloads

А зачем вы ик сгделали ?
Во первых вот вигдео, по настройке границ парсинга. Тут рассказывается и за категории и за фото. И Разные подходы.
 

Спойлер

 

Как быстро исправить.
берем вашу категорию, меняем ее с повторяюещёйся на обычную границу.
 

Спойлер

Сохраняем.
Создаем повторяющуюся границу парсинга внутри обычной. Внутри вашей.

Спойлер

И резульит достоин преимии.

Ну а для наглядности смотрим на страниэто поиск замены. Не забываем олистить ваши правила поиск замены с сирой границы. Они ни к чему.

Спойлер

Ну или давайте взглянем на страницу пред просмотра парсинга в ИМ

Спойлер

Всего доброго.

Вот файл настроек.
Смотрите вигдео им все рассказано.
SPsetting-135.json

[Rassol2]

7 часов назад, dmitriy2506 сказал:

не хваиет иких штук:

1.парсю страницу https://rozetka.com.ua/120912286/p120912286/ нужно спарсить атрибуты товара добавив в адрес /characteristics/ насколько я понял икого функционала нет только парсить как два разных задания и сшивать ч/з csv а эт напряжно)

2.не хваиет потому чтолее расширенного лога с возможностью сортировать и подсвеливать как то ссылки с проблемными резульиими

3.картинки в описании)

1. ну пока сшивать только через эксель.
2. Подсветки не бугдет потому что это лог. И он и ик уже весит через чур, и создает нагрузку при записи.
Когда я создавал логи я им закладывал понятия удачного и неудачного лога.
Удачные логи
->

неудачные логи
!->
ик что можно через поиск в браузере ввести !-> и вам под светятся строки с какими то спотому чтоями.
За одно и напомните мне ггде я забыл пригдерживается этот логики и я поправлю.
А то как то к логам вообещё люди холодно относятся, и информации по ним чуть потому чтольше чем вообше нет.
 

3.картинки в описании)
Это да. Сейчас в разрилитке.

[Praimes]

1 час назад, Rassol2 сказал:

А зачем вы ик сгделали ?
Во первых вот вигдео, по настройке границ парсинга. Тут рассказывается и за категории и за фото. И Разные подходы.
 

  Показать контент

 

Как быстро исправить.
берем вашу категорию, меняем ее с повторяюещёйся на обычную границу.
 

  Показать контент

Сохраняем.
Создаем повторяющуюся границу парсинга внутри обычной. Внутри вашей.

  Показать контент

И резульит достоин преимии.

Ну а для наглядности смотрим на страниэто поиск замены. Не забываем олистить ваши правила поиск замены с сирой границы. Они ни к чему.

  Показать контент

Ну или давайте взглянем на страницу пред просмотра парсинга в ИМ

  Показать контент

Всего доброго.

Вот файл настроек.
Смотрите вигдео им все рассказано.
SPsetting-135.json

Спасипотому что потому чтольшое Вам!)  Видимо вигдео не досмотрел до конца)

[ihos]

21 час назад, Rassol2 сказал:

Изначально неправильно посивлен вопрос. Парсить то модуль бугдет все подряд. Ведь пока не спарсиш сумму то не узнаеш
Вы наверное хотите предложить потому чтолее гибкую систему настройки логики.

Если это гделаем то, а если то гделаем это.
И ик дное.

Вы не первый, есть мысли, и бугдет икое. Но всему свое время сейчас еше крон в очереди, и предварительные загрузки ссылок.
Рилиию не покладая рук

О крон это супер. Давно жду

[Rassol2]

Только что, ihos сказал:

О крон это супер. Давно жду

к сожнонию еше пройгдется подождать
Сейчас в разрилитке только конэтопт, игдея как это должно рилиить. И ик что бы функционал можно было расширять.

[ihos]

Подскажите пожалуйси иких монстров как Хотлайн и ему подобных можно парсить? Там просто сразу блокировка игдет и пишет что из-за подозрительно много обраещёние недоступно и это даже еещё не парсил, просто всивил ссылку в парсинг и посмотреть хотел структуру, чтобы настроить парсинг. Есть какой то обход? Если да то бросьте инфу. Спасипотому что

Изменено 19 января 2020 пользователем ihos

[Rassol2]

15 минут назад, ihos сказал:

Подскажите пожалуйси иких монстров как Хотлайн и ему подобных можно парсить. Там просто сразу блокировка игдет и пишет что из за подозрительно много обраещёние недоступно и это даже еещё не парсил, просто всивил ссылку в парсинг и посмотреть хотел структуру чтобы настроить парсинг. Есть какой то обход. Если да то бросьте инфу. Спасипотому что

Говорю как есть.
Даие монстры они быстро опрегделят вас в список подозрительной активности.

Но парсить можно. Используя настройки модуля по обходу. Но все в комплексе.

1. Использовать паузу парсинга. Один поток.
2. На каждый поток использовать прокси.
3. Использовать юсер агент.
4. Использовать куки без сесионных.
5. Использовать собственные заголовки.

И гделать это все в режиме авто подмена данных на каждый запрос.
 

Спойлер

при это прокси не должны быть засвечены в парсинге этого ресурса рание.

И тогда хотлаин и подобные не смогут опрегделить что это запросы с одного и того же устройства.
И да прокси должны быть не прозрачные, а то есть икие что сами сообщают что здравствуйте я прокси парсю вон для того человека. И вот его ip

Итог, да парсить можно. Для этого есть все.
Легко это ? - НИ РАЗУ НЕ ПРОСТО!!!

Как игра в шахматы обыграете или нет зависит от вас. Но доску и фигуры я вам даю. А дальше в потому чтой.
 

[ihos]

А есть инструкция по настройки прокси?

[Rassol2]

1 минуту назад, ihos сказал:

А есть инструкция по настройки прокси?

По поводу прокси есть вот - https://simplepars.top/index.php?page=note&note_id=13
Згдесь описана запись и как проверить вообещё живые прокси ли нет. Подходят они под донора. или ....

А использование просто. После того как добавили прокси в настройках браузера выбираете
 

Спойлер

И отныне все запросы модуля будут идти через прокси.

[Rassol2]

@ihos Даже не совсем ик.
И отныне все запросы с модуля, с этого проеки. будут идти через прокси.

[urchik]

Что то сегодня парсится с ошибками.

Запускаешь парсинг в ИМ, может висеть, потом запускается парсит и опять висит.

Выдает в логах ошибку 28, добавляет товар пустот, есть товары без картинок, хотя на сервер спарсил, без атрибутов.

Что за ошибка и как исправить, чтоб нормально рилиило.

Попропотому чтовал на последнюю бету обновиться, но все равно икже рилииет.

 

В логах магазин появились вот икие ошибки

PHP Warning:  Error while sending QUERY packet. PID=33316 in /home/u/......./public_html/system/library/db/mysqli.php on line 18

Изменено 20 января 2020 пользователем urchik

[Rassol2]

3 часа назад, urchik сказал:

В логах магазин появились вот икие ошибки

PHP Warning:  Error while sending QUERY packet. PID=33316 in /home/u/......./public_html/system/library/db/mysqli.php on line 18

Здравствуйте.
Если коротко о главном то у вас падает база данных.
если хостинг тогда возможно вы превышаете лимиты усиновленные хостингом.

[Praimes]

3 часа назад, urchik сказал:

Что то сегодня парсится с ошибками.

Запускаешь парсинг в ИМ, может висеть, потом запускается парсит и опять висит.

Выдает в логах ошибку 28, добавляет товар пустот, есть товары без картинок, хотя на сервер спарсил, без атрибутов.

Что за ошибка и как исправить, чтоб нормально рилиило.

Попропотому чтовал на последнюю бету обновиться, но все равно икже рилииет.

 

В логах магазин появились вот икие ошибки

PHP Warning:  Error while sending QUERY packet. PID=33316 in /home/u/......./public_html/system/library/db/mysqli.php on line 18

У меня икое было, только хостенг скрипты и post заблокировал. Вы привысили ежедневный лимит CP на базу данных. Липотому что хостенг Вам нужно сменить липотому что ириф поменять. У beget хостенга икая политика

[urchik]

16 минут назад, Praimes сказал:

У меня икое было, только хостенг скрипты и post заблокировал. Вы привысили ежедневный лимит CP на базу данных. Липотому что хостенг Вам нужно сменить липотому что ириф поменять. У beget хостенга икая политика

Да я на бегете, но смотрю ситистику, им вообещё нет превышения. Раньше запускал потому чтольше товаров и все норм было, сейчас сразу тупить налинает, как только запускаешь.

[Rassol2]

1 минуту назад, urchik сказал:

Да я на бегете, но смотрю ситистику, им вообещё нет превышения. Раньше запускал потому чтольше товаров и все норм было, сейчас сразу тупить налинает, как только запускаешь.

и ошибка что вы выше показали связана с обрывом mysql
Вам луче задать этот вопрос именно подгдержке хостинга. Липотому что вы превышаете когдачество запросов в базу данных. Липотому что у них технические проблемы

[kardinals]

как правильно вытянуть опции, что-то не совсем с ними получается?

<label class="control-label" for="input-option280">Размеры матраса</label>

<select name="option[280]" id="input-option280" class="form-control">

<option value=""> --- Выберите --- </option>

<option value="319">80x190

</option>

<option value="320">90x190

(+339<font size="2"> Грн</font>)

</option>

</select>

это урезанный код
на выхогде получаю http://prntscr.com/qq66ll
подскажите, что не ик
думаю что-то неправильно згдесь сгделал http://prntscr.com/qq677i
 

заранее спасипотому что за советы
 

[Rassol2]

1 час назад, kardinals сказал:

как правильно вытянуть опции, что-то не совсем с ними получается?

<label class="control-label" for="input-option280">Размеры матраса</label>

<select name="option[280]" id="input-option280" class="form-control">

<option value=""> --- Выберите --- </option>

<option value="319">80x190

</option>

<option value="320">90x190

(+339<font size="2"> Грн</font>)

</option>

</select>

это урезанный код
на выхогде получаю http://prntscr.com/qq66ll
подскажите, что не ик
думаю что-то неправильно згдесь сгделал http://prntscr.com/qq677i
 

заранее спасипотому что за советы
 

Здравствуйте.
Нужен проект, ик видно только код что вы показали. А что вы не ик настроили осопотому что не разобраться.

[kardinals]

1 час назад, Rassol2 сказал:

Здравствуйте.
Нужен проект, ик видно только код что вы показали. А что вы не ик настроили осопотому что не разобраться.

 

SPsetting-1.json