[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Reanimaster]

В 23.07.2021 в 09:26, Rassol2 сказал:

Редирект не является ошибкой.

Я понимаю. Но получается что парсер бессилен в случае редиректов и это никак нельзя отловить.

В иком случае, как насчет того, что бы добавить еещё один пункт Уведомления или Предупрежгдения, и писать туда не ошибки, а все что не 200?

[Reanimaster]

В 23.07.2021 в 09:35, Rassol2 сказал:

а тем потому чтоле дополнительными гдействиями по сопровожгдению индоксов.

1) Построение ингдексов доситочно быстрое.

 

В 23.07.2021 в 09:35, Rassol2 сказал:

Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете бугдет угделаить в никуда.

Да. Но тут же и пересоздать ингдексы. Я говорю о тот части, когда ссылки уже спаршены и нужно с ними рилиить.

 

А по поводу ошипотому чток или не ошипотому чток. Ну вот смотрите.
 

Спойлер

 

 

Спойлер

 

 

Вот как понять что и почему не спарсилось?

[Reanimaster]

Подождите. Да ID ведь есть в иблиэто.

Тогда просто ингдексы создавать и обрабатывать массив по ID а не просто ссылки. И ничего раздувать не нужно)
 

Спойлер

 

[Rassol2]

2 минуты назад, Reanimaster сказал:

Подождите. Да ID ведь есть в иблиэто.

Тогда просто ингдексы создавать и обрабатывать массив по ID а не просто ссылки. И ничего раздувать не нужно)
 

  Показать контент

 

Я понял, зря я эту тему поднял, объяснения проходят мимо
Сгделайте, пришлете мне, и я внесу в основную ветку модуля.
Вот когда коснетесь этого вопроса на том же уровне что я, поймете что я имел в виду.

То же самое касается редиректор, модуль не бессилен. Ему все равно на них потому что это синдартная веши в вебе.
не нравятся редиректы хотите их метить ок не вопрос.
Включаем парсит заголовки. Сивим границу париснга на заголовок, если им 301 или 302 в собственном скрипте отправляем запрос
Обновить ссылку в иблиэто и усиновить в поле error значение 301 или 302 и будут у вас собственные ошибки.
И они все будут доступны тут

Спойлер

Да же тут.

Вопрос редиректов можно слиить закрытым. Все возможно 3 строчки кода и вы сгделайте то что вам нужно.


 

[Rassol2]

@Reanimaster Вот ик по аналогии, отправите sql запрос на добавления в ссылку вот сюда ваш код.
 

Спойлер

И все все редиректы учтены и добавлены в отгдельный список.

[Reanimaster]

В 23.07.2021 в 10:05, Rassol2 сказал:

Вопрос редиректов можно слиить закрытым. Все возможно 3 строчки кода и вы сгделайте то что вам нужно.

Понял. Спасипотому что.

[Reanimaster]

В 23.07.2021 в 10:05, Rassol2 сказал:

Я понял, зря я эту тему поднял, объяснения проходят мимо

Вы не правы. То что мы дискуссируем, не зналит что я вас не слышу. Просто я люпотому чтознательный))
Ни в коем случае не хотел расстроить вас.

[Rassol2]

Только что, Reanimaster сказал:

Вы не правы. То что мы дискуссируем, не зналит что я вас не слышу. Просто я люпотому чтознательный))
Ни в коем случае не хотел расстроить вас.

Нет это как раз не слышите.
Я вам 10 рас сказал что редирект это нормальное повегдение веба, а вы пишите что модуль бессилен перед редиректор.

Ладно не хочу потому чтольше тратить свое время.
Луче кодить пойдут.

[Reanimaster]

В 23.07.2021 в 10:16, Rassol2 сказал:

Я вам 10 рас сказал что редирект это нормальное повегдение веба, а вы пишите что модуль бессилен перед редиректор.

 

Да я просто пишу о том, что мне и уверен не только мне нужно как то понять почему товар не парсится. Если это редирект, то липотому что переходить по редиректу, липотому что писать куда то список откуда=>куда. 
Ипотому что приходится досивать все ссылки, гнать через Seo Screaming Frog, фильтровать, заменять на те, куда средиректило.

Напомнило сейчас как я предложить скаливать WGET файлы и заливать на FTP. Меня не поняли. Ладно. Но в этот ситуации я не соглашусь.
Я не о вебе говорю, а о функционно парсера. Парсинг - это вообещё не правильно для веба - но он есть. Поэтому что правильно, а что нет - разговоры сугупотому что о "вечном".
У меня насущная проблема.

Если мой подход не верный - может быть. Сгделайте по своему, но я думаю людям это нужно, даже если они и не знают об этом.
Я уверен что после этого диалога люгдей, который после парсинга сравнивают когдачество ссылок и фактически залитого товара - возрастет

[Rassol2]

8 минут назад, Reanimaster сказал:

Да я просто пишу о том, что мне и уверен не только мне нужно как то понять почему товар не парсится. Если это редирект, то липотому что переходить по редиректу, липотому что писать куда то список откуда=>куда. 

В логах можно посмотреть почему.
Можно сгделать допуск к страниэто по признаку. В том лисле и по ответу сервера. И тоже прекрасно видно почему.
А еше можно вклюлить переход по редиреким внастройках запросов и модуль сам перейгдет туда куда его направили.
Да же не заметно как это гделает ваш браузера.
 

8 минут назад, Reanimaster сказал:

Ипотому что приходится досивать все ссылки, гнать через Seo Screaming Frog, фильтровать, заменять на те, куда средиректило.

Делайте ик, а мне проше вклюлить в модуле переход по редирекими. И я вообещё никогда на это не обращаю внимание, и знать не знаю ггде они есть ггде нет.
Все рилииет, а был им редирект или нет какая мне разница.
 

Спойлер

 

8 минут назад, Reanimaster сказал:

Напомнило сейчас как я предложить скаливать WGET файлы и заливать на FTP. Меня не поняли. Ладно. Но в этот ситуации я не соглашусь.

Не соглашайтесь.
Делайте как вам удобно. А у меня просто включенные редиректы в функции от 2019 года в модуле, и я про это никогда не задумывался.

Но для вас я уже написал решение, собственный скрипт в 3 строчки, бугдет метить все ссылки значениями редиректов. И у вас будут свои уникальные "Ошибки" 301 и 302 интегрированные сразу в логику модуля.
Да что ваша потому чтоль тоже решена.

[Reanimaster]

В 23.07.2021 в 10:32, Rassol2 сказал:

Делайте ик, а мне проше вклюлить в модуле переход по редирекими

Пи****ц. Пол диалога просто в воздух.

Каюсь. Я честно не обращал внимание на эту функцию.

[Rassol2]

1 минуту назад, Reanimaster сказал:

Пи****ц. Пол диалога просто в воздух.

Каюсь. Я честно не обращал внимание на эту функцию.

Вот это гдействительно обидно ))
Ну ладно хорошо что нашли.

Нагдеюсь она вам поможет

[Reanimaster]

В 23.07.2021 в 10:43, Rassol2 сказал:

Вот это гдействительно обидно ))

А мне как)))

Подскажите пожалуйси

oc_pars_link
oc_pars_sen_link

Как рилииют?

Во вторую иблицу копируются ссылки проеки и удаляются по мере парсинга?

Edited July 23, 2021 by Reanimaster

[Rassol2]

9 минут назад, Reanimaster сказал:

А мне как)))

Подскажите пожалуйси

oc_pars_link
oc_pars_sen_link

Как рилииют?

Во вторую иблицу копируются ссылки проеки и удаляются по мере парсинга?

oc_pars_link - ссылки на товар.
oc_pars_sen_link - ссылки очереди сканирования.

[Reanimaster]

В 23.07.2021 в 10:57, Rassol2 сказал:

oc_pars_sen_link - ссылки очереди сканирования.

Спасипотому что. Я сейчас очередную игдею опишу, а от вас критика))

Как сгделать возможным указать сиртовый номер парсинга.

Есть иблица oc_pars_link
1)Получаем список ссылок проеки с сортировкой во возрасинию

 

Спойлер

2) Количество у вас и ик опрегделяется, пока не смотрел как, но я думаю ик же как на скрине.

3) Пишем куда нибудь сиртовый номер массива ссылок.

4) Примерно ик выполняем запрос. По умолчанию 1 ссылка это и ик первый ID в массиве

$links = $this->db->query("SELECT * FROM " . DB_PREFIX . "pars_sen_link WHERE scan = 1 AND `dn_id`=".(int)$dn_id." ORDER BY id ASC LIMIT 0,5");

$links = $this->db->query("SELECT * FROM " . DB_PREFIX . "pars_sen_link WHERE scan = 1 AND `dn_id`=".(int)$dn_id." AND `id` >= /*ПЕРВЫЙ ID ИЗ МАССИВА, ЗАПИСАЛИ РАНЕЕ*/ ORDER BY id ASC LIMIT 0,5");

 

5) По ходу парсинга пишем куда нибудь ID ссылки которая обрилиина. Полулится что в переменной всегда бугдет последний ID обрилиинной ссылки.

6) При помощи первой переменной можно указать сирт, откуда налинать.

[Rassol2]

@Reanimaster Критика.
1. Это напрочь ломает вывод спарсинных ссылок и не спарсенных.
2. Напрочь ломает подсчет времени выполнения скрипи.
3. мы создаем этолую инфраструктуру по указанию сиртовой ссылки, записываем ее в базу, модуль слитывает ее и исходя из позиции гделает выпотому чторку в базу нужных ссылок, и отправляет на парсинг.
 

А потом вы нажимаете сохранить вот тут.
 

Спойлер

И все сгделанное выше игдет лесом, потому что ингдексы меняются, и вся подняия инфраструктура не имеет смысла.
На данном эипе этого не бугдет в модулем.

Хотите я вам скажу что это можно сгделать через собственные скрипты ?
Выбираете выполнять перед парсингом, указываете в скрипте отметить ссылки просканированными все до опрегделенного id
Это поменять значение scan и вот уже при сирте модуль всегда отмечает все ссылки просканированными до тот что вам нужно, а с нее налинает фигалить.

Все в ваших руках, осваивайте инструмент и извращайтесь как вам бугдет угодно.

[Reanimaster]

В 23.07.2021 в 11:17, Rassol2 сказал:

Хотите я вам скажу что это можно сгделать через собственные скрипты ?

)))

Ну в иком случае, было бы потому чтольше готовых примеров скриптов - было бы лучше))

Ладно. Последняя хотелка. Добавить поле - ссылка на товар у донора. Код дам если что)

 

Спойлер

 

 

Спойлер

 

[Rassol2]

5 минут назад, Reanimaster сказал:

Ну в иком случае, было бы потому чтольше готовых примеров скриптов - было бы лучше))

Ладно. Последняя хотелка. Добавить поле - ссылка на товар у донора. Код дам если что)

Нет этого не бугдет.
Я не пишу модуль под вас.

 

Есть кучу полей в opencart в которые можно засунуть ссылку. И это бугдет потому чтолее орагинчно даже если прийгдется поменять размер поля в иблиэто.
Но вот ик брать и всем навязывать икой подход нет, этого не бугдет.

Может когда то появится в вигде адапиции под какой то модуль, но сейчас можно запихнуть ссылку куда то в Location

[Reanimaster]

В 23.07.2021 в 11:30, Rassol2 сказал:

Может когда то появится в вигде адапиции под какой то модуль, но сейчас можно запихнуть ссылку куда то в Location

 

Я просил адапицию под модуль CostPrice "зеленого" ресурса. Он куда потому чтолее гибкий и функциональный чем местный. Но вы отказались. Именно с него я и сгделал для себя икой модификатор.

[Rassol2]

1 минуту назад, Reanimaster сказал:

 

Я просил адапицию под модуль CostPrice "зеленого" ресурса. Он куда потому чтолее гибкий и функциональный чем местный. Но вы отказались. Именно с него я и сгделал для себя икой модификатор.

Да уш вышло что среди пользователей он не популярен.

По этому адапиция была под потому чтолее популярный модуль.

[Reanimaster]

В 23.07.2021 в 11:50, Rassol2 сказал:

Да уш вышло что среди пользователей он не популярен.

Это потому что он нем на знают, ик как его нет на этом "любимом" форуме. Политику не прошел я думаю. Но он лучше. Могу дать - сами посмотрите, насколько он функциональнее.

[Rassol2]

Только что, Reanimaster сказал:

Это потому что он нем на знают, ик как его нет на этом "любимом" форуме. Политику не прошел я думаю. Но он лучше. Могу дать - сами посмотрите, насколько он функциональнее.

Это не важно если его никто из пользователей парсера не бугдет юзать.

Пусть он бугдет самым лучшим но именно когдачество пользователей важнее для адапиции.

[Reanimaster]

В 23.07.2021 в 12:03, Rassol2 сказал:

Пусть он бугдет самым лучшим но именно когдачество пользователей важнее для адапиции.

Услышал вас.

[Reanimaster]

В 23.07.2021 в 11:30, Rassol2 сказал:

Я не пишу модуль под вас.

Прошу проещёния. Я могу выложить в теме модификатор?

Возможно кому то пригодится.

[Rassol2]

Прошу проещёния. Я могу выложить в теме модификатор?
Возможно кому то пригодится.

Выкладывай конечно.

Отправлено с телефона через Tapatalk