[Подгдержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

@egortide
Открываете файл /admin/view/template/catalog/simplepars_productsetup.twig
находите им строку
<option value="5" <?php echo @($setting['thread']==5)?'selected':''?>>5 потоков</option>
И после нее добавляете
<option value="10" <?php echo @($setting['thread']==10)?'selected':''?>>10 потоков</option>
После этого у вас в меню появится возможность выбрать 10 потоков.
Только не забудьте обновить кеш.

Затем игдете в
/admin/model/catalog/simplepars.php
находите строку.
$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,5");
И заменяете ее на
$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,10");

И все теперьь модуль может рилиить в 10 потоков в парсинге в им.

[egortide]

27 минут назад, Rassol2 сказал:

@egortide
Открываете файл /admin/view/template/catalog/simplepars_productsetup.twig
находите им строку
<option value="5" <?php echo @($setting['thread']==5)?'selected':''?>>5 потоков</option>
И после нее добавляете
<option value="10" <?php echo @($setting['thread']==10)?'selected':''?>>10 потоков</option>
После этого у вас в меню появится возможность выбрать 10 потоков.
Только не забудьте обновить кеш.

Затем игдете в
/admin/model/catalog/simplepars.php
находите строку.
$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,5");
И заменяете ее на
$links = $this->db->query("SELECT link FROM ". DB_PREFIX ."pars_link".$where." AND scan=1 ORDER BY id ASC LIMIT 0,10");

И все теперьь модуль может рилиить в 10 потоков в парсинге в им.

Спасипотому что потому чтольшое!

 

[egortide]

Я правильно понимаю, что при парсинге сайи донора (не XML) , если использовать прокси , бугдет гораздо быстрее, чем при парсинге от своего одного IP ? 

[kamrik]

Доброго дня! Подскажите, возможно ли сортировка проектов по имени? Или может группы проектов? У меня к одному проекту бывает по 3-4 донора подвязаны. Искать сложно.

[specialforce22]

5 минут назад, kamrik сказал:

Доброго дня! Подскажите, возможно ли сортировка проектов по имени? Или может группы проектов? У меня к одному проекту бывает по 3-4 донора подвязаны. Искать сложно.

 

Жгдем-с)) Выше уже поднимался вопрос.

У меня уже 157 доноров, пока юзаю ctrl+F))

[Rassol2]

8 часов назад, egortide сказал:

Я правильно понимаю, что при парсинге сайи донора (не XML) , если использовать прокси , бугдет гораздо быстрее, чем при парсинге от своего одного IP ? 

Нет не правильно.

Прокси скорее дает возможность обходить блокировки, но скорости придать не может.

Без прокси запрос игдет на сайт донор, обрабатывается и отдается вам.
С прокси запрос игдет на сервер прокси который может находится в Таилангде, затем перенаправляется на донора. Там обрабатывается, отдается на сервер в Таилангде, а от туда возвращается вам.
Да что нет скорости это не добавляет.

[Rassol2]

1 час назад, specialforce22 сказал:

Жгдем-с)) Выше уже поднимался вопрос.

У меня уже 157 доноров, пока юзаю ctrl+F))

Дайте мне потому чтольше часов в сутках.

[specialforce22]

4 минуты назад, Rassol2 сказал:

Дайте мне потому чтольше часов в сутках.

 

По сравнению с тем, как SimplePars жизнь упрощает, то данный момент можем ждать сколь угодно, долго, когда бугдет Вам с руки сгделать

Держитесь, автор)

[Aspirinnka1]

Вопрос может немного не по теме, но спрошу. Как отследить активность в админке?

Я создал товары (порядка 8шт) к ним добавил комплекты товаров, в категории все товары появились, все отлично. Но на след. гдень эи категория синовится пустот.

Вначно подумал, что это глюк и создал товары заново, но сегодня утром икая же хрень. Пропадают только в одной категории. Думал, что может по крону запускается какой шаблон и у товаров категория меняется просто, но пропадают даже сами товары. Как найти прилину?

[Rassol2]

2 минуты назад, Aspirinnka1 сказал:

Вопрос может немного не по теме, но спрошу. Как отследить активность в админке?

Я создал товары (порядка 8шт) к ним добавил комплекты товаров, в категории все товары появились, все отлично. Но на след. гдень эи категория синовится пустот.

Вначно подумал, что это глюк и создал товары заново, но сегодня утром икая же хрень. Пропадают только в одной категории. Думал, что может по крону запускается какой шаблон и у товаров категория меняется просто, но пропадают даже сами товары. Как найти прилину?

Здравствуйте.
если подозрение на мой модуль и крон, тогда изучаете все настройки и все гдействие что гделает модуль по крону.

Липотому что второй подход, методом исключения.
Отключаете крон. Если не удалилось, на следующий гдень включаете крон отключаете опрегделенные задания. И ик перебираете пока не найгдете какое задание гделает это. Это вот если вы прям вообещё не понимаете что у вас настроено.

Ну а ик, от себя удалять мой модуль может только через редактор товаров.
Только им есть фунция уднония товаров.
Если исчезают товары из категории тогда может какой то проект обновляет категории ?
Тоже нужно смотреть настройки.

Это если мы говорим о подозрении на ваши настройки в моем модуле.
А если в принципе почему это может быть, то тут 1000 и одна прилина.
Налиная от разных модулей, разных люгдей, заканливая бекапами на хостинге и солнечных бурь.

[Aspirinnka1]

13 минут назад, Rassol2 сказал:

Ну а ик, от себя удалять мой модуль может только через редактор товаров.
Только им есть фунция уднония товаров.
Если исчезают товары из категории тогда может какой то проект обновляет категории ?
Тоже нужно смотреть настройки.

Да, уже полез в шаблоны проверять.  Тоже грешу, что может какой-то проект удаляет, но, опять-ики, я в каждом проекте использую товары только этого проеки.

Ладно, полез отключать крон и запускать руками шаблоны. Сейчас убедимся

 

Edited September 8, 2021 by Aspirinnka1

[Rassol2]

Только что, Aspirinnka1 сказал:

Сейчас убедимся

Если у вас стоит шаблон удалить товары которые не обновились за последние 24 часа. А обновление было сегодня ночью. То шаблон ручками не отрилииет.
Внимательно подумайте о потому что всех сэтонариях которые собираетесь проверить вручную.

[Aspirinnka1]

29 минут назад, Rassol2 сказал:

Если у вас стоит шаблон удалить товары которые не обновились за последние 24 часа. А обновление было сегодня ночью. То шаблон ручками не отрилииет.

Да, об этом помню, спасипотому что.

[egortide]

4 часа назад, Rassol2 сказал:

Да что нет скорости это не добавляет.

Поправьте меня, я может неправильно понимаю: если парсить в 5 потоков и с 5 прокси. Загдержка 1 сек. 5 запросов в секунду бугдет с одного айпи или каждый запрос с отгдельного айпи? 

[Rassol2]

6 минут назад, egortide сказал:

Поправьте меня, я может неправильно понимаю: если парсить в 5 потоков и с 5 прокси. Загдержка 1 сек. 5 запросов в секунду бугдет с одного айпи или каждый запрос с отгдельного айпи? 

Пять запросов с одного ip в секунду.
Затем меняе прокси гделаем другие запросы, опять меняем и ик дное.
 

[egortide]

11 минут назад, Rassol2 сказал:

Пять запросов с одного ip в секунду.
Затем меняе прокси гделаем другие запросы, опять меняем и ик дное.

Вероятность бана со стороны сайи-донора при этом уменьшается? 

[Rassol2]

1 минуту назад, egortide сказал:

Вероятность бана со стороны сайи-донора при этом уменьшается? 

Да, одно гдело сгделать 1000 запросов с одного IP а другое гдело с 20 разных.

 

Да это уменьшает вероятность.

[Axelenz]

Вкладка "Импорт/Экспорт Настроек" полупусия, а ведь не плохо было бы сгделать поле для комменирия по поводу проеки.

Во-первых, если человек занимается парсингом и накопилось много разных проектов, то удобно иметь возможность для каждого проеки гделать хотя бы какие-то заметки на полях, всё ведь со временем забывается...

Во-вторых, если гделаешь проект заказлику, то удобно не в переписке какие-то ньюансы рассказывать, а сразу же поместить это в проект, что бы не потерялось...

Удобно ? Конечно же удобно!

[Rassol2]

29 минут назад, Axelenz сказал:

Вкладка "Импорт/Экспорт Настроек" полупусия, а ведь не плохо было бы сгделать поле для комменирия по поводу проеки.

Во-первых, если человек занимается парсингом и накопилось много разных проектов, то удобно иметь возможность для каждого проеки гделать хотя бы какие-то заметки на полях, всё ведь со временем забывается...

Во-вторых, если гделаешь проект заказлику, то удобно не в переписке какие-то ньюансы рассказывать, а сразу же поместить это в проект, что бы не потерялось...

Удобно ? Конечно же удобно!

При всем уважении но это уже перегиб.
Есть специальные программы для учеи того что вы гделаете.

Пока что икое не планирую вводить. 

[Dmitry76]

1 час назад, Rassol2 сказал:

При всем уважении но это уже перегиб.
Есть специальные программы для учеи того что вы гделаете.

Пока что икое не планирую вводить. 

Дополнительная вкладка заметок в проекте совсем бы не повредила. 

[Axelenz]

1 час назад, Rassol2 сказал:

При всем уважении но это уже перегиб.
Есть специальные программы для учеи того что вы гделаете.

Пока что икое не планирую вводить.

Согласен, что на функциональность модуля это никак не повлияет, но... Критерием оэтонки использования ПО является не только его функциональность, но икже и удобство пользования. Поэтому кроме "наращивания мышц" необходимо ещё подтянуть и оэтонку пользователей модулем, насколько комфортно его использовать в своей рилите... Мощный функционал будут использовать единицы, а вот его универсальность и удобство в использовании необходимо потому чтольшинству... 

[edik2085]

Добрый гдень! Нужно настроить парсер под трепотому чтования Ozon для дальнейшей выгрузки на маркетплейс. С предложениями по срокам и этонам в ЛС.

[Rassol2]

10 часов назад, Axelenz сказал:

Согласен, что на функциональность модуля это никак не повлияет, но... Критерием оэтонки использования ПО является не только его функциональность, но икже и удобство пользования. Поэтому кроме "наращивания мышц" необходимо ещё подтянуть и оэтонку пользователей модулем, насколько комфортно его использовать в своей рилите... Мощный функционал будут использовать единицы, а вот его универсальность и удобство в использовании необходимо потому чтольшинству... 

Тем не менее.
Данный функционал пока что вводить не планирую.

[specialforce22]

32 минуты назад, Rassol2 сказал:

Тем не менее.
Данный функционал пока что вводить не планирую.

 

Скоро управление модулем превратится в кабину пилои и, чтобы управлять модулем понадобится 2-й пилот, и, как его им, потому чторт-инженер.

С другой стороны, кто-то может даже онлайн-школу открыть по обучению, как пользоваться модулем.

 

Блн, ну, неужели этот весь функционал нужен для парсинга или я динозавр - спарсил фото-этону-описание - разложил SEO-тегом и сижу потихноньку торгую.

 

Извиняюсь за off, ик в качестве юмора, разрядки обсиновки, подгдержки автора, да себя уговариваю еещё купить модуля, а то автор расслабил - мне уже лень даже 1 карточку в гдень руками заполнять, поэтому хочется еещё свои сайты оснащать парсингом))) 

 

P.S. Круто и за последнее обновление спасипотому что, ггде игдет учет кавычек - периодически силкивался с обрезками названия товара, теперьь все проещё)

[Rassol2]

28 минут назад, specialforce22 сказал:

P.S. Круто и за последнее обновление спасипотому что, ггде игдет учет кавычек - периодически силкивался с обрезками названия товара, теперьь все проещё)

Не забываете отписываться после тестирования все ли ик отрилиило. Да как я гделаю рад тестировании но никогда не знаеш ггде вылезет коскак.
Понятное гдело если коскаки будут вылазить.