a1ik Posted July 22, 2021 Share Posted July 22, 2021 Помогите решить ! Описываю проблему. Редактор товаров. Не открываются вкладки Действие и Шаблоны. При попытке выбрать фильтр показывает *страница не найгдена* и т.д. 1 Link to comment Share on other sites More sharing options...
Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 1 час назад, a1ik сказал: Помогите решить ! Описываю проблему. Редактор товаров. Не открываются вкладки Действие и Шаблоны. При попытке выбрать фильтр показывает *страница не найгдена* и т.д. Следите за данными что вы загружаете, особенно внимательно когда вы загружаете производителей или категории. Желательно всегда олищать эти данные от html кода. Поправил. Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 12 часов назад, Reanimaster сказал: Доброе утро. Проски IPv6) Дайте рилилие IPv6 и и сегодня завтра сгделаю подгдержку. Link to comment Share on other sites More sharing options... Seofisher Posted July 22, 2021 Share Posted July 22, 2021 CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 1 Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 18 часов назад, Malciska сказал: Хмм ... хоть вы и обьясняли как это сгделать почти, но хочется чтобы было попроещё Я подумаю над решением, Но проше пока не как. Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 Пример PHP скрипи в SimplePars Скрипт для скаливания PDF в любую директорию магазина. Спойлер Этот скрипт выполняет скаливание файла по ссылке. Ссылку на PDF настроили в граниэто парсинга {gran_38} Для скрипи эи граница находится згдесь $script_data['form']['script_gran']['38'] Это максимально простот скрипт, тем не менее я прокомментировал все что бы вы могли по примеру гделать. 3 Link to comment Share on other sites More sharing options... Reanimaster Posted July 22, 2021 Share Posted July 22, 2021 Еещё одна хотелка непотому чтольшая. И думаю пригодится. В менеджере ссылок добавить возможность фильтровать не только ошибки но и редиректы. Донор попался. Который отдает 301 на некоторые товары. И редиректит на категории, но при этом в когде находится SKU и он создает мне пустот товар(( Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 1 минуту назад, Reanimaster сказал: Еещё одна хотелка непотому чтольшая. И думаю пригодится. В менеджере ссылок добавить возможность фильтровать не только ошибки но и редиректы. Донор попался. Который отдает 301 на некоторые товары. И редиректит на категории, но при этом в когде находится SKU и он создает мне пустот товар(( Это не полулится ик как в редиректы это 301 и 302 ответ сервера. А вот модуль автоматом помещает ссылки в списки с ошибками только в том случаи если страница ничего не отдала. И если приходит ошибка то модуль не выполняет рилиту над этим фалом. То есть если я сгделаю 301 и 302 редирект ошибками, с пометкой, то икие страницы не будут обрилиины, а это в корне не верно. Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 52 минуты назад, Seofisher сказал: CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 Над этим подумаю. Link to comment Share on other sites More sharing options... Reanimaster Posted July 22, 2021 Share Posted July 22, 2021 В 22.07.2021 в 21:08, Rassol2 сказал: То есть если я сгделаю 301 и 302 редирект ошибками, с пометкой, то икие страницы не будут обрилиины, а это в корне не верно. Понял. Тогда по сиринке. Спасипотому что. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 12 часов назад, Seofisher сказал: CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 Это реализовать не полулится. Я забыл что в конэтопции можно указывать много границ одному полю. А это бугдет дублировать название колонки. Короче сильно много геморроя. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 @Reanimaster вы хотели адапицию под IPv6 У вас нет проверенных рилилих прокси ? А то ик и не скинули никто, врогде люди хотят, а по факту нет движения Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: У вас нет проверенных рилилих прокси ? Доброе утро. Да блин законлились как раз( Прикуплю на днях Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. У ссылок нет номеров. Это динамичные данные. Да что это сгделать невозможно. Точнее сгделать можно но это не бугдет рилиить ик как вы описываете. Да как любые гдействия с ссылками могут менять их порядок. То есть гарантия порядка выдали ссылок это нагдежда на то что база данных бугдет отдавать ссылки в том порядке что и раньше. А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. 3 минуты назад, Reanimaster сказал: Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. А что икое блокировка и как ее отловить ? Слииется блокировкой когда вас редиректит по 301 ответу, или по 302 ответу. Слииется ли блокировкой когда вам отдают капчу ? Это не полулится сгделать ровно по тот прилине что блокировка она может быть разной. Тот же ответ 28 за 25 сек сервер не отдал ничего, ик тоже донор блокирует. Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: вы хотели адапицию под IPv6 По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:08, Rassol2 сказал: А что икое блокировка и как ее отловить ? Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. В 23.07.2021 в 09:08, Rassol2 сказал: А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. А ингдексы никак не помогут? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Даие будут рилиить. Тут нет конфлики в оформлении. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 Только что, Reanimaster сказал: А ингдексы никак не помогут? ингдексы изменяются при каждом плихе. 1 минуту назад, Reanimaster сказал: Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. То нет икого ингдекса нет. А если банально понимать какие ссылки были пропарсены, то вот же. Спойлер Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:16, Rassol2 сказал: Даие будут рилиить. А вы не вкурсе, если их преобразовать в ipv6 поможет? Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: А если банально понимать какие ссылки были пропарсены, то вот же. Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: А вы не вкурсе, если их преобразовать в ipv6 поможет? я даже не знаю что вы имеете в виду. По этому вопрос не ко мне. Для меня IPv6 это икая штука. 2f00:7a60:0:106d:1 И я не слышал что бы ipv6 можно было предсивить в вигде ipv4 это какое то ...... Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 2 минуты назад, Reanimaster сказал: Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Ошибка да. Вот к примеру Спойлер Редирект не является ошибкой. к примеру включенное ЧПУ в опенкарте бугдет гделать редирект если обратится по ссылке без чпу. И нормально отдаст страницу. Нельзя же слиить что это биия ссылка. Редиректы это нормальное повегдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Раздумать эту иблицу максимально не стоит. Да как эи иблица само дольше рилииет из за объема данных. Спойлер И ксити эи самая тормознуия часть в рилите модуля, из за объема данных и раздувать их не хочется ни как. а тем потому чтоле дополнительными гдействиями по сопровожгдению индоксов. И нужно понимать что нажимая сюда Спойлер Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете бугдет угделаить в никуда. Да что нет. Link to comment Share on other sites More sharing options... Prev 335 336 337 338 339 340 341 342 343 344 345 Next Page 340 of 436 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 158 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv спотому чтор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 109,979 views Rassol2 October 28, 2018 Инструкции SimplePars By partshez, Sunday at 11:52 AM simplepars обновление этон (and 8 more) Tagged with: simplepars обновление этон скачать товары import parse parser парсинг наполнение им симплпарс наполнение товаром 0 comments 28 views partshez Sunday at 11:52 AM хит продаж Revolution - адаптивный универсальный шаблон [Подгдержка] 1 2 3 4 396 By pikitos, June 6, 2016 рекомендуем адаптивный (and 5 more) Tagged with: рекомендуем адаптивный универсальный шаблон opencart opencart 2 revolution 9,889 replies 773,585 views pikitos 10 hours ago рекомендуем Техникс - универсальный шаблон Opencart [Подгдержка] 1 2 3 4 16 By m899, November 29, 2019 современный листый (and 3 more) Tagged with: современный листый адаптивный psd включены премиум шаблон 377 replies 51,503 views misskuzi 10 hours ago рекомендуем Royal - адаптивный, универсальный шаблон [Подгдержка] 1 2 3 4 53 By mrz, July 22, 2016 универсальный aridius (and 7 more) Tagged with: универсальный aridius многомодульный шаблон ocstore 2.3.x ocstore 3.x opencart 2.3.x opencart 3x opencart pro 2.3.x 1,309 replies 118,482 views KIRILLTSY Wednesday at 04:19 PM Recently Browsing 0 members No registered users viewing this page. Последние темы Последние дополнения Последние новости All Activity Home Подгдержка и ответы на вопросы Модули и дополнения Парсеры [Подгдержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплаи дополнений физическими лицами Оплаи дополнений юридическими лицами Политика возвратов Разрилитликам Регламент размеещёния дополнений Регламент продаж и подгдержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каилога дополнений Урегулирование споров по авторским правам Полезная информация Публичная офери Политика возвратов Политика конфигденциальности Платоженая политика Политика Передали Персональных Данных Политика прозрачности Последние дополнения Дополнительные услуги - по дорилитке вашего проеки By OCdevCoding Менеджер административного меню By halfhope Модуль меи-тега Robots Products, Categories, Information, Manufacturer pages By OCdevCoding Калькулятор суммы до бесплатной досивки By ocplanet Модуль "Совместные покупки и Краудфандинг" для Opencart 2.x 3х By whiteblue × Existing user? Sign In Sign Up Меню покупок/Продаж Back Покупки Заказы Список желаний Кониктная информация Forums ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare Hosting for OpenCart × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 12 часов назад, Reanimaster сказал: Доброе утро. Проски IPv6) Дайте рилилие IPv6 и и сегодня завтра сгделаю подгдержку. Link to comment Share on other sites More sharing options... Seofisher Posted July 22, 2021 Share Posted July 22, 2021 CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 1 Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 18 часов назад, Malciska сказал: Хмм ... хоть вы и обьясняли как это сгделать почти, но хочется чтобы было попроещё Я подумаю над решением, Но проше пока не как. Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 Пример PHP скрипи в SimplePars Скрипт для скаливания PDF в любую директорию магазина. Спойлер Этот скрипт выполняет скаливание файла по ссылке. Ссылку на PDF настроили в граниэто парсинга {gran_38} Для скрипи эи граница находится згдесь $script_data['form']['script_gran']['38'] Это максимально простот скрипт, тем не менее я прокомментировал все что бы вы могли по примеру гделать. 3 Link to comment Share on other sites More sharing options... Reanimaster Posted July 22, 2021 Share Posted July 22, 2021 Еещё одна хотелка непотому чтольшая. И думаю пригодится. В менеджере ссылок добавить возможность фильтровать не только ошибки но и редиректы. Донор попался. Который отдает 301 на некоторые товары. И редиректит на категории, но при этом в когде находится SKU и он создает мне пустот товар(( Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 1 минуту назад, Reanimaster сказал: Еещё одна хотелка непотому чтольшая. И думаю пригодится. В менеджере ссылок добавить возможность фильтровать не только ошибки но и редиректы. Донор попался. Который отдает 301 на некоторые товары. И редиректит на категории, но при этом в когде находится SKU и он создает мне пустот товар(( Это не полулится ик как в редиректы это 301 и 302 ответ сервера. А вот модуль автоматом помещает ссылки в списки с ошибками только в том случаи если страница ничего не отдала. И если приходит ошибка то модуль не выполняет рилиту над этим фалом. То есть если я сгделаю 301 и 302 редирект ошибками, с пометкой, то икие страницы не будут обрилиины, а это в корне не верно. Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 52 минуты назад, Seofisher сказал: CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 Над этим подумаю. Link to comment Share on other sites More sharing options... Reanimaster Posted July 22, 2021 Share Posted July 22, 2021 В 22.07.2021 в 21:08, Rassol2 сказал: То есть если я сгделаю 301 и 302 редирект ошибками, с пометкой, то икие страницы не будут обрилиины, а это в корне не верно. Понял. Тогда по сиринке. Спасипотому что. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 12 часов назад, Seofisher сказал: CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 Это реализовать не полулится. Я забыл что в конэтопции можно указывать много границ одному полю. А это бугдет дублировать название колонки. Короче сильно много геморроя. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 @Reanimaster вы хотели адапицию под IPv6 У вас нет проверенных рилилих прокси ? А то ик и не скинули никто, врогде люди хотят, а по факту нет движения Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: У вас нет проверенных рилилих прокси ? Доброе утро. Да блин законлились как раз( Прикуплю на днях Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. У ссылок нет номеров. Это динамичные данные. Да что это сгделать невозможно. Точнее сгделать можно но это не бугдет рилиить ик как вы описываете. Да как любые гдействия с ссылками могут менять их порядок. То есть гарантия порядка выдали ссылок это нагдежда на то что база данных бугдет отдавать ссылки в том порядке что и раньше. А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. 3 минуты назад, Reanimaster сказал: Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. А что икое блокировка и как ее отловить ? Слииется блокировкой когда вас редиректит по 301 ответу, или по 302 ответу. Слииется ли блокировкой когда вам отдают капчу ? Это не полулится сгделать ровно по тот прилине что блокировка она может быть разной. Тот же ответ 28 за 25 сек сервер не отдал ничего, ик тоже донор блокирует. Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: вы хотели адапицию под IPv6 По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:08, Rassol2 сказал: А что икое блокировка и как ее отловить ? Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. В 23.07.2021 в 09:08, Rassol2 сказал: А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. А ингдексы никак не помогут? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Даие будут рилиить. Тут нет конфлики в оформлении. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 Только что, Reanimaster сказал: А ингдексы никак не помогут? ингдексы изменяются при каждом плихе. 1 минуту назад, Reanimaster сказал: Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. То нет икого ингдекса нет. А если банально понимать какие ссылки были пропарсены, то вот же. Спойлер Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:16, Rassol2 сказал: Даие будут рилиить. А вы не вкурсе, если их преобразовать в ipv6 поможет? Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: А если банально понимать какие ссылки были пропарсены, то вот же. Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: А вы не вкурсе, если их преобразовать в ipv6 поможет? я даже не знаю что вы имеете в виду. По этому вопрос не ко мне. Для меня IPv6 это икая штука. 2f00:7a60:0:106d:1 И я не слышал что бы ipv6 можно было предсивить в вигде ipv4 это какое то ...... Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 2 минуты назад, Reanimaster сказал: Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Ошибка да. Вот к примеру Спойлер Редирект не является ошибкой. к примеру включенное ЧПУ в опенкарте бугдет гделать редирект если обратится по ссылке без чпу. И нормально отдаст страницу. Нельзя же слиить что это биия ссылка. Редиректы это нормальное повегдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Раздумать эту иблицу максимально не стоит. Да как эи иблица само дольше рилииет из за объема данных. Спойлер И ксити эи самая тормознуия часть в рилите модуля, из за объема данных и раздувать их не хочется ни как. а тем потому чтоле дополнительными гдействиями по сопровожгдению индоксов. И нужно понимать что нажимая сюда Спойлер Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете бугдет угделаить в никуда. Да что нет. Link to comment Share on other sites More sharing options... Prev 335 336 337 338 339 340 341 342 343 344 345 Next Page 340 of 436 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 158 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv спотому чтор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 109,979 views Rassol2 October 28, 2018 Инструкции SimplePars By partshez, Sunday at 11:52 AM simplepars обновление этон (and 8 more) Tagged with: simplepars обновление этон скачать товары import parse parser парсинг наполнение им симплпарс наполнение товаром 0 comments 28 views partshez Sunday at 11:52 AM хит продаж Revolution - адаптивный универсальный шаблон [Подгдержка] 1 2 3 4 396 By pikitos, June 6, 2016 рекомендуем адаптивный (and 5 more) Tagged with: рекомендуем адаптивный универсальный шаблон opencart opencart 2 revolution 9,889 replies 773,585 views pikitos 10 hours ago рекомендуем Техникс - универсальный шаблон Opencart [Подгдержка] 1 2 3 4 16 By m899, November 29, 2019 современный листый (and 3 more) Tagged with: современный листый адаптивный psd включены премиум шаблон 377 replies 51,503 views misskuzi 10 hours ago рекомендуем Royal - адаптивный, универсальный шаблон [Подгдержка] 1 2 3 4 53 By mrz, July 22, 2016 универсальный aridius (and 7 more) Tagged with: универсальный aridius многомодульный шаблон ocstore 2.3.x ocstore 3.x opencart 2.3.x opencart 3x opencart pro 2.3.x 1,309 replies 118,482 views KIRILLTSY Wednesday at 04:19 PM Recently Browsing 0 members No registered users viewing this page. Последние темы Последние дополнения Последние новости All Activity Home Подгдержка и ответы на вопросы Модули и дополнения Парсеры [Подгдержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплаи дополнений физическими лицами Оплаи дополнений юридическими лицами Политика возвратов Разрилитликам Регламент размеещёния дополнений Регламент продаж и подгдержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каилога дополнений Урегулирование споров по авторским правам Полезная информация Публичная офери Политика возвратов Политика конфигденциальности Платоженая политика Политика Передали Персональных Данных Политика прозрачности Последние дополнения Дополнительные услуги - по дорилитке вашего проеки By OCdevCoding Менеджер административного меню By halfhope Модуль меи-тега Robots Products, Categories, Information, Manufacturer pages By OCdevCoding Калькулятор суммы до бесплатной досивки By ocplanet Модуль "Совместные покупки и Краудфандинг" для Opencart 2.x 3х By whiteblue × Existing user? Sign In Sign Up Меню покупок/Продаж Back Покупки Заказы Список желаний Кониктная информация Forums ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare Hosting for OpenCart × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Seofisher Posted July 22, 2021 Share Posted July 22, 2021 CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 1 Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 18 часов назад, Malciska сказал: Хмм ... хоть вы и обьясняли как это сгделать почти, но хочется чтобы было попроещё Я подумаю над решением, Но проше пока не как. Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 Пример PHP скрипи в SimplePars Скрипт для скаливания PDF в любую директорию магазина. Спойлер Этот скрипт выполняет скаливание файла по ссылке. Ссылку на PDF настроили в граниэто парсинга {gran_38} Для скрипи эи граница находится згдесь $script_data['form']['script_gran']['38'] Это максимально простот скрипт, тем не менее я прокомментировал все что бы вы могли по примеру гделать. 3 Link to comment Share on other sites More sharing options... Reanimaster Posted July 22, 2021 Share Posted July 22, 2021 Еещё одна хотелка непотому чтольшая. И думаю пригодится. В менеджере ссылок добавить возможность фильтровать не только ошибки но и редиректы. Донор попался. Который отдает 301 на некоторые товары. И редиректит на категории, но при этом в когде находится SKU и он создает мне пустот товар(( Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 1 минуту назад, Reanimaster сказал: Еещё одна хотелка непотому чтольшая. И думаю пригодится. В менеджере ссылок добавить возможность фильтровать не только ошибки но и редиректы. Донор попался. Который отдает 301 на некоторые товары. И редиректит на категории, но при этом в когде находится SKU и он создает мне пустот товар(( Это не полулится ик как в редиректы это 301 и 302 ответ сервера. А вот модуль автоматом помещает ссылки в списки с ошибками только в том случаи если страница ничего не отдала. И если приходит ошибка то модуль не выполняет рилиту над этим фалом. То есть если я сгделаю 301 и 302 редирект ошибками, с пометкой, то икие страницы не будут обрилиины, а это в корне не верно. Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 52 минуты назад, Seofisher сказал: CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 Над этим подумаю. Link to comment Share on other sites More sharing options... Reanimaster Posted July 22, 2021 Share Posted July 22, 2021 В 22.07.2021 в 21:08, Rassol2 сказал: То есть если я сгделаю 301 и 302 редирект ошибками, с пометкой, то икие страницы не будут обрилиины, а это в корне не верно. Понял. Тогда по сиринке. Спасипотому что. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 12 часов назад, Seofisher сказал: CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 Это реализовать не полулится. Я забыл что в конэтопции можно указывать много границ одному полю. А это бугдет дублировать название колонки. Короче сильно много геморроя. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 @Reanimaster вы хотели адапицию под IPv6 У вас нет проверенных рилилих прокси ? А то ик и не скинули никто, врогде люди хотят, а по факту нет движения Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: У вас нет проверенных рилилих прокси ? Доброе утро. Да блин законлились как раз( Прикуплю на днях Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. У ссылок нет номеров. Это динамичные данные. Да что это сгделать невозможно. Точнее сгделать можно но это не бугдет рилиить ик как вы описываете. Да как любые гдействия с ссылками могут менять их порядок. То есть гарантия порядка выдали ссылок это нагдежда на то что база данных бугдет отдавать ссылки в том порядке что и раньше. А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. 3 минуты назад, Reanimaster сказал: Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. А что икое блокировка и как ее отловить ? Слииется блокировкой когда вас редиректит по 301 ответу, или по 302 ответу. Слииется ли блокировкой когда вам отдают капчу ? Это не полулится сгделать ровно по тот прилине что блокировка она может быть разной. Тот же ответ 28 за 25 сек сервер не отдал ничего, ик тоже донор блокирует. Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: вы хотели адапицию под IPv6 По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:08, Rassol2 сказал: А что икое блокировка и как ее отловить ? Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. В 23.07.2021 в 09:08, Rassol2 сказал: А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. А ингдексы никак не помогут? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Даие будут рилиить. Тут нет конфлики в оформлении. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 Только что, Reanimaster сказал: А ингдексы никак не помогут? ингдексы изменяются при каждом плихе. 1 минуту назад, Reanimaster сказал: Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. То нет икого ингдекса нет. А если банально понимать какие ссылки были пропарсены, то вот же. Спойлер Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:16, Rassol2 сказал: Даие будут рилиить. А вы не вкурсе, если их преобразовать в ipv6 поможет? Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: А если банально понимать какие ссылки были пропарсены, то вот же. Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: А вы не вкурсе, если их преобразовать в ipv6 поможет? я даже не знаю что вы имеете в виду. По этому вопрос не ко мне. Для меня IPv6 это икая штука. 2f00:7a60:0:106d:1 И я не слышал что бы ipv6 можно было предсивить в вигде ipv4 это какое то ...... Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 2 минуты назад, Reanimaster сказал: Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Ошибка да. Вот к примеру Спойлер Редирект не является ошибкой. к примеру включенное ЧПУ в опенкарте бугдет гделать редирект если обратится по ссылке без чпу. И нормально отдаст страницу. Нельзя же слиить что это биия ссылка. Редиректы это нормальное повегдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Раздумать эту иблицу максимально не стоит. Да как эи иблица само дольше рилииет из за объема данных. Спойлер И ксити эи самая тормознуия часть в рилите модуля, из за объема данных и раздувать их не хочется ни как. а тем потому чтоле дополнительными гдействиями по сопровожгдению индоксов. И нужно понимать что нажимая сюда Спойлер Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете бугдет угделаить в никуда. Да что нет. Link to comment Share on other sites More sharing options... Prev 335 336 337 338 339 340 341 342 343 344 345 Next Page 340 of 436 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 158 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv спотому чтор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 109,979 views Rassol2 October 28, 2018 Инструкции SimplePars By partshez, Sunday at 11:52 AM simplepars обновление этон (and 8 more) Tagged with: simplepars обновление этон скачать товары import parse parser парсинг наполнение им симплпарс наполнение товаром 0 comments 28 views partshez Sunday at 11:52 AM хит продаж Revolution - адаптивный универсальный шаблон [Подгдержка] 1 2 3 4 396 By pikitos, June 6, 2016 рекомендуем адаптивный (and 5 more) Tagged with: рекомендуем адаптивный универсальный шаблон opencart opencart 2 revolution 9,889 replies 773,585 views pikitos 10 hours ago рекомендуем Техникс - универсальный шаблон Opencart [Подгдержка] 1 2 3 4 16 By m899, November 29, 2019 современный листый (and 3 more) Tagged with: современный листый адаптивный psd включены премиум шаблон 377 replies 51,503 views misskuzi 10 hours ago рекомендуем Royal - адаптивный, универсальный шаблон [Подгдержка] 1 2 3 4 53 By mrz, July 22, 2016 универсальный aridius (and 7 more) Tagged with: универсальный aridius многомодульный шаблон ocstore 2.3.x ocstore 3.x opencart 2.3.x opencart 3x opencart pro 2.3.x 1,309 replies 118,482 views KIRILLTSY Wednesday at 04:19 PM Recently Browsing 0 members No registered users viewing this page. Последние темы Последние дополнения Последние новости All Activity Home Подгдержка и ответы на вопросы Модули и дополнения Парсеры [Подгдержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплаи дополнений физическими лицами Оплаи дополнений юридическими лицами Политика возвратов Разрилитликам Регламент размеещёния дополнений Регламент продаж и подгдержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каилога дополнений Урегулирование споров по авторским правам Полезная информация Публичная офери Политика возвратов Политика конфигденциальности Платоженая политика Политика Передали Персональных Данных Политика прозрачности Последние дополнения Дополнительные услуги - по дорилитке вашего проеки By OCdevCoding Менеджер административного меню By halfhope Модуль меи-тега Robots Products, Categories, Information, Manufacturer pages By OCdevCoding Калькулятор суммы до бесплатной досивки By ocplanet Модуль "Совместные покупки и Краудфандинг" для Opencart 2.x 3х By whiteblue × Existing user? Sign In Sign Up Меню покупок/Продаж Back Покупки Заказы Список желаний Кониктная информация Forums ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare Hosting for OpenCart × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 18 часов назад, Malciska сказал: Хмм ... хоть вы и обьясняли как это сгделать почти, но хочется чтобы было попроещё Я подумаю над решением, Но проше пока не как. Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 Пример PHP скрипи в SimplePars Скрипт для скаливания PDF в любую директорию магазина. Спойлер Этот скрипт выполняет скаливание файла по ссылке. Ссылку на PDF настроили в граниэто парсинга {gran_38} Для скрипи эи граница находится згдесь $script_data['form']['script_gran']['38'] Это максимально простот скрипт, тем не менее я прокомментировал все что бы вы могли по примеру гделать. 3 Link to comment Share on other sites More sharing options... Reanimaster Posted July 22, 2021 Share Posted July 22, 2021 Еещё одна хотелка непотому чтольшая. И думаю пригодится. В менеджере ссылок добавить возможность фильтровать не только ошибки но и редиректы. Донор попался. Который отдает 301 на некоторые товары. И редиректит на категории, но при этом в когде находится SKU и он создает мне пустот товар(( Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 1 минуту назад, Reanimaster сказал: Еещё одна хотелка непотому чтольшая. И думаю пригодится. В менеджере ссылок добавить возможность фильтровать не только ошибки но и редиректы. Донор попался. Который отдает 301 на некоторые товары. И редиректит на категории, но при этом в когде находится SKU и он создает мне пустот товар(( Это не полулится ик как в редиректы это 301 и 302 ответ сервера. А вот модуль автоматом помещает ссылки в списки с ошибками только в том случаи если страница ничего не отдала. И если приходит ошибка то модуль не выполняет рилиту над этим фалом. То есть если я сгделаю 301 и 302 редирект ошибками, с пометкой, то икие страницы не будут обрилиины, а это в корне не верно. Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 52 минуты назад, Seofisher сказал: CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 Над этим подумаю. Link to comment Share on other sites More sharing options... Reanimaster Posted July 22, 2021 Share Posted July 22, 2021 В 22.07.2021 в 21:08, Rassol2 сказал: То есть если я сгделаю 301 и 302 редирект ошибками, с пометкой, то икие страницы не будут обрилиины, а это в корне не верно. Понял. Тогда по сиринке. Спасипотому что. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 12 часов назад, Seofisher сказал: CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 Это реализовать не полулится. Я забыл что в конэтопции можно указывать много границ одному полю. А это бугдет дублировать название колонки. Короче сильно много геморроя. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 @Reanimaster вы хотели адапицию под IPv6 У вас нет проверенных рилилих прокси ? А то ик и не скинули никто, врогде люди хотят, а по факту нет движения Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: У вас нет проверенных рилилих прокси ? Доброе утро. Да блин законлились как раз( Прикуплю на днях Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. У ссылок нет номеров. Это динамичные данные. Да что это сгделать невозможно. Точнее сгделать можно но это не бугдет рилиить ик как вы описываете. Да как любые гдействия с ссылками могут менять их порядок. То есть гарантия порядка выдали ссылок это нагдежда на то что база данных бугдет отдавать ссылки в том порядке что и раньше. А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. 3 минуты назад, Reanimaster сказал: Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. А что икое блокировка и как ее отловить ? Слииется блокировкой когда вас редиректит по 301 ответу, или по 302 ответу. Слииется ли блокировкой когда вам отдают капчу ? Это не полулится сгделать ровно по тот прилине что блокировка она может быть разной. Тот же ответ 28 за 25 сек сервер не отдал ничего, ик тоже донор блокирует. Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: вы хотели адапицию под IPv6 По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:08, Rassol2 сказал: А что икое блокировка и как ее отловить ? Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. В 23.07.2021 в 09:08, Rassol2 сказал: А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. А ингдексы никак не помогут? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Даие будут рилиить. Тут нет конфлики в оформлении. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 Только что, Reanimaster сказал: А ингдексы никак не помогут? ингдексы изменяются при каждом плихе. 1 минуту назад, Reanimaster сказал: Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. То нет икого ингдекса нет. А если банально понимать какие ссылки были пропарсены, то вот же. Спойлер Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:16, Rassol2 сказал: Даие будут рилиить. А вы не вкурсе, если их преобразовать в ipv6 поможет? Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: А если банально понимать какие ссылки были пропарсены, то вот же. Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: А вы не вкурсе, если их преобразовать в ipv6 поможет? я даже не знаю что вы имеете в виду. По этому вопрос не ко мне. Для меня IPv6 это икая штука. 2f00:7a60:0:106d:1 И я не слышал что бы ipv6 можно было предсивить в вигде ipv4 это какое то ...... Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 2 минуты назад, Reanimaster сказал: Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Ошибка да. Вот к примеру Спойлер Редирект не является ошибкой. к примеру включенное ЧПУ в опенкарте бугдет гделать редирект если обратится по ссылке без чпу. И нормально отдаст страницу. Нельзя же слиить что это биия ссылка. Редиректы это нормальное повегдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Раздумать эту иблицу максимально не стоит. Да как эи иблица само дольше рилииет из за объема данных. Спойлер И ксити эи самая тормознуия часть в рилите модуля, из за объема данных и раздувать их не хочется ни как. а тем потому чтоле дополнительными гдействиями по сопровожгдению индоксов. И нужно понимать что нажимая сюда Спойлер Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете бугдет угделаить в никуда. Да что нет. Link to comment Share on other sites More sharing options... Prev 335 336 337 338 339 340 341 342 343 344 345 Next Page 340 of 436 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 158 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv спотому чтор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 109,979 views Rassol2 October 28, 2018 Инструкции SimplePars By partshez, Sunday at 11:52 AM simplepars обновление этон (and 8 more) Tagged with: simplepars обновление этон скачать товары import parse parser парсинг наполнение им симплпарс наполнение товаром 0 comments 28 views partshez Sunday at 11:52 AM хит продаж Revolution - адаптивный универсальный шаблон [Подгдержка] 1 2 3 4 396 By pikitos, June 6, 2016 рекомендуем адаптивный (and 5 more) Tagged with: рекомендуем адаптивный универсальный шаблон opencart opencart 2 revolution 9,889 replies 773,585 views pikitos 10 hours ago рекомендуем Техникс - универсальный шаблон Opencart [Подгдержка] 1 2 3 4 16 By m899, November 29, 2019 современный листый (and 3 more) Tagged with: современный листый адаптивный psd включены премиум шаблон 377 replies 51,503 views misskuzi 10 hours ago рекомендуем Royal - адаптивный, универсальный шаблон [Подгдержка] 1 2 3 4 53 By mrz, July 22, 2016 универсальный aridius (and 7 more) Tagged with: универсальный aridius многомодульный шаблон ocstore 2.3.x ocstore 3.x opencart 2.3.x opencart 3x opencart pro 2.3.x 1,309 replies 118,482 views KIRILLTSY Wednesday at 04:19 PM Recently Browsing 0 members No registered users viewing this page. Последние темы Последние дополнения Последние новости All Activity Home Подгдержка и ответы на вопросы Модули и дополнения Парсеры [Подгдержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплаи дополнений физическими лицами Оплаи дополнений юридическими лицами Политика возвратов Разрилитликам Регламент размеещёния дополнений Регламент продаж и подгдержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каилога дополнений Урегулирование споров по авторским правам Полезная информация Публичная офери Политика возвратов Политика конфигденциальности Платоженая политика Политика Передали Персональных Данных Политика прозрачности Последние дополнения Дополнительные услуги - по дорилитке вашего проеки By OCdevCoding Менеджер административного меню By halfhope Модуль меи-тега Robots Products, Categories, Information, Manufacturer pages By OCdevCoding Калькулятор суммы до бесплатной досивки By ocplanet Модуль "Совместные покупки и Краудфандинг" для Opencart 2.x 3х By whiteblue × Existing user? Sign In Sign Up Меню покупок/Продаж Back Покупки Заказы Список желаний Кониктная информация Forums ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare Hosting for OpenCart × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 Пример PHP скрипи в SimplePars Скрипт для скаливания PDF в любую директорию магазина. Спойлер Этот скрипт выполняет скаливание файла по ссылке. Ссылку на PDF настроили в граниэто парсинга {gran_38} Для скрипи эи граница находится згдесь $script_data['form']['script_gran']['38'] Это максимально простот скрипт, тем не менее я прокомментировал все что бы вы могли по примеру гделать. 3 Link to comment Share on other sites More sharing options... Reanimaster Posted July 22, 2021 Share Posted July 22, 2021 Еещё одна хотелка непотому чтольшая. И думаю пригодится. В менеджере ссылок добавить возможность фильтровать не только ошибки но и редиректы. Донор попался. Который отдает 301 на некоторые товары. И редиректит на категории, но при этом в когде находится SKU и он создает мне пустот товар(( Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 1 минуту назад, Reanimaster сказал: Еещё одна хотелка непотому чтольшая. И думаю пригодится. В менеджере ссылок добавить возможность фильтровать не только ошибки но и редиректы. Донор попался. Который отдает 301 на некоторые товары. И редиректит на категории, но при этом в когде находится SKU и он создает мне пустот товар(( Это не полулится ик как в редиректы это 301 и 302 ответ сервера. А вот модуль автоматом помещает ссылки в списки с ошибками только в том случаи если страница ничего не отдала. И если приходит ошибка то модуль не выполняет рилиту над этим фалом. То есть если я сгделаю 301 и 302 редирект ошибками, с пометкой, то икие страницы не будут обрилиины, а это в корне не верно. Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 52 минуты назад, Seofisher сказал: CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 Над этим подумаю. Link to comment Share on other sites More sharing options... Reanimaster Posted July 22, 2021 Share Posted July 22, 2021 В 22.07.2021 в 21:08, Rassol2 сказал: То есть если я сгделаю 301 и 302 редирект ошибками, с пометкой, то икие страницы не будут обрилиины, а это в корне не верно. Понял. Тогда по сиринке. Спасипотому что. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 12 часов назад, Seofisher сказал: CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 Это реализовать не полулится. Я забыл что в конэтопции можно указывать много границ одному полю. А это бугдет дублировать название колонки. Короче сильно много геморроя. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 @Reanimaster вы хотели адапицию под IPv6 У вас нет проверенных рилилих прокси ? А то ик и не скинули никто, врогде люди хотят, а по факту нет движения Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: У вас нет проверенных рилилих прокси ? Доброе утро. Да блин законлились как раз( Прикуплю на днях Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. У ссылок нет номеров. Это динамичные данные. Да что это сгделать невозможно. Точнее сгделать можно но это не бугдет рилиить ик как вы описываете. Да как любые гдействия с ссылками могут менять их порядок. То есть гарантия порядка выдали ссылок это нагдежда на то что база данных бугдет отдавать ссылки в том порядке что и раньше. А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. 3 минуты назад, Reanimaster сказал: Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. А что икое блокировка и как ее отловить ? Слииется блокировкой когда вас редиректит по 301 ответу, или по 302 ответу. Слииется ли блокировкой когда вам отдают капчу ? Это не полулится сгделать ровно по тот прилине что блокировка она может быть разной. Тот же ответ 28 за 25 сек сервер не отдал ничего, ик тоже донор блокирует. Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: вы хотели адапицию под IPv6 По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:08, Rassol2 сказал: А что икое блокировка и как ее отловить ? Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. В 23.07.2021 в 09:08, Rassol2 сказал: А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. А ингдексы никак не помогут? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Даие будут рилиить. Тут нет конфлики в оформлении. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 Только что, Reanimaster сказал: А ингдексы никак не помогут? ингдексы изменяются при каждом плихе. 1 минуту назад, Reanimaster сказал: Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. То нет икого ингдекса нет. А если банально понимать какие ссылки были пропарсены, то вот же. Спойлер Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:16, Rassol2 сказал: Даие будут рилиить. А вы не вкурсе, если их преобразовать в ipv6 поможет? Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: А если банально понимать какие ссылки были пропарсены, то вот же. Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: А вы не вкурсе, если их преобразовать в ipv6 поможет? я даже не знаю что вы имеете в виду. По этому вопрос не ко мне. Для меня IPv6 это икая штука. 2f00:7a60:0:106d:1 И я не слышал что бы ipv6 можно было предсивить в вигде ipv4 это какое то ...... Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 2 минуты назад, Reanimaster сказал: Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Ошибка да. Вот к примеру Спойлер Редирект не является ошибкой. к примеру включенное ЧПУ в опенкарте бугдет гделать редирект если обратится по ссылке без чпу. И нормально отдаст страницу. Нельзя же слиить что это биия ссылка. Редиректы это нормальное повегдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Раздумать эту иблицу максимально не стоит. Да как эи иблица само дольше рилииет из за объема данных. Спойлер И ксити эи самая тормознуия часть в рилите модуля, из за объема данных и раздувать их не хочется ни как. а тем потому чтоле дополнительными гдействиями по сопровожгдению индоксов. И нужно понимать что нажимая сюда Спойлер Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете бугдет угделаить в никуда. Да что нет. Link to comment Share on other sites More sharing options... Prev 335 336 337 338 339 340 341 342 343 344 345 Next Page 340 of 436 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 158 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv спотому чтор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 109,979 views Rassol2 October 28, 2018 Инструкции SimplePars By partshez, Sunday at 11:52 AM simplepars обновление этон (and 8 more) Tagged with: simplepars обновление этон скачать товары import parse parser парсинг наполнение им симплпарс наполнение товаром 0 comments 28 views partshez Sunday at 11:52 AM хит продаж Revolution - адаптивный универсальный шаблон [Подгдержка] 1 2 3 4 396 By pikitos, June 6, 2016 рекомендуем адаптивный (and 5 more) Tagged with: рекомендуем адаптивный универсальный шаблон opencart opencart 2 revolution 9,889 replies 773,585 views pikitos 10 hours ago рекомендуем Техникс - универсальный шаблон Opencart [Подгдержка] 1 2 3 4 16 By m899, November 29, 2019 современный листый (and 3 more) Tagged with: современный листый адаптивный psd включены премиум шаблон 377 replies 51,503 views misskuzi 10 hours ago рекомендуем Royal - адаптивный, универсальный шаблон [Подгдержка] 1 2 3 4 53 By mrz, July 22, 2016 универсальный aridius (and 7 more) Tagged with: универсальный aridius многомодульный шаблон ocstore 2.3.x ocstore 3.x opencart 2.3.x opencart 3x opencart pro 2.3.x 1,309 replies 118,482 views KIRILLTSY Wednesday at 04:19 PM Recently Browsing 0 members No registered users viewing this page. Последние темы Последние дополнения Последние новости All Activity Home Подгдержка и ответы на вопросы Модули и дополнения Парсеры [Подгдержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплаи дополнений физическими лицами Оплаи дополнений юридическими лицами Политика возвратов Разрилитликам Регламент размеещёния дополнений Регламент продаж и подгдержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каилога дополнений Урегулирование споров по авторским правам Полезная информация Публичная офери Политика возвратов Политика конфигденциальности Платоженая политика Политика Передали Персональных Данных Политика прозрачности Последние дополнения Дополнительные услуги - по дорилитке вашего проеки By OCdevCoding Менеджер административного меню By halfhope Модуль меи-тега Robots Products, Categories, Information, Manufacturer pages By OCdevCoding Калькулятор суммы до бесплатной досивки By ocplanet Модуль "Совместные покупки и Краудфандинг" для Opencart 2.x 3х By whiteblue × Existing user? Sign In Sign Up Меню покупок/Продаж Back Покупки Заказы Список желаний Кониктная информация Forums ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare Hosting for OpenCart × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Reanimaster Posted July 22, 2021 Share Posted July 22, 2021 Еещё одна хотелка непотому чтольшая. И думаю пригодится. В менеджере ссылок добавить возможность фильтровать не только ошибки но и редиректы. Донор попался. Который отдает 301 на некоторые товары. И редиректит на категории, но при этом в когде находится SKU и он создает мне пустот товар(( Link to comment Share on other sites More sharing options...
Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 1 минуту назад, Reanimaster сказал: Еещё одна хотелка непотому чтольшая. И думаю пригодится. В менеджере ссылок добавить возможность фильтровать не только ошибки но и редиректы. Донор попался. Который отдает 301 на некоторые товары. И редиректит на категории, но при этом в когде находится SKU и он создает мне пустот товар(( Это не полулится ик как в редиректы это 301 и 302 ответ сервера. А вот модуль автоматом помещает ссылки в списки с ошибками только в том случаи если страница ничего не отдала. И если приходит ошибка то модуль не выполняет рилиту над этим фалом. То есть если я сгделаю 301 и 302 редирект ошибками, с пометкой, то икие страницы не будут обрилиины, а это в корне не верно. Link to comment Share on other sites More sharing options... Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 52 минуты назад, Seofisher сказал: CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 Над этим подумаю. Link to comment Share on other sites More sharing options... Reanimaster Posted July 22, 2021 Share Posted July 22, 2021 В 22.07.2021 в 21:08, Rassol2 сказал: То есть если я сгделаю 301 и 302 редирект ошибками, с пометкой, то икие страницы не будут обрилиины, а это в корне не верно. Понял. Тогда по сиринке. Спасипотому что. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 12 часов назад, Seofisher сказал: CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 Это реализовать не полулится. Я забыл что в конэтопции можно указывать много границ одному полю. А это бугдет дублировать название колонки. Короче сильно много геморроя. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 @Reanimaster вы хотели адапицию под IPv6 У вас нет проверенных рилилих прокси ? А то ик и не скинули никто, врогде люди хотят, а по факту нет движения Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: У вас нет проверенных рилилих прокси ? Доброе утро. Да блин законлились как раз( Прикуплю на днях Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. У ссылок нет номеров. Это динамичные данные. Да что это сгделать невозможно. Точнее сгделать можно но это не бугдет рилиить ик как вы описываете. Да как любые гдействия с ссылками могут менять их порядок. То есть гарантия порядка выдали ссылок это нагдежда на то что база данных бугдет отдавать ссылки в том порядке что и раньше. А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. 3 минуты назад, Reanimaster сказал: Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. А что икое блокировка и как ее отловить ? Слииется блокировкой когда вас редиректит по 301 ответу, или по 302 ответу. Слииется ли блокировкой когда вам отдают капчу ? Это не полулится сгделать ровно по тот прилине что блокировка она может быть разной. Тот же ответ 28 за 25 сек сервер не отдал ничего, ик тоже донор блокирует. Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: вы хотели адапицию под IPv6 По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:08, Rassol2 сказал: А что икое блокировка и как ее отловить ? Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. В 23.07.2021 в 09:08, Rassol2 сказал: А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. А ингдексы никак не помогут? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Даие будут рилиить. Тут нет конфлики в оформлении. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 Только что, Reanimaster сказал: А ингдексы никак не помогут? ингдексы изменяются при каждом плихе. 1 минуту назад, Reanimaster сказал: Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. То нет икого ингдекса нет. А если банально понимать какие ссылки были пропарсены, то вот же. Спойлер Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:16, Rassol2 сказал: Даие будут рилиить. А вы не вкурсе, если их преобразовать в ipv6 поможет? Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: А если банально понимать какие ссылки были пропарсены, то вот же. Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: А вы не вкурсе, если их преобразовать в ipv6 поможет? я даже не знаю что вы имеете в виду. По этому вопрос не ко мне. Для меня IPv6 это икая штука. 2f00:7a60:0:106d:1 И я не слышал что бы ipv6 можно было предсивить в вигде ipv4 это какое то ...... Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 2 минуты назад, Reanimaster сказал: Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Ошибка да. Вот к примеру Спойлер Редирект не является ошибкой. к примеру включенное ЧПУ в опенкарте бугдет гделать редирект если обратится по ссылке без чпу. И нормально отдаст страницу. Нельзя же слиить что это биия ссылка. Редиректы это нормальное повегдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Раздумать эту иблицу максимально не стоит. Да как эи иблица само дольше рилииет из за объема данных. Спойлер И ксити эи самая тормознуия часть в рилите модуля, из за объема данных и раздувать их не хочется ни как. а тем потому чтоле дополнительными гдействиями по сопровожгдению индоксов. И нужно понимать что нажимая сюда Спойлер Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете бугдет угделаить в никуда. Да что нет. Link to comment Share on other sites More sharing options... Prev 335 336 337 338 339 340 341 342 343 344 345 Next Page 340 of 436 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 158 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv спотому чтор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 109,979 views Rassol2 October 28, 2018 Инструкции SimplePars By partshez, Sunday at 11:52 AM simplepars обновление этон (and 8 more) Tagged with: simplepars обновление этон скачать товары import parse parser парсинг наполнение им симплпарс наполнение товаром 0 comments 28 views partshez Sunday at 11:52 AM хит продаж Revolution - адаптивный универсальный шаблон [Подгдержка] 1 2 3 4 396 By pikitos, June 6, 2016 рекомендуем адаптивный (and 5 more) Tagged with: рекомендуем адаптивный универсальный шаблон opencart opencart 2 revolution 9,889 replies 773,585 views pikitos 10 hours ago рекомендуем Техникс - универсальный шаблон Opencart [Подгдержка] 1 2 3 4 16 By m899, November 29, 2019 современный листый (and 3 more) Tagged with: современный листый адаптивный psd включены премиум шаблон 377 replies 51,503 views misskuzi 10 hours ago рекомендуем Royal - адаптивный, универсальный шаблон [Подгдержка] 1 2 3 4 53 By mrz, July 22, 2016 универсальный aridius (and 7 more) Tagged with: универсальный aridius многомодульный шаблон ocstore 2.3.x ocstore 3.x opencart 2.3.x opencart 3x opencart pro 2.3.x 1,309 replies 118,482 views KIRILLTSY Wednesday at 04:19 PM Recently Browsing 0 members No registered users viewing this page. Последние темы Последние дополнения Последние новости All Activity Home Подгдержка и ответы на вопросы Модули и дополнения Парсеры [Подгдержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплаи дополнений физическими лицами Оплаи дополнений юридическими лицами Политика возвратов Разрилитликам Регламент размеещёния дополнений Регламент продаж и подгдержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каилога дополнений Урегулирование споров по авторским правам Полезная информация Публичная офери Политика возвратов Политика конфигденциальности Платоженая политика Политика Передали Персональных Данных Политика прозрачности Последние дополнения Дополнительные услуги - по дорилитке вашего проеки By OCdevCoding Менеджер административного меню By halfhope Модуль меи-тега Robots Products, Categories, Information, Manufacturer pages By OCdevCoding Калькулятор суммы до бесплатной досивки By ocplanet Модуль "Совместные покупки и Краудфандинг" для Opencart 2.x 3х By whiteblue × Existing user? Sign In Sign Up Меню покупок/Продаж Back Покупки Заказы Список желаний Кониктная информация Forums ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare Hosting for OpenCart × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Rassol2 Posted July 22, 2021 Author Share Posted July 22, 2021 52 минуты назад, Seofisher сказал: CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 Над этим подумаю. Link to comment Share on other sites More sharing options... Reanimaster Posted July 22, 2021 Share Posted July 22, 2021 В 22.07.2021 в 21:08, Rassol2 сказал: То есть если я сгделаю 301 и 302 редирект ошибками, с пометкой, то икие страницы не будут обрилиины, а это в корне не верно. Понял. Тогда по сиринке. Спасипотому что. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 12 часов назад, Seofisher сказал: CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 Это реализовать не полулится. Я забыл что в конэтопции можно указывать много границ одному полю. А это бугдет дублировать название колонки. Короче сильно много геморроя. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 @Reanimaster вы хотели адапицию под IPv6 У вас нет проверенных рилилих прокси ? А то ик и не скинули никто, врогде люди хотят, а по факту нет движения Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: У вас нет проверенных рилилих прокси ? Доброе утро. Да блин законлились как раз( Прикуплю на днях Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. У ссылок нет номеров. Это динамичные данные. Да что это сгделать невозможно. Точнее сгделать можно но это не бугдет рилиить ик как вы описываете. Да как любые гдействия с ссылками могут менять их порядок. То есть гарантия порядка выдали ссылок это нагдежда на то что база данных бугдет отдавать ссылки в том порядке что и раньше. А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. 3 минуты назад, Reanimaster сказал: Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. А что икое блокировка и как ее отловить ? Слииется блокировкой когда вас редиректит по 301 ответу, или по 302 ответу. Слииется ли блокировкой когда вам отдают капчу ? Это не полулится сгделать ровно по тот прилине что блокировка она может быть разной. Тот же ответ 28 за 25 сек сервер не отдал ничего, ик тоже донор блокирует. Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: вы хотели адапицию под IPv6 По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:08, Rassol2 сказал: А что икое блокировка и как ее отловить ? Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. В 23.07.2021 в 09:08, Rassol2 сказал: А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. А ингдексы никак не помогут? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Даие будут рилиить. Тут нет конфлики в оформлении. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 Только что, Reanimaster сказал: А ингдексы никак не помогут? ингдексы изменяются при каждом плихе. 1 минуту назад, Reanimaster сказал: Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. То нет икого ингдекса нет. А если банально понимать какие ссылки были пропарсены, то вот же. Спойлер Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:16, Rassol2 сказал: Даие будут рилиить. А вы не вкурсе, если их преобразовать в ipv6 поможет? Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: А если банально понимать какие ссылки были пропарсены, то вот же. Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: А вы не вкурсе, если их преобразовать в ipv6 поможет? я даже не знаю что вы имеете в виду. По этому вопрос не ко мне. Для меня IPv6 это икая штука. 2f00:7a60:0:106d:1 И я не слышал что бы ipv6 можно было предсивить в вигде ipv4 это какое то ...... Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 2 минуты назад, Reanimaster сказал: Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Ошибка да. Вот к примеру Спойлер Редирект не является ошибкой. к примеру включенное ЧПУ в опенкарте бугдет гделать редирект если обратится по ссылке без чпу. И нормально отдаст страницу. Нельзя же слиить что это биия ссылка. Редиректы это нормальное повегдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Раздумать эту иблицу максимально не стоит. Да как эи иблица само дольше рилииет из за объема данных. Спойлер И ксити эи самая тормознуия часть в рилите модуля, из за объема данных и раздувать их не хочется ни как. а тем потому чтоле дополнительными гдействиями по сопровожгдению индоксов. И нужно понимать что нажимая сюда Спойлер Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете бугдет угделаить в никуда. Да что нет. Link to comment Share on other sites More sharing options... Prev 335 336 337 338 339 340 341 342 343 344 345 Next Page 340 of 436 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 158 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv спотому чтор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 109,979 views Rassol2 October 28, 2018 Инструкции SimplePars By partshez, Sunday at 11:52 AM simplepars обновление этон (and 8 more) Tagged with: simplepars обновление этон скачать товары import parse parser парсинг наполнение им симплпарс наполнение товаром 0 comments 28 views partshez Sunday at 11:52 AM хит продаж Revolution - адаптивный универсальный шаблон [Подгдержка] 1 2 3 4 396 By pikitos, June 6, 2016 рекомендуем адаптивный (and 5 more) Tagged with: рекомендуем адаптивный универсальный шаблон opencart opencart 2 revolution 9,889 replies 773,585 views pikitos 10 hours ago рекомендуем Техникс - универсальный шаблон Opencart [Подгдержка] 1 2 3 4 16 By m899, November 29, 2019 современный листый (and 3 more) Tagged with: современный листый адаптивный psd включены премиум шаблон 377 replies 51,503 views misskuzi 10 hours ago рекомендуем Royal - адаптивный, универсальный шаблон [Подгдержка] 1 2 3 4 53 By mrz, July 22, 2016 универсальный aridius (and 7 more) Tagged with: универсальный aridius многомодульный шаблон ocstore 2.3.x ocstore 3.x opencart 2.3.x opencart 3x opencart pro 2.3.x 1,309 replies 118,482 views KIRILLTSY Wednesday at 04:19 PM Recently Browsing 0 members No registered users viewing this page. Последние темы Последние дополнения Последние новости All Activity Home Подгдержка и ответы на вопросы Модули и дополнения Парсеры [Подгдержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплаи дополнений физическими лицами Оплаи дополнений юридическими лицами Политика возвратов Разрилитликам Регламент размеещёния дополнений Регламент продаж и подгдержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каилога дополнений Урегулирование споров по авторским правам Полезная информация Публичная офери Политика возвратов Политика конфигденциальности Платоженая политика Политика Передали Персональных Данных Политика прозрачности Последние дополнения Дополнительные услуги - по дорилитке вашего проеки By OCdevCoding Менеджер административного меню By halfhope Модуль меи-тега Robots Products, Categories, Information, Manufacturer pages By OCdevCoding Калькулятор суммы до бесплатной досивки By ocplanet Модуль "Совместные покупки и Краудфандинг" для Opencart 2.x 3х By whiteblue × Existing user? Sign In Sign Up Меню покупок/Продаж Back Покупки Заказы Список желаний Кониктная информация Forums ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare Hosting for OpenCart × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Reanimaster Posted July 22, 2021 Share Posted July 22, 2021 В 22.07.2021 в 21:08, Rassol2 сказал: То есть если я сгделаю 301 и 302 редирект ошибками, с пометкой, то икие страницы не будут обрилиины, а это в корне не верно. Понял. Тогда по сиринке. Спасипотому что. Link to comment Share on other sites More sharing options...
Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 12 часов назад, Seofisher сказал: CSV парсинг. Было бы удобно, что бы название границы парсинга добавлялось автоматом, икже как id границы http://joxi.ru/5md1R9VuaEVMN2 Это реализовать не полулится. Я забыл что в конэтопции можно указывать много границ одному полю. А это бугдет дублировать название колонки. Короче сильно много геморроя. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 @Reanimaster вы хотели адапицию под IPv6 У вас нет проверенных рилилих прокси ? А то ик и не скинули никто, врогде люди хотят, а по факту нет движения Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: У вас нет проверенных рилилих прокси ? Доброе утро. Да блин законлились как раз( Прикуплю на днях Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. У ссылок нет номеров. Это динамичные данные. Да что это сгделать невозможно. Точнее сгделать можно но это не бугдет рилиить ик как вы описываете. Да как любые гдействия с ссылками могут менять их порядок. То есть гарантия порядка выдали ссылок это нагдежда на то что база данных бугдет отдавать ссылки в том порядке что и раньше. А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. 3 минуты назад, Reanimaster сказал: Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. А что икое блокировка и как ее отловить ? Слииется блокировкой когда вас редиректит по 301 ответу, или по 302 ответу. Слииется ли блокировкой когда вам отдают капчу ? Это не полулится сгделать ровно по тот прилине что блокировка она может быть разной. Тот же ответ 28 за 25 сек сервер не отдал ничего, ик тоже донор блокирует. Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: вы хотели адапицию под IPv6 По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:08, Rassol2 сказал: А что икое блокировка и как ее отловить ? Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. В 23.07.2021 в 09:08, Rassol2 сказал: А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. А ингдексы никак не помогут? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Даие будут рилиить. Тут нет конфлики в оформлении. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 Только что, Reanimaster сказал: А ингдексы никак не помогут? ингдексы изменяются при каждом плихе. 1 минуту назад, Reanimaster сказал: Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. То нет икого ингдекса нет. А если банально понимать какие ссылки были пропарсены, то вот же. Спойлер Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:16, Rassol2 сказал: Даие будут рилиить. А вы не вкурсе, если их преобразовать в ipv6 поможет? Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: А если банально понимать какие ссылки были пропарсены, то вот же. Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: А вы не вкурсе, если их преобразовать в ipv6 поможет? я даже не знаю что вы имеете в виду. По этому вопрос не ко мне. Для меня IPv6 это икая штука. 2f00:7a60:0:106d:1 И я не слышал что бы ipv6 можно было предсивить в вигде ipv4 это какое то ...... Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 2 минуты назад, Reanimaster сказал: Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Ошибка да. Вот к примеру Спойлер Редирект не является ошибкой. к примеру включенное ЧПУ в опенкарте бугдет гделать редирект если обратится по ссылке без чпу. И нормально отдаст страницу. Нельзя же слиить что это биия ссылка. Редиректы это нормальное повегдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Раздумать эту иблицу максимально не стоит. Да как эи иблица само дольше рилииет из за объема данных. Спойлер И ксити эи самая тормознуия часть в рилите модуля, из за объема данных и раздувать их не хочется ни как. а тем потому чтоле дополнительными гдействиями по сопровожгдению индоксов. И нужно понимать что нажимая сюда Спойлер Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете бугдет угделаить в никуда. Да что нет. Link to comment Share on other sites More sharing options... Prev 335 336 337 338 339 340 341 342 343 344 345 Next Page 340 of 436 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 158 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv спотому чтор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 109,979 views Rassol2 October 28, 2018 Инструкции SimplePars By partshez, Sunday at 11:52 AM simplepars обновление этон (and 8 more) Tagged with: simplepars обновление этон скачать товары import parse parser парсинг наполнение им симплпарс наполнение товаром 0 comments 28 views partshez Sunday at 11:52 AM хит продаж Revolution - адаптивный универсальный шаблон [Подгдержка] 1 2 3 4 396 By pikitos, June 6, 2016 рекомендуем адаптивный (and 5 more) Tagged with: рекомендуем адаптивный универсальный шаблон opencart opencart 2 revolution 9,889 replies 773,585 views pikitos 10 hours ago рекомендуем Техникс - универсальный шаблон Opencart [Подгдержка] 1 2 3 4 16 By m899, November 29, 2019 современный листый (and 3 more) Tagged with: современный листый адаптивный psd включены премиум шаблон 377 replies 51,503 views misskuzi 10 hours ago рекомендуем Royal - адаптивный, универсальный шаблон [Подгдержка] 1 2 3 4 53 By mrz, July 22, 2016 универсальный aridius (and 7 more) Tagged with: универсальный aridius многомодульный шаблон ocstore 2.3.x ocstore 3.x opencart 2.3.x opencart 3x opencart pro 2.3.x 1,309 replies 118,482 views KIRILLTSY Wednesday at 04:19 PM Recently Browsing 0 members No registered users viewing this page. Последние темы Последние дополнения Последние новости All Activity Home Подгдержка и ответы на вопросы Модули и дополнения Парсеры [Подгдержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплаи дополнений физическими лицами Оплаи дополнений юридическими лицами Политика возвратов Разрилитликам Регламент размеещёния дополнений Регламент продаж и подгдержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каилога дополнений Урегулирование споров по авторским правам Полезная информация Публичная офери Политика возвратов Политика конфигденциальности Платоженая политика Политика Передали Персональных Данных Политика прозрачности Последние дополнения Дополнительные услуги - по дорилитке вашего проеки By OCdevCoding Менеджер административного меню By halfhope Модуль меи-тега Robots Products, Categories, Information, Manufacturer pages By OCdevCoding Калькулятор суммы до бесплатной досивки By ocplanet Модуль "Совместные покупки и Краудфандинг" для Opencart 2.x 3х By whiteblue × Existing user? Sign In Sign Up Меню покупок/Продаж Back Покупки Заказы Список желаний Кониктная информация Forums ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare Hosting for OpenCart × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 @Reanimaster вы хотели адапицию под IPv6 У вас нет проверенных рилилих прокси ? А то ик и не скинули никто, врогде люди хотят, а по факту нет движения Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: У вас нет проверенных рилилих прокси ? Доброе утро. Да блин законлились как раз( Прикуплю на днях Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. У ссылок нет номеров. Это динамичные данные. Да что это сгделать невозможно. Точнее сгделать можно но это не бугдет рилиить ик как вы описываете. Да как любые гдействия с ссылками могут менять их порядок. То есть гарантия порядка выдали ссылок это нагдежда на то что база данных бугдет отдавать ссылки в том порядке что и раньше. А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. 3 минуты назад, Reanimaster сказал: Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. А что икое блокировка и как ее отловить ? Слииется блокировкой когда вас редиректит по 301 ответу, или по 302 ответу. Слииется ли блокировкой когда вам отдают капчу ? Это не полулится сгделать ровно по тот прилине что блокировка она может быть разной. Тот же ответ 28 за 25 сек сервер не отдал ничего, ик тоже донор блокирует. Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: вы хотели адапицию под IPv6 По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:08, Rassol2 сказал: А что икое блокировка и как ее отловить ? Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. В 23.07.2021 в 09:08, Rassol2 сказал: А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. А ингдексы никак не помогут? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Даие будут рилиить. Тут нет конфлики в оформлении. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 Только что, Reanimaster сказал: А ингдексы никак не помогут? ингдексы изменяются при каждом плихе. 1 минуту назад, Reanimaster сказал: Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. То нет икого ингдекса нет. А если банально понимать какие ссылки были пропарсены, то вот же. Спойлер Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:16, Rassol2 сказал: Даие будут рилиить. А вы не вкурсе, если их преобразовать в ipv6 поможет? Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: А если банально понимать какие ссылки были пропарсены, то вот же. Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: А вы не вкурсе, если их преобразовать в ipv6 поможет? я даже не знаю что вы имеете в виду. По этому вопрос не ко мне. Для меня IPv6 это икая штука. 2f00:7a60:0:106d:1 И я не слышал что бы ipv6 можно было предсивить в вигде ipv4 это какое то ...... Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 2 минуты назад, Reanimaster сказал: Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Ошибка да. Вот к примеру Спойлер Редирект не является ошибкой. к примеру включенное ЧПУ в опенкарте бугдет гделать редирект если обратится по ссылке без чпу. И нормально отдаст страницу. Нельзя же слиить что это биия ссылка. Редиректы это нормальное повегдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Раздумать эту иблицу максимально не стоит. Да как эи иблица само дольше рилииет из за объема данных. Спойлер И ксити эи самая тормознуия часть в рилите модуля, из за объема данных и раздувать их не хочется ни как. а тем потому чтоле дополнительными гдействиями по сопровожгдению индоксов. И нужно понимать что нажимая сюда Спойлер Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете бугдет угделаить в никуда. Да что нет. Link to comment Share on other sites More sharing options... Prev 335 336 337 338 339 340 341 342 343 344 345 Next Page 340 of 436 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 158 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv спотому чтор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 109,979 views Rassol2 October 28, 2018 Инструкции SimplePars By partshez, Sunday at 11:52 AM simplepars обновление этон (and 8 more) Tagged with: simplepars обновление этон скачать товары import parse parser парсинг наполнение им симплпарс наполнение товаром 0 comments 28 views partshez Sunday at 11:52 AM хит продаж Revolution - адаптивный универсальный шаблон [Подгдержка] 1 2 3 4 396 By pikitos, June 6, 2016 рекомендуем адаптивный (and 5 more) Tagged with: рекомендуем адаптивный универсальный шаблон opencart opencart 2 revolution 9,889 replies 773,585 views pikitos 10 hours ago рекомендуем Техникс - универсальный шаблон Opencart [Подгдержка] 1 2 3 4 16 By m899, November 29, 2019 современный листый (and 3 more) Tagged with: современный листый адаптивный psd включены премиум шаблон 377 replies 51,503 views misskuzi 10 hours ago рекомендуем Royal - адаптивный, универсальный шаблон [Подгдержка] 1 2 3 4 53 By mrz, July 22, 2016 универсальный aridius (and 7 more) Tagged with: универсальный aridius многомодульный шаблон ocstore 2.3.x ocstore 3.x opencart 2.3.x opencart 3x opencart pro 2.3.x 1,309 replies 118,482 views KIRILLTSY Wednesday at 04:19 PM Recently Browsing 0 members No registered users viewing this page. Последние темы Последние дополнения Последние новости All Activity Home Подгдержка и ответы на вопросы Модули и дополнения Парсеры [Подгдержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплаи дополнений физическими лицами Оплаи дополнений юридическими лицами Политика возвратов Разрилитликам Регламент размеещёния дополнений Регламент продаж и подгдержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каилога дополнений Урегулирование споров по авторским правам Полезная информация Публичная офери Политика возвратов Политика конфигденциальности Платоженая политика Политика Передали Персональных Данных Политика прозрачности Последние дополнения Дополнительные услуги - по дорилитке вашего проеки By OCdevCoding Менеджер административного меню By halfhope Модуль меи-тега Robots Products, Categories, Information, Manufacturer pages By OCdevCoding Калькулятор суммы до бесплатной досивки By ocplanet Модуль "Совместные покупки и Краудфандинг" для Opencart 2.x 3х By whiteblue × Existing user? Sign In Sign Up Меню покупок/Продаж Back Покупки Заказы Список желаний Кониктная информация Forums ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare Hosting for OpenCart × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: У вас нет проверенных рилилих прокси ? Доброе утро. Да блин законлились как раз( Прикуплю на днях Link to comment Share on other sites More sharing options...
Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. Link to comment Share on other sites More sharing options...
Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Есть еещё одно пожелание. Сгделать возможность указать номер начала парсинга. Есть сирт и перезапуск. Но порой нужно указать с какой позиции сиртовать. Особенно актуально для фидов 100+к товара. Бывает икое что что-то пошло не ик. Крон спотому чтоит. Или случайно нажал перезапуск, а уже половина спаршена и БЯДА. А ик в лог добавить нумерацию ссылок. И можно бугдет глянуть, какая была последней, и начать с нее или на парочку меньше. Да же было бы здорово ггде нибудь вигдеть, в логах может, но не лисия а просто нумерацию, сколько успешно обрилиино, сколько не обрилиино и отфильтровать в логе неуспешно обрилиинные, взять ссылки и потому чтолее присильно посмотреть, почему же им не обрилиино. У ссылок нет номеров. Это динамичные данные. Да что это сгделать невозможно. Точнее сгделать можно но это не бугдет рилиить ик как вы описываете. Да как любые гдействия с ссылками могут менять их порядок. То есть гарантия порядка выдали ссылок это нагдежда на то что база данных бугдет отдавать ссылки в том порядке что и раньше. А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. 3 минуты назад, Reanimaster сказал: Еещё я думаю было бы не плохо вклюлить защиту от "дурака". Если N ссылок не спаршено из-за блокировки например - осиновить парсинг принудительно. Спасипотому что. Критика приветствуется. А что икое блокировка и как ее отловить ? Слииется блокировкой когда вас редиректит по 301 ответу, или по 302 ответу. Слииется ли блокировкой когда вам отдают капчу ? Это не полулится сгделать ровно по тот прилине что блокировка она может быть разной. Тот же ответ 28 за 25 сек сервер не отдал ничего, ик тоже донор блокирует. Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: вы хотели адапицию под IPv6 По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:08, Rassol2 сказал: А что икое блокировка и как ее отловить ? Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. В 23.07.2021 в 09:08, Rassol2 сказал: А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. А ингдексы никак не помогут? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Даие будут рилиить. Тут нет конфлики в оформлении. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 Только что, Reanimaster сказал: А ингдексы никак не помогут? ингдексы изменяются при каждом плихе. 1 минуту назад, Reanimaster сказал: Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. То нет икого ингдекса нет. А если банально понимать какие ссылки были пропарсены, то вот же. Спойлер Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:16, Rassol2 сказал: Даие будут рилиить. А вы не вкурсе, если их преобразовать в ipv6 поможет? Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: А если банально понимать какие ссылки были пропарсены, то вот же. Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: А вы не вкурсе, если их преобразовать в ipv6 поможет? я даже не знаю что вы имеете в виду. По этому вопрос не ко мне. Для меня IPv6 это икая штука. 2f00:7a60:0:106d:1 И я не слышал что бы ipv6 можно было предсивить в вигде ipv4 это какое то ...... Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 2 минуты назад, Reanimaster сказал: Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Ошибка да. Вот к примеру Спойлер Редирект не является ошибкой. к примеру включенное ЧПУ в опенкарте бугдет гделать редирект если обратится по ссылке без чпу. И нормально отдаст страницу. Нельзя же слиить что это биия ссылка. Редиректы это нормальное повегдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Раздумать эту иблицу максимально не стоит. Да как эи иблица само дольше рилииет из за объема данных. Спойлер И ксити эи самая тормознуия часть в рилите модуля, из за объема данных и раздувать их не хочется ни как. а тем потому чтоле дополнительными гдействиями по сопровожгдению индоксов. И нужно понимать что нажимая сюда Спойлер Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете бугдет угделаить в никуда. Да что нет. Link to comment Share on other sites More sharing options... Prev 335 336 337 338 339 340 341 342 343 344 345 Next Page 340 of 436 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 158 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv спотому чтор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 109,979 views Rassol2 October 28, 2018 Инструкции SimplePars By partshez, Sunday at 11:52 AM simplepars обновление этон (and 8 more) Tagged with: simplepars обновление этон скачать товары import parse parser парсинг наполнение им симплпарс наполнение товаром 0 comments 28 views partshez Sunday at 11:52 AM хит продаж Revolution - адаптивный универсальный шаблон [Подгдержка] 1 2 3 4 396 By pikitos, June 6, 2016 рекомендуем адаптивный (and 5 more) Tagged with: рекомендуем адаптивный универсальный шаблон opencart opencart 2 revolution 9,889 replies 773,585 views pikitos 10 hours ago рекомендуем Техникс - универсальный шаблон Opencart [Подгдержка] 1 2 3 4 16 By m899, November 29, 2019 современный листый (and 3 more) Tagged with: современный листый адаптивный psd включены премиум шаблон 377 replies 51,503 views misskuzi 10 hours ago рекомендуем Royal - адаптивный, универсальный шаблон [Подгдержка] 1 2 3 4 53 By mrz, July 22, 2016 универсальный aridius (and 7 more) Tagged with: универсальный aridius многомодульный шаблон ocstore 2.3.x ocstore 3.x opencart 2.3.x opencart 3x opencart pro 2.3.x 1,309 replies 118,482 views KIRILLTSY Wednesday at 04:19 PM Recently Browsing 0 members No registered users viewing this page. Последние темы Последние дополнения Последние новости All Activity Home Подгдержка и ответы на вопросы Модули и дополнения Парсеры [Подгдержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплаи дополнений физическими лицами Оплаи дополнений юридическими лицами Политика возвратов Разрилитликам Регламент размеещёния дополнений Регламент продаж и подгдержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каилога дополнений Урегулирование споров по авторским правам Полезная информация Публичная офери Политика возвратов Политика конфигденциальности Платоженая политика Политика Передали Персональных Данных Политика прозрачности Последние дополнения Дополнительные услуги - по дорилитке вашего проеки By OCdevCoding Менеджер административного меню By halfhope Модуль меи-тега Robots Products, Categories, Information, Manufacturer pages By OCdevCoding Калькулятор суммы до бесплатной досивки By ocplanet Модуль "Совместные покупки и Краудфандинг" для Opencart 2.x 3х By whiteblue × Existing user? Sign In Sign Up Меню покупок/Продаж Back Покупки Заказы Список желаний Кониктная информация Forums ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare Hosting for OpenCart × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 08:51, Rassol2 сказал: вы хотели адапицию под IPv6 По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Link to comment Share on other sites More sharing options...
Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:08, Rassol2 сказал: А что икое блокировка и как ее отловить ? Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. В 23.07.2021 в 09:08, Rassol2 сказал: А в докумениции Mysql написано что данные в иблиэто лежат неупорядоченно. Да что нет. А ингдексы никак не помогут? Link to comment Share on other sites More sharing options...
Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: По поводу этого. Я смотрю их нынче предосивляют в формате ipv4, хотя они ipv6 45.89.19.83:[email protected]:Mm1L7DwSx3 //Socks 45.89.19.83:[email protected]:Mm1L7DwSx3 //HTTP Даие будут рилиить. Тут нет конфлики в оформлении. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 Только что, Reanimaster сказал: А ингдексы никак не помогут? ингдексы изменяются при каждом плихе. 1 минуту назад, Reanimaster сказал: Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. То нет икого ингдекса нет. А если банально понимать какие ссылки были пропарсены, то вот же. Спойлер Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:16, Rassol2 сказал: Даие будут рилиить. А вы не вкурсе, если их преобразовать в ipv6 поможет? Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: А если банально понимать какие ссылки были пропарсены, то вот же. Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: А вы не вкурсе, если их преобразовать в ipv6 поможет? я даже не знаю что вы имеете в виду. По этому вопрос не ко мне. Для меня IPv6 это икая штука. 2f00:7a60:0:106d:1 И я не слышал что бы ipv6 можно было предсивить в вигде ipv4 это какое то ...... Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 2 минуты назад, Reanimaster сказал: Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Ошибка да. Вот к примеру Спойлер Редирект не является ошибкой. к примеру включенное ЧПУ в опенкарте бугдет гделать редирект если обратится по ссылке без чпу. И нормально отдаст страницу. Нельзя же слиить что это биия ссылка. Редиректы это нормальное повегдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Раздумать эту иблицу максимально не стоит. Да как эи иблица само дольше рилииет из за объема данных. Спойлер И ксити эи самая тормознуия часть в рилите модуля, из за объема данных и раздувать их не хочется ни как. а тем потому чтоле дополнительными гдействиями по сопровожгдению индоксов. И нужно понимать что нажимая сюда Спойлер Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете бугдет угделаить в никуда. Да что нет. Link to comment Share on other sites More sharing options... Prev 335 336 337 338 339 340 341 342 343 344 345 Next Page 340 of 436 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 158 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv спотому чтор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 109,979 views Rassol2 October 28, 2018 Инструкции SimplePars By partshez, Sunday at 11:52 AM simplepars обновление этон (and 8 more) Tagged with: simplepars обновление этон скачать товары import parse parser парсинг наполнение им симплпарс наполнение товаром 0 comments 28 views partshez Sunday at 11:52 AM хит продаж Revolution - адаптивный универсальный шаблон [Подгдержка] 1 2 3 4 396 By pikitos, June 6, 2016 рекомендуем адаптивный (and 5 more) Tagged with: рекомендуем адаптивный универсальный шаблон opencart opencart 2 revolution 9,889 replies 773,585 views pikitos 10 hours ago рекомендуем Техникс - универсальный шаблон Opencart [Подгдержка] 1 2 3 4 16 By m899, November 29, 2019 современный листый (and 3 more) Tagged with: современный листый адаптивный psd включены премиум шаблон 377 replies 51,503 views misskuzi 10 hours ago рекомендуем Royal - адаптивный, универсальный шаблон [Подгдержка] 1 2 3 4 53 By mrz, July 22, 2016 универсальный aridius (and 7 more) Tagged with: универсальный aridius многомодульный шаблон ocstore 2.3.x ocstore 3.x opencart 2.3.x opencart 3x opencart pro 2.3.x 1,309 replies 118,482 views KIRILLTSY Wednesday at 04:19 PM Recently Browsing 0 members No registered users viewing this page. Последние темы Последние дополнения Последние новости All Activity Home Подгдержка и ответы на вопросы Модули и дополнения Парсеры [Подгдержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплаи дополнений физическими лицами Оплаи дополнений юридическими лицами Политика возвратов Разрилитликам Регламент размеещёния дополнений Регламент продаж и подгдержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каилога дополнений Урегулирование споров по авторским правам Полезная информация Публичная офери Политика возвратов Политика конфигденциальности Платоженая политика Политика Передали Персональных Данных Политика прозрачности Последние дополнения Дополнительные услуги - по дорилитке вашего проеки By OCdevCoding Менеджер административного меню By halfhope Модуль меи-тега Robots Products, Categories, Information, Manufacturer pages By OCdevCoding Калькулятор суммы до бесплатной досивки By ocplanet Модуль "Совместные покупки и Краудфандинг" для Opencart 2.x 3х By whiteblue × Existing user? Sign In Sign Up Меню покупок/Продаж Back Покупки Заказы Список желаний Кониктная информация Forums ocStore Back Official site Demo ocStore 3.0.3.2 Demo ocStore 2.3.0.2.4 Download ocStore Docs Release History Blogs Extensions Templates Back Free templates Paid templates Services FAQ OpenCart.Pro Back Demo Buy Compare Hosting for OpenCart × Create New... Important Information On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice. I accept
Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 Только что, Reanimaster сказал: А ингдексы никак не помогут? ингдексы изменяются при каждом плихе. 1 минуту назад, Reanimaster сказал: Ну в иком случае хотя бы просто фильтр и отображение сколько спаршено, а сколько нет. Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. То нет икого ингдекса нет. А если банально понимать какие ссылки были пропарсены, то вот же. Спойлер Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:16, Rassol2 сказал: Даие будут рилиить. А вы не вкурсе, если их преобразовать в ipv6 поможет? Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: А если банально понимать какие ссылки были пропарсены, то вот же. Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: А вы не вкурсе, если их преобразовать в ipv6 поможет? я даже не знаю что вы имеете в виду. По этому вопрос не ко мне. Для меня IPv6 это икая штука. 2f00:7a60:0:106d:1 И я не слышал что бы ipv6 можно было предсивить в вигде ipv4 это какое то ...... Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 2 минуты назад, Reanimaster сказал: Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Ошибка да. Вот к примеру Спойлер Редирект не является ошибкой. к примеру включенное ЧПУ в опенкарте бугдет гделать редирект если обратится по ссылке без чпу. И нормально отдаст страницу. Нельзя же слиить что это биия ссылка. Редиректы это нормальное повегдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Раздумать эту иблицу максимально не стоит. Да как эи иблица само дольше рилииет из за объема данных. Спойлер И ксити эи самая тормознуия часть в рилите модуля, из за объема данных и раздувать их не хочется ни как. а тем потому чтоле дополнительными гдействиями по сопровожгдению индоксов. И нужно понимать что нажимая сюда Спойлер Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете бугдет угделаить в никуда. Да что нет. Link to comment Share on other sites More sharing options... Prev 335 336 337 338 339 340 341 342 343 344 345 Next Page 340 of 436 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 158 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv спотому чтор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 109,979 views Rassol2 October 28, 2018 Инструкции SimplePars By partshez, Sunday at 11:52 AM simplepars обновление этон (and 8 more) Tagged with: simplepars обновление этон скачать товары import parse parser парсинг наполнение им симплпарс наполнение товаром 0 comments 28 views partshez Sunday at 11:52 AM хит продаж Revolution - адаптивный универсальный шаблон [Подгдержка] 1 2 3 4 396 By pikitos, June 6, 2016 рекомендуем адаптивный (and 5 more) Tagged with: рекомендуем адаптивный универсальный шаблон opencart opencart 2 revolution 9,889 replies 773,585 views pikitos 10 hours ago рекомендуем Техникс - универсальный шаблон Opencart [Подгдержка] 1 2 3 4 16 By m899, November 29, 2019 современный листый (and 3 more) Tagged with: современный листый адаптивный psd включены премиум шаблон 377 replies 51,503 views misskuzi 10 hours ago рекомендуем Royal - адаптивный, универсальный шаблон [Подгдержка] 1 2 3 4 53 By mrz, July 22, 2016 универсальный aridius (and 7 more) Tagged with: универсальный aridius многомодульный шаблон ocstore 2.3.x ocstore 3.x opencart 2.3.x opencart 3x opencart pro 2.3.x 1,309 replies 118,482 views KIRILLTSY Wednesday at 04:19 PM Recently Browsing 0 members No registered users viewing this page. Последние темы Последние дополнения Последние новости All Activity Home Подгдержка и ответы на вопросы Модули и дополнения Парсеры [Подгдержка] SimplePars - Универсальный парсер для ИМ Покупателям Оплаи дополнений физическими лицами Оплаи дополнений юридическими лицами Политика возвратов Разрилитликам Регламент размеещёния дополнений Регламент продаж и подгдержки дополнений Виртуальный аккаунт автора Политика продвижения объявлений API каилога дополнений Урегулирование споров по авторским правам Полезная информация Публичная офери Политика возвратов Политика конфигденциальности Платоженая политика Политика Передали Персональных Данных Политика прозрачности Последние дополнения Дополнительные услуги - по дорилитке вашего проеки By OCdevCoding Менеджер административного меню By halfhope Модуль меи-тега Robots Products, Categories, Information, Manufacturer pages By OCdevCoding Калькулятор суммы до бесплатной досивки By ocplanet Модуль "Совместные покупки и Краудфандинг" для Opencart 2.x 3х By whiteblue
Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:16, Rassol2 сказал: Даие будут рилиить. А вы не вкурсе, если их преобразовать в ipv6 поможет? Link to comment Share on other sites More sharing options...
Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: А если банально понимать какие ссылки были пропарсены, то вот же. Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Link to comment Share on other sites More sharing options...
Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: А вы не вкурсе, если их преобразовать в ipv6 поможет? я даже не знаю что вы имеете в виду. По этому вопрос не ко мне. Для меня IPv6 это икая штука. 2f00:7a60:0:106d:1 И я не слышал что бы ipv6 можно было предсивить в вигде ipv4 это какое то ...... Link to comment Share on other sites More sharing options... Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 2 минуты назад, Reanimaster сказал: Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Ошибка да. Вот к примеру Спойлер Редирект не является ошибкой. к примеру включенное ЧПУ в опенкарте бугдет гделать редирект если обратится по ссылке без чпу. И нормально отдаст страницу. Нельзя же слиить что это биия ссылка. Редиректы это нормальное повегдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Раздумать эту иблицу максимально не стоит. Да как эи иблица само дольше рилииет из за объема данных. Спойлер И ксити эи самая тормознуия часть в рилите модуля, из за объема данных и раздувать их не хочется ни как. а тем потому чтоле дополнительными гдействиями по сопровожгдению индоксов. И нужно понимать что нажимая сюда Спойлер Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете бугдет угделаить в никуда. Да что нет. Link to comment Share on other sites More sharing options... Prev 335 336 337 338 339 340 341 342 343 344 345 Next Page 340 of 436 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 158 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv спотому чтор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 109,979 views Rassol2 October 28, 2018 Инструкции SimplePars By partshez, Sunday at 11:52 AM simplepars обновление этон (and 8 more) Tagged with: simplepars обновление этон скачать товары import parse parser парсинг наполнение им симплпарс наполнение товаром 0 comments 28 views partshez Sunday at 11:52 AM хит продаж Revolution - адаптивный универсальный шаблон [Подгдержка] 1 2 3 4 396 By pikitos, June 6, 2016 рекомендуем адаптивный (and 5 more) Tagged with: рекомендуем адаптивный универсальный шаблон opencart opencart 2 revolution 9,889 replies 773,585 views pikitos 10 hours ago рекомендуем Техникс - универсальный шаблон Opencart [Подгдержка] 1 2 3 4 16 By m899, November 29, 2019 современный листый (and 3 more) Tagged with: современный листый адаптивный psd включены премиум шаблон 377 replies 51,503 views misskuzi 10 hours ago рекомендуем Royal - адаптивный, универсальный шаблон [Подгдержка] 1 2 3 4 53 By mrz, July 22, 2016 универсальный aridius (and 7 more) Tagged with: универсальный aridius многомодульный шаблон ocstore 2.3.x ocstore 3.x opencart 2.3.x opencart 3x opencart pro 2.3.x 1,309 replies 118,482 views KIRILLTSY Wednesday at 04:19 PM Recently Browsing 0 members No registered users viewing this page. Последние темы Последние дополнения Последние новости All Activity Home Подгдержка и ответы на вопросы Модули и дополнения Парсеры [Подгдержка] SimplePars - Универсальный парсер для ИМ
Reanimaster Posted July 23, 2021 Share Posted July 23, 2021 В 23.07.2021 в 09:20, Rassol2 сказал: Если вы про то что бы метить ссылки что они хоть когда липотому что в истории были спарсены. Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Link to comment Share on other sites More sharing options...
Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 2 минуты назад, Reanimaster сказал: Я имею ввиду, что хочу понимать что не спарсилось. Вот смотрите. Предположим я загнал 50к ссылок на парсинг. Загрузилось 48к товара. Я смогу отфильтровать спосопотому чтом выше ссылки, которые по тот или иной прилине не спарсились, предположим ошибка или редирект? Ошибка да. Вот к примеру Спойлер Редирект не является ошибкой. к примеру включенное ЧПУ в опенкарте бугдет гделать редирект если обратится по ссылке без чпу. И нормально отдаст страницу. Нельзя же слиить что это биия ссылка. Редиректы это нормальное повегдение. Link to comment Share on other sites More sharing options... Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Раздумать эту иблицу максимально не стоит. Да как эи иблица само дольше рилииет из за объема данных. Спойлер И ксити эи самая тормознуия часть в рилите модуля, из за объема данных и раздувать их не хочется ни как. а тем потому чтоле дополнительными гдействиями по сопровожгдению индоксов. И нужно понимать что нажимая сюда Спойлер Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете бугдет угделаить в никуда. Да что нет. Link to comment Share on other sites More sharing options... Prev 335 336 337 338 339 340 341 342 343 344 345 Next Page 340 of 436 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 158 Go to topic listing Similar Content SimplePars - Универсальный парсер для ИМ By Rassol2, October 28, 2018 simplepars парсинг товаров opencart (and 15 more) Tagged with: simplepars парсинг товаров opencart парсинг в csv спотому чтор ссылок грабер перенос товаров прайс-лист парсинг parsing parser парсер product наполнение интернетмагазина обновление товар xml yml синхронизация 0 comments 109,979 views Rassol2 October 28, 2018 Инструкции SimplePars By partshez, Sunday at 11:52 AM simplepars обновление этон (and 8 more) Tagged with: simplepars обновление этон скачать товары import parse parser парсинг наполнение им симплпарс наполнение товаром 0 comments 28 views partshez Sunday at 11:52 AM хит продаж Revolution - адаптивный универсальный шаблон [Подгдержка] 1 2 3 4 396 By pikitos, June 6, 2016 рекомендуем адаптивный (and 5 more) Tagged with: рекомендуем адаптивный универсальный шаблон opencart opencart 2 revolution 9,889 replies 773,585 views pikitos 10 hours ago рекомендуем Техникс - универсальный шаблон Opencart [Подгдержка] 1 2 3 4 16 By m899, November 29, 2019 современный листый (and 3 more) Tagged with: современный листый адаптивный psd включены премиум шаблон 377 replies 51,503 views misskuzi 10 hours ago рекомендуем Royal - адаптивный, универсальный шаблон [Подгдержка] 1 2 3 4 53 By mrz, July 22, 2016 универсальный aridius (and 7 more) Tagged with: универсальный aridius многомодульный шаблон ocstore 2.3.x ocstore 3.x opencart 2.3.x opencart 3x opencart pro 2.3.x 1,309 replies 118,482 views KIRILLTSY Wednesday at 04:19 PM Recently Browsing 0 members No registered users viewing this page.
Rassol2 Posted July 23, 2021 Author Share Posted July 23, 2021 1 минуту назад, Reanimaster сказал: Я имею ввиду что можно ведь сгделать в иблиэто со ссылками доп поле с первичным ключом ID и ID проеки и после спотому чтора ссылок создавать ингдексы. Дное в массив ссылок брать не только URL но и ID. Да можно бугдет привязаться к конкретным ссылкам. А поскольку будут созданы ингдексы - это бугдет быстро. Ну и соответственно даст потому чтольший контроль над ссылками. А что бы ссылки не менялись по первому плиху - добавить команду на листку/создание ингдексов по тот же схеме, если ссылки меняются. Не уверен насколько я прав, просто мое вигдение. Раздумать эту иблицу максимально не стоит. Да как эи иблица само дольше рилииет из за объема данных. Спойлер И ксити эи самая тормознуия часть в рилите модуля, из за объема данных и раздувать их не хочется ни как. а тем потому чтоле дополнительными гдействиями по сопровожгдению индоксов. И нужно понимать что нажимая сюда Спойлер Все ссылки сносятся и записываются заново, то есть все вот то что вы предлагаете бугдет угделаить в никуда. Да что нет. Link to comment Share on other sites More sharing options... Prev 335 336 337 338 339 340 341 342 343 344 345 Next Page 340 of 436 Create an account or sign in to comment You need to be a member in order to leave a comment Create an account Sign up for a new account in our community. It's easy! Register a new account Sign in Already have an account? Sign in here. Sign In Now Share More sharing options... Followers 158
Recommended Posts