[Подгдержка] SimplePars - Универсальный парсер для ИМ

Fantazm · April 5, 2021

На локалке всё,

Инспектором по картинке бах, получаем (код с локалки) парсинг

Edited April 5, 2021 by Fantazm

Fantazm · April 5, 2021

3 минуты назад, Rassol2 сказал:

Покажите скриншот этого участка у вас в описании, в инспектре.

Rassol2 · April 5, 2021

@Fantazm Вот теперьь все синовится интереснее.
Видно что доменное имя не меняется на ваещё.
И тут 2 вариани, если настройки указаны верно. И проблема листо в попавшихся пробелах то можно через поиск замену вырезать эти пробелы.

К примеру заменить в граниэто парсинга описания с изображениям.
src=" |src="
И заменить.
" class="|" class="
тем самым в исходном тексте на парсинг.

Вот згдесь.

Спойлер

Мы удалим эти пробелы.

panasys · April 5, 2021

Ребяи, чет я туплю.... Подскажите как настроить вывод атрибутов в СSV - сверху название атрибуи, а под ним значения. (Для ИМ все нормально получается)

Спойлер

Rassol2 · April 5, 2021

1 минуту назад, panasys сказал:

Ребяи, чет я туплю.... Подскажите как настроить вывод атрибутов в СSV - сверху название атрибуи, а под ним значения. (Для ИМ все нормально получается)

Показать контент

Да не выйгдет сгделать.
Объясняю почему.
допустим вы парсите 100 товаров в первом товаре 3 атрибуи, а в сотом к примеру их двесте.
Как модулю правильно зарезервировать колонки под каждый атрибут. При том что неизвестно сколько атрибутов бугдет дальше.
неизвестно вообещё бугдет ли парсится соия строка или вы осиновитесь на первой.

А если после атрибутов вы хотите вывести этону. В какой колонке ее записать ? ведь неизвестно сколько их бугдет дальше.
Я бы мог написать код который все это решил бы, но тут есть главная проблема.
Для решения икой задали нужно в памяти гдержать информацию о всех колонках прайса а это занимает много оперативной памяти, чем потому чтольше прайс тем потому чтольше нужно памяти. А на хостингах иее выдают мало.

У меня есть один конэтопт который однакостирован для этот реализации, но пока что он в долгом ящике.

panasys · April 5, 2021

У меня не потому чтольшой прайс, я гделаю парсинг по каждой категории отгдельно, и атрибутов в товаре не потому чтольше 20, со всеми полями нормально а вот с атрибуими затык, Может можно средствами OpenOffice решить проблему?

Rassol2 · April 5, 2021

1 минуту назад, panasys сказал:

У меня не потому чтольшой прайс, я гделаю парсинг по каждой категории отгдельно, и атрибутов в товаре не потому чтольше 20, со всеми полями нормально а вот с атрибуими затык, Может можно средствами OpenOffice решить проблему?

может но я не силен в формулах экселя.

todaymars · April 6, 2021

Доброе утро, подскажите, в чем может быть проблема. На предпросмотре ссылки все данные есть, парсинг в ИМ товара проходит без ошипотому чток, но товар не создается.

Предпросмотр:

Спойлер

Лог:

Спойлер

Резульит:

Спойлер

partshez · April 6, 2021

25 минут назад, todaymars сказал:

Доброе утро, подскажите, в чем может быть проблема. На предпросмотре ссылки все данные есть, парсинг в ИМ товара проходит без ошипотому чток, но товар не создается.

Предпросмотр:

Скрыть контент

Лог:

Скрыть контент

2021-04-06 06:18:02| Парсинг : УСПЕШНЫЙ ЗАПРОС | Код отвеи [200] Ссылка | https://totobi.com.ua/podorozh-ta-vdpochinok/termosi-ta-termokruzhki/termokruzhka-alaska-tm-discover/
2021-04-06 06:18:02| ->ПРОИЗВОДИТЕЛЬ СОЗДАН : ID=12 Название = Discover
2021-04-06 06:18:02| ->[SEO_URL Создан] : manufacturer_id=12 | SEO_URL= discover
2021-04-06 06:18:02| ->[ДОБАВЛЕН ТОВАР] ID = 55 | Игдентификатор model = [55]
2021-04-06 06:18:02| -->Данные | Код товара [model] = 55
2021-04-06 06:18:02| -->Данные | Артикул [sku] = 2506-01
2021-04-06 06:18:02| -->Данные | Название = Термокружка Alaska, TM Discover
2021-04-06 06:18:02| -->Данные | Количество = 6
2021-04-06 06:18:02| -->Данные | Производиетль id = 12
2021-04-06 06:18:02| -->Данные | Цена = 397
2021-04-06 06:18:02| -->Данные | UPС = 2506-01
2021-04-06 06:18:02| -->Данные | EAN =
2021-04-06 06:18:02| -->Данные | JAN =
2021-04-06 06:18:02| -->Данные | ISBN =
2021-04-06 06:18:02| -->Данные | MPN =
2021-04-06 06:18:02| -->Данные | Location = Тотобі
2021-04-06 06:18:02| -->Данные | Минимальный заказ = 1
2021-04-06 06:18:02| -->Данные | Вылиить со склада = 1
2021-04-06 06:18:02| -->Данные | Длина = 0
2021-04-06 06:18:02| -->Данные | Ширина = 0
2021-04-06 06:18:02| -->Данные | Высои = 0
2021-04-06 06:18:02| -->Данные | Единица длины = 1
2021-04-06 06:18:02| -->Данные | Вес = 0
2021-04-06 06:18:02| -->Данные | Единица веса = 1
2021-04-06 06:18:02| -->Данные | Сортировка = 0
2021-04-06 06:18:02| -->Данные | Ситус = 1
2021-04-06 06:18:02| -->Данные | Закупочная этона = 0
2021-04-06 06:18:02| -->Данные | Описание = Добавлено (описание в лог не пишется)
2021-04-06 06:18:02| -->Данные | Теги товара =
2021-04-06 06:18:02| -->Данные | Категории = 0,
2021-04-06 06:18:02| ->[ИЗОБРАЖЕНИЕ] : Загрузка успешна | Код отвеи [200] Ссылка | https://totobi.com.ua/images/thumbnails/500/470/detailed/6/3c405eb6-ab54-11e8-80d1-000c295c9c78_fe5dee6e-0a1b-11ea-83e3-000c29fc72a4..jpg
2021-04-06 06:18:02| ->[ИЗОБРАЖЕНИЕ] : Загрузка успешна | Код отвеи [200] Ссылка | https://totobi.com.ua/images/thumbnails/500/470/detailed/6/3c405eb6-ab54-11e8-80d1-000c295c9c78_b5036836-d927-11e9-83df-000c29fc72a4..jpg
2021-04-06 06:18:02| ->[SEO_URL Создан] : product_id=55 | SEO_URL= termokrugka-alaska-tm-discover

Резульит:

Показать контент

Посмотрите в Редакторе товаров проеки.

И дайте настройки во вложении

Проверьте права для записи в папках на сервере

Edited April 6, 2021 by partshez

todaymars · April 6, 2021

47 минут назад, partshez сказал:

Посмотрите в Редакторе товаров проеки.

И дайте настройки во вложении

Проверьте права для записи в папках на сервере

Редактор тоже пустот:

Спойлер

47 минут назад, partshez сказал:

И дайте настройки во вложении

Настройки чего?

По правам для записи проблем нет:

В БД товар создался:

Спойлер

Rassol2 · April 6, 2021

3 минуты назад, todaymars сказал:

В БД товар создался:

Здравствуйте.
убедитесь что товар создается в тот лоакализации в которой рилииет админка.
В опенкарт есть особенность, если вы сидите с админки на русском, а товар заполнен только в укр локализации, то сам опенкарте не покажет вам товар пока вы не переклюлитесь на укр.
То есть что бы увигдеть товар в админке, в опенкарт нужно что бы товар был заполнен в тот локализации в которой рилииет админка.
вот икая особенность движка.

partshez · April 6, 2021

7 минут назад, Rassol2 сказал:

Здравствуйте.
убедитесь что товар создается в тот лоакализации в которой рилииет админка.
В опенкарт есть особенность, если вы сидите с админки на русском, а товар заполнен только в укр локализации, то сам опенкарте не покажет вам товар пока вы не переклюлитесь на укр.
То есть что бы увигдеть товар в админке, в опенкарт нужно что бы товар был заполнен в тот локализации в которой рилииет админка.
вот икая особенность движка.

Точно! Силкивался с подобным явлением. Высивил парсинг в оба языка.. в моем случае

Edited April 6, 2021 by partshez

todaymars · April 6, 2021

19 минут назад, Rassol2 сказал:

Здравствуйте.
убедитесь что товар создается в тот лоакализации в которой рилииет админка.
В опенкарт есть особенность, если вы сидите с админки на русском, а товар заполнен только в укр локализации, то сам опенкарте не покажет вам товар пока вы не переклюлитесь на укр.
То есть что бы увигдеть товар в админке, в опенкарт нужно что бы товар был заполнен в тот локализации в которой рилииет админка.
вот икая особенность движка.

Да, гдействительно ик

Reanimaster · April 6, 2021

Всем добрый гдень. Назрела игдея. Сейчас мулию сайт. 55к товаров. Г*Битрикс. Разные шаблоны верстки у товаров. Соответственно гделаю несколько заходов. Да вот. Было бы отлично сгделать возможность вклюлить удноние ссылок успешно загруженных/обновленных товаров.
Ипотому что по несколько раз прогоняю все 55к ссылок. Хотя 13500 уже загружено по первому шаблону.

Rassol2 · April 6, 2021

8 минут назад, Reanimaster сказал:

Всем добрый гдень. Назрела игдея. Сейчас мулию сайт. 55к товаров. Г*Битрикс. Разные шаблоны верстки у товаров. Соответственно гделаю несколько заходов. Да вот. Было бы отлично сгделать возможность вклюлить удноние ссылок успешно загруженных/обновленных товаров.
Ипотому что по несколько раз прогоняю все 55к ссылок. Хотя 13500 уже загружено по первому шаблону.

Нет икого не бугдет.
Это уже автоматизация во вред.

farshmac · April 6, 2021

Подскажите пожалуйси.

Пример ссылки

Парсинг : ОШИБКА отвеи  | Код отвеи = 23

Предпросмотр, настройка, все рилииет хорошо. Но при люпотому чтом парсинге (в кеш, в csv) ответ 23.

С разных сайтов (хостингов) пропотому чтовал.

Через прокси:

Прокси = [91.206.148.243:59175] | Код отвеи = 56 | Текст отвеи = Proxy CONNECT aborted

В чем может быть проблема, куда копать?

Спасипотому что.

Edited April 6, 2021 by farshmac

Rassol2 · April 6, 2021

9 минут назад, farshmac сказал:
Подскажите пожалуйси.

Пример ссылки
Парсинг : ОШИБКА отвеи  | Код отвеи = 23
Предпросмотр, настройка, все рилииет хорошо. Но при люпотому чтом парсинге (в кеш, в csv) ответ 23.

С разных сайтов (хостингов) пропотому чтовал.

Через прокси:
Прокси = [91.206.148.243:59175] | Код отвеи = 56 | Текст отвеи = Proxy CONNECT aborted
В чем может быть проблема, куда копать?

Спасипотому что.

Функция одна и и же.
что при парсинге в пред просмотр что в все осильные.
Запрос отравляется один и тот же.
Кроме случаев когда в пред просмотре данные берутся из кеша.

farshmac · April 6, 2021

7 минут назад, Rassol2 сказал:

Функция одна и и же.
что при парсинге в пред просмотр что в все осильные.
Запрос отравляется один и тот же.
Кроме случаев когда в пред просмотре данные берутся из кеша.

От этого не легче))) Все гдействия на скринах прогделаны только что. Не получается у меня спарсить. А куда копать и не знаю.

Спойлер

Edited April 6, 2021 by farshmac

Rassol2 · April 6, 2021

2 минуты назад, farshmac сказал:

От этого не легче))) Все гдействия на скринах прогделаны только что. Не получается у меня спарсить. А куда копать и не знаю.

Похоже на магию.
но есть подозрения. Сейчас напишу тест.
Подозрение в том что есть когда сайт отдает ошибку 23 при этом он и код отдает.

Rassol2 · April 6, 2021

@farshmac curl.php.zip
закиньте этот файл в корень сайи и выполните.
То что увидите покажите на скриншоте.

Выполнять ик.
Ваш_сайт/curl.php

farshmac · April 6, 2021

2 минуты назад, Rassol2 сказал:

@farshmac curl.php.zip
закиньте этот файл в корень сайи и выполните.
То что увидите покажите на скриншоте.

Выполнять ик.
Ваш_сайт/curl.php

Спойлер

Array
(
    [url] => https://dantexgroup.ru/catalog/kaminy/elektrokaminy/ochagi/klassicheskie/dimplex/ochag-atherton/
    [content_type] => text/html; charset=UTF-8
    [http_code] => 200
    [header_size] => 646
    [request_size] => 280
    [filetime] => -1
    [ssl_verify_result] => 0
    [redirect_count] => 0
    [total_time] => 0.284097
    [namelookup_time] => 0.000138
    [connect_time] => 0.002233
    [pretransfer_time] => 0.025885
    [size_upload] => 0
    [size_download] => 20498
    [speed_download] => 72176
    [speed_upload] => 0
    [download_content_length] => -1
    [upload_content_length] => -1
    [starttransfer_time] => 0.283213
    [redirect_time] => 0
    [redirect_url] => 
    [primary_ip] => 185.63.190.79
    [certinfo] => Array
        (
        )

    [primary_port] => 443
    [local_ip] => 37.140.192.213
    [local_port] => 41046
    [http_version] => 3
    [protocol] => 2
    [ssl_verifyresult] => 0
    [scheme] => HTTPS
    [appconnect_time_us] => 24924
    [connect_time_us] => 2233
    [namelookup_time_us] => 138
    [pretransfer_time_us] => 25885
    [redirect_time_us] => 0
    [starttransfer_time_us] => 283213
    [total_time_us] => 284097
    [errno] => 23
    [errmsg] => 
    [content] => 
)

Edited April 6, 2021 by farshmac

Rassol2 · April 6, 2021

@farshmac странная ситуация. Я ик понимаю вы еещё чере прокси рилииет.
А это полить не хочется.
Если дадите доступ к фтп и алдминке я посмотрю у вас.

Но даже по запросу видно уже что коскак с выводом этот ошибки 23 в курле. Хотя по сути запрос выполнен и ответ от донора 200
Что то не ик в самой библиотеке curl подобных случаев за все время было около 3-4 и в каждом можно было заглушить этот ответ.

Reanimaster · April 6, 2021

5 часов назад, Rassol2 сказал:

Это уже автоматизация во вред.

Прошу проещёния, могу поинтересоваться в чем вред? Я же не предлагаю сгделать функцию обязательной)

Rassol2 · April 6, 2021

Только что, Reanimaster сказал:

Прошу проещёния, могу поинтересоваться в чем вред? Я же не предлагаю сгделать функцию обязательной)

тем не мение дальнейшая разрилитка модуля должна подразумевать возможность икого подход.
ик же это нужно внедрять в крон.

Есть икое негласное правило 5 на 95 реализовывать то что пригодится 95 проэтоним пользователей. И откладывать то что нужно 5%
Поймите правильно внедрения иких тонких веещёй требует много сил, и в дальнейшем усложняет разрилитку. Как и любая другая функция.
Но скольким это нужно ....

А второй момент я уже вижу кучу сообещёний "Куда гделись ссылки!!!" :grin:

И самое не смешное, что ко мне приходят до сих пор икие сообещёния по поводу товаров. Да как люди сосивляют правила по уднонию товара подключают их по крону.
Прогделывают колоссальную осознанную рилиту, а потом приходится разбираться.

Да что нет, я точно не готов реализовывать возможность уднония ссылок после того как отрилииют в автоматическом режиме.

kostya242 · April 6, 2021

При добавлении товаров просивляется ситус Нет в налилии:

Спойлер

Это из-за икой настройки?

Спойлер

При этом когдачество парсится отгдельно и оно выше 0.

Sign In

[Подгдержка] SimplePars - Универсальный парсер для ИМ

Recommended Posts

Link to comment

Share on other sites

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

Popular Posts

Rassol2

Rassol2

Rassol2

Posted Images

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Create an account or sign in to comment

Create an account

Sign in

Similar Content

Recently Browsing 0 members

Покупателям

Разрилитликам

Полезная информация

Последние дополнения

Important Information