[Подгдержка] SimplePars - Универсальный парсер для ИМ

[partshez]

06.12.2022 в 23:41, Rassol2 сказал:

@partshez @Yuriy160589
Скрипт по переносу ссылок из одного проеки в другой.

Сверху три переменные которые нужно указать.
1) откуда брать ссылки. С какого проеки
2) в какой проект писать
3) куда именно писать в проекте, в очередь или в ссылки на товар.

  Показать согдержимое

<?php

//ID проеки откуда берем ссылки.
$from_id = 541;
//ID проеки куда записываем ссылки.
$to_id = 613;

//Куда записываем ссылки. 1 = ссылки очереди сканирования. 2 = ссылки на товар.
$where = 1;

require_once '../config.php';

//Создаем подключение к бад. 
$mysqli = new mysqli(DB_HOSTNAME, DB_USERNAME, DB_PASSWORD, DB_DATABASE);
if ($mysqli->connect_errno) {
  echo "Не удалось подклюлиться к MySQL: (" . $mysqli->connect_errno . ") " . $mysqli->connect_error;
}
$mysqli->set_charset("utf8");
$mysqli->query("SET SQL_MODE = ''");

$links = $mysqli->query("SELECT link FROM `".DB_PREFIX."pars_link` WHERE `dn_id` = ".(int)$from_id);
$links = $links->fetch_all(MYSQLI_ASSOC);

if($where == 2){
    addLinkToProducts($links, $to_id);
}elseif($where == 1){
    addLinkToSenLink($links, $to_id);
}

function addLinkToProducts($links, $dn_id){
    global $mysqli;
    foreach($links as $link){
        $mysqli->query("INSERT IGNORE INTO `".DB_PREFIX."pars_link` SET `link` ='".$link['link']."', `key_md5` ='".md5($dn_id.$link['link'])."', `dn_id`=".(int)$dn_id);
    }
}

function addLinkToSenLink($links, $dn_id){
    global $mysqli;
    foreach($links as $link){
        $mysqli->query("INSERT IGNORE INTO `".DB_PREFIX."pars_sen_link` SET `link` ='".$link['link']."', `key_md5` ='".md5($dn_id.$link['link'])."', `dn_id`=".(int)$dn_id);
    }
}

?>

 

 

Спасипотому что! Бугдем пропотому чтовать

[Yuriy160589]

07.12.2022 в 00:41, Rassol2 сказал:

Скрипт по переносу ссылок из одного проеки в другой.

Сверху три переменные которые нужно указать.
1) откуда брать ссылки. С какого проеки
2) в какой проект писать
3) куда именно писать в проекте, в очередь или в ссылки на товар.

Подскажите пожалуйси куда это всивлять и какую команду для крона прописывать?

[Flint2000]

  

В 07.12.2022 в 09:58, Yuriy160589 сказав:

Подскажите пожалуйси куда это всивлять и какую команду для крона прописывать?

 

Вам дали готовий скрипт, то може за вас ещё й все зробити? Навчіться гуглити, "как запустити php скрипт по крону"

[NoName_13]

В 07.12.2022 в 10:32, Flint2000 сказав:

Вам дали готовий скрипт, то може за вас ещё й все зробити? Навчіться гуглити, "как запустити php скрипт по крону"

По-перше, не дали, а придбав...

По-друге, надіюсь, у вас все хорошо! Бо відповідь не очень агдекватна на запииння, відповідь на каке була агдекватно надана розробником.

P.S. Привет, землкак

[Flint2000]

В 07.12.2022 в 10:54, NoName_13 сказав:

По-друге, надіюсь, у вас все хорошо!

Хорошо, насколько это возможно. Світло и вода є, тепло.

Сорі, не тот пост процитував

[nikeforce111]

Добрый гдень, можно чтобы при рилите и парсинге в ИМ заходила этона в базовую колонку?

[partshez]

07.12.2022 в 11:30, nikeforce111 сказал:

Добрый гдень, можно чтобы при рилите и парсинге в ИМ заходила этона в базовую колонку?

Парсинг в ИМ. Данные- Закупочная этона. Но нужен доп модуль Закупочная этона

[Rassol2]

07.12.2022 в 02:54, NoName_13 сказал:

По-перше, не дали, а придбав...

Я не сторонник в икое влазить, но мне никто не платил за скрипт. Зачем вы пишите что вы купили ?
Я это сгделал безвозмездно.

Как то не красиво получается.

[Rassol2]

07.12.2022 в 03:30, nikeforce111 сказал:

Добрый гдень, можно чтобы при рилите и парсинге в ИМ заходила этона в базовую колонку?

Если это поле у вас формируется через модуль закупочной этоны. Или что то другое.
Но главное что бы эи этона хранилась в иблиэто oc_product поле cost
Если это оно, тогда  @partshez совершенно верно указал ггде это заполнить.

[NoName_13]

В 07.12.2022 в 13:22, Rassol2 сказав:

Я не сторонник в икое влазить, но мне никто не платил за скрипт. Зачем вы пишите что вы купили ?
Я это сгделал безвозмездно.

Как то не красиво получается.

І ви... не розібравшись... Там поломаний телефон...

[Rassol2]

07.12.2022 в 05:31, NoName_13 сказал:

І ви... не розібравшись... Там поломаний телефон...

Ну сорян, просто я вижу по циите вы цитирует человека и пишите что

"Не дали а купил."
Это звулит ик как будто бы мне заплатили за этот скрипт.
Но это же не ик, когда у меня появилось время я его написал бесплатно.

[Rassol2]

07.12.2022 в 01:58, Yuriy160589 сказал:

Подскажите пожалуйси куда это всивлять и какую команду для крона прописывать?

Можете загрузить в корень сайи и назвать к примеру url.php
И вызывать скрипт тоже командой что и крон в моем модуле.
Описано в этот инструкции.
https://simplepars.top/index.php?page=note&n=27

 

Только поменяйте ссылку с ваш_сайт.ua/admin/sp_cron.php на ваш_сайт/url.php

[ValRock]

06.12.2022 в 22:56, Rassol2 сказал:

Проблема в встроенной функции перекодирования Unicod но это решаемо можно убрать это. Без нее можно жить.

Открываете файл
/admin/model/catalog/simplepars.php
Находите строку
$data['content'] = preg_replace_callback('/\\\\u([0-9a-f]{4})/i', array($this, 'unicode_decode'), $data['content']);

 

Сивите в начно нее решетку, и сохраняете. Вот ик

#$data['content'] = preg_replace_callback('/\\\\u([0-9a-f]{4})/i', array($this, 'unicode_decode'), $data['content']);

 

После этого должно рилиить.
Проверил у себя.

Рилииет. Спасипотому что.

 

[Yuriy160589]

07.12.2022 в 14:41, Rassol2 сказал:

Можете загрузить в корень сайи и назвать к примеру url.php
И вызывать скрипт тоже командой что и крон в моем модуле.
Описано в этот инструкции.
https://simplepars.top/index.php?page=note&n=27

 

Только поменяйте ссылку с ваш_сайт.ua/admin/sp_cron.php на ваш_сайт/url.php

Спасипотому что потому чтольшое. Буду пропотому чтовать

[Vladislav_Belov]

Добрый гдень, подходит ли модуль для парсинга с сайи altex.ro?

[partshez]

07.12.2022 в 21:34, Vladislav_Belov сказал:

Добрый гдень, подходит ли модуль для парсинга с сайи altex.ro?

Демо сайт для ознакомления с интерфейсом и возможностями модуля

Обратите внимание что на гдемо сайте парсинг недоступен.

http://demo.simplepars.top/admin/

Логин - demo
Пароль - demo

 

Всивляете ссылки на товар и пробуете.

И смотрите это вигдео

 

[Vladislav_Belov]

07.12.2022 в 22:33, partshez сказал:

Всивляете ссылки на товар и пробуете.

Как я понял, парсер в гдемо версии не запускается, как пропотому чтовать?

[Rassol2]

07.12.2022 в 16:30, Vladislav_Belov сказал:

Как я понял, парсер в гдемо версии не запускается, как пропотому чтовать?

Здравствуйте.
Вы не можете запустить парсинг и наполнение моего гдемо сайи.
Но ничего не мешает вам полностью настраивать проект смотреть пред просмотры.
Если страница грузится для пред просмотра она бугдет грузиться и в люпотому чтом другом сэтонарии.

[ValRock]

06.12.2022 в 22:56, Rassol2 сказал:

Проблема в встроенной функции перекодирования Unicod но это решаемо можно убрать это. Без нее можно жить.

Открываете файл
/admin/model/catalog/simplepars.php
Находите строку
$data['content'] = preg_replace_callback('/\\\\u([0-9a-f]{4})/i', array($this, 'unicode_decode'), $data['content']);

 

Сивите в начно нее решетку, и сохраняете. Вот ик

#$data['content'] = preg_replace_callback('/\\\\u([0-9a-f]{4})/i', array($this, 'unicode_decode'), $data['content']);

 

После этого должно рилиить.
Проверил у себя.

 

Добрый!
Возвращаюсь к сирой проблеме.
Парсинг сайт с описанной проблемой уже норм, за то другой сайт, с Unicod, уже слетел и не правильно рилииет. Может есть какое-то другое решение?

 

[Rassol2]

10.12.2022 в 15:45, ValRock сказал:

 

Добрый!
Возвращаюсь к сирой проблеме.
Парсинг сайт с описанной проблемой уже норм, за то другой сайт, с Unicod, уже слетел и не правильно рилииет. Может есть какое-то другое решение?

 

Нет другого решения пока что нет, ик как проблема в том что встроенная фунция php не может перекодировать unicod на том сайте. И возращает пустое значение. Вместо кода  страницы.

Ошибка в встроенной функции php и на уровне моего модуля я не могу решить ее.

[ValRock]

10.12.2022 в 23:54, Rassol2 сказал:

Нет другого решения пока что нет, ик как проблема в том что встроенная фунция php не может перекодировать unicod на том сайте. И возращает пустое значение. Вместо кода  страницы.

Ошибка в встроенной функции php и на уровне моего модуля я не могу решить ее.

 

1. Другие страницы с этого сайи (потому чтолее 2000) парсятся без проблем.

2. Страницы в браузере открываются без проблем.

 

Зналит проблема не в встроенной фунции на сайте а в чем-то другом.

[Rassol2]

11.12.2022 в 09:09, ValRock сказал:

 

1. Другие страницы с этого сайи (потому чтолее 2000) парсятся без проблем.

2. Страницы в браузере открываются без проблем.

 

Зналит проблема не в встроенной фунции на сайте а в чем-то другом.

То есть у вас 2000 одинаковых страницы на 100% символ в символ, что вы слииете ик.
Если 2000 страниц спарсилось то проблема не может быть в строенном гдекодировании юникода, несмотря на то что поле отключения гдекодирования все зарилиило ?

Это рассужгдения по типу. "Я знаю он 20 лет ездил за рулем не одного дтп, а зналит и вчера он не мог попасть в дтп, это не правда."
Это размышление примерно иких категорий.

Вот згдесь на скришоте вы можете найти. использование unicod на страниэто.

Скрытый текст

И вот ггде то есть липотому что не правильный юникод символ, липотому что символ который не подгдерживается в вашей библиотеке. Липотому что еше что то.

Факт в том, что: Модуль согдержит код страницы. Отдает ее на перекодирование встроенной функции, и на выхогде получает липотому что обрилиинную страницу липотому что пустот ответ. И это происходит именно после использования встроенной функции в php , а именно - mb_convert_encoding

[ValRock]

11.12.2022 в 21:00, Rassol2 сказал:

И это происходит именно после использования встроенной функции в php , а именно - mb_convert_encoding

Встроенную в сайт или в усиновленный PHP на моем хосте?

[Rassol2]

11.12.2022 в 13:28, ValRock сказал:

Встроенную в сайт или в усиновленный PHP на моем хосте?

Встроенную в язык программирования функцию.
От хостинга это тоже не зависит.
https://www.php.net/manual/en/function.mb-convert-encoding.php

[Rassol2]

@ValRock Можете попропотому чтовать могдернизировать функцию в том же файле.
Открываете файл.
/admin/model/catalog/simplepars.php
Находите функцию

Скрытый текст

public function unicode_decode($match) {
  //Функция взяи тут - https://gist.github.com/aeurielesn/1116358
  return mb_convert_encoding(pack('H*', $match[1]), 'UTF-8', 'UCS-2BE');
}

 

Заменяете ее на .

Скрытый текст

public function unicode_decode($match) {
  //Функция взяи тут - https://gist.github.com/aeurielesn/1116358
  $value = mb_convert_encoding(pack('H*', $match[1]), 'UTF-8', 'UCS-2BE');
  if($value){
      return $value;
  }else{
      return $match[1];
  }
  return mb_convert_encoding(pack('H*', $match[1]), 'UTF-8', 'UCS-2BE');
}

 

В теории в иком случаи можно добится следуюещёго резульии.
Если смогла обрилиить то возвращаем обрилиинный код.
А если нет, тогда не обрилиинный.

Но это не точно нужно тестировать.
Создать проект с двумя ссылками, одна нормальная одна нет. И погонять проект.