Перейти к публикации
  • разработка интернет магазинов на opencart
  • доработка интернет магазинов на opencart

Как не попадать на 250 000 рублей в год, если не слушаться "специалистов" по настройке серверов


******

2 705 просмотров

 Поделиться

Как всегда начну издалека.


Откуда то у людей взялся миф, что если вот вдруг, вам настроят сервер у вас будет быстрый магазин, или вот возьмите арендуйте dedicated, и тоже будет быстрый магазин.

Я не знаю кто первый это придумал, но сталкиваюсь я с подобным тезисом, на каждом шагу. И очень часто я вижу купленные ненужные дорогие ресурсы, которые просто стоят мертвым грузом

 

Да да, не надо кидать в меня  тапками, без хорошего сервера не будет быстрого магазина, но только одним сервером проблемы не решить.

 

Второй миф. Когда на магазин приходит нагрузка от ботов, или парсинг, или школьный ддос, да просто предновогодний трафик в конце концов, часто густо сервера начинают падать, глючить, приходит какой-то мего спец с умным видом говорит - "у вас ДДОС", срочно срочно надо уходить под cloudflare, ddosguard или stormwall.

 

Перед новым годом, ничего не предвещало неожиданностей. Меня попросили посмотреть один проект, и через 10 минут после вникания в ситуацию, у меня начал судорожно дергаться глазик.

 

Вводные данные: 10к товаров, 3к трафика в день, выделенный сервер на бегет. не VPS а именно дедик за 10 000 рублей в месяц, а также платный пакет stormall за 15000. При этом занято на диске 400 из 500 гигабайт, и магазин работает несколько нестабильно. 

 

А теперь небольшая калькуляция (10000 + 15000)  * 12 = 300 000 рублей в год за инфраструктуру.

По итогу после приведения в порядок магазина, отказа от бесполезного stormwall (если надо будет - есть CloudFlare за $20 в месяц), переезда на нормальный VPS за 2000 рублей в месяц и аренды еще пары сервисов по мелочи, мы в 2022 году сэкономим порядка 250 000 рублей чистыми. 

 

Вы опять же спросите - как так? Почему мелкий VPS оказался производительнее чем выделенный сервер?

 

Да потому что за 10 000рэ на бегете был какой то xeon лохматого 15-го года выпуска, древний измученный ssd, и DDR3, а взамен мы арендовали 3 четырехгиговых ядра, nvme диск, и DDR4, что позволило почти на порядок увеличить моментальную скорость генерации страниц.
Также у вас может быть хоть  150 ядер и 100гб памяти, но если у вас в настройках базы данных к примеру стоит 100 max_connection, то все ваши ресурсы просто будут греть воздух, ну или как сервиз для красоты в серванте стоять. Ну кроме настроек базы - есть еще несколько затычек в дефолтных настройках стека LAMP, но если их все перечислять - это на пару десятков постов потянет. Так что просто поднастроили все как надо.

 

Вы спросите, а куда же ты Йода дел 400 гигабайт, ведь не может стоить 2000 рублей с таким количеством места VPS?

 

Конечно же дел, вынес бекапы на внешнее удаленное хранилище, почистил логи (200 гиг было), добавил архивацию свежих логов, удалил старые базы, хламушник от обмена с 1с, и 400 гб отлично превратились в 37гб.  

 

Также, напрашивается вопрос. А что же с трафиком, как может мелкий VPS в 3 ядра работать успешней чем многоядерный собственный процессор?

 

И здесь все тоже очень просто. Во первых магазин как и автомобиль, требует профилактики и тюнинга, очень часто бывает удается сделать из 2-3 секунд 200-300 мс. Но в целом даже пятикратный прирост скорости генерации страниц, который мы получили на этом проекте, за счет настройки магазина, более чем достаточен, чтобы мы вписывались в 30-40% от пиковой нагрузки сервера. Во вторых: боты боты боты боты! Смотрите в логи друзья, там часто ходит такой зоопарк, что вы даже себе представить не можете, мало того этот зоопарк может ходить туда куда ему не надо, равно как и гугл и яндекс боты. Если ограничить доступ к магазину для всяких MJ12, Petal ботов и т.д. И закрыть в роботс корректно ненужные страницы для легитимных ботов, то и еще нагрузку на систему можно снизить на 40-50-70%. Ну а 3-4 к трафика в день с глубиной 5-6 страниц человека, для нормального VPS - это детский лепет. Пошло как дети в школу.

 

И еще логичный вопрос от обывателей: а почему бы не поставить джет кеш или лайтнинг, ведь они ускоряют ?

 

Очень хочется увидеть как они ускоряют агрегатный запросы в админке при обработке 4-5 сотен заказов в день. Ну или как они ускоряют внутренний поиск на сайте.
В данном случае пришлось потратить пару дней для скурпулезной простановки составных индексов, под запросы моделей, которые в админке обрабатывают данные о продажах.
Так как в сложных JOINах с таблицами по 300-800к строк, просто так нельзя взять и взять проставить индексы на id, и думать что поможет!

Ну и поиск sphinx быстрее любых потенциальных аналогов.

 

Так что, желаю вам друзья с необходимой долей критики подходить к тратам на ресурсы, и не переплачивать за воздух.

 

 

 

  • +1 20
 Поделиться

27 комментариев


Рекомендованные комментарии



Можешь, если захочешь конечно, годный контент публиковать. 

Изменено пользователем madehtml5
Ссылка на комментарий
15 хвилин назад, Shureg сказав:

Ни о чём контент, вода. 

Даже такой "воды" многие не знают и зря тратят. Да нет конкретики, да реклама себя любимого, но и это заслуживает внимания.

Изменено пользователем madehtml5
  • +1 1
Ссылка на комментарий
4 минуты назад, nikifalex сказал:

кто умеет, читают между строк, остальным не дано. смиритесь.

 

А что там между строк? Он там молоком, как Ленин написал? Утюг включать?

Мне, конечно, не дано, но в чём же суть простыни?

  • +1 3
Ссылка на комментарий
12 часов назад, mazein сказал:

 

А что там между строк? Он там молоком, как Ленин написал? Утюг включать?

Мне, конечно, не дано, но в чём же суть простыни?

 Разъясняю 
В 90% случаев если какой-то персонаж "разбирающийся" в нагруженных системах рассказывает про необходимость дедика, и дополнительных антиддос защит - это бред сивой кобылы.

 

Прежде чем предпринимать шаги по увеличению вычислительных ресурсов,  намного эффективнее изначально провести анализ существующей ситуации.


А если слепо верить  персонажам, "которые не понимают суть простыни", то можно залететь трижды на 250 косарей в год.

 

Еще раз повторяю, для  непонимающих: НАДО ЭКОНОМИТЬ ДЕНЬГИ и не оплачивать с бухты-барахты избыточные мощности и сервисы.

 

Кроме этого, если разуть глаза, и еще раз перечитать внимательно, то можно увидеть общий список методов, которые позволили сократить время генерации страниц, уменьшить количество запросов к серверу и комплексно реализовать нормальную работоспособность системы.
А если вы друзья ждете, что вас кто-то начнет просто так посвящать в тонкости джедайского мастерства, то вам на вокзал - там по слухам, существуют феи, которые реализуют некоторые ваши иные фантазии за пирожок!

  • +1 4
Ссылка на комментарий
14 часов назад, Shureg сказал:

Ни о чём контент, вода. 

Вы по моему не тем занимаетесь.....
Главное, что у вас везде отличный контент! Читаю ваши блоги и комментарии, просто кладезь мудрости и знаний, продолжайте в том же духе!

  • +1 4
Ссылка на комментарий
2 часа назад, ****** сказал:

Главное, что у вас везде отличный контент! Читаю ваши блоги и комментарии, просто кладезь мудрости и знаний, продолжайте в том же духе!

Лучше хорошо молчать, чем плохо говорить

Ссылка на комментарий
2 часа назад, ****** сказал:

Кроме этого, если разуть глаза, и еще раз перечитать внимательно, то можно увидеть общий список методов, которые позволили сократить время генерации страниц, уменьшить количество запросов к серверу и комплексно реализовать нормальную работоспособность системы.

Я облегчу задачу читателям вашей статьи.
Вот конкретный список открытий, о которых вы поведали миру в данном блоге:

1. Сервер надо настроить.
2. Логи надо чистить.
3. Хлам с сервера надо удалять
4. В robots стоит совсем запретить доступ ненужным ботам, и закрыть бесполезные страницы от нужных
5. Если настроенный сервер за 2к работает нормально, то ненастроенный сервер за 10к покупать не надо.

Список полный, дополнительных подробностей в статье нет.

  • +1 4
Ссылка на комментарий

Чувствую себя обманутым.

Статья не оправдала надежд - где интриги, расследования, обвинения?

Даже на комментарии отвечает сравнительно сдержано.

А следующая статья о чём будет?

 

Спойлер

2020-10-17_00-11-45.png.a72e6d37a3fbbdf90e192d9f284a3ce0.png

 

  • +1 1
Ссылка на комментарий

как по мне то главная задача статьи это объяснить людям что не всегда нужно покупать самый дорогой сервер потому что у того кто советует там рефералочка, а нанять специалиста который сможет сказать что именно нужно сделать чтобы было сухо и комфортно, необязательно автора статьи 

  • +1 5
Ссылка на комментарий
13 часов назад, Shureg сказал:

Лучше хорошо молчать, чем плохо говорить

 

 Ждем с нетерпением от вас такого поведения

  • +1 1
Ссылка на комментарий
19 часов назад, Shureg сказал:

Ни о чём контент, вода. 

сто плюсов. контент - вода. к сожалению как обычно ноль импакта :((

 

  • +1 3
Ссылка на комментарий
В 11.01.2022 в 22:48, Shureg сказал:

Я облегчу задачу читателям вашей статьи.
Вот конкретный список открытий, о которых вы поведали миру в данном блоге:

1. Сервер надо настроить.
2. Логи надо чистить.
3. Хлам с сервера надо удалять
4. В robots стоит совсем запретить доступ ненужным ботам, и закрыть бесполезные страницы от нужных
5. Если настроенный сервер за 2к работает нормально, то ненастроенный сервер за 10к покупать не надо.

Список полный, дополнительных подробностей в статье нет.

Ну как видите, даже магазины с трафиком этого не знали и главное помогло сохранить бюджет в будущем. Может еще один увидит и подумает зачем тратить лишних 250 к в год? Когда можно сделать простые вещи.

Ссылка на комментарий
13 години назад, serg34 сказав:

Ну как видите, даже магазины с трафиком этого не знали и главное помогло сохранить бюджет в будущем. Может еще один увидит и подумает зачем тратить лишних 250 к в год? Когда можно сделать простые вещи.

Данная ситуация,  описанная в блоге, вряд-ли является правдой.  Большие ИМ давно имеют в штате своих программистов + за большими ИМ стоят "дядьки", которые умеют считать деньги.  Потому такая ситуация более характерна для ИМ малых и средних размеров.  Где на условных 10 товаров мощности как для 1000 условных встречаются почти всегда. 

  • +1 1
Ссылка на комментарий
51 минуту назад, madehtml5 сказал:

+ за большими ИМ стоят "дядьки", которые умеют считать деньги.

Ну так речь не идет от таких магазинах как мвидео, озон или розетка, речь о магазине с посещаемостью 3к - это раз. И понимаю, что речь не о бухгалтерии, а том, что хостинг предлагает разные услуги, без которых можно обойтись, сэкономив деньги.

 

54 минуты назад, madehtml5 сказал:

Данная ситуация,  описанная в блоге, вряд-ли является правдой.

С таким подходом, можно открыть на этом форуме описание любого модуля или шаблолна и заявить, что это все ложь.

Ссылка на комментарий

а я регулярно сталкиваюсь когда большие им "доят" дорогие веб студии, сео компании и прочие разводилы, которые берут бабки а потом варез ставят чтоб лишнюю тысчонку в карман положить

 

больших по настоящему им у которых есть штат нормальных своих итшников - единицы 

  • +1 1
Ссылка на комментарий
11 часов назад, serg34 сказал:

Ну так речь не идет от таких магазинах как мвидео, озон или розетка, речь о магазине с посещаемостью 3к - это раз. И понимаю, что речь не о бухгалтерии, а том, что хостинг предлагает разные услуги, без которых можно обойтись, сэкономив деньги.

 

С таким подходом, можно открыть на этом форуме описание любого модуля или шаблолна и заявить, что это все ложь.

1 и я о том же

2 вывод сделан из утверждения про "3к трафика" такие ИМ как минимум давно должны иметь с 95% вероятностью постоянного человека который его обслуживает. А если это автор статьи то вопрос к нему мол "чеж он такой редиска", если же нет то это подразумевает, что собственник ИМ жадный, а потому человек три раза переспросит как снизить цену за сервер. А потому основываясь на как минимум 10-м опыте работы ИМ и зная как западный рынок так и СНГ, так и азию - могу утверждать (с очень большой вероятностью), что история в статье выдумана ради примера.

Ссылка на комментарий
В 15.01.2022 в 15:50, madehtml5 сказал:

1 и я о том же

2 вывод сделан из утверждения про "3к трафика" такие ИМ как минимум давно должны иметь с 95% вероятностью постоянного человека который его обслуживает. А если это автор статьи то вопрос к нему мол "чеж он такой редиска", если же нет то это подразумевает, что собственник ИМ жадный, а потому человек три раза переспросит как снизить цену за сервер. А потому основываясь на как минимум 10-м опыте работы ИМ и зная как западный рынок так и СНГ, так и азию - могу утверждать (с очень большой вероятностью), что история в статье выдумана ради примера.

Вот кстати пример успешного "специалиста" с опытом.

Для которого 3000 трафика - это большой проект, который почему-то должен иметь постоянного человека.


При этом такие специалисты даже не задумываются, что постоянный человек может быть, но он может быть неграмотным в построении нагруженной системы.
А также 10 летний опыт по работе с киосками, не дает понимания, что собственник магазина может быть наоборот не жадный и цена вопроса в лишние 20 000 рублей в месяц - не цена.

 

Ну а так да я все выдумал. Как обычно.

 

А если серьезно, то среди моих друзей товарищей есть несколько больших проектов 10-25к+ трафика в день, и ничего как то живут без постоянного человека. Успешно продают. 

  • +1 1
Ссылка на комментарий

Замечательная история, приятно почитать.

Для полноты картины не хватает главной цифры - сколько стоила вся описанная работа. 

Ссылка на комментарий
26 минут назад, MaxD сказал:

Замечательная история, приятно почитать.

Для полноты картины не хватает главной цифры - сколько стоила вся описанная работа. 

 

Вся описанная работа практически, была проведена специалистами хостинга.

 

Ссылка на комментарий

А вот эта работа?

 

16 минут назад, ****** сказал:

Вынес бекапы на внешнее удаленное хранилище, почистил логи (200 гиг было), добавил архивацию свежих логов, удалил старые базы, хламушник от обмена с 1с

Пришлось потратить пару дней для скурпулезной простановки составных индексов, под запросы моделей, которые в админке обрабатывают данные о продажах.

Ну и поиск sphinx

 

Ссылка на комментарий

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
  • Сейчас на странице   0 пользователей

    • Нет пользователей, просматривающих эту страницу.
×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.