Перейти к содержимому


Чрезмерная загрузка сервера > бан акка..


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 14

#1 pcless

pcless

    Новичок

  • Пользователи
  • Pip
  • 4 сообщений

Отправлено 14.11.2008, 22:07

Создан сайт - в индексе Яндекса\Гугля  - 4к стр \ 1к стр
Движок - Zebrum Lite
Срок сущ сайта - 1мес
Посещаемость - 300 хостов \ сутки + боты("кушают" весь сайт переодически)

Получил письмо от хостера:
> CB> Эккаунт сверхнормативно использовал вычислительные ресурсы сервера, что привело к перебоям в функционировании сервера и ущербу для других клиентов
> сервера.
> CB> В таком виде эккаунт услугой виртуального хостинга пользоваться не может, такие эккаунты размещаются только на VPS/Dedicated server.
> CB> Снимок процессов:
> CB> ***
> CB> PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
> CB> 25479 libinfo 22 0 136m 26m 6348 R 98 0.7 0:03.54 /usr/bin/php /home/libinfo/public_html/MySite.UA/index.php
> CB> ***

%CPU %MEM
98 0.7

Подскажыте в чем можгла быть причина!?
Как предупредить в дальнейшем такие случаи?
Есть ли какие либо подходы принудительного "уменьшения" использования ресурсов сервера?

#2 support

support

    Активный участник

  • Главные администраторы
  • PipPipPip
  • 1 140 сообщений

Отправлено 15.11.2008, 09:23

При очень большом количестве страниц (читай файлов) происходит очень много обращений к жесткому диску, что может приводить к значительным замедлениям работы системы. Для увеличения быстродействия сайта можно включить кэширование и установить время жизни кэша 12-24 часа. Таким образом пиковые нагрузки на сервер будут только в момент формирования меню.

Если сайт обновляется редко, то можно установить время жизни заведомо большим (например, 1 месяц) и очищать кэш вручную после внесения изменений.

Существенным увеличением производительности может быть переход на хранения страниц в базе данных sqlite. В этом случае на хостинге должен быть установлен модуль для работы с sqlite и больше ничего (в том плане, что не нужно запрашивать создание базы данных как при использовании MySQL). В движке Zebrum Lite в настоящий момент не реализована поддержка sqlite, но её можно реализовать без особых сложностей. Если интересно, пишите на support@zebrum.ru, попробуем помочь в решении Вашей проблемы.

#3 pcless

pcless

    Новичок

  • Пользователи
  • Pip
  • 4 сообщений

Отправлено 15.11.2008, 09:55

Какое количество страниц на сайте?

около 5 тыс.


"можно включить кэширование и установить время жизни кэша 12-24 часа. Таким образом пиковые нагрузки на сервер будут только в момент формирования меню." - формированияе меню происходи каждый раз при свызове страницы, даже при вклбченом кешыровании?

#4 support

support

    Активный участник

  • Главные администраторы
  • PipPipPip
  • 1 140 сообщений

Отправлено 15.11.2008, 11:29

Просмотр сообщенияpcless (15.11.2008, 12:55) писал:

Какое количество страниц на сайте?

около 5 тыс.


"можно включить кэширование и установить время жизни кэша 12-24 часа. Таким образом пиковые нагрузки на сервер будут только в момент формирования меню." - формированияе меню происходи каждый раз при свызове страницы, даже при вклбченом кешыровании?
Нет, при включенном кэшировании меню берется из кэша.

#5 netuser

netuser

    Новичок

  • Пользователи
  • Pip
  • 3 сообщений

Отправлено 15.11.2008, 12:18

Зачем кеширование, зачем каждый раз php?
При парсинге создается текстовый файл с линками на гененрируемые страницы.
Потом проходимся функцией по каждой ссылке, получаем контент и пишем в обычные НТМЛ станицы, с учетом вложенности папок.
Все это в корень сайта. Не забываем, если парсим на хостере - "зебру" инсталируем в папку и при генерации HTML правим path.
Получается полностью статичный сайт хоть 5 хоть 100тыс. страниц. И конфиг хостера становиться не актульным и ресурсоемкость никакая.
Это конечно если делаем сателлиты. А для не сателлитов я бы пользовал какую другую цмс..

#6 support

support

    Активный участник

  • Главные администраторы
  • PipPipPip
  • 1 140 сообщений

Отправлено 16.11.2008, 22:21

Если не требуется использование функционала отложенных публикаций, не используются биржи ссылок (или статей) и в планах нет частых (в ближайший год) обновлений этого сайта (добавление страниц, внешних ссылок, рекламы), то создание его полной статики имеет смысл. Предложенный вариант генерации статики не создаст все страницы сайта, т.к. не учитывает возможности автоматического разбиения страниц, карты сайта, XML карты сайта, RSS-ленты и страниц для тэгов.

#7 netuser

netuser

    Новичок

  • Пользователи
  • Pip
  • 3 сообщений

Отправлено 17.11.2008, 11:11

Просмотр сообщенияsupport (17.11.2008, 1:21) писал:

Если не требуется использование функционала отложенных публикаций, не используются биржи ссылок (или статей) и в планах нет частых (в ближайший год) обновлений этого сайта (добавление страниц, внешних ссылок, рекламы), то создание его полной статики имеет смысл. Предложенный вариант генерации статики не создаст все страницы сайта, т.к. не учитывает возможности автоматического разбиения страниц, карты сайта, XML карты сайта, RSS-ленты и страниц для тэгов.

Да нет, я думаю в принципе все решаемо. Я особо в коде не копался, так на вскидку написал. Сейчас попробую набросать что-нибудь рабочее, отпишусь тогда.

#8 netuser

netuser

    Новичок

  • Пользователи
  • Pip
  • 3 сообщений

Отправлено 17.11.2008, 14:08

Просмотр сообщенияsupport (17.11.2008, 1:21) писал:

Если не требуется использование функционала отложенных публикаций, не используются биржи ссылок (или статей) и в планах нет частых (в ближайший год) обновлений этого сайта (добавление страниц, внешних ссылок, рекламы), то создание его полной статики имеет смысл. Предложенный вариант генерации статики не создаст все страницы сайта, т.к. не учитывает возможности автоматического разбиения страниц, карты сайта, XML карты сайта, RSS-ленты и страниц для тэгов.

dbinfo.narod.ru - Zebrum Lite (статика)
Код движка не менялся.
В пару функций добавлено по пять строчек кода для сбора ссылок в файл-массив.
В папке "tools" файл - собственно генератор, он же регенератор статики. Ничего сложного 50 строчек.
Про отложенные публикации. Запускаем по cron'у генератор раз в день или вручную.
Про биржи. Если на хостере есть пхп, то все ставиться без проблем.
Про обновления не понял. Какие проблемы? Дописывается код в те же пару функций. Генератор остается тот же,
ему нужен только массив со ссылками.
"добавление страниц, внешних ссылок, рекламы" - все, что будет на страницах зебры, появится и стат. версии. А как по-другому? И .phtml никто не отменял.
Счетчики времени и другие, динамические приблуды работать не будут. Кому это надо тому статика не нужна.
Карта сайта и XML ссылки постоянные и просто добавляются в массив.
Не разбирался с автоматическим разбиением страниц, думаю тоже решаемо. Просто лично мне этот функционал без надобности.
Генерацию статики в версию "lite" я бы наверное не стал добавлять, решать Вам. Но в CMS я бы добавил стопудово, к гадалке не ходи :)

#9 pcless

pcless

    Новичок

  • Пользователи
  • Pip
  • 4 сообщений

Отправлено 17.11.2008, 23:03

Написал письмо на адрес супорта, надеюсь исп. sqlite поможет решить проблему.

Кстати попробвал - распарсить pages.txt(8мб) локально - распарсил, вкл. кэширование > Страница сайта не грузиться  меньше чем 30 сек.
Урезал pages.txt пополам -//-..  > Страница сайта грузиться ~ 20 сек <_< АМД Атлон 1.5 ГГц

Предпологаяю что нагрузка на проц была на протяжении всего месяца у моего хостера, пока у хостящихся соседей не :lol: легли сайты и они написали в супорт
При заходе поисковых ботов - сервер ляжет -( B)

П.С:
сайты с обьемом текста в базе - 0.5Мб летают
сайты с обьемом текста в базе - 3  Мб лежат

#10 pcless

pcless

    Новичок

  • Пользователи
  • Pip
  • 4 сообщений

Отправлено 27.11.2008, 00:38

обещали в течени дней 3 с даты моего предыдущего поста реализовать решение моей проблемы , Но досих пор ничего не получчил.

Буду признателен если реализуете .. :)
Спасибо

#11 evgeni777

evgeni777

    Новичок

  • Пользователи
  • Pip
  • 7 сообщений

Отправлено 10.09.2009, 05:37

А как установить кеширование? :huh:

#12 babaj

babaj

    Новичок

  • Пользователи
  • Pip
  • 6 сообщений

Отправлено 06.11.2009, 20:42

Просмотр сообщенияnetuser (17.11.2008, 14:08) писал:

dbinfo.narod.ru - Zebrum Lite (статика)
Код движка не менялся.
В пару функций добавлено по пять строчек кода для сбора ссылок в файл-массив.
В папке "tools" файл - собственно генератор, он же регенератор статики. Ничего сложного 50 строчек.
Про отложенные публикации. Запускаем по cron'у генератор раз в день или вручную.
Про биржи. Если на хостере есть пхп, то все ставиться без проблем.
Про обновления не понял. Какие проблемы? Дописывается код в те же пару функций. Генератор остается тот же,
ему нужен только массив со ссылками.
"добавление страниц, внешних ссылок, рекламы" - все, что будет на страницах зебры, появится и стат. версии. А как по-другому? И .phtml никто не отменял.
Счетчики времени и другие, динамические приблуды работать не будут. Кому это надо тому статика не нужна.
Карта сайта и XML ссылки постоянные и просто добавляются в массив.
Не разбирался с автоматическим разбиением страниц, думаю тоже решаемо. Просто лично мне этот функционал без надобности.
Генерацию статики в версию "lite" я бы наверное не стал добавлять, решать Вам. Но в CMS я бы добавил стопудово, к гадалке не ходи :)
Выложите пожалуйста архив или сюда 131105051502@mail.ru

#13 Павел

Павел

    Участник

  • Пользователи
  • PipPip
  • 10 сообщений

Отправлено 16.12.2010, 13:42

Просмотр сообщенияpcless (17.11.2008, 23:03) писал:

Написал письмо на адрес супорта, надеюсь исп. sqlite поможет решить проблему.

Кстати попробвал - распарсить pages.txt(8мб) локально - распарсил, вкл. кэширование > Страница сайта не грузиться  меньше чем 30 сек.
Урезал pages.txt пополам -//-..  > Страница сайта грузиться ~ 20 сек <_< АМД Атлон 1.5 ГГц

Предпологаяю что нагрузка на проц была на протяжении всего месяца у моего хостера, пока у хостящихся соседей не :lol: легли сайты и они написали в супорт
При заходе поисковых ботов - сервер ляжет -( B)

П.С:
сайты с обьемом текста в базе - 0.5Мб летают
сайты с обьемом текста в базе - 3  Мб лежат
При этом у вас стоит в конфиге?:
cache.alwaysnew = off
cache.backend = zcache_backend_file

#14 Fredy_314

Fredy_314

    Активный участник

  • Пользователи Zebrum CMS
  • PipPipPip
  • 97 сообщений

Отправлено 17.12.2010, 09:50

Есть генератор статики для ЦМС вот тут
http://zebrum.ru/for...view=getnewpost
Могу сделать скидку нескольким первым покупателям новой версии

#15 sergodanilov

sergodanilov

    Новичок

  • Пользователи
  • Pip
  • 3 сообщений

Отправлено 07.09.2011, 17:22

Просмотр сообщенияnetuser (15.11.2008, 12:18) писал:

Зачем кеширование, зачем каждый раз php?
При парсинге создается текстовый файл c линками на гененрируемые страницы.
Потом проходимся функцией по каждой ссылке, получаем контент и пишем в обычные НТМЛ станицы, с учетом вложенности папок.
Все это в корень сайта. Не забываем, если парсим на хостере - "зебру" инсталируем в папку и при генерации HTML правим path.
Получается полностью статичный сайт хоть 5 хоть 100тыс. страниц. И конфиг хостера становиться не актульным и ресурсоемкость никакая.
Это конечно если делаем сателлиты. А для не сателлитов я бы пользовал какую другую цмс..


я от аналогичной проблемы (правда на WP) спасался только кешем иначе сервер падал




Количество пользователей, читающих эту тему: 2

0 пользователей, 2 гостей, 0 скрытых пользователей