Сообщений в теме: 14

[pcless]

Создан сайт - в индексе Яндекса\Гугля  - 4к стр \ 1к стр
Движок - Zebrum Lite
Срок сущ сайта - 1мес
Посещаемость - 300 хостов \ сутки + боты("кушают" весь сайт переодически)

Получил письмо от хостера:
> CB> Эккаунт сверхнормативно использовал вычислительные ресурсы сервера, что привело к перебоям в функционировании сервера и ущербу для других клиентов
> сервера.
> CB> В таком виде эккаунт услугой виртуального хостинга пользоваться не может, такие эккаунты размещаются только на VPS/Dedicated server.
> CB> Снимок процессов:
> CB> ***
> CB> PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
> CB> 25479 libinfo 22 0 136m 26m 6348 R 98 0.7 0:03.54 /usr/bin/php /home/libinfo/public_html/MySite.UA/index.php
> CB> ***

%CPU %MEM
98 0.7

Подскажыте в чем можгла быть причина!?
Как предупредить в дальнейшем такие случаи?
Есть ли какие либо подходы принудительного "уменьшения" использования ресурсов сервера?

[support]

При очень большом количестве страниц (читай файлов) происходит очень много обращений к жесткому диску, что может приводить к значительным замедлениям работы системы. Для увеличения быстродействия сайта можно включить кэширование и установить время жизни кэша 12-24 часа. Таким образом пиковые нагрузки на сервер будут только в момент формирования меню.

Если сайт обновляется редко, то можно установить время жизни заведомо большим (например, 1 месяц) и очищать кэш вручную после внесения изменений.

Существенным увеличением производительности может быть переход на хранения страниц в базе данных sqlite. В этом случае на хостинге должен быть установлен модуль для работы с sqlite и больше ничего (в том плане, что не нужно запрашивать создание базы данных как при использовании MySQL). В движке Zebrum Lite в настоящий момент не реализована поддержка sqlite, но её можно реализовать без особых сложностей. Если интересно, пишите на support@zebrum.ru, попробуем помочь в решении Вашей проблемы.

[pcless]

Какое количество страниц на сайте?

около 5 тыс.


"можно включить кэширование и установить время жизни кэша 12-24 часа. Таким образом пиковые нагрузки на сервер будут только в момент формирования меню." - формированияе меню происходи каждый раз при свызове страницы, даже при вклбченом кешыровании?

[support]

pcless (15.11.2008, 12:55) писал:

Какое количество страниц на сайте?

около 5 тыс.


"можно включить кэширование и установить время жизни кэша 12-24 часа. Таким образом пиковые нагрузки на сервер будут только в момент формирования меню." - формированияе меню происходи каждый раз при свызове страницы, даже при вклбченом кешыровании?

Нет, при включенном кэшировании меню берется из кэша.

[netuser]

Зачем кеширование, зачем каждый раз php?
При парсинге создается текстовый файл с линками на гененрируемые страницы.
Потом проходимся функцией по каждой ссылке, получаем контент и пишем в обычные НТМЛ станицы, с учетом вложенности папок.
Все это в корень сайта. Не забываем, если парсим на хостере - "зебру" инсталируем в папку и при генерации HTML правим path.
Получается полностью статичный сайт хоть 5 хоть 100тыс. страниц. И конфиг хостера становиться не актульным и ресурсоемкость никакая.
Это конечно если делаем сателлиты. А для не сателлитов я бы пользовал какую другую цмс..

[support]

Если не требуется использование функционала отложенных публикаций, не используются биржи ссылок (или статей) и в планах нет частых (в ближайший год) обновлений этого сайта (добавление страниц, внешних ссылок, рекламы), то создание его полной статики имеет смысл. Предложенный вариант генерации статики не создаст все страницы сайта, т.к. не учитывает возможности автоматического разбиения страниц, карты сайта, XML карты сайта, RSS-ленты и страниц для тэгов.

[netuser]

support (17.11.2008, 1:21) писал:

Если не требуется использование функционала отложенных публикаций, не используются биржи ссылок (или статей) и в планах нет частых (в ближайший год) обновлений этого сайта (добавление страниц, внешних ссылок, рекламы), то создание его полной статики имеет смысл. Предложенный вариант генерации статики не создаст все страницы сайта, т.к. не учитывает возможности автоматического разбиения страниц, карты сайта, XML карты сайта, RSS-ленты и страниц для тэгов.

Да нет, я думаю в принципе все решаемо. Я особо в коде не копался, так на вскидку написал. Сейчас попробую набросать что-нибудь рабочее, отпишусь тогда.

[netuser]

support (17.11.2008, 1:21) писал:

Если не требуется использование функционала отложенных публикаций, не используются биржи ссылок (или статей) и в планах нет частых (в ближайший год) обновлений этого сайта (добавление страниц, внешних ссылок, рекламы), то создание его полной статики имеет смысл. Предложенный вариант генерации статики не создаст все страницы сайта, т.к. не учитывает возможности автоматического разбиения страниц, карты сайта, XML карты сайта, RSS-ленты и страниц для тэгов.

dbinfo.narod.ru - Zebrum Lite (статика)
Код движка не менялся.
В пару функций добавлено по пять строчек кода для сбора ссылок в файл-массив.
В папке "tools" файл - собственно генератор, он же регенератор статики. Ничего сложного 50 строчек.
Про отложенные публикации. Запускаем по cron'у генератор раз в день или вручную.
Про биржи. Если на хостере есть пхп, то все ставиться без проблем.
Про обновления не понял. Какие проблемы? Дописывается код в те же пару функций. Генератор остается тот же,
ему нужен только массив со ссылками.
"добавление страниц, внешних ссылок, рекламы" - все, что будет на страницах зебры, появится и стат. версии. А как по-другому? И .phtml никто не отменял.
Счетчики времени и другие, динамические приблуды работать не будут. Кому это надо тому статика не нужна.
Карта сайта и XML ссылки постоянные и просто добавляются в массив.
Не разбирался с автоматическим разбиением страниц, думаю тоже решаемо. Просто лично мне этот функционал без надобности.
Генерацию статики в версию "lite" я бы наверное не стал добавлять, решать Вам. Но в CMS я бы добавил стопудово, к гадалке не ходи

[pcless]

Написал письмо на адрес супорта, надеюсь исп. sqlite поможет решить проблему.

Кстати попробвал - распарсить pages.txt(8мб) локально - распарсил, вкл. кэширование > Страница сайта не грузиться  меньше чем 30 сек.
Урезал pages.txt пополам -//-..  > Страница сайта грузиться ~ 20 сек АМД Атлон 1.5 ГГц

Предпологаяю что нагрузка на проц была на протяжении всего месяца у моего хостера, пока у хостящихся соседей не легли сайты и они написали в супорт
При заходе поисковых ботов - сервер ляжет -(

П.С:
сайты с обьемом текста в базе - 0.5Мб летают
сайты с обьемом текста в базе - 3  Мб лежат

[pcless]

обещали в течени дней 3 с даты моего предыдущего поста реализовать решение моей проблемы , Но досих пор ничего не получчил.

Буду признателен если реализуете ..
Спасибо

[evgeni777]

А как установить кеширование?

[babaj]

netuser (17.11.2008, 14:08) писал:

dbinfo.narod.ru - Zebrum Lite (статика)
Код движка не менялся.
В пару функций добавлено по пять строчек кода для сбора ссылок в файл-массив.
В папке "tools" файл - собственно генератор, он же регенератор статики. Ничего сложного 50 строчек.
Про отложенные публикации. Запускаем по cron'у генератор раз в день или вручную.
Про биржи. Если на хостере есть пхп, то все ставиться без проблем.
Про обновления не понял. Какие проблемы? Дописывается код в те же пару функций. Генератор остается тот же,
ему нужен только массив со ссылками.
"добавление страниц, внешних ссылок, рекламы" - все, что будет на страницах зебры, появится и стат. версии. А как по-другому? И .phtml никто не отменял.
Счетчики времени и другие, динамические приблуды работать не будут. Кому это надо тому статика не нужна.
Карта сайта и XML ссылки постоянные и просто добавляются в массив.
Не разбирался с автоматическим разбиением страниц, думаю тоже решаемо. Просто лично мне этот функционал без надобности.
Генерацию статики в версию "lite" я бы наверное не стал добавлять, решать Вам. Но в CMS я бы добавил стопудово, к гадалке не ходи :)

Выложите пожалуйста архив или сюда 131105051502@mail.ru

[Павел]

pcless (17.11.2008, 23:03) писал:

Написал письмо на адрес супорта, надеюсь исп. sqlite поможет решить проблему.

Кстати попробвал - распарсить pages.txt(8мб) локально - распарсил, вкл. кэширование > Страница сайта не грузиться  меньше чем 30 сек.
Урезал pages.txt пополам -//-..  > Страница сайта грузиться ~ 20 сек АМД Атлон 1.5 ГГц

Предпологаяю что нагрузка на проц была на протяжении всего месяца у моего хостера, пока у хостящихся соседей не легли сайты и они написали в супорт
При заходе поисковых ботов - сервер ляжет -(

П.С:
сайты с обьемом текста в базе - 0.5Мб летают
сайты с обьемом текста в базе - 3  Мб лежат

При этом у вас стоит в конфиге?:
cache.alwaysnew = off
cache.backend = zcache_backend_file

[Fredy_314]

Есть генератор статики для ЦМС вот тут
http://zebrum.ru/for...view=getnewpost
Могу сделать скидку нескольким первым покупателям новой версии

[sergodanilov]

netuser (15.11.2008, 12:18) писал:

Зачем кеширование, зачем каждый раз php?
При парсинге создается текстовый файл c линками на гененрируемые страницы.
Потом проходимся функцией по каждой ссылке, получаем контент и пишем в обычные НТМЛ станицы, с учетом вложенности папок.
Все это в корень сайта. Не забываем, если парсим на хостере - "зебру" инсталируем в папку и при генерации HTML правим path.
Получается полностью статичный сайт хоть 5 хоть 100тыс. страниц. И конфиг хостера становиться не актульным и ресурсоемкость никакая.
Это конечно если делаем сателлиты. А для не сателлитов я бы пользовал какую другую цмс..

я от аналогичной проблемы (правда на WP) спасался только кешем иначе сервер падал