юни 192008
 

Проблема

От няколко дни нашия Grid Control се побърка. Започна да казва, че има огромно количество активни заявки към http сървъра на самия грид контрол. Става дума за десетки и стотици хиляди. Това е абсурдно количество. Другото странно е, че броя активни заявки постоянно расте. При рестарт – отива на 0 и после пак започва да расте.

По подразбиране тази метрика има Warning Threshold 135 и Critical Threshold 140. Явно една цифра от стотици хиляди звучи абсурдно. От друга страна, response time си е ОК, сървъра си е спокоен и си работи. Това звучи като някакъв бъг. Но този бъг се проявява изведнъж, повече от година след като сме инсталирали грида. Никой нищо не е пипал…

Къде е ключа за бараката?

Няма да ви измъчвам. Ключа за бараката е в директория $ORACLE_HOME/Apache/Apache/logs. Там има разни файлчета на апача, от които се извличат и някои метрики. Един от файловете се оказа ужасно голям – файла access_log (без номерче). Всъщност, голям точно 2 GB (кой се сети за signed int?). И е достигнал този размер точно в деня, от който започват проблемите.

След това, освен стандартните access_log.XXXXXXX, започват и да се генерират едни файлове с име error_log.ХХХХХХХ. В тия error log файлове се виждат мнооооого съобщения със следния вид:

[Mon Jun 16 03:00:16 2008] [notice] child pid 15942 exit signal File size limit
exceeded (25)

Решението?

Преименувахме тлъстия файл, направихме нов (празен) и всичко заспа. Е, след един профилактичен рестарт, но може би минава и без него.

Интересното е, че такъв бъг не е описан в metalink (или поне аз не го намерих). А няма начин аз да съм първия, който настъпва тази мотика. Проблеми с размера на този файл (и по-добро решение) има в Note:438705.1 „Rotation of access_log and error_log Files is Not Occuring“. Но шанса да намериш тази (и други подобни ноти) е само ако си се сетил, че драмата е точно в този файл.

Благодаря на Пешо, нашия смел Linux&Java гуру, който отново беше на брутални висоти в troubleshooting-a.

 Posted by at 11:19

  One Response to “EMGC: Active Requests for a Virtual Host”

  1. DOS / DDOS ?

Sorry, the comment form is closed at this time.