Log Rotation Condition Nedir?

Merhaba üstatlar. Sunucuda zaman zaman tıkanmalar oluyor. Tıkanmanın olduğu saatlere bakınca hep logs dosyasında faailyet olduğunu görüyorum. Bende logs doslarını kapatmaya çalıştım fakat kapatmak yerine tüm yöntemler altta bulunan resimdeki ekranda ayar yapmamı istiyor. Tam olarak log rotation ne işe yarar? Çok ziyaretçili bir site için bunun ayarları ne olmalıdır?
Bysize kaç olmalı?
Maksimum number of logs files kaç olmalı?
Compress log files ne olmalı?

Log rotation belirli kriterlere göre web sitesinin log kayıtlarının tutulduğu dosyaya yazma işleminin kapatılıp, yeni bir log dosyasına kaydedilmeye başlanması işlemidir. Eğer log rotation yapmazsan sitenin tüm log dosyaları tek bir dosyaya kaydedilir, bu da zamanla çok büyük boyutlu dosyaların oluşmasına ve hep bu dosya üzerinde işlem yapılmasına sebep olur.
Bu yüzden log rotation mutlaka tavsiye edilir. Ben genellikle By Time (günlük) yapıyorum. Fakat çok hit alan bir siten varsa By Time değil, By Size yani boyuta göre yapman tavsiye edilir. Örneğin 10MB-50 MB vs.
Böylece log dosyası her 50 MB olduğunda eskisi farklı bir isimle kaydedilerek yeni bir log dosyasına yazmaya başlayacaktır. Böylece sunucu çok büyük boyutlu dosyalar ile çalışmak zorunda kalmayacaktır.
"Maximum Number of Lof Files" seçeneği tutulacak maksimum log dosyasını belirler. Mesle ByTime(günlük) ve bu seçeneği 30 yaparsan; toplam 30 günlük log kayıtların sunucunda kayıtlı kalacaktır. Yenisi oluştukça eskisi silinecektir.

Sunucunda zaman zaman yüksek CPU kullanımı oluyorsa "Compress Log Files" seçeneği buna sebep oluyor olabilir. Log dosyaları metin dosyasıdır ve web sitesindeki her isteği kaydettiği için hit yüksekse büyük dosyalar oluşturur ve yer kaplar. Compress Log Files seçeneği ile belirli saatlerde (genelde istatistiklerin hesaplandığı gece 2-3 gibi yapar bu işlemi) henüz sıkıştırılmamış log dosyalarını sıkıştırır. Böylece eski log dosyaları %80-90 küçülür.
Loglamayı tamamen kapatamıyorsun. Fakat sunucunun en az şekilde bu işle uğraşmasını istiyorsan;
By Size: 1024 KB
Maximum Number of Lof Files: 10
Compress Log Files: Seçili değil
olması lazım.

r10+'lık cevap için çok teşekkür ederim hocam.
İkidir geceleri karşılaşıyorum. Tam bu log dosyalarını güncellendiği saatlerde 15-20 dakika site erişime kapanıyordu. Tesadüfen karşılaştım. Daha önce de hitin çok yoğun olduğu günlerde bu sorun oldu. Demekki problem bundanmış diyebilir miyiz bilmiyorum.
Herhangi bir zamanda baktığım zaman: access_log: 180 Mb
Sıkıştırılmış hali: 2 gb.
Ama bu sıkıştırılmış hali kaç günlüktür nedir bilemiyorum. Yani bu durum erişimin zarar görmesine neden olabilir mi? Başka bir gösterge kalmıyor elimde. Sadece bu kaldı.

Bir de bu şekilde ayar yapınca:
By Size: 1024 KB
Maximum Number of Lof Files: 10
Sadece 1 tane 10 MB'lık dosya mu oluyor?
Yoksa 1 Mb'lık 10 Dosya mı?
Aynı zamanda error_log için de mi aynı işlemler geçerli?

Bir sorum daha var hocam. Normalde log rotation seçilmediğinde kaç mb olduğunda dönüşümü kendi yapıyor.

Yüksek ihtimalle loglarınızı compress ederken cpu'ya çok yük biniyordur. Compress seçeneğini kaldırmanızı tavsiye ederim. Plesk tarafında durumu bilmiyorum fakat kullandığınız http sunucusunda logların basic halini dosyaya yazdırabilirsiniz.

Öncelikle bir düzeltme: benim tavsiyem 1024 KB değil, 10240 KB yani 10 MB olacaktı. Fakat sizin hit günde 180 MB gibi yüksek boyutlu bir log dosyası oluşturuyorsa 10 MB değil de 50 MB yapmanız daha uygun olur.
log rotation seçilmediğinde her gün için yeni bir log dosyası oluşturur diye hatırlıyorum.
Compress Log Files seçeneği yüzünden yüksek boyutlu log dosyası sıkıştırılmak için yüksek CPU kullanımı olur. Bu sırada sunucunun işleyici yavaşlayabilir.
Ayrıca mevcut log rotation ayarlarınız nedir?
Bir de yüksek hit alan domain için istatistik açık mı? (AWstats veya Webalizer) İstatistiklerin hesaplanması da aşırı CPU kullanımına neden olur.
Eğer google analytics gibi harici bir istatistik aracı kullanıyorsanız, sunucudaki istatisk ayarını pasif yapmanız daha iyi olur. (Abonelik -> domain.com -> Barındırma Ayarları -> Web istatistikleri: Yok)
Özet olarak; Plesk'ten kaynaklanan gece yüksek CPU kullanımını engellemek için 2 şey yapılabilir:
1 - İstatistik devre dışı bırakılmalı (Yerine google analytics kullanırsınız)
2- Compress Log Files seçeneği seçili olmamalı. (log dosyaları fazla yer kaplarsa manuel olarak başka bir yere taşıyabilir veya bilgisayarınıza indirip sunucudan silebilirsiniz)

Mevcut log rotation ayarını sizin verdiğiniz bilgiler ışığında yapacağım hocam.
50 mb demişsiniz. Ben de öyle ayarlama yapayım o zaman.
Maksimum log dosyası sayısını kaç yapmam doğru olur onu bilmiyorum. Kaç vermeliyim değer olarak?
Bir de eski halinde sıkıştırma açıktı şu an kapalı tutuyorum. Zaten şu an onu açmakta mantıksız olacak herhalde.

Awstat açık hocam. Belirtmeniz üzerine onu da kapattım.

Bu biraz sunucudaki boş alana ve güvenlik politikanıza bağlı. CPU'yu çok etkileyen bir durum değil. Rotation'ı 50MB yaptığınızda günde ortalama 3 adet log dosyası oluşur. Maksimum dosya sayısını 30 derseniz yaklaşık 10 günlük log kaydı tutmuş olursunuz.
Ben sitelerimin log kayıtlarını en az 3 ay tutmaya dikkat ediyorum. Malum saldırı vs durumlarında log kayıtlarından inceleme yapabiliyorsunuz.
Eğer böyle bir endişeniz yoksa 1 aylık tutacak kadar ayarlarsınız. Fazla yer kaplarsa 1 ayı beklemeden silersiniz.
Rotation 50 MB dedik ama bu biraz da deneme yanılma işi, baktınız yeni dosya oluşturması ufak da olsa kesintilere neden oluyor o zaman rotation'ı By Time (günlük) yaparsınız.

Hocam yeni dosya oluşturulması işleminin böyle şeylere sebep olacağını hiç hesap etmezdim. Sunucuda sonuçta onca mysql, php işlemi oluyor bişey olmazken. Log dönüşümlerinde sistem 15 dakika kadar gittiği oldu. Bunun nedeni ne olabilir ki bu kadar?
Birde log dosyası dönüşümü günün sonunda örneğin 200 mb ulaştı diyelim. Biz 50 mb dönüşüm seçtik 4 adette dönüşüm dosyası bu durumda 4 dosya oluşturacak öyle dimi? Pekia dönüşümü 1 MB yaparsak diğer 199 MB için herhangi bir log dönüşümü olamayacak mı? Bu anlamamı geliyor. Ben neden bu kadar ayrıntılı soruyorum sebebi şu belli tarihlerde hitim çok artıyor bu tarihlerde log dosyası vs sistemi yormasın istiyorum hocam.

Yeni log dosyası oluşturulması bu kadar büyük kesintiye sebep olmaz. belki birkaç saniye. Asıl kesintiye sebep olan şey, Compress Log Files seçeneği aktifken, eski log dosyalarını sıkıştırma işini yapması. Bu sırada tüm sitelerin o günkü log dosyaları sıkıştırılır ve yeni log dosyası oluşturulur. Hatta önce yeni log dosyası oluşturulur. Sonra son dosyadan önceki sıkıştırılmamış dosyalar sıkıştırılır.
Dönüşümü 1 MB yaparsan her gün için 200 dosya oluşur. Buna gerek yok. Bence Dönüşümü günlük olarak; 50 MB olarak; 100 MB olarak denemelere tabi tut. Compress seçeneği aktif değilse hiç biri ciddi bir kesintiye neden olmaz.