Log Dosyası Analizi ile Googlebot’un Sitenizi Nasıl Gördüğünü Anlayın

Log dosyası analizi, bir web sunucusunun (örneğin Apache, Nginx) oluşturduğu erişim kayıtlarını (access logs) inceleyerek, Googlebot’un ve diğer arama motoru botlarının sitenizi nasıl taradığını, hangi sayfalara ne sıklıkta geldiğini ve hangi teknik sorunlarla karşılaştığını anlamayı sağlayan ileri düzey bir SEO tekniğidir.

Bu analiz, Google Search Console ve diğer araçların sunduğu verilerin ötesine geçerek, sitenizin arama motorları gözündeki gerçek durumunu ortaya çıkarır.

Log Dosyası Analizi Neden Önemlidir?

1. Gerçek Googlebot Davranışını Öğrenme: Search Console, genel bir fikir verirken, log analizi Googlebot’un sitenize tam olarak ne zaman, hangi sayfaya ve hangi HTTP durum koduyla (200 OK, 301, 404, 500 vb.) geldiğini gösterir.
2. Tarama Bütçesi (Crawl Budget) Optimizasyonu: Googlebot’un sitenize ayırdığı sınırlı tarama bütçesini en verimli şekilde kullanmasını sağlamak için hangi sayfaların sık sık tarandığını, hangilerinin göz ardı edildiğini veya boşa harcandığını görebilirsiniz.
3. Teknik Sorunları Tespit Etme: 404 (bulunamadı) veya 500 (sunucu hatası) gibi teknik sorunları Google Search Console’dan önce tespit etmenizi sağlar.
4. Yeni İçeriklerin İndekslenme Hızını Ölçme: Yeni bir sayfa yayınladığınızda, Googlebot’un ne kadar sürede geldiğini ve o sayfayı taradığını görerek indekslenme hızınız hakkında fikir edinebilirsiniz.
5. Arama Motoru Sahtekarlarını (Fake Bots) Bulma: Gerçek Googlebot’un aksine, taklit botlar siteye zarar verebilir veya sunucunuzu gereksiz yere yorabilir. Log analizi, botun gerçek olup olmadığını doğrulamanızı sağlar.

Log Dosyası Analizi İçin Yapılması Gerekenler

Adım 1: Log Dosyalarınıza Erişim Sağlayın

• Hosting sağlayıcınızın kontrol paneline (cPanel, Plesk vb.) giriş yapın ve “Loglar” (Logs) veya “Erişim Kayıtları” (Access Logs) bölümünü bulun.
• Log dosyalarını genellikle .log veya .gz (sıkıştırılmış) formatında indirmeniz gerekir.
• Eğer bir site barındırma yönetiminiz varsa, bu dosyalara doğrudan SSH (Secure Shell) ile erişebilirsiniz.

Adım 2: Doğru Verileri Ayıklayın

Log dosyaları çok fazla veri içerir. Analiz için en önemli veriler şunlardır:

• User-Agent: İsteği yapan botun kimliğini gösterir. Googlebot, Bingbot, AhrefsBot gibi isimler yer alır.
• URL: Botun ziyaret ettiği sayfanın URL’si.
• Durum Kodu (Status Code): İsteğin sonucunu gösteren HTTP kodu (200, 301, 404, 500).
• Tarih ve Saat: İsteğin yapıldığı zaman.
• IP Adresi: İsteğin geldiği IP adresi.

Adım 3: Log Analiz Araçları Kullanın

Ham log dosyalarını manuel olarak incelemek çok zordur. Bu iş için özel olarak tasarlanmış araçları kullanmak gerekir.

• SaaS Çözümleri: Logz.io veya Splunk gibi bulut tabanlı çözümler, büyük sitelerin loglarını analiz etmek için idealdir.
• Çevrimdışı Programlar: Screaming Frog Log File Analyser (ücretli), OnCrawl, Loggly gibi araçlar, log dosyalarını yüklemenize ve görsel raporlar almanıza olanak tanır.
• Kendin Yap (DIY) Yöntemi: Python’da pandas kütüphanesi veya ELK Stack (Elasticsearch, Logstash, Kibana) gibi araçları kullanarak kendi analiz sisteminizi kurabilirsiniz.

Analiz Sonucunda Ne Tür Sorunları Tespit Edebilirsiniz?

• 404 Hataları: Hangi sayfaların 404 hatası verdiğini ve Googlebot’un bu sayfalara ne sıklıkta geldiğini görebilirsiniz. Bu hataları 301 yönlendirmesiyle düzeltmelisiniz.
• Yönlendirme Zincirleri: Googlebot’un bir sayfaya ulaşmak için birden fazla yönlendirmeyi takip ettiğini görebilirsiniz. 301 yönlendirme zincirlerini kısaltmak, tarama bütçesini korur.
• Önemli Sayfaların Taranmaması: Sitenizin ana sayfalarının veya önemli ürün sayfalarının Googlebot tarafından nadiren tarandığını görebilirsiniz. Bu, dahili linkleme yapınızda bir sorun olduğuna işaret edebilir.
• Gereksiz Taramalar: Tarama bütçesini boşa harcayan, dizine eklenmemesi gereken sayfaların (örneğin filtre sayfaları, arama sonuçları) sık sık tarandığını tespit edebilirsiniz. Bu sayfaları robots.txt ile engelleyerek veya noindex etiketiyle dizine eklenmesini engelleyerek tarama bütçenizi korursunuz.

Log dosyası analizi, teknik SEO’nun derinliklerine inmek isteyenler için paha biçilmez bir kaynaktır. Düzenli olarak yapıldığında, sitenizin performansını artırmanın ve arama motorları gözündeki itibarını güçlendirmenin etkili bir yoludur.