Binlerce index’e sahip içerik veya e-Ticaret sitesi sahibiyseniz tarama bütçesine daha fazla önem vermeniz gerekmekte. Sektörde çok nadir rastlayacağınız Crawl Budget yani Tarama Bütçesi konusuna, genelde sadece büyük, global markalar ile yüksek trafiğe sahip web siteleri önem veriyor. Bu makalede 7 adımda tarama bütçe optimizasyonu nasıl yapılır konusuna değineceğiz.
Tarama Bütçesi (Crawl Budget) Nedir?
Crawl Budget (Tarama Bütçesi), Google’ın web sitenizde taradığı sayfa sayısı anlamına gelir. Fakat şöyle de bir durum var; mesela index sayınızın 100 olduğunu varsayalım. Arama motoru botları, 80 sayfayı taradığı zaman direkt paniğe kapılmayın. Botlar, sitenizde tarama işlemine başladığında, her zaman tüm sayfalarınızı tarayacağı anlamına gelmez. Kısacası stabil ilerlemesinin yanında tarama işlemi bazı durumlarda dalgalı şekilde de görünebilir.
Tarama istatistik bilgilerine, Google’ın bir aracı olan Search Console üzerinden ulaşabilirsiniz. Oradaki veriler son 90 güne aittir. Analiz sonucu, çok büyük dalgalanmaların söz konusu olduğunu görüyorsanız sitede yer alan kapsam sorunlarını kontrol etmenizi tavsiye ederim. Çünkü botları yanıltan ve taramada sorun çıkaran en önemli etkenler web tarayıcı sorunları (örn; 404, 403) ile sunucu hatalarıdır.
Tarama bütçenizin sorunsuz çalışabilmesi için bir diğer etken sağlıklı kesintisiz bir sunucudur. Kullandığınız sunucu eğer devamlı zaman aşımına uğruyor ve bu durum tarama vakitlerine denk geliyorsa sitenizde ciddi sorunların olduğu var sayımı ortaya çıkar. Bunun yanı sıra index yapınız sağlıklı oluşmayacaktır.
Aklınızda “Tarama bütçesi nasıl hesaplanır?” ve/veya “Tarama bütçesi nereden takip edilir?”gibi sorular gelmiş olabilir. Bu yüzden tarama bütçe optimizasyonu ile ilgili bilgi vermeden önce bu sorulara yanıt verelim.
Tarama Bütçesi Nasıl Hesaplanır?
Bu sorunun yanıtı oldukça kolay diyebilirim. Tarama bütçesi çok basit bir yöntem ile hesaplanabilir. İlk önce Google Search Console paneline giriş yapın. Daha sonra, Tarama>Tarama İstatistikleri kısmını açın.
Tarama bütçesi hesaplama formülü
Dizine Eklenen Sayfa Sayısı / Günlük Taranan Sayfa Sayısı = Tarama Bütçesi
650 / 230 = 2,8
Örneğin:
Index sayınızın 650, günlük taranan sayfa sayınızın 230 olduğunu varsayalım bölme işlemi sonucunda tarama bütçeniz 2,8’dir.
Dipnot 💡
Tarama bütçenizin ortalaması 10 ve üzeri çıkıyorsa, bu durum web siteniz için alınması gereken aksiyonların, yapılması gereken optimizasyonların olduğu anlamına gelmektedir. Bu düzeltme ve optimizasyonları yaptığınızda belli bir süre sonra tarama bütçeniz düzelecektir.
Tarama Bütçe Optimizasyonu Adımları
1) Değersiz Sayfaları Arama Sonuçlarına Kapatın
Öneme değeri olmayan index kirliliği oluşturan Giriş, Kayıt Ol, Ödeme, Gizlilik Sözleşmesi vb. değersiz sayfalarınızı arama sonuçlarınıza kapatmanız gerekmektedir. Bu sayfaları Robots.txtdosyasından veya noindex komutu ile aramalara kapatmanız halinde tarama bütçe optimizasyonu için ilk adımı atmış olursunuz.
2) Önemli Sayfaların Taranabilir Olduğuna Emin Olun
Değerli ve sizlere en çok dönüşüm sağlayan sayfaların arama motoru botları tarafından taranabilir olduğuna emin olun. Robots.txt dosyası ile bazı sayfalarınızın engellenmediğinin ve site haritasında yer aldığını inceleyin.
3) Sayfalama Sisteminde Parametre Kullanın
Kategorilerde birden fazla sayfa bulunuyor. Bu durum genelde e-ticaret veya blog sitelerindeyaşanıyor. Sayfalama yapısında parametre kullanmanız halinde, 2 veya daha üstü sayfanızı Google’a; “hedef sayfamız ve baz aldığımız yer 1. sayfadır” diye bilgi vermeliyiz.
Parametre kullanmanız halinde sayfalama sistemlerini Google’a kapatarak hem kopya sorununu ortadan kaldırmış olursunuz, hem de ana kategorinizi güçlendirirsiniz.
4) 3xx Yönlendirme Zincirini Azaltın
Her sitede olduğu gibi eminim ki sizin sitenizde de 301 veya 302 yönlendirmesi bulunuyordur. Bu yönlendirme türlerini olabildiğince azaltmanız gerekiyor. Çünkü arama motoru botları yönlendirmeleri takip ederken tarama bütçenizi israf etmekle kalmayıp tarama süresini de geciktirmektedirler. 3xx yönlendirme zincirlerinizi kontrol ederek yönlendirmeleri azaltmanız gerekmektedir.
5) Http Linklerini Düzeltin
HTTP yapısında yer alan site içerisindeki linklerinizi düzeltin. Tabi ki sitenizde SSL sertifikasıvarsa ve https yapısını kullanıyorsanız bu adımı ona göre uygulayınız. Makale veya anahtar kelimelerde, eskiden bu yana çıkış yaptığınız linkler arasında http yapılarını mutlaka revize ediniz.
6) Site Haritasını Güncel ve Temiz Tutun.
“Nasıl bulmak istiyorsan öyle bırak’’ sloganı çok sıradan farkındayım fakat kendinizi tarama yapan botların yerine koyun. Karmaşık adresler, değersiz sayfalar, 404 hatası olan adresleri site haritasında eminiz ki görmek istemezsiniz.
Bu ve benzeri sebepleri göz önüne alarak site haritanızı güncel ve temiz tutun. Dinamik yapıda oluşturduğunuz sitemap.xml sayesinde site haritanızı güncel tutabilirsiniz. Site haritanız içerisinde değersiz kayıt ol vb. sayfalara yer vermeyin. 404 hatasına düşen sayfaları bulundurmayın. En önemlisi de https’e geçtiyseniz adreslerinizin hepsini https yapısında güncelleyin.
7) Yinelenen İçeriklerde Canonical Etiketi Kullanın.
Birbirine benzeyen kopya olan sayfalarınızı tek çatı altında toplayın. Veya bu sayfaları Canonical etiketiyle referans gösterebilirsiniz. Bunu yapmanız halinde tarama bütçenizi kopya sayfalarda harcamış olmazsınız.
