İpucu: Googlebot Hakkında Bilgi

Arkadaşlar herkese selamlar, yıllardır bu sektörün mutfağında olan biri olarak bugün çok kritik bir konuyu aydınlatmak istiyorum. Google, geçtiğimiz günlerde arama motorunun arka planında çalışan sistemlerin sınırlarını resmen açıkladı. (Sayfalarım, içeriklerim index almıyor diyenlere özel bir içeriktir bu.)

Googlebot sitenize geldiğinde her şeyi okumuyor. Sistemin çok net bir veri boyutu sınırı var. Hiç SEO bilmeyen birinin bile rahatça uygulayabileceği şekilde bu gizli limiti ve sitenizi nasıl kurtaracağınızı anlatacağım.

Çoğumuz Googlebot'u internette gezen yorulmak bilmez tek bir adet yazılım parçası sanıyoruz. Aslında durum hiç de böyle işlemiyor. Sunucu kayıtlarınıza baktığınızda kapınızı çalan o bot, devasa bir ağın sadece küçük bir elçisidir. Google Arama, Alışveriş veya AdSense gibi onlarca farklı hizmet, sitenize sürekli ayrı ayrı istekleri gönderiyor. Yani sitenizi tarayan tek bir misafir yok, amaçları farklı devasa bir ordu var.

2 MB Kuralı

2 MB Kuralı, Google'ın bir web sayfasının temel kodunu okurken koyduğu kesin ve net bir barajdır. Diyelim ki sitenizde çok karmaşık kodlar, devasa menüler veya kod içine gömülmüş ağır resimler var. Toplam sayfa boyutunuz 5 MB oldu. Googlebot sitenize geliyor ve sadece en üstteki ilk 2 MB'lık kısmı cebine koyuyor. Geriye kalan koca bir 3 MB'lık kısmı hiç acımadan çöpe atıyor. O sınırın altında kalan yazılarınız, resimleriniz veya anahtar kelimeleriniz Google için artık tamamen yok hükmündedir maalesef.

Sistem o kurtarabildiği ilk ufak veriyi alıp doğrudan kendi okuma ve çizim motoruna aktarıyor. Bu motor, sanki sitenize normal bir tarayıcıdan giriyormuş gibi eksik sayfayı anlamaya çalışıyor. Ancak bu sistem çerezleri veya oturum bilgilerinizi asla aklında tutmaz. Her girişte her şeyi sıfırlar. Sitenizin görünümünü sağlayan dış dosyaları sonradan ayrı ayrı çağırır. Fakat sayfanızın ana iskeleti o 2 MB sınırına takılıp kesildiyse, motor sadece yarım yamalak bir sayfa görür ve sıralamanızı doğrudan dibe çeker.

Ne yapacağız peki?

Sitenizin arka planındaki kod yapısını olabildiğince hafif tutmak zorundasınız. Sayfayı yoran ağır kod bloklarını harici dosyalara taşıyın. En önemli kural ise sıralama mantığıdır. Sitenizin başlığı, etiketleri ve o çok değerli SEO kodları her zaman sayfanın en tepesinde yer almalıdır. Böylece sınır bariyerine takılmadan botun cebine ilk giren veriler olurlar. Sunucunuzun hızına da çok dikkat edin. Yavaş yanıt veren siteleri gören Googlebot, sunucunuzu yormamak için anında geri çekilir ve sitenizi ziyaret etmeyi bırakır. Gerekli optimizasyonu doğru şekilde yaparsanız SEO’nuz da güçlü ise index almayan sayfanız kalmaz.

2mb oldukça büyük bir boyut. Zaten vatandaş 2mb yi geçen kaynak kod yapıyorsa bu işi bıraksın.
Mesela konu açtıgınız bu sayfa: 942kb (fazla)
Neden? çunku javascript, style sınıflar vs ne varsa inline olarak içine doldurmuşlar.
inline olursa daha hızlı açılır diye mantığı yanlış anlamışlar. Halbuki inline renderda sadece kritik darboğazki kısımlar için kullanılır.
3-5 kritiği ayırıp, kalanı .js / .css dosyalarına koyup çağirsa belki 120kb'yi bile aşmayacak.

Deneyimlerimi katarak ve konuyu geliştirerek 2MB konusuna katılmadığımı belirteyim. 2 MB sonrası çöpe atılmıyor. Bu 2 MB konusunu görmezden gelirsek gzip sıkıştırmalarının, lazyload yüklemelerin, hiyerarşik kodlamanın, defer işaretlerinin, doğru web sunucusu kullanmanın, büyük boyutlu PNG yerine Webp kullanmanın... hız konusunda etkili olduğunu bunların Google için iyi bir sinyal olduğunu söyleyebilirim. 2 MB diye bir kotamız yok.

Google metinleri görsellerden daha hızlı tarar. Yazılımla uğraşanlar örneğin C#'da SmartReader, Python'da Readability gibi araçlarla ana yazıyı sökebildiğimizi bilir. Google'da böyle yapıyor. Yani büyük boyutlu görseller için dosya varlığı ve alt metni ilk taramada hesaba katsa bile sonrasında Google Vision örneğindeki gibi görsel tanımlayıcılarla görselin içeriğini, içerik ilgisini ve kalitesini değerlendiriyor. Dolayısıyla sayfadaki görsel, video vb.'nin boyuta dahil edilmediğini edilse bile birden çok googlebot'un konuyu değerlendirdiğini biliyoruz. Kaliteli bir içerik, absürd olmadığı sürece MB'a takılmaz. Hız için yukarıda saydıklarımı listeleştiriyorum:

1. Web sunucusu (Litespeed uzun süredir başarılı, Nginx fena değil, Apache php-fm de iyi)
2. Html kodlarının hiyerarşisi yani python tarzı satır girintileriyle doğru şekilde kodlanması zayıf ama iyi bir gösterge
3. Gzip sıkıştırmaları çoğu modern sunucuda var ve olmalı.
4. Defer işareti önemli. Js dosyalarının ve dışarıdai dosyaların (örn font) yüklenmesinde özellikle kullanılmalı.
5. Lazyload önemli. İlk resimden sonraki büyük boyutluları lazyload ile yüklemek doğru tercih.
6. PNG, JPG yerine daha küçük boyutlu webp kullanmak iyi.
7. Birçok veriyi json'larla arama motorlarına göstermek en iyisi (microdata)

...

Arkadaşlar öncelikle değerli katkılarınız için teşekkürler.

Birinci yoruma (inline eleştirisine) sonuna kadar katılıyorum. İnline kullanımının suyunu çıkardığımızda başımıza gelen tam olarak bu. Özellikle eski ve hantal temalarda bu DOM şişkinliği çok yaşanıyor. E-ticaret altyapıları veya web projeleri kurgularken en çok dikkat ettiğimiz şey tam olarak budur. CSS ve JS'i dışarıdan çağırıp ham HTML DOM ağacını olabildiğince temiz ve hafif bırakmayı amaçlıyoruz hepimiz. Sadece bir metin okutmak için 942kb ham kaynak kodu basmak gerçekten korkunç bir rakam.


İkinci yorumu yapan hocam, hız, Core Web Vitals ve performans için saydığınız tüm metrikler (WebP, lazyload, defer, Litespeed) kesinlikle çok değerli, bunlara kimse itiraz edemez. Ancak "2 MB diye bir kotamız yok, 2 MB sonrası çöpe atılmıyor" derken çok büyük bir teknik detayı atlıyorsunuz. Google'ın açıkladığı 2 MB sınırı, sayfanın toplam boyutu (resimler, videolar, harici scriptler dahil) değil, doğrudan ilk çekilen ham HTML belgesinin sınırıdır.


ilgili kaynak: https://developers.google.com/search/blog/2026/03/crawler-blog-post?hl=tr


Yani Googlebot sitenize geldiğinde harici görsellerinizi, videolarınızı veya dışarıdan çağırdığınız JS dosyalarını o 2 MB'ın içine zaten katmıyor. Sizin bahsettiğiniz WebP veya lazyload gibi optimizasyonlar harici kaynak çağrıları olduğu için bu HTML limitinden tamamen bağımsız çalışır. Google bunu metinde "Medya öğeleri ve harici dosyalar kendi ayrı bayt sayaçlarına sahiptir" diyerek açıkça belirtiyor.


Ancak asıl tehlike şu, eğer kodlama sırasında base64 formatındaki devasa bir görseli doğrudan HTML içine gömerseniz veya yüzlerce satırlık CSS'i inline olarak basarsanız, o ham HTML dosyası 2 MB'ı geçer. Googlebot bu sınırı gördüğü an HTTP isteğini jilet gibi keser. Sınırın altında kalan kodlar (belki en önemli schema etiketleriniz, canonical bağlantınız veya bahsettiğiniz o harika içerikler) Google'ın çizim motoruna (WRS) hiç aktarılmaz.


İçerik ne kadar kaliteli olursa olsun, Googlebot kodu kestiği an sizin o kaliteli metninizi fiziksel olarak sunucudan çekememiş olur. Görmediği, indiremediği bir şeyi de doğal olarak "kaliteli içerik" diye değerlendiremez. Hız optimizasyonları harikadır ancak ham HTML temizliği Googlebot'un sitenizi okuyabilmesinin ilk ve en sert kuralıdır.

İlk mesajda "kod içine gömülmüş ağır resimler" ibaresi o zaman resmin base64 gibi bir kod şeklinden bahsedilmiş. Öyleyse tamam. 2 milyon karakterli bir yazı/kodlamanın da göz ardı edilmesi mantıklı. Çünkü 2 milyon karakter tek dosya için çok ciddi bir büyüklük. Her tür kodlama ve yazı için...

Aynen öyle hocam, tam olarak bundan bahsediyorum. İşin içine Base64 formatında doğrudan DOM'a gömülmüş resimler veya eski nesil hantal temaların sayfaya bastığı kilometrelerce uzunluktaki inline CSS/JS blokları girince, o devasa görünen 2 MB'lık kota saniyeler içinde buharlaşıyor. (ki özellikle eskiden tutmuş bir temayı yedek alıpta ardından aynı yedeği sahip olduğu bütün domainlere aktardıktan sonra proje geliştirmeye çalışırken birçok sebepten ötürü sorun yaşan arkadaşlar için yazdım bu içeriği, bunu bilmeden yapanda çok fazla insan var maalesef.)

Google’ın 2 MB kuralı diye bir sınırı yoktur İndex sorunları genelde tarama bütçesi, site hızı, teknik SEO ve içerik kalitesinden kaynaklanır.