Merhaba dostlar, forumun bu kısmı'nın sıkı bir takipçisi olduğum için burada sık sorulan bir sorun hakkında dada detaylı bir makale ele almaya karar verdim.
İndex Sorunu
Makalenin Kaynağı: http://ww.seondex.com

Makale bir çok açıdan sorunu çözmenize yardımcı olacağına inanıyorum. Eğer unutulan ve eksik gördüğünüz bir şey var ise lütfen forum kısmında belirttiniz. Böylece düşüncelerimizi ve tecrübelerimizi birleştirerek daha sonra bu makaleyi okuyacak arkadaşlarımız için faydalı bir bilgi bankası oluşturabiliriz.
İlginiz için şimdiden teşekkürler.

İndex sorunu veya geç indexlenme sorunu özellikle yeni sitelerin çok sık karşılaştığı genel bir sorun olmakla beraber çözümü yok vardır. Neden site indexlenmiyor? Veya neden sitenin bir kısmı indexlenmiyor sorusu her zaman karşımıza çıkmaktadır. Bu tür index sorunu yaşayan webmaster veya site sahipleri için cevap niteliği taşıyacak detaylı bir analizi aşağıda yayınlıyoruz. Bu yazı sorunu çözmenizde size yol göstereceğine inanıyorum.
İndex sorunu’nun temel nedenleri:
İndex sorununu temel’de 5 ana sabebe ayırabiliriz. Bunlar sırasıyla;

-Arama motorları robotlarının bu site veya dosyadan haberdar değillerdir.
-Site, tamamen veya sitenin bir kısmı arama motorları örümceklerinin erişimine kapalıdır.
-Site kara listededir.
-Site teknik sorunlar yaşamaktadır.
-Sitenin bazı bölümleri veya sayfaları kelitesiz veya illegal içerik barındırıyor.

Şimdi bu indexlenme sorununa neden olan bu 5 ana faktörü detaylı bir şekilde inceleyelim:

1.Arama Motorları’nın Site/ Dosya hakkında haberleri yok.

Arama motorlarının site hakkında bilgisi olmayabilir. Özellikle yeni açılan siteleri ilgilendiren bu problemin çözümü arama motorlarına sitenizi kayıt etmekle mümkün fakat bu sorunun en temel nedeni sitenin açılmasının üzerinden çok kısa zaman geçmiş olması. Bu sorun genelde yeni açılan veya çok geçe aralıklarla güncellenen sitelerde yaşanmaktadır. Normal şartlarda Google’ın yeni bir sayfayı veya dosyayı indezlemesi saniyeler alır ama sitenin duruman göre ve bazı özel durumlarda bu birkaç gün hatta birkaç haftayı alabilir. Aynı şey Yandex içinde geçerlidir. Yeniaçılan bir site eğer arama motorlarına kaydedilmemiş ise arama motorlarının o siteyi bulması ve indexlemesi 2 haftayı bulabilir.

Bu sorunu kısmen aşabilmek için manuel olarak sitenizi Google dizine kaydedin aynı şekilde Yahoo dizinine kayıt yapın, aynı şekilde yeni açılan sitenizi Yandex’de kaydedin.

Site veya Dosyada link yok: Aynı şekilde serverdaki loglardan arama motoru robotlarının siteyi ziyaret ettiğini ama indexlemediğini görüyorsanız bunun bir nedeni de site veya sayfada veya dosyada link olmamasından kaynaklanabilir. Bunun için yeni yayınlanan sayfada bağlantı paylaşarak robota sinayel verebilir ve sayfayı veya siteyi indexlemesini sağlayabilirsiniz, bu şekilde rorbota sinyal vererek en azından diğer güncellemede indexlenme oranını arttırmış olursunuz. Şunu bilmeniz gerekir ki bir site ne kadar geç güncelleniyorsa arama motorları robotlarıd ao siteyi o kadar geç aralıkarla ziyaret eder, buda sitenin geç index almasına neden olur. Eğer sitenin başka bir sorunu olmadığından eminseniz sitenizi daha sık güncelleyerek bu sorunu aşmanız mümkün.

1. Sitenin Tamamı Veya Bir Kısmı Arama Motorları Örümceklerine Kapalı.

Bazen sitemizin varlığı hakkında arama motorlarını haberi olsa bile, webmasterilerin yaptığı teknik hatalardan dolayı sitenin tamanına veya bir kısmına arama motorları örümceklerinin erişimini engellemiş olabiliriz. Bu durum yeni web sitelerinde özellikle WordPress tabanlı sitelerde yaşanmaktadır. Bilindiği gibi WordPress tabanlı siteler SEO Eklentileri kullanmakta ve otormatik veya manual olarak robot.txt dosyaları oluştırmaktadır. Robot.txt yanlış oluşturulduğunda bilmeyerek sitenin bazı önemli kısmımları veya tamamı arama motoru örümceklerine kapatılabiliyor veya SEO eklentilerinin yanlış ayarlanması sonucu böyle bir problem ortaya çıkabiliyor. Şimdi olası sorunların bazılarını inceleyelim.

Eğer sitenizin indexlenmesini engelleyecek başka bir hata olmadığını düşünüyorsanız bunu kontrol edin. Yetkilendirilmemiş ( Delegation) Doman : Çok seyrek yaşanan bir problmedir. Sahibi olduğu domain için sadece sizin değil bütün kullanıcıların yetkilenririlmiş olduğunu kontrol edin. Bu sorun aynı zamanda sitenin illegal içerikleri yüzünden aldığı şikayetler sonucu da meydana gelebilir. Telif hakları olan içerik paylaşımında belirli bir bölgede domain in yetkilendirilmesi kaldırılabilir. Çok seyrek yaşanan bir durumdur ama vardır. Genelde uyarı yapılır.
Robot.txt engeli: Yeni sitelerde meydaha gelen bazen bilinçsiz, bazen webmasterleri siteyi test ederken arama motorları test sürecini indexlemesin diye ‘‘Disallow:/ marifetiyle siteyi indexe kapatırlar ve bazen bunu unuturlar. Bu durumda robot.txt dosyasını açarak sitenin indexlenmesi gereken bölümleri arama motorları örümceklerine kapatmadığınızdan emin olun.
Meta-robotlar marifetiyle siteyi indexe kapatmak: meta-robots tagları <head> tagları içerisinde bulunurlar ve siteyi indexe kapatmaya yarayan ikincil elementlerdir. Bazı CMS ler (Content Manager Systems) İçerik Yönetici Sistemleri ( WordPress gibi) bu özelliği ciddin kullanımına ciddi anlamda imkan sağlarlar.Ama her webmaster buna bazen fazla dikkat etmezler Örnek verecek olursam: Türkiye’de çok ziyaret edilen bir WordPress tabanlı bir siteden backlink almak için konuk yazar olarak bir makale yayınlamak istediğim de meta-tag’ın <meta name=”robots” content=”nofollow,noindex” /> bu şekilde olduğunu gördüğümde şaşırmıştım. Sitenin en önemli sayfaları index dışına atılmıştı, hem de kendi elleriyle.
IP veya User-Agent marifetiyle indexe kapatma: Bu sorun hosting firması aracılığı ile çözülebilir. Bir zamanalr Yahoo bu sorunla çok fazla uğraşmıştı. Çünkü hosting firması ve site sahipleri aörümceği IP adresinden erişime kapatmışlardı( çok nadir bir sorundur ama bilgi olarak arşivinizde kaldın). Çok az rastlanan bir durum olmasına rağmen İP nin kara listeye girme durumu da indexlenmeyi engelleyebilir. Bununla akalalı da somut bir örnek vereyim. Paravan olarak kullandığım bir sitemin zamanla geç indexlendiğini ve daha sonra index süresinin hiçbir şey yapmaz isem 2 -3 haftayı bulduğunu gördüm. Yaptığım araştırma sonucu serverda bulunan iki sitenin aldığı cezanın İP ve diğer sitelere yansımasını gördüm. Server’e değiştirince sorun ortadan kalktı.
http-başlık X-ROROBTS-TAG engeli: Çok seyrek olarak kullanılan metodlardan biridir, bu metod racılığı ile de sitenin tamamı veya bir kısmı indexe kapatılabilir. Feribyg Firefox İçin , ile x-rorbots-tag ların oluduğu veya bu sorunun yaşandığı sayfaları kontrol edebilirsiniz.
Flash veya Ajax navigasyon kullanımı: Arama motorları, sitenin barındırdığu flash ve ajax elementlerini indexlemede zorlanırlae. Haliye bu nedenden dolayı site sayfalarını ve içeriklerinide indexleme noktasında sorun yaşayabilirler. Bu elementlerin nasıl çalıştığını görmek için Google Webmaster Araçlarından İndex – Googlebot gibi bak kısmından görebilirsiniz.
Noidex ile önemli bölüm ve sayfaların indexini engellemek: Sitenin indexlenmesi istenilmeyen bölümler için kullanılır veya gereksiz kısımların indexlenmesi engellenmek istenirken yanlışlıkla gerekli kısımlarda engellenir. Yine WordPress tabanlı siteşerde çok sık yapılan hatalardan birisirdi.


2. Site Kara Liste’de


Bir websitesi’nin kara listeye birkaç sebebi olabilir ve bu sebeplerde sitenin indexlenmesini engellerle. Temel nedenler şunlardır;

Domain Zaten BanlıydıBazen banın nedenini çok iyi biliriz ama bazen anlamakta güçlük çekeriz, özellikle yeni alınan domainler’de. Bunun için yeni alınacak domainlerin daha önceden banlanmadığına ve temiz olduğuna dikkat edilmesi gerekir. Genelde sitenin banlanmasına şunlar neden olur.

[COLOR="rgb(160, 82, 45)"]- Sitenin aşırı derecede optimize edilmesi [/COLOR], site dışı SEO çalışmaları buna neden olur. Spam yapmak, aşırı derecede kalitesiz ve çok sayıda backlink almak veya site içi SEO adına site içeriğini gizleyerek spam yapmak.

Websitesini sadece arama motorları için kurma. Kullanıcıların faydalanabileceği bilgiden yoksun sadece para kazanma ve aramamotorlarını manuple odklı siteler.

Başka bir sitenin Affilietesi ( Kazanç Ortağı) olmak. ( Aynı siteninin sahibinin başka bir domain de de olan sitesine) Paravan ile karıştırılmasın. Ki artık paravanlar da risk altında.

Domain’in kötü bir geçmişi var.

Satın almak istediğiniz domain’de daha önce hangi sitenin olduğunu WebArchive’den görebilirsiniz.

İçerik Virüs Yayıyor:Bu maddeyi yazıp yazmamakta biraz çekimser kaldım ama daha sonra yazma gereği hissettim. Eminim ki webmasterler kendi sitelerinde virüs yaymak istemezler ( bir kısım hariç) ama şöyle bir durum söz konusu. Siteleri hacklayarak içeriğe virüs konulabiliyor, bunu yaşayan çok site sahibi var. Siteniz hacklandığında sadece siteyi krutarmakla kalmayın. Aynı zamanda içeriklerdeki değişikliklere de dikkat edin. Virüs yayan bir değişiklik yapılıp yapılmadığını kontrol edin. Bu durumda sitenin indexlenmesini engeller.

3. Teknik Sorunlar Var.

Nadiratdan da olsa sitedeki teknik sorunlardan dolayı sitenin indexlenmesi yavaş veya tamamen olmayabilir. Bunlardan bazılarını şu şekilde sıralamak mümkün.

Yanlış http- Başlığı: Serverin indexe düşecek sayfalar için cevap kodu ‘‘200’’ olmalı. Bunu kontrol etmek için bazı servisler var, bunlardan birtanesi de Firebug eklentisidir.Aynı şekilde webmaster panelinde de index hatası olduğunda bilidirilir.
Yanlış DOCTYPE: Birkaç sitede karşılaştığım için söyleme gereği hissettim, html kodundaki DOCTYPE önünde bulunan (<?xml veya <script>), tagları sitenin kısmen veya tamamen indexlenmesini engeller veya yanlış indexler yada kötü indexlenmesine neden olur. Burada html kodunun standartlara uygun olup olmadığı kontrol edilmelidir.
Yanlış Yönlenirmeler ( Redirects): Yanlış yönlendirmelerde seyrek de olsa yapılan hata 301 yönlendirmesi yerine 302 yönlendirmesinin yapılmasıdır, bu yapıldığında indexlenmiş eski bağlantılar yeni bağlantılara dönüşmezler. Çünkü bur durumda sürekli yönlendirme değil geçici belirli bir tarihten sonraki yönlendirmeler bazalınmıştır. Bunun dışında diğer bir yanlış yönlendirme ise rel=canonical dir. Bir süt kısımda yazdığım gibi, bir dosya için yapılması gereken bütün dosyalar için yapıldığında.
Kod Problemleri: Örnekte olduğu gibi. Bilgi Bankası ve İletişim kısmının kod hataları yüzünden Google’da indexlenmiş hali.
NOT: Siteyi ifşa etmemek için küçük resimler kullandım. Site sahibi hata konusunda ayrıca bilgilendirdim.



Latin alfabesi kulanan sitelerde çok nadir olarak da olsa görülen bir hata ama farklı Çince, Rusça v.s farklı alfabeler kulanan sitelerde çok sık karşılanan bir hata. Özellikle başlıklarda hatta içeriklerde ve aynı zamanda görsellerde sık sık karşılaşılan bu hata da indexlemeyi zorlaştırı vey engeller.

Rusça bir siteden örnek:




3. Kalitesi Düşük Sayfalar veya Bölümler ( Kategoriler)



Eğer yukarıda belirttiğimiz teknik hataların olmadığına eminseniz ve burada sıraladığımız hataların sitenizde olmadığına, teknik olarak sitenizin mükemmel bir şekilde çalıştığına eminseniz. Artık site içerisine yönelebilirisniz. Çünkü sitenin indexlenmesine engel olan geç veya tamamen indexlenmeme sebebi olan site içi hatta içeriği nedenleri mavcut olabilir.

Asıl konuya girmeden önce Arama Motorlarının çalışmalarıyla alaklı kıs bir bilgi vereyim. Arama motorları her index işlemi için farklı örümcekler kullanırlar. Yani örümcekler siteyi bir kere taramazlar. Siyete yeni bir içerik girildiğinde bir örümcek ( bu başlı başına ayrı ve uzun bir konu olduğu için kıs geçiyorum, bu konuyla alakalı daha uzun bir makale hazırlık aşamasında) gelir ve siteyi tarar, şayet bu örümcek sitede gerçekten kaliteli bir içerik olduğuna karar verirse diğer bir ve farklı fonksiyonları örümcek siteyi tekrar ziyarete der ve diğerinden çok daha detaylı olarak siteyi yeniden tarar. Şatey ilk örümcek sitedeki içeriğin faydasız ve kalitesiz olduğunu algılarsa diğer örümcek siteyi ziyaret etmez. Bunun sebebi arama motorları gereksiz işlemlerle uğraşmak yerin gerçekten kaliteli içeriklere vatik ayırarak zamandan tasarruf yaparalar.

Arama motorlarının çalışmaları hakkında kısa bir bilgi verdikten sonra şimdi asıl konumuza dönelim. Zaten açıklamadan da ne demek istediğimi anlamışsınızdır. Kalitesiz içerik indexleme ileminid doğrudan etkiler.

İçerik Zatan Başka Site’de Var (Kopya İçerik): Arama motorları bir siteye girilen verinin kopya olup olmadığını tarayana kadar anlamazlar bu yüzden ilk etapda iyi bir şekilde indexlerler. Ama daha sonra içeriğinizin aynısını başka sitede de bulurlar ise o zaman sizin sitenizdeki içeriğe değer vermezler hatta sıralamadan tamamen kaybolabilir. Hatta ve hatta Webmaster araçlarında arama motorunun sitenizdeki binlerce sayfasını gördüğünü ama kopya içerik sayfasını görmediğini bile kontrol edebilirsiniz. Şayet arama motoru örümceği başka bir sinyal almaz ise bu böyle kaldı. Başka sinyalden kasıt geç indexlenen siteler için. Örnek verecek olursak geç indexlenen sitelerin içeriklerini alan diğer siteler, geç indexlelen sitelerin kopyalanan içeriklerini indexleyen arama motorları içeriğin kopya olduğunu anlar ve sırama yerini değiştiri.
İçerik sitenin başka bir bölümü veya sayfasında var: Buradaki sorun başka sitelerden kopyalanan içerikle alakalı değil. Bir sitede aynı içeriğin tekrarlanmasıdır. İçeriğin tamamının veya bir kısmının tekrarlanması indexlenmemesine neden olabilir. Bazı SEO uzmanları içeriğin bir kısmını kopayalabileceğini söyleselerde ben aynı fikirde olmadığımı belirtmek isterim. Bugün içeriğin tamamına önlem alan arama motorları yarın içeriğin bir kısmının kopyalanmasına da önlem almayacağına kim garanti verebilir. Yarını sürekli düşünmek lazım.
NOT: Burada içeriğin bir kısmı derken alıntılardan bahsetmiyorum.

Özgün İçerik Hacmi Düşük, En Az 500 kararkter:Site içeriğinin çok az olması arama motorları algoritmalarının sitenizdeki içeriğin değerini diğer site içerikleriyle kıyaslama yapma noktasında zorlanmasına neden olur. 80-100 karakterlik içeriklerle güncellenen sitelerin bırakın ilk sayfalarda sıralanmasını, indexlenmesi bir mucize diyebilirim. Bu şekilde kalitesiz ve içerik hacmi düşük websitelerinin sayfalarını daha çok arama hacçi çok düşük olan anahtar kelimelerin sayfa sıralama sonuçlarındagörebiliriz. SEO açısından bir makale veya içeriğin ne kadar uzun olması gerektiği hakkında bir şey diyecek olursam: Olabildiğince uzun derim. 250 kelimelik makale furyasını kesinlike bırakmanızı tavsiye ederim. Mümkün olduğunca uzun ve görsellerle desteklenmiş içerikler oluşturmak bu kısımda anlattığım neden yüzünden indexlenmeyen sitenizin bu sorunun halledecektir.
Çok Fazla Sayıda 404 Sayfası: Aşırı derecede 404 hatası sitenin indexlenmemesine veya kötü indexlenmesine neden olan diğer bir unsurdur. Aşırıcı derecede 400 hatası ayrıca sitenin terkedilmiş olduğuna dair sinyaller verir bu yüzden farklı servisler kullanılarak 404 hatası veren sayfalar (url) ler güncellenmelidir.
Yavaş Site Hızı: Arama motoru örümceklerinin siteyi indexleme hızı sitenin sayfalarının yüklenme hızıyla doğrudan alakalıdır dememiz yanlış olmaz. Sitenin yavaş olması da genelde hosting veya CMS içerik yönetim sitemi ile akalalıdır. Site hızının indexleme ile doğrudan ilişkisi vardır.
Yetersiz Backlink Sitenizin neden indexlenmediğine dair herhangi bir fikriniz yok ise ve bu konuyla alakalı bir araştırma yaptığınızda genelde verilen cevapların backlink yetersizliğinden kaynaklandığı yönünde iddiaalarla kaşılaşacaksınız. Kısmen bu doğrudur ama tek başına bir sebep değildir. Yani yukarıda şimdiye kadar anlattığımız bütün kusurlar ve hatalar olmadığını varsayalım ve otoriter içerikler paylaştığınızı düşünelim. Ama hiç backlink çakışmadığın bu durumda siteniz Arama Motorları tarafından indexlenir mi? Evet indexlenir. Backlinklerin bir çok faydası olduğu gibi indexlenme süresinin hızlanmasına da yardımcı olduğu kesindir ama en önemli etken değildir.

Şüphesiz burada sıraladığımız faktörler dışında sitenizin indexlenmesine engel olan diğer bir çok faktör vardır. Ben burada en temel problemleri ele alırken, İndex sorununa bir çerçeveden değil bir bütün olarak bakmanızı sağlamaya çalıştırm. Özellikle yeni ve ceza almış eski sitelerde görünen ve çok sık yalanan index sorunu birkaç nedenden dolayı da olabilir.

Bunun dışında site haritasının oluşturması, RSS, Sosyal medya çalışması ( Facebook, Twitter, G+) sayfalarının açılması ve buna benzer index süresini azaltacak bir çok faktör var. Bunlar genel olarak bilinen şeyler olduğu için bu makale’de ele almadım. Fakat burada index sorununa neden olan ve bilimeyen veya göz ardı edilen sorunları sıralamaya çalıştım.