28 Temmuz 2015 itibariyle Google Webmaster Tools'a kayıtlı olan sitelere aşağıdaki şekilde bir mail gönderdi. Bu mailin amacı google örümceklerinin websitenizdeki tüm dosyalara erişme isteğinin olmasıyla ilgili.

Fakat bundan önce içerik ve resimler harici tüm dosyaları robots.txt tarafından yasaklamıştık. Yeni gelen bu uyarıyla birlikte sitede kullandığımız temaya ait js ve css dosyalarına robots.txt dosyasında allow izni vermemiz gerektiğini öğrenmiş oluyoruz.

Bakalım bu değişiklikler arama sonuçlarında nasıl bir değişikliğe yol açacak. Bu uyarıyı dikkate almayanlar nasıl bir yaptırımla karşılacak zamanla göreceğiz.

Kısacası robots.txt dosyasında değişiklik yaparak css ve js dosyalarına allow izni vereceğiz. Tabi bu dosyalar kaynakta görünen tüm dosyalar olacak yoksa sadece tema dosyaları mı olacak henüz bilmiyorum.

kaynak