Googlebot siteniz üzerindeki CSS ve JS dosyalarına erişemiyor

Merhaba arkadaşlar şöyle bir e-mail geldi. Önemli bir sorunmudur düzeltmeliyim sizce?
------
web sitesinin yöneticisi,

Google sistemleri, yakın zamanda ana sayfanızla ilgili, algoritmalarımızın içeriğinizi oluşturma ve dizine ekleme başarısını etkileyecek bir sorun tespit etti. Daha ayrıntılı ifadeyle, Googlebot, robots.txt dosyanızdaki kısıtlamalardan dolayı JavaScript ve/veya CSS dosyalarınıza erişemiyor. Bu dosyalar, Google'ın, web sitenizin düzgün şekilde çalıştığını bilmesine yardımcı olduğundan, bu öğelere erişimin engellenmesi, sıralamanın gerektiği gibi olmamasına yol açacaktır.

28 Temmuz 2015 itibariyle Google Webmaster Tools'a kayıtlı olan sitelere aşağıdaki şekilde bir mail gönderdi. Bu mailin amacı google örümceklerinin websitenizdeki tüm dosyalara erişme isteğinin olmasıyla ilgili.

Fakat bundan önce içerik ve resimler harici tüm dosyaları robots.txt tarafından yasaklamıştık. Yeni gelen bu uyarıyla birlikte sitede kullandığımız temaya ait js ve css dosyalarına robots.txt dosyasında allow izni vermemiz gerektiğini öğrenmiş oluyoruz.

Bakalım bu değişiklikler arama sonuçlarında nasıl bir değişikliğe yol açacak. Bu uyarıyı dikkate almayanlar nasıl bir yaptırımla karşılacak zamanla göreceğiz.

Kısacası robots.txt dosyasında değişiklik yaparak css ve js dosyalarına allow izni vereceğiz. Tabi bu dosyalar kaynakta görünen tüm dosyalar olacak yoksa sadece tema dosyaları mı olacak henüz bilmiyorum.

kaynak

Takipteyim.

Mail gelmiş ama robots.txt dosyasında sadece şu kısıtlamalar mevcut olmasına rağmen erişememesine anlam veremedim. Bu durumda ne yapmak gerekiyor?

"User-agent: *
Disallow: /wp-admin/

Sitemap: http://www.xx.xxx/sitemap.xml"

Bu durumda hiçbir şey yapmanıza gerek yok. wp-admin klasöründeki dosyalara da erişmeyiversin google botu.

Method 1:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
allow: /wp-content/plugins/
allow: /wp-content/themes/

Method 2:

#Googlebot
User-agent: Googlebot
Allow: *.css
Allow: *.js

# Other bot spider
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

themes ve plugins'e izin verdiğimizde, bu sefer tema ve eklentilerin dosyalarını indekslemiş olmayacak mı?

Arama sonuçlarında görmeyelim sonra eklentileri?

Aynı mail bana da gelmiş. Halbuki Google'ın mail atmasını gerektirecek bir kısıtlama da yok robots dosyasında.

<script type='text/javascript' src='wp-includes/js/jquery/jquery.js?ver=1.11.2'></script>
<script type='text/javascript' src='/wp-includes/js/jquery/jquery-migrate.min.js?ver=1.2.1'></script>

sorun includes i dahil etmekten olmasın