Robots.txt ile başım dertte..

Mrb arkadaşlar
Bir kaç gün önce siteme 2 satırlık bi robots.txt dosyası ekledim
Tools dan da gösterdim.
Hitler düşmeye başladı..
Bugün farkettim ki google arama sonuçlarında
"Bu sayfanın robots.txt dosyası olduğundan içerik gösterilmiyor" gibi bir açıklama kısmı görünüyor.
Araştırdım herkes farklı bişiler söylemiş. Robots.txt yi silmenin zararı olmadığını öğrenince ftp den sildim.
Ama içimede sinmedi bilgili tecrübeli arkadaşlardan bilgi almak istiyorum
Doğrumu yaptım yanlışmı yaptım?
Siteme bu işlemlerin zararı olurmu?

User-agent: Mediapartners-Google
Allow:

User-agent: ia_archiver
Allow:


User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-includes/*.js
Allow: /wp-includes/*.css

Sitemap: http://www.siteadi.com/sitemap.xml.gz

Sitemap: http://www.siteadi.com/sitemap.xml

bu şelik düzenle at

Hocam site wp değil normal site.
Ben robots.txt yi sildim problem olurmu onu soruyorum

Sildiyseniz herhangi bir sorun olmaz. Özel olarak belli klasör veya url'leri arama motorlarının indexlemesini istemiyorsanız robot.txt kullanmayabilirsiniz.

Dün sildim ama google arama sonuclarında hala
Bu sitenin robots.txt dosyası olduğundan, bu sonuç için bir açıklama bulunmamaktadır. Daha fazla bilgi edinin.
Diye görnüyor.
Ftp den boş bir robots.txt atsam mı acaba?

Hayır, atmayın. Arama sonuçlarının değişmesi zaman alabilir. Tabii önceki robot.txt dosyanızın içeriği de önemli, Google botları tekrar ne zaman gelirse o zaman düzelir. Süreci hızlandırmak adına Google Search Console'dan sitenizi ekleyip Google Gibi Getir aracını kullanabilirsiniz.

Önerdiğiniz şekilde url ekle kısmından ve google gibi getir işlemlerini dün akşam yapmıştım. Normalde google sitemi hergün ziyaret ediyor inş. Yarın düzelir

herhangi bir değişiklik olmadığı için
User-agent: *
Disallow:
şeklinde bir robots.txt dosyası yapıp ekledim 1-2 günde böyle bekleyelim bakalım.

User-agent: *
Allow: /

şekilde eklersen senin için daha iyi olacaktır.