hocam kullandığınız yazılıma göre değişiyor wordpress de farklı özel yazılım da farklı standart yok hatta mümkünse hazır robot.txt içeriği kullanmayın her wordpress kullanan yada özel yazılım kullanan ile robot.txt aynı olamaz çok düşük bir ihtimal bir birine benzemesi bu sebeple site analizi gerekmektedir.