Bu siteye üye arkadaş robot.txt nin önemini zaten bilir, madem konuyu açtın biraz birşeyler araştırıp nasıl yapılırı, cevap olsaydı