robots.txt optimizasyon için kullanılır arama motorlarının görmesini ve görmesini istediğin yerleri belirlersin.