konu karisti mi acaba?

robots.txt googleyi engellemek icin mi yoksa isini kolaylastirmak icin mi seklinde iki ayri gör+s cikmis