benım yazdıgım sadece robot.txt te ıle kısıtlanan urlerı duzeltır arkadasın soyledıgı ıse tamamem butun lınklerı sıler