aynı konu var zaten arkadaşlar robot.txt başlığında açılmış forumda arama yapıp öyle açsanız konuları daha güzel olmaz mı ? https://www.r10.net/showthread.php?t=794