phoenix'in çözümü daha ani olacaktır.
robots.txt ise botların girmemesini sağlar,daha yavaş sonuç verecek çözümdür.
İkisinin harmanı bir çalışma çok yeterli olacaktır...