arama motorları bile bu komutu zaman zaman ciddiye almıyor. siz engellediniz ama biz yine de indexledik dediği sıkça karşımıza çıkıyor search console'da.
ahrefs gibi maddi gelir için bu işi yapan bir sitenin de bu komutu dinleyeceğini pek zannetmiyorum açıkçası. ama denemek lazım. belki etik değerler falan filan diyerek çıkıyordur. ( hiç zannetmesem de )