robots.txt ASP, PHP, HTML, vs. gibi dile göre değişmez. daha fazla bilgi için şu konuya bak:

https://www.r10.net/showthread.php?t=...ght=robots.txt

Yetmezse forumdaki arama ile diğer ilgili konuları da bulabilirsin.