senin sitende

<meta name='robots' content='noindex,nofollow' />
<meta name="robots" content="noindex">

kodları var bunlar yanlış dizine alma indexleme diyorsun.

Doğrusu : 2 kod var tek olması lazım

<meta name='robots' content='index,follow' />

öbür türlü robots.txt de hata yok.