Php ile "404 ile mi sonlandı?" sorusuna cevap

Merhaba arkadaşlar.

Sitemden kaldırılan yaklaşık 1000 tane url var. Bu 404 ile sonlanan url ler seo bakımından sorun oluşturuyor.

Sitemdeki bir linkin var olup olmadığını php ile anlayabilmenin bir yolu varsa bir php sayfası yapıp htaccess ile robots.txt haline getireceğim.

bu linkleri disallow ederek urllerin googledan kalkmasını istiyorum.

$url = "http://siteadi.com";
	$ch = curl_init($url);
	curl_setopt($ch, CURLOPT_HEADER, 0);
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
	curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE);
        curl_setopt($ch,CURLOPT_ENCODING , "");
	$returnData=curl_exec($ch);
	$responseCode=curl_getinfo($ch,CURLINFO_HTTP_CODE);
	if ($responseCode == 404){
	echo 'Bulunamadı';	
	}

teşekkür ediyorum.

$headers = get_headers('http://site.com/url.html');
if(strstr($headers[0],'404')) 
	echo '404 ile sonlandi';