robots.txt, web sitelerinin arama motorlarına belirli yönergeler sağlamak için kullanılan bir metin dosyasıdır. Bu dosya, web sitesinin kök dizininde yer alır ve arama motorlarına hangi […]
