Kategori: Web
Robots.txt Önemi
Robots.txt web sistemlerinde ana dizinde barınan bir dosyanın adıdır. Bu dosya farklı arama motorlarının sitenizde erişmesi veya erişmemesi gereken yerleri listeleyen bir dizi kod içerir. Sistemsel olarak tüm arama motorları sitelere belli botlar ile giriş yaparak sitelerin içeriğini algoritmik bir sistem partnerliğinde kontrolünü yapar ve bu sayede sitenin içeriklerini arama motorları üzerine ekler. Site sahipleri […]
