Özel robots.txt arama motoruna blogunuzun belirli sayfalarını taramaması için talimat vermenin bir yoludur (“tarama” Googlebot gibi tarayıcıların içeriğinizi inceleyerek, diğer kişiler aradığında bulabilmeleri için dizine eklenmesi anlamına gelir). Örneğin, blogunuzda kişisel nedenlerle veya blogunuzun genel temasını yansıtmadığından göstermek istemediğiniz bölümler olduğunu varsayalım. Burası, bu sınırlamaları netleştireceğiniz yerdir.
Ancak, başka sitelerin sizin kısıtlamayı tercih ettiğiniz sayfalara bağlanmış olabileceğini unutmayın. Ayrıca, başka birinin sitesindeki bir bağlantıyı izleyerek farkettiğimiz taktirde, Google sayfanızı dizine ekleyebilir. Arama sonuçlarında göstermek için, Google'ın bir tür başlık görüntülemesi gerekir ve sayfa içeriğinize erişimimiz olmadığından, bunu yapmak için başka sitelerin bağlantı metinleri gibi sayfa dışı içerikten yararlanırız. (Bir URL'nin dizine eklenmesine gerçek anlamda engel olmak için, meta etiketler kullanabilirsiniz.)
Belirli bir içeriği aramaların dışında tutmak için, Ayarlar | Arama Tercihleri'ne gidin ve "Özel robots.txt"nin yanındaki Düzenle seçeneğini tıklayın. Web robotlarının yok saymasını istediğiniz içeriği girin. Örneğin:
User-agent: *
Disallow: /about
Ayrıca Google Web Yöneticisi blog'undaki bu yayında robot.txt hakkında bilgi edinebilirsiniz.
Bu Yazı Hakkında Birseyler Demek İstermisiniz ?