Apache 2'yi çalıştırıyorum ve sayfa görüntülemelerimizin büyük bir kısmı botlardan geliyor. Bunların çoğu, Semalt ve Bing gibi meşru olanlar.
Kütükleri ayrıştırmak ve kaç tane insan ziyaretçisi olduğuna ilişkin doğru istatistikleri almak istiyorum, bu nedenle geçici olarak güncellenmiş robotlar. txt tüm sayfalardaki botları yasaklama. Bunun bot erişimini engelleme konusunda kısmen etkili olduğunu biliyorum, fakat bununla başa çıkmam Source .
İzinsiz botlar nasıl bu siteyi arayan kullanıcıları etkiler? Kullanıcıların sayfayı Google'da bulmalarını engelleyecek mi?