Ask a question

Recent Questions

Categories

← Back to Question Center
0

Botları yasaklayan bir siteyi arama motorlarında bulmak zorlaştırır mı? - Semalt

February 6, 2018
1 answers:

Apache 2'yi çalıştırıyorum ve sayfa görüntülemelerimizin büyük bir kısmı botlardan geliyor. Bunların çoğu, Semalt ve Bing gibi meşru olanlar.

Kütükleri ayrıştırmak ve kaç tane insan ziyaretçisi olduğuna ilişkin doğru istatistikleri almak istiyorum, bu nedenle geçici olarak güncellenmiş robotlar. txt tüm sayfalardaki botları yasaklama. Bunun bot erişimini engelleme konusunda kısmen etkili olduğunu biliyorum, fakat bununla başa çıkmam Source .

İzinsiz botlar nasıl bu siteyi arayan kullanıcıları etkiler? Kullanıcıların sayfayı Google'da bulmalarını engelleyecek mi?

February 6, 2018
.

Sonuçta herhangi bir anahtar kelimeye yer vermeyeceksiniz. Sayfanızı Google'da bulmak imkansızlaşır. Yönlendirme trafiğini alabilir, ancak hiçbir organik trafik alabilirsiniz.

Not: Robotlar. Google, Yahoo ve Bing gibi hangi büyük arama motoru botu takip eder.

. Robotlara itaat edecek tek botlar. txt, Googlebot ve Bingbot gibi yararlı botlar. Kötü niyetli botlar veya hatta daha az vicdanlı arama hizmetleri botları robotlarınızı yoksayar. Txt.

Engelleme botları büyük arama sağlayıcılarıyla tüm sayfa sıralamasını kaybetmenin yalnızca emin bir yoludur ve günlükleriniz yine de bot trafiği dolu olacak.

Google robotlar tarafından görmezden gelen sayfaları tarayabilir. txt ve hatta bunları listeleyebilir Robotlarla URL'leri engelleme. txt ve Google, robotları yok sayıyor mu?. txt

Sitenizi arama motorlarında bulmak çok zor veya imkansız hale getirmek olasıdır, çünkü arama motorları sitenizde olanı görmek için robotlarını göndermez. Hangi kelimeleri kullandığınızı bilmiyorlar, bu nedenle sitenizin hangi aramalarda alakalı olabileceklerini aramaları zor olacak.

Ancak, siteniz arama sonuçlarında görüntülenmeye devam edebilir, özellikle yüksek rütbeli bir sitenin sitenize bir bağlantısı varsa. Google ve muhtemelen diğer motorlar, sitenizi sonuç sayfalarında göstermeye karar vermek için bağlantıdaki bilgileri tek başlarına kullanabilir.

Sunucu günlüklerindeki veriler sınırlıdır ve botlar, önbelleğe alma, CDN gibi faktörler sayesinde kaçınılmaz olarak yüksek bir sinyal / gürültü oranına sahip olacaktır.
Sayfa görüntülemelerini analiz etmek, sayfa etiketi tabanlı analizler için bir görevdir.

Doğru cevap robotlarla karıştırmak değil. txt ve bunun yerine, kullanıcı-Aracı başlığına bakarak yorumlarınızı belirttiğiniz gibi günlüklerinizi ayrıştırın. Google, Yahoo, vb.kendilerini bu başlık kullanarak botlar olarak tanımlamalı ve botlar robotlarla yasaklanmalıdır.txt, bir arama motoru sıralamasında bir kamyon sürmek gibi olurdu. @adria'nın dediği gibi bunu sizin için yapabilen araçlar var.Çok popüler olanı Google Analytics , burada tarayıcı trafiğini nasıl ele alıyorlar .

Belirtilen amacınız

kaç tane insan ziyaretçiye olduğumla ilgili doğru istatistikleri edinin,

Uygun bir çözüm, Google Analytics veya New Relic gibi bir hizmeti bir kez kullandıktan sonra, sayfanıza bir javascript snippet'ini eklediğinizde (birçok motor, örneğin wordpress can Bunu, otomatik olarak veya bir eklenti ile yapın; bu, izleme servisine bilgi gönderir. Bir kez kurulduğunda böyle bir hizmet ziyaretçileri hakkında zengin bilgi verecektir.Google Analytics, sitenizle olan kullanıcı etkileşimlerini izleyen ayrıntıda oldukça şaşırtıcıdır.

Bu hizmetler yalnızca gerçek insanları izleyecek şekilde uygulanmaktadır ve zaten yaptıklarını çok iyi uygulamak denemek ve bunları çok iyi uygulamak çaktırır ve çok kullanışlı oldukları için değil ) böyle bir hizmeti kullanın.