Google'ın sitemin tamamını veya bir kısmını taramasını nasıl engellerim?

http://www.robotstxt.org/wc/norobots.html adresinde robot çalışmaları için bir standart bulunmaktadır. Sunucunuza robots.txt adında bir dosya koyarak hem Google'ın web tarayıcısını hem de diğerlerini durdurabilirsiniz. Google'ın web tarayıcısının use ...