Burada robots.txt dosyasının nasıl çalıştığını göreceksiniz

Sitenizin ana klasöründe sadece 1 tane "robots.txt" dosyası mevcuttur.Bu size robotlara göstermek istediğiniz sayfaların listesini yapma şansı verir, aynı zamanda istediğiniz sayfaları robotlara yasaklarsınız.

Sitenize bir bot geldiği zaman ilk etapta ana klasörünüzdeki "robots.txt" dosyasına bakacaktır. ("http://www.siteniz.com/robots.txt") .
Bu dosya mevcutsa , bu dosyadaki yönergelere göre hareket edecektir , mevcut değilse diğer sayfaları gezecektir.


Sitenizdeki robots.txt dosyası aşağıdaki komutları içerir :

User-agent: *
Disallow: /admin/
Disallow: /data/
Disallow: /file/
Disallow: /img/
Disallow: /inc/
Disallow: /install/
Disallow: /photo/

User-Agent : * Bütün botlara yetki verilmiştir.
Disallow: / botlara yetkinin verilmediği anlamına gelir.
Disallow: /admin/ botlara "admin" klasörü için yetki verilmemiştir.
Disallow: /data/ botlara "data" klasörü için yetki verilmemiştir.
Disallow: /file/ botlara "file" klasörü için yetki verilmemiştir.
Disallow: /inc/ botlara "inc" klasörü için yetki verilmemiştir.
Asla boş satır (ENTER tuşuna basarak) bırakmayın, yoksa bot bu satırı dosya sonu olarak tanımlayabilir.

Bu karakter (*) sadece User-agent alanında geçerlidir.

PHP 'de olduğu gibi (#) her zaman mesaj yazmanıza veya içerik dışında not almanıza izin verir, her zaman açıklamalarda bunu kullanın.