Yazar: suat 27 Haziran 2023

robot.txt Dosyası Nedir?

robots.txt, web sitelerinin arama motorlarına belirli yönergeler sağlamak için kullanılan bir metin dosyasıdır. Bu dosya, web sitesinin kök dizininde yer alır ve arama motorlarına hangi sayfaların taranabileceğini ve hangi sayfaların taranamayacağını bildirir.

robots.txt dosyası, web sitesi sahiplerinin arama motorlarına belirli sayfaları veya klasörleri taranmasını engellemek veya belirli arama motorlarının web sitelerini ziyaret etmesini engellemek için kullanılır. Bu, özellikle gizli veya yönlendirici sayfalar gibi belirli sayfaların veya içeriğin arama sonuçlarında görünmesini istemediğiniz durumlarda faydalı olabilir.

robots.txt dosyası, web tarayıcıları tarafından otomatik olarak taranmaz. Arama motorları, bir web sitesine erişmeden önce robots.txt dosyasını kontrol eder ve belirtilen yönergeleri izler. Dosya, öncelikle web sitesi sahiplerine ve arama motorlarına hangi sayfaların taranmasına izin verildiğini veya engellendiğini bildirerek, arama motorlarının web sitesini daha etkili bir şekilde indekslemesine yardımcı olur.

Örneğin, aşağıdaki robots.txt dosyası, tüm arama motorlarına tüm sayfaların taranmasına izin verir:

User-agent: *
Disallow:

Ancak, aşağıdaki örnek, tüm arama motorlarından “gizli-sayfa.html” adlı bir sayfanın taranmasını engeller:

User-agent: *
Disallow: /gizli-sayfa.html

robots.txt dosyası, web sitesi sahiplerinin arama motorlarının erişimini düzenleme yeteneği sağlar, ancak bu dosya, kötü niyetli bir şekilde erişimi sınırlayan bir güvenlik önlemi değildir. robots.txt dosyasının etkili bir şekilde kullanılabilmesi için, sayfaların gerçekten erişilemez olmasını sağlamak için ek önlemler alınması gerekmektedir.

İdeal Bir Robot.txt Nasıl Olmalıdır?

İdeal bir robots.txt dosyası, web sitesi sahiplerinin arama motorlarına sayfa tarama ve indeksleme davranışını yönlendirmek için en iyi uygulamalara uygun şekilde oluşturulmalıdır. İşte ideal bir robots.txt dosyasının bazı özellikleri:

Tüm arama motorlarına erişime izin vermek: Dosyanın en üstünde, tüm arama motorlarına erişimi açıkça belirtmek için aşağıdaki satırı eklemelisiniz:

   User-agent: *
   Disallow:

Bu, tüm arama motorlarının tüm sayfalarınızı tarayabilmesine izin verecektir.

Özel sayfaları veya klasörleri engellemek: Eğer belirli sayfaları veya klasörleri arama motorlarından gizlemek istiyorsanız, Disallow yönergesini kullanarak engellemek istediğiniz URL’leri belirtebilirsiniz. Örneğin:

   User-agent: *
   Disallow: /gizli-sayfa.html
   Disallow: /gizli-klasor/

Bu sayede, “gizli-sayfa.html” adlı sayfa ve “gizli-klasor” adlı klasör, arama motorları tarafından taranamaz.

Site haritasını belirtmek: Eğer bir site haritanız (sitemap.xml) varsa, bu dosyayı robots.txt’ye ekleyerek arama motorlarının site haritanızı bulmasını sağlayabilirsiniz. Örneğin:

   Sitemap: https://www.example.com/sitemap.xml

Bu, arama motorlarına site haritanızın yerini bildirir ve indekslemelerini kolaylaştırır.

Özel arama motorlarına yönergeler vermek: Eğer belirli arama motorlarına özel yönergeler vermek istiyorsanız, aşağıdaki örnekte olduğu gibi kullanıcı ajanını belirterek özel yönergeler ekleyebilirsiniz:

   User-agent: Googlebot
   Disallow: /gizli-sayfa.html

   User-agent: Bingbot
   Disallow: /gizli-klasor/

Bu örnek, sadece Googlebot’un “gizli-sayfa.html” adlı sayfayı ve Bingbot’un “gizli-klasor” adlı klasörü tarayamayacağını belirtir.

Yorum satırları eklemek: Dosya içinde açıklama veya notlar eklemek için yorum satırları ekleyebilirsiniz. Yorum satırları “#” işaretiyle başlar. Örneğin:

   # Bu robots.txt dosyası örnektir.
   User-agent: *
   Disallow:

Bu öneriler, bir web sitesi için ideal bir robots.txt dosyasını oluşturmanıza yardımcı olacaktır. Ancak, sitenizin ihtiyaçlarına ve hedeflerinize bağlı olarak, robots.txt dosyasını özelleştirebilir ve ayarlayabilirsiniz. Ayrıca, dikkatlice uygulamadan önce dosyanızı doğrulamak ve test etmek önemlidir.

Daha Fazla Bilgi İçin İzmir Web Tasarım Ekibimizle İletişime Geçebilirsiniz.