IRCDForum - IRC ve mIRC Kullanıcı Topluluğu  
Geri Git   IRCDForum - IRC ve mIRC Kullanıcı Topluluğu > IF - Webmaster > Webmaster Genel > Wordpress


WordPress Robots.txt Nedir? WordPress Sitelerde Robots.txt Nasıl Oluşturulur?


Etiketlenen üyelerin listesi

Yeni Konu Aç  Cevapla
 
Konu Araçları Görünüm Modları
Old 09 Aralık 2023, 12:08   #1
 
IRCDForum Kullanıcısının Avatarı

Kayıt Tarihi: 28 Kasım 2023
Üye No: 1
Cinsiyet: Erkek
Konular: 296
Mesajlar: 311
Nerden:
Meslek:
IRC:
Aldığı Beğeni: 19
Beğendikleri: 13
@IRCDForum
Varsayılan WordPress Robots.txt Nedir? WordPress Sitelerde Robots.txt Nasıl Oluşturulur?

WordPress’te Robots.txt arama motorlarının web sitenizdeki belirli bir klasörü veya klasörleri tarama yapmaması gerektiğini söyleyen basit bir metin dosyasıdır. Robot.txt hakkında bilgisi olmayanların bile kullanabileceği bir eklenti ve dosya.

Oluşturulması birkaç saniye sürer ve aynı zamanda dağıtılması en kolay dosyadır. Aynı zamanda bu dosya ile tüm sitenizin SEO’sunu alt üst edebilirsiniz. Arama motorunun web sitenize erişimini engelleyebilirsiniz.
Bir web sitesi SEO’su için robots.txt çok önemli bir rol oynar. Arama motorlarının dosya ve klasörlerine erişimini engellemeye yarasa da aynı zamanda sitenizi optimize etmeye de yarar. Bunun için en ideal yol robots.txt’dir.

Arama Motorları Nasıl Çalışır?

Robots.txt arama motorlarının sitenizdeki hangi sayfa ve dosyalarını tarayacağını söyleyen basit bir araç ve metin dosyasıdır. Bunu bilmeden önce de arama motorlarının nasıl çalıştığını öğrenmenizde fayda vardır.
Arama motorlarının üç temel işlevi vardır: Tarama, indeksleme ve sıralama.

Arama motorları, örümcekler ve botlar olarak adlandırılan web tarayıcılarını web üzerinden göndererek başlar. Bu botlar yeni bağlantılar, yeni sayfalar ve web siteleri keşfetmek için tüm internet aleminin sitelerinde gezinir. Bir tür yazılım parçasıdır ve web tarama işlemini yapar.
But botlar web sitenizi keşfettikten sonra sayfanızı kullanılabilir bir veri yapısında düzenler. Bu işleme web indeksleme işlemi denir. Ve son olarak sıralama işlemi yapar. Arama motorunun kullanıcıların arama sorgularına dayalı olarak en yararlı bilgiyi ve siteyi çıkarttığı yerdir.



Robots.txt Nedir?

Arama motoru web sitenizi ziyaret etmek üzereyken, her şeyden önce robots.txt dosyanızı ziyaret eder ve ona göre sitenizi ziyaret eder. Şu şekilde görünür. Eğer ki bir web sitesinin robots.txt dosyasını görmek istiyorsanız URL sonuna robots.txt eklemeniz yeterli olacaktır.

User-agent: * Disallow: [URL string not to be crawled] User-agent: [user-agent name] Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap]
User-Agent:User-Agent yazısından sonraki yıldız işareti “*” tüm arama motorları için geçerli olduğunu göstermektedir.

Her arama motorunun da webde gezinen robotu vardır. Örneğin Google web site içeriğini kendi dizine eklemek için Googlebot’u kullanır. Googlebot kullanıcıları şu şekilde sayılabilir:
  • Google: Googlebot
  • Google Haberler: Googlebot-News
  • Google Resimler: Googlebot-Image
  • Google Videolar: Googlebot-Video
  • Bing: Bingbot
  • Yahoo: Slurp Botu
  • DuckDuckGo: DuckDuckBot
  • Baidu: Baiduspider
  • Yandex: YandexBot
  • Exalead: ExaBot
  • Amazon’un Alexa’sı: ia_archiver
Daha fazla bot için: Google tarayıcılarına genel bakış (kullanıcı aracıları)
Eğer özel olarak bir botu engellemek istiyorsanız “User Agent: Bot İsmi” yapmanız gerekmekte. Aşağıdaki gibi ise Google hariç tüm arama motorlarının erişimini engelleyebilirsiniz.

User-agent: * Disallow: / User-agent: Googlebot Allow: /Disallow:’tan sonraki eğik çizgi hiçbir sayfayı dizine eklenmemesi gerektiğini söyler. Ayrıca tüm arama motoru botlarına uygulanacak bir yönerge atamışken “Allow: /” ekleyerek Googlebot’un web sitenizin dizine eklemesine açıkça izin vermiş olursunuz. Aynı şekilde user-agent bölümüne yönergeler ekleyebilirsiniz. Örnek verecek olursak:

User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin.phpYukarıdaki önerge tüm arama motorlarının “/wp-admin/” klasörünün içindeki herhangi bir dosyayı taramaması ve admin.php dosyasını takip etmesini sağlamak için ayarlanmıştır.

Tarama Bütçesi (Crawl Budget) Nedir?

Disallow’dan sonra eğik çizgi ekleyerek robotlara sitedeki hiçbir sayfayı ziyaret etmemesi gerektiğini söyleriz. Ama şöyle bir soru aklımızı karıştırabilir: Neden robotların sitemizi taramasını ve dizine eklemesini engellemek isteyelim? Sonuçta SEO için arama motorlarının sitemizi ve sıralamayı taramayı isteriz. İşte bu sebepten ötürü robots.txt’yi dosyamızı optimize etmeliyiz.

Bir bot web sitesini taradığında, her sayfanızı tarar. Ve birçok sayfanız varsa arama motorunun bütün sayfaları taraması oldukça zaman alacaktır. Bu durum web sitenizin sıralamasını olumsuz etkiler. Bu durum tarama bütçesinden kaynaklanmaktadır.

Tarama bütçesi bir arama botunun bir oturumda tarayabileceği URL sayısıdır. Her sitenin kendisine ayrılmış belirli bir tarama bütçesi vardır. Ve tarama bütçesinin siteniz için mümkün olan en iyi şekilde harcanmasından emin olmak istemelisiniz.

Web sayfanızda birçok sayfa varsa, kesinlikle en önemli sayfaların öncelikle taranmasını istersiniz. Bu nedenle robot.txt dosyası ile bunu sağlayabilirsiniz. Robots.txt bu durumu belirtmek önemlidir.




WordPress’te Robots.txt Dosyası Oluşturma

Şu zamana kadar yazımızda Robots.txt’in web sitemiz için ne kadar önemli olduğunu konuştuk. Birde bu dosyayı nasıl sitemizde barındıracağımızı, ekleyeceğimizi yazalım. Bunu yapmak için iki türlü yol vardır. Biri WordPress eklentisidir. Diğeri ise web sitenizin kök dizinine bu klasörü eliniz ile eklemektir.

WordPress Yoast Seo Eklentisi ile Robots.txt Dosyası Oluşturma

WordPress web sitemizi daha kullanışlı ve kolay oluşturmamız için bize bazı eklentiler sunar. Bu eklentiler web sitemizi optimize etmek için de önemlidir. Bu eklentilerin çoğu robots.txt dosyasını beraberinde sitemize ekler.

Eklentiyi eklemek için:
  • Eklentiler
  • Yeni Ekle
  • Yoast Seo
Robots.txt Dosyasını Oluşturmak İçin:
  • Yoast Seo
  • Araçlar
  • Dosya Düzenleyicisi
  • Robots.txt Dosyasını Oluştur
  • Varsayılan olarak şu kodlar yer alacaktır:
User-agent: Googlebot Disallow: /uploads/User-agent: * Allow: /uploads/Bu kodların yanına istediğiniz yönergeleri ekleyebilirsiniz. Bunların yanında site haritanızı Robots.txt dosyanıza eklemeyi unutmayın.
Bunu yapmak için “www.siteadresin.com/sitemap.xml” olarak site adresinizi robots.txt dosyasına eklemeniz gerekmektedir.

Başka bir seçenek olarak da botların resimlerinizi taramasını engellemek isteyebilirsiniz. Varsayalım ki Google hariç tüm arama motorlarının erişimini engellemek istiyoruz.

Robots.txt dosyanıza şu satırları eklemeniz gerekmektedir:
User-agent: Googlebot Disallow: /uploads/User-agent: * Allow: /uploads/
Resimlerin URL’lerini öğrenmek için web sitenizdeki resimlere sağ tıklayıp bağlantıyı kopyalamanız yeterlidir.


FTP İstemcisi ile Manuel Olarak Robots.txt Dosyası Oluşturma

Bir başka seçenek ise manuel olarak FTP istemcisi FileZilla aracılığı ile robots.txt dosyasını oluşturabilirsiniz. Yapmanız gereken kendi bilgisayarınızda dosyayı oluşturup WordPress sitenize dosyayı aktarmaktır.
Robots.txt dosyasını kök dizine eklemeyi unutmamalısınız. FileZilla programını kullanarak dosyanın nerede olduğunu veya nereye yükleneceğini seçebilirsiniz.

Dosyayı düzenlemek için:
  • Kök dizine girin
  • Dosyayı Bulun
  • Sağ tıklayıp düzenle deyin
Dosyayı eklemek için:
  • Dosyayı notepad+++ programı ile oluşturunuz.
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin.php
  • Ardından kök dizine gelin.
  • Dosya Yükleme seçeneğini seçin.
  • Dosyayı bulup yükleyin.
  • Yüklendiğini doğrulamak için web sitenizin URL’sinin sonuna /robots.txt ekleyip kontrol edin.
Robots.txt Faydaları ve Eksileri

Robots.txt’nin faydaları saymakla bitmemekle beraber bunun yanında eksileri de bulunmaktadır. Bu dosyanın eksilerini ve faydalarını şu şekilde sıralayabiliriz:

Faydaları:
  • Dizine eklemek istemediğiniz sayfalarda zaman kaybedilmez ama tarama bütçenizi yararlı kullanırsınız. Arama motorları en önemli sayfaları tarar.
  • Kaynaklarınızı israf eden botları engeller. Siteniz optimize kalır.
  • Arama motorlarının indekslemesi gerekmeyen sayfaları indekslemesini engellersiniz.
Eksileri:
  • Robot.txt dosyanıza erişmesini istemediğiniz herkes erişebilir. Görünmesini istemediğiniz sayfalarınızın URL’leri gözükebilir. Saldırganların gözdesi olabilir.
  • Herhangi bir hatanızda tüm web sitenizin SEO’su bozulur.



WordPress Robots.txt Dosyasını Test Etmek

Her şeyi yaptıktan sonra robots.txt dosyanızı test edebilirsiniz. Bunu Google Search Console eklentisi ile yapabilirsiniz. Bunun için aşağıdaki adımları izlemeniz yeterli olacaktır:
  • Site ekle diyoruz.
  • Sitemizi eklememiz için gereken adımları tamamlıyoruz.
  • Daha sonra araç otomatik olarak robots.txt dosyasının hatalarını ve uyarılarını tespit edip bize bildirecektir.

 
Alıntı ile Cevapla

5 SON KONULAR by IRCDForum
KONU Forum Son Post Cevaplar Görüntüleme Son Post Tarih Saat
Nesne Yönelimli Programlama(OOP) Programlama IRCDForum 0 1 20 Aralık 2023 12:17
2024 KPSS Ortaöğretim, Ön Lisans, Lisans, DHBT... KPSS IRCDForum 0 1 13 Aralık 2023 13:07
"Dune 2"den Yeni Fragman: Arrakis Savaşa... Sinema IRCDForum 0 1 13 Aralık 2023 13:02
“Nefes: Yer Eksi İki” Filminden Yeni fragman! Sinema IRCDForum 0 1 13 Aralık 2023 12:57
Samsung Galaxy S24 serisi ile görücüye çıkacak! Samsung IRCDForum 0 1 13 Aralık 2023 10:29

Cevapla

Yer İmleri

Etiketler
nasıl, nedir, oluşturulur, robotstxt, sitelerde, wordpress

Konu Araçları
Görünüm Modları

Yayınlama Kuralları
Yeni konu açamazsınız
Cevap gönderemezsiniz
Eklenti ekleyemezsiniz
Mesajlarınızı düzenleyemezsiniz

Kodlama is Açık
Smilies are Açık
[IMG] code is Açık
HTML code is Kapalı
Trackbacks are Kapalı
Pingbacks are Kapalı
Refbacks are Kapalı