27-WordPress Robots.txt Dosyanızı SEO İçin Optimize Etme

Kısa süre ilkin okuyucularımızdan biri bizlerden SEO’yu iyileştirmek için robots.txt dosyasını iyi mi optimize edeceğimiz mevzusunda ipuçları istedi.

Robots.txt dosyası, arama motorlarına web sitenizi iyi mi tarayacağını söyler ve bu da onu inanılmaz derecede kuvvetli bir SEO aracı yapar.

Bu yazıda, SEO için muhteşem bir robots.txt dosyasının iyi mi oluşturulacağını göstereceğiz.

Robots.txt Dosyası Nedir?

Robots.txt, internet sayfası sahiplerinin arama motoru botlarına sitelerindeki sayfaları iyi mi tarayıp dizine ekleyeceklerini söylemek için oluşturabilecekleri bir metin dosyasıdır. Çoğu zaman, web sitenizin ana klasörü olarak da malum kök dizininde depolanır. Bir robots.txt dosyasının temel biçimi şu şekildedir:

User-agent: [Kullanıcı Adı]
Disallow: [Taranmayacak URL Dizesi]
User-agent: [Kullanıcı Adı]
Allow: [Taranacak URL Dizesi]
Sitemap: [XML Site Haritanızın URL'si]

Belirli URL’lere izin vermek yada vermemek ve birden oldukça site haritası eklemek için birden fazla yönerge satırınız olabilir. Bir URL’ye izin vermezseniz, arama motoru botları onu taramalarına izin verildiğini varsayarlar.

Robots.txt örnek dosyası şu şekilde görünebilir:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://ornek.com/sitemap_index.xml

Yukarıdaki robots.txt örneğinde, arama motorlarının WordPress yüklemeler klasörümüzdeki dosyaları taramasına ve dizine eklemesine izin veriyoruz.

Bundan sonrasında, arama botlarının eklentileri ve WordPress yönetici klasörlerini taramasına ve dizine eklemesine izin vermedik.

Son olarak, XML site haritamızın URL’sini sağladık.

WordPress Siteniz İçin Bir Robots.txt Dosyasına İhtiyacınız Var mı?

Bir robots.txt dosyanız yoksa, arama motorları gene de web sitenizi tarar ve dizine ekler. Sadece, arama motorlarına hangi sayfaları yada klasörleri taramamaları icap ettiğini söyleyemezsiniz.

İlk kez bir blog başlattığınızda ve oldukça fazla içeriğiniz olmadığında bunun pek bir tesiri olmayacaktır.

Bununla beraber, web siteniz büyüdükçe ve oldukça fazla içeriğe haiz olduğunuzda, web sitenizin iyi mi taranacağı ve dizine eklendiği mevzusunda daha iyi denetim sahibi olmak isteyebilirsiniz.

İşte sebebi.

Arama botlarının her internet sayfası için bir tarama kotası vardır.

Bu, bir tarama oturumu esnasında belirli sayıda sayfayı taradıkları anlamına gelir. Sitenizdeki tüm sayfaları taramayı bitirmezlerse, bir sonraki oturumda geri gelirler ve taramaya devam ederler.

Bu, web sitenizin indeksleme oranını yavaşlatabilir.

Arama botlarının WordPress yönetici sayfalarınız, eklenti dosyalarınız ve temalar klasörünüz benzer biçimde gereksiz sayfaları taramasına izin vermeyerek bunu düzeltebilirsiniz.

Gereksiz sayfalara izin vermeyerek, tarama kotanızı kaydedersiniz. Bu, arama motorlarının sitenizdeki daha çok sayfayı taramasına ve bu tarz şeyleri olabildiğince süratli bir halde dizine eklemesine destek sağlar.

Robots.txt dosyasını kullanmanın bir başka iyi sebebi, arama motorlarının web sitenizdeki bir gönderiyi yada sayfayı dizine eklemesini durdurmak istemenizdir.

İçeriği genel halktan gizlemenin en güvenli yolu değildir, sadece bunların arama sonuçlarında görünmesini engellemenize destek olacaktır.

İdeal Robots.txt Dosyası Iyi mi Görünür?

Birçok popüler blog oldukça kolay bir robots.txt dosyası kullanır. İçeriği, belirli sitenin gereksinimlerine bağlı olarak değişebilir:

User-agent: *

Disallow:

Sitemap: http://www.ornek.com/post-sitemap.xml

Sitemap: http://www.ornek.com/page-sitemap.xml

Bu robots.txt dosyası, tüm botların tüm içinde ne olduğu dizine eklemesine olanak tanır ve onlara web sitesinin XML site haritalarına bir bağlantı sağlar.

WordPress siteleri için robots.txt dosyasında aşağıdaki kuralları öneriyoruz:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.ornek.com/post-sitemap.xml
Sitemap: http://www.ornek.com/page-sitemap.xml

Bu, arama botlarına tüm WordPress resimlerini ve dosyalarını dizine eklemesini söyler. Arama botlarının WordPress eklenti dosyalarını, WordPress yönetici alanını, WordPress readme dosyasını ve bağlı müessese bağlantılarını endekslemesine izin vermez.

Robots.txt dosyasına site haritaları ilave ederek, Google botlarının sitenizdeki tüm sayfaları bulmasını kolaylaştırırsınız.

Artık ideal bir robots.txt dosyasının neye benzediğini bildiğinize bakılırsa, WordPress’te robots.txt dosyasını iyi mi oluşturabileceğinizi inceleyelim.

WordPress’te Robots.txt Dosyası Iyi mi Oluşturulur?

WordPress’te robots.txt dosyası oluşturmanın iki yolu vardır. Size en uygun yöntemi seçebilirsiniz.

Yöntem 1: All in One SEO Kullanarak Robots.txt Dosyasını Düzenleme

AIOSEO olarak da malum All in One SEO, 2 milyondan fazla internet sayfası tarafınca kullanılan piyasadaki en iyi WordPress SEO eklentisidir.

Kullanımı kolaydır ve bir robots.txt dosya oluşturucu ile beraber gelir.

AIOSEO eklentisini halihazırda yüklemediyseniz, bir WordPress eklentisinin iyi mi kurulacağına dair adım adım kılavuzumuza bakabilirsiniz.

Not: AIOSEO’nun parasız sürümü de mevcuttur ve bu özelliğe haizdir.

Eklenti kurulup etkinleştirildikten sonrasında, robots.txt dosyanızı direkt WordPress yönetici alanınızdan oluşturmak ve düzenlemek için kullanabilirsiniz.

Robots.txt dosyanızı düzenlemek için All in One SEO » Araçlar’a gidin.

All in One SEO Robots.txt Oluşturma

Ilk olarak, “Hususi Robots.txt’yi Etkinleştir” düğmesini maviye çevirerek düzenleme seçeneğini açmanız gerekir.

Bu geçiş açıkken, WordPress’te hususi bir robots.txt dosyası oluşturabilirsiniz.

All in One SEO, mevcut robots.txt dosyanızı ekranınızın altındaki “Robots.txt Önizlemesi” bölümünde gösterir.

Bu sürüm, WordPress tarafınca eklenen varsayılan kuralları gösterecektir.

Bu varsayılan kurallar, arama motorlarına temel WordPress dosyalarınızı taramamalarını söyler, botların tüm içinde ne olduğu dizine eklemesine izin verir ve onlara sitenizin XML site haritalarına bir bağlantı sağlar.

Artık, SEO için robots.txt dosyanızı geliştirmek için kendi hususi kurallarınızı ekleyebilirsiniz.

Bir kaide eklemek için “User Agent” alanına bir kullanıcı adı girin. ” * ” Sembolünü kullanmak, kuralı tüm kullanıcılara uygular.

Arkasından, arama motorlarının taramasına “İzin Vermek” yada “İzin Vermemek” isteyip istemediğinizi seçin.

Arkasından, “Dizin Yolu” alanına dosya adını yada dizin yolunu girin.

Kaide, robots.txt dosyanıza otomatikman uygulanacaktır. Başka bir kaide eklemek için “Kaide Ekle” düğmesini tıklayın.

Yukarıda paylaştığımız ideal robots.txt biçimini oluşturana kadar kaide eklemenizi tavsiye ederiz.

Hususi kurallarınız şu şekilde görünecek.

İşiniz bittiğinde, değişikliklerinizi kaydetmek için “Değişimleri Kaydet” düğmesini tıklamayı ihmal etmeyin.

Yöntem 2. Robots.txt Dosyasını FTP Kullanarak Manuel Olarak Düzenleyin

Bu yöntem için, robots.txt dosyasını düzenlemek için bir FTP istemcisi kullanmanız gerekecektir.

Bir FTP istemcisi kullanarak WordPress barındırma hesabınıza bağlanmanız yeterlidir.

İçeri girdikten sonrasında, robots.txt dosyasını web sitenizin kök klasöründe görebileceksiniz.

Bir tane görmüyorsanız, muhtemelen bir robots.txt dosyanız yoktur.

Bu durumda, devam edip bir tane yaratabilirsiniz.

Robots.txt düz bir metin dosyasıdır; bu, onu bilgisayarınıza indirebileceğiniz ve not defteri yada word benzer biçimde herhangi bir düz metin düzenleyicisini kullanarak düzenleyebileceğiniz anlamına gelir.

Değişikliklerinizi kaydettikten sonrasında, web sitenizin kök klasörüne geri yükleyebilirsiniz.

Robots.txt Dosyanız Iyi mi Kontrol Edilir?

Robots.txt dosyanızı oluşturduktan sonrasında, bir robots.txt kontrol aracı kullanarak kontrol etmek devamlı iyi bir fikirdir.

Piyasada pek oldukça robots.txt kontrol aracı var, sadece Google Arama Konsolu içindeki aracı kullanmanızı tavsiye ederiz.

Ilk olarak, web sitenizin Google Search Console ile bağlantılı olması gerekir. Hemen hemen bunu yapmadıysanız, WordPress sitenizi Google Search Console’a nasıl ekleyeceğinize ilişkin kılavuzumuza bakın.

Arkasından, Google Search Console Robot Test Aracı’nı kullanabilirsiniz.

Açılır listeden mülkünüzü seçmeniz yeterlidir.

Vasıta, web sitenizin robots.txt dosyasını otomatikman alır ve var ise hataları ve ikazları vurgular.

Netice Olarak

Robots.txt dosyanızı optimize etmenin amacı, arama motorlarının her insana açık olmayan sayfaları taramasını önlemektir. Mesela, wp-plugins klasörünüzdeki sayfalar yada WordPress yönetici klasörünüzdeki sayfalar.

SEO uzmanları içinde yaygın bir efsaneleşmiş, WordPress kategorisini, etiketlerini ve arşiv sayfalarını engellemenin tarama oranını artıracağı ve daha süratli indeksleme ve daha yüksek sıralamalarla sonuçlanacağıdır.

Bu doğru değil. Ek olarak Google’ın web yöneticisi kurallarına da aykırıdır.

Web siteniz için bir robots.txt dosyası oluşturmak için yukarıdaki robots.txt biçimini izlemenizi tavsiye ederiz.

Bu yazının, WordPress robots.txt dosyanızı SEO için iyi mi optimize edeceğinizi öğrenmenize destek olacağını umuyoruz.

Kolaylık olması açısından Youtube kanalımda örnek bir video paylaştım, aşağıdaki pencereden seyredebilirsiniz.

Leave a Reply

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir