Yeni Başlayanlar için Robots.txt Kullanma Rehberi

İnternetle ilgili pek çok platformda karşımıza çıkan SEO terimi, en net ifadeyle arama motoru optimizasyonu anlamına gelmektedir. Temelde SEO, web sitelerinin arama motorlarında öne çıkmasına yarayan dijital bir stratejidir. Oldukça detaylı bir strateji olan SEO, beraberinde pek çok farklı dijital kavramı da literatüre sokar. Bu kavramlardan biri de Robots.txt dosyasıdır.

Çeşitli web tarayıcılarına, sizin web sitenizin hangi bölümlerine erişebileceklerini söyleyen, bir dizi isteğe bağlı yönergelere Robots.txt adı verilir. Başta Google, Yandex, Bing ve Yahoo olmak üzere pek çok arama motoru, hangi web sayfalarının taranacağını, dizine ekleneceğini ve arama sonuçlarında görüneceğini belirlemek için Robots.txt’den yararlanır.

Robots.txt Nedir?

Web sitelerindeki sistem botlarına ya da robotlarına, web sayfalarını nasıl tarayacaklarını öğretmek için web sayfası yöneticilerinin oluşturduğu metin dosyalarına Robots.txt adı verilmektedir. Pek çok web sitesinin kaynak dosyalarında bulunan uzantı dosyası Robots.txt’dir. Botların web sayfalarını tarama standartlarını, içeriklere erişme seçeneklerini ve bu işlemlerin dizine eklenme biçimlerini düzenleyen, ardından da bunları kullanıcılarına sunan REP sisteminin bir parçasıdır. Robots.txt uzantısı genellikle bu işlemleri arama motorları için yürütür.

Bu uzantı, web siteleri ve web sayfaları içerisindeki uygulamalar ile otomatik olarak etkileşime girer. Üstüne yazılan algoritmanın parçası olarak işlemlerini yürütür ve yine bu algoritmaya göre işlemeye başlar. Algoritmanın izin verdiği sınırlar içerisinde web sayfalarını tarar ve web sayfalarındaki içeriği arama motorlarındaki sonuçlara eklenmesi için dizine işler. Robots.txt uzantılı bir dosya, işlendiği web tarayıcılarının etkinliklerini ve içeriğini yönetir. Ayrıca işlenen web sitelerdeki izinler, kontrol panellerinde işlenir ve robots.txt dosyası bu izinlerin oluşturduğu algoritma ile hareket eder.

Robots.txt Ne için Kullanılır?

Robots.txt’yi nasıl kullanacağınızı ve web siteniz için Robot.txt dosyasını nasıl oluşturacağınızı bilmek, SEO ile ilgiliyseniz web siteniz için oldukça önemlidir. WordPress ve diğer içerik yönetim sistemleri (CMS) için Robots.txt kullanarak SEO performansınızı iyileştirmenin en iyi yolları başlıca şunlardır:

• Web sitenizi kötü amaçlı botlardan korumak.
• Web sitenizin taranabilirlik ve dizine eklenebilirlik özelliklerini arttırmak.
• Kullanıcı deneyimini geliştirmek.
• Google web tarama ve arama botu istekleri nedeniyle web sitenize aşırı yüklenmekten kaçınmak.
• Arama sonuçlarında sıralamanızı düşürecek olan yinelenen içerekten kaçınmak.
• Bağlantı inşasını (link juice) doğru sayfalara aktarmak.
• Nofollow yönergelerini kullanarak Google tarama robotlarının ve arama örümceklerinin web sitenizdeki özel bölümleri taramasını engellemek.
• Tarayıcıların belirli bir zaman diliminde tarayabileceği ve web sitenizde dizine ekleyebileceğiniz sayfa sayısı anlamına gelen tarama bütçenizi en üst seviyeye çıkartmak.
• Henüz tamamlanmamış ve yayınlanmaya hazır olmayan sayfaları Google web tarama robotları ile arama örümceklerinden gizlemek.

SEO işinizde Robot.txt dosyası oluşturmaya öncelik vermek için, sitenizde birkaç teknik SEO sıkıntısı çıkana ve sitenizin sıralamasında önemli bir düşüş yaşanana kadar beklemeyin. Sitemiz için Robots.txt Google optimizasyonunda ustalaşarak web sitenizi kötü amaçlı botlardan ve çevrimiçi tehditlerden koruyun.

Robots.txt Neden Önemlidir?

Aslında çoğu web sitesinin Robots.txt dosyası kullanmaya ihtiyacı yoktur. Çünkü Google, genellikle sitenizdeki tüm önemli sayfaları bularak dizine ekleyebilir. Ek olarak, önemli olmayan sayfaları ya da diğer sayfaların bir kopyasını otomatik olarak dizine eklemezler. Fakat buna rağmen, bir Robots.txt dosyasına ihtiyaç duymanız için 3 ana sebep vardır.

Herkese Açık Olmayan Sayfaları Engellemek

Bazı durumlarda sitenizde var olan fakat dizine eklenmesini istemediğiniz sayfalar var olabilir. Örnek vermek gerekirse, bir sayfanın sadece hazırlanma sürümüne sahip olabilirsiniz ya da bu sayfa sizin giriş sayfanız olabilir. Bu sayfaların dizinde var olması gerekir fakat rastgele bir şekilde insanların karşısına çıkmasını istemeyebilirsiniz. Böyle durumlarda bu sayfaları arama motoru tarayıcılarından ve botlardan engellemek için Robots.txt dosyasından yardım alabilirsiniz.

Tarama Bütçenizi (Crawl Budget) En Üst Düzeye Çıkartmak

Var olan tüm sayfalarınızı dizine eklemekte zorluk çekiyorsanız, muhtemelen bir tarama bütçesi sorunu yaşıyor olabilirsiniz. Google bot kullanarak, önemsiz sayfaları Robots.txt yardımıyla engelleyebilir ve gerçekten önemli olan sayfalara tarama bütçenizden çok daha büyük bir pay ayırabilirsiniz.

Tarama Bütçesi Nedir? detaylı olarak içeriğimizi okuyabilirsiniz.

Kaynakların Dizine Alınmasını Önlemek

Meta yönergelerden yararlanmak, sayfaların dizine eklenmesinin önüne geçmek için en az Robots.txt kadar iyi çalışabilir. Ancak meta yönergeler, PDF’ler ve görseller gibi multimedya kaynakları için yeteri kadar iyi performans göstermez. Tam bu noktada devreye Robots.txt dosyaları girer ve arama motoru örümceklerine web sitenizdeki belli başlı sayfaları taramamaları gerektiği komutunu verir. Ek olarak, Google Arama Konsolu (GSC) sayesinde dizine eklediğiniz sayfa sayısını da kontrol edebilirsiniz.

Neden Robots.txt Kullanmalısınız?

Robots.txt dosyaları sayesinde, web sitenizin belirli alanlarındaki tarayıcı erişimlerini kontrol edebilirsiniz. Bunun dışında bir Robots.txt dosyasının kullanışlı olabileceği pek çok durum vardır. Robots.txt dosyalarının neden kullanışlı olduğunu ve neden bu dosyaları kullanmanız gerektiğini daha iyi açıklayacak durumlar başlıca şunlardır:

• Site haritasının ya da haritalarının konumunun belirtilmesinde,
• Dahili arama sonuçlarının genel bir SERP’de görünürlüğünün engellenmesinde,
• Web sitenizdeki görseller ve PDF’ler gibi bazı dosyaların arama motorları tarafından indekslenmesinde,
• Tarayıcıların aynı anda birden fazla içerik yüklerken sunucularınıza aşırı yüklenmesini önlemek amacı ile bir tarama gecikmesi belirtilmesinde,
• Mühendislik ekibiniz tarafından web siteniz hazırlanırken, sitenizin tüm bölümlerinin gizli tutulmasında,
• Son olarak, SERP’lerde yinelenen içeriklerin görünmesini önlemede Robots.txt’den yararlanıldığı için siz de sitenizde Robots.txt kullanmalısınız.

Genellikle son madde için meta robotların kullanımı daha iyi bir seçim olsa da Robots.txt dosyaları da oldukça iş görür. Ayrıca eğer sitenizde kullanıcı aracısı erişimini kontrol etmek istediğiniz herhangi bir bölüm yoksa, Robots.txt dosyası kullanmanıza da hiç gerek kalmaz.

Dikkat Etmeniz Gereken Yaygın Robots.txt Hataları

Eğer web siteniz, arama motorları tarafından dizine eklenmede problem yaşıyorsa sorun Robots.txt dosyanızdan kaynaklı olabilir. Robots.txt hatalarının pek çoğu, SEO denetim raporlarında görünen ve sayfanızın arama sıralamalarında büyük bir düşüş yaramasına sebep olan en yaygın SEO teknik sorunları arasındadır. Deneyimli SEO hizmet sağlayıcıları ve web geliştiricileri bile zaman zaman Robots.txt hataları yapmaya yatkındırlar.

Bu nedenle, SEO öğrenmeye başlarken iyice kavramanız gereken iki önemli nokta vardır. Önemli noktalardan ilki, Robots.txt’nin ne olduğunu ve ne işe yaradığını anlamaktır. İkincisi ise, Robots.txt’nin WordPress ve diğer içerik yönetim sistemlerinde (CMS) nasıl kullanılacağıdır. Böylece bu iki nokta, SEO için optimize edilmiş bir Robots.txt dosyası oluşturmanıza yardımcı olurken web sayfanızın da taranmasını ve dizine eklenmesini kolaylaştırır.

Mevcut Robots.txt Yönergelerini Tek Satıra Yerleştirmek

Web tarayıcılarına bir web sitesini nasıl tarayacakları hakkında açık ve net talimatlar vermesi için her bir Robots.txt yönergesi, her zaman ayrı satırlarda olmalıdır. Yönergeler tek satıra yerleştiğinde talimatlar açık ve net olmayacağından hataların oluşmasına neden olur.

Var Olan Robots.txt Dosyasını Google’a Gönderirken Yaşanan Hatalar

Güncellediğiniz her Robots.txt dosyasını Google’a göndermeniz gerekir. Yaptığınız değişiklikler belirtilen kullanıcı aracılarına tüm komutları yasaklamak veya tüm yönergelere izin vermemek için robotları silmek gibi küçük değişiklikler olsa da gönder tuşuna bastığınızdan emin olun. Böylece, Robots.txt dosyanızda yaptığınız değişikliklerin hepsi Google’a bildirilir.

Yanlış “Robots.txt Dizin Yok” Yönergesi Yerleştirmek

Yapılan bu hata, web sitenizin arama botları tarafından taranamamasına, site içi trafiğini kaybetmesine ve daha da kötüsü arama sıralamalarında ani bir düşüş yaşamasına sebep olur. Bu da SEO işine yeni başlamış bir web sitesi için oldukça kötü bir durumdur.

Robot Metin Dosyasını Kök Dizine Yerleştirmemek

Robots.txt dosyanızı alt dizinlere koyduğunuzda, sitenizin farklı web tarayıcıları tarafından keşfedilemez bir hale gelmesine sebep olabilirsiniz. O yüzden https://www.websiteniz.com/assets/robots.txt yanlış bir kullanımken, https://www.websiteniz.com/robots.txt doğru bir kullanım şeklidir.

Robots.txt Dosyanızı, Robots.txt Doğrulayıcısında Çalıştırmamak

Robots.txt dosyasının yanlış kullanımı; tüm komutların, joker karakterler olarak da bilinen wildcards’ın, sondaki eğik çizginin ve diğer bütün yönergelerin reddedilmesine sebep olur. Bu nedenle Robots.txt hataları almamak için dosyalarınızı kaydedip Google’a ve diğer arama motorlarına göndermeden önce her zaman Robots.txt doğrulayıcısında dosyanızı mutlaka çalıştırın.

Robots.txt Dosyası Oluşturmak İçin Robots.txt Dosya Oluşturucusuna Güvenmek

Bir Robots.txt dosya oluşturucusu, yararlı bir araç olarak gözükmesine rağmen, dosya üzerinde manuel kontrolleri sağlamadan tüm yönergeleri reddetmesi için dosya oluşturucusuna güvenmek büyük bir hatadır. Ayrıca Robots.txt dosyanızda kullanıcı aracılarına ve komutlarına izin vermesi için dosya oluşturucusu kullanmak yine yapılmaması gereken bir işlemdir.

Eğer küçük bir web sitesine sahipseniz, Robots.txt dosyaları oluşturmak için bir Robots.txt dosya oluşturucusundan yardım almak kabul edilebilir bir durumdur. Ancak, bir e-ticaret web sitesine sahipseniz veyahut pek çok hizmet sunan bir web siteniz varsa, Robots.txt dosyanızı oluşturma ve optimize etme konusunda uzman yardımı almanız gerekir.

Robots.txt Doğrulayıcı Raporlarını Dikkate Almamak

Bir Robots.txt doğrulayıcısının size rapor sunmasının geçerli nedenleri vardır. Sunulan raporda web sitenizle ilgili sorunlar ve hatalar yer alır. Bu nedenle, SEO için yaptığınız Robots.txt optimizasyonunun doğru olduğundan emin olmak için Robots.txt denetleyicinizi ve diğer araçlarınızı en üst düzeye çıkartmalısınız. Ek olarak, Robots.txt doğrulayıcı raporlarını hiçbir zaman göz ardı etmemelisiniz.

Robots.txt Kullanırken Bilmeniz Gereken Terimler

Robots.txt kullanırken aşina olmanız gereken bir sözdizimi mevcuttur. Ayrıca Robots.txt dosyalarının dili olarak düşünülebilecek olan bu sözdizimini bilmek, sizin Robots.txt kullanım veriminizi arttırır. Bir Robots.txt dosyasında karşılaşabileceğiniz ve yaygın olarak kullanılan beş terim başlıca şunlardır:

• User-agent (kullanıcı aracısı) – Belirli bir web tarayıcısına, genellikle de bir arama motoruna, tarama talimatlarını kullanıcı aracısı sayesinde verirsiniz.
• Disallow (izin vermemek) – Bir kullanıcı aracısına spesifik bir URL’yi taramamasını söylemek için disallow komutunu kullanırsınız. Her bir farklı URL için yalnızca bir tane “Disallow:” satırının kullanılmasına izin verilir.
• Allow (izin vermek) – Yalnızca Googlebot için geçerli olan allow komutu, Googlebot’un üst sayfasına ya da alt klasörüne izin verilmese bile, gerekli yerlere erişebileceğini söyleyen komuttur.
• Crawl-delay (tarama gecikmesi) – Bir tarayıcının sayfa içeriğinin tümü yüklenmeden ve taranmadan önce kaç saniye beklemesi gerektiği tarama gecikmesi olarak açıklanır. Fakat Googlebot tarafından tarama gecikmesi komutu onaylanmadığı için tarama hızı Google Arama Konsolu (GSC) üzerinden ayarlanabilir.
• Sitemap (site haritası) – Site haritaları komutu, botların bir web sitesini tararken yaptıkları taramaya neleri dahil edeceklerini bilmelerine yol gösterir. URL ile ilişkili herhangi bir XML site haritasının ya da haritalarının konumunu belirtmek için de kullanılır. Ek olarak site haritası komutunu yalnızca Google, Ask, Bing ve Yahoo gibi arama motorları destekler.
• $ – Satırın sonu anlamına gelir.
• * – Herhangi bir sayıda karakter anlamına gelir.

Bu terimlere aşina olduktan sonra Robots.txt kullanımınız kolaylaşır ve böylece siteniz için SEO’yu verimli bir şekilde kullanmış olursunuz.

Robots.txt Dosyası Nasıl Çalışır?

Bir Robots.txt dosyası, yalnızca HTML biçimlendirme kodu içermeyen bir metin dosyasıdır, tamda bundan dolayı bir .txt uzantısıdır. Web sitesindeki diğer dosyalar gibi Robots.txt dosyası da web sunucunun içinde mevcuttur. Aslında herhangi bir web sitesi için Robots.txt dosyası, ana sayfanın tam URL’sinin yazılmasının ardından /robots.txt eklenerek görüntülenebilir. Örnek vermek gerekirse, https://www.websiteniz.com/robots.txt şeklinde Robots.txt dosyalarına erişim sağlayabilirsiniz. Dosya, site içindeki başka herhangi bir yere bağlı olmadığı için kullanıcıların bu dosyaya rastlaması mümkün değildir. Fakat çoğu web tarayıcı botu sitenin geri kalanını taramadan evvel Robots.txt dosyasını arar.

Web tarayıcısı veya haber akışı botu gibi iyi bir bot, etki alanındaki diğer sayfaları görüntülemeden önce Robots.txt dosyasını ziyaret etmeye çalışır ve talimatları takip eder. Kötü bir bot ise ya Robots.txt dosyasını görmezden gelir ya da ya da yasaklanmış web sayfalarını görüntülemek için onu kullanır. Ayrıca bir Robots.txt dosyası, botlar için yalnızca talimat sağlar, sağladığı talimatları kendisi uygulayamaz. Robots.txt dosyası çalışırken önemli olan diğer bir nokta ise, tüm alt alan adlarının kendine özel Robots.txt dosyasına ihtiyaç duymasıdır. Örneğin, ana sayfanız kendi dosyasına sahipken sayfanızın blog sekmesi de kendine ait Robots.txt dosyasına sahip olur.

Robots.txt Kullanımı SEO için Neden Önemlidir?

Web sayfalarının içerisindeki işleyişi ve botları kontrol etmesine izin verilen Robots.txt uzantıları SEO için oldukça etkilidir. Bu yüzden web sayfası yöneticileri, Robots.txt uzantısının yetkilerini gereğinden fazla kısıtlarsa arama motoru sonuçları olumsuz etkilenir ve doğru sonuçlar oluşturmaz. Uzantının etki alanı dışında bulunan web siteleri, arama sonuçlarında ve algoritma sisteminde gözükmez. Bu sebeple liste dışı olan sayfalar ile ilgili sıralama ve analiz işlemleri yapılması mümkün değildir. Diğer yandan da verilen sınır izinleri oldukça geniş kapsamlı olursa, yinelenen içeriklere sahip olan web sayfaları da listeye eklenir ve algoritmayı yanıltarak sıralamalar için tutarsızlık oluşturabilir.

Robots.txt uzantısının izinleri ayarlanırken, kod diziminin kontrol edilmesi gerekir. Yapılan ufak bir hata kapsam ayarlarını değiştireceği için doğruluk oranları ile oynar ve yanlış sonuçlar oluşturur. Keza yine bu tip hatalar sayfaların arama sıralamasında çıkmamasına ve kontrol dizinlerine eklenememesine sebebiyet verir. Dosyanın doğrulu Google Arama Konsolu (GSC) hizmeti üzerinden kontrol edilebilmektedir. “Mevcut Durum” ve “Tarama Hataları” bölümünün altındaki talimatlarda engellenen ya da hatayla kapsam dışı kalan sayfalar ile ilgili bilgi verilmektedir. Doğru kullanılan Robots.txt uzantıları web sayfalarının arama botları tarafında kolay bulunmasını ve bu botlar tarafından doğru bir şekilde taranmasını sağlar. Kısaca anlatmak gerekirse, doğru kullanılan Robots.txt uzantısı tüm sayfa içeriğinizin Google ve diğer arama motorları tarafından ana dizine eklenmesine olanak verir.

Robots.txt Dosyasında Nasıl Bir Protokol Kullanılır?

Protokol, ağ oluştururken talimatlar ya da komutlar sağlamak için gereken bir formattır. Robots.txt dosyaları da bu nedenle birkaç farklı protokolden yararlanır. Yararlandığı ana protokole robot dışlama protokolü adı verilir. Bu, botlara hangi web sayfasından ve kaynaklardan kaçınmaları gerektiğini söylemenin bir yoludur. Ayrıca bu protokol için biçimlendirilmiş talimatlar Robots.txt dosyasına dahil edilmiştir.

Site haritaları protokolü ise Robots.txt dosyaları için kullanılan bir diğer protokoldür. Bu protokol, bir robot dahil etmek protokolü olarak kabul edilir. Yani site haritaları, bir web tarayıcısına hangi sayfaları tarayabileceği hakkında bilgi verir. Böylece, site haritaları protokolü bir tarayıcı botunun önemli sayfaları kaçırmamasına yardımcı olur.

Tüm Web Siteleri Robots.txt Kullanmak Zorunda mıdır?

Elbette ki tüm web sitelerinin bir Robots.txt dosyası kullanmasına gerek yoktur. Google gibi büyük arama motorları, bir web sitesindeki sayfaların nasıl taranacağı hakkında belli sistemlere sahiptir. Bu nedenle yinelenen bir sayfayı ya da önemsiz sürümleri otomatik olarak dikkate almayıp yok sayarlar. Ancak alanında yetkin SEO uzmanları, bir Robots.txt dosyası oluşturmanın, daha hızlı ve daha iyi bir web taraması sağlayacağı konusunda hemfikirdir. Ayrıca Google tarama robotları ve arama örümcekleri tarafından dizine eklenmesine olanak sağlamak için Robots.txt kullanmak oldukça önemlidir.

SEO uzmanlarına göre, yeni açılan web sitelerinin Robots.txt dosyalarının nasıl kullanılacağı hakkında endişelenmesine gerek yoktur. Çünkü yeni açılan sitelerde amaç, web sayfanızın mümkün olduğunca çok sayıda arama örümceği tarafından erişebilir kılınmasıdır. Öte yandan, eğer web siteniz birkaç yıldan eskiyse Robots.txt kullanmak; trafik kazanmaya, Google tarama isteklerini ve arama örümceği sorunlarını engellemekte etkilidir. Sonuç olarak, SEO için Robots.txt dosyasının nasıl düzenleneceğini bilmek size ve web sitenize önemli bir avantaj sağlar. Daha da önemlisi Robots.txt, web sitenizi kötü botlardan ve siber saldırılardan korur. Bu nedenle web sitenizde Robots.txt kullanmanızda yarar vardır.

Robots.txt WordPress’te Nerede Yer Alır?

WordPress, internetteki tüm web sitelerinin aşağı yukarı %40’ına güç sağlayan, dünyanın en popüler ve yayın kullanılan içerik yönetim sistemidir (CMS). Bu nedenle de pek çok web sitesi sahibi, WordPress’te Robots.txt dosyalarının nerede yer aldığını ve bu dosyaları nasıl düzenleyeceklerini öğrenmek ister. Eğer siz de WordPress’teki Robots.txt dosyanıza erişmek istiyorsanız şu adımları takip edin:

• Öncelikle WordPress’e giderek kontrol panelinize yönetici olarak giriş yapın.
• Yanda çıkan menüden SEO’ya tıklayın.
• SEO’ya tıkladıktan sonra Yoast’a tıklayın. Yoast, WordPress’i düzenlemek ve ihtiyaç duyduğunuzda Robots.txt güncellemeleri oluşturmak için web sitenize yüklemeniz gereken bir eklentidir.
• Dosya düzenleyiciye (file editor) tıklayın. Bu araç sayesinde Robots.txt, Google yönergelerinizde hızlı değişiklikler yapmanıza olanak sağlar.
• Artık WordPress’te Robots.txt dosyanızı görüntüleyebilir ve dosyanızın WordPress dizinini istediğiniz gibi düzenleyebilirsiniz.

Robots.txt dosyanızın dizin için içermediğinden ve dosyadaki izin verme komutlarının güncel olduğundan emin olmak için, dosya üzerinde yaptığınız bütün değişiklikleri kaydetmeyi unutmayın.

Magento’da Robots.txt Nasıl Bulunur?

Pek çok web sitesi sahibi WordPress’te Robots.txt’e nasıl erişeceği ile ilgili yaygın problemin yanı sıra, Magento Robots.txt’e de nasıl erişeceğini bilmek ister. Çünkü site sahipleri, Robots.txt tarafından kısıtlanan URL ile arama örümcekleri yardımıyla daha iyi iletişim kurmak için Magento Robots.txt’e nasıl erişileceğini, düzenleneceğini ve optimize edileceğini öğrenmek isterler. Magento, web geliştiricileri tarafından SEO için optimize edilmiş e-ticaret web siteleri oluşturmaya yardımcı olmak için tasarlanan yerleşik PHP’ye sahip bir platformdur. Peki Magento’da Robots.txt nasıl bulunur?

• Magento’ya girerek panonuzda oturum açın.
• Yönetici paneline (admin panel) giderek, mağazalar (stores) sekmesine tıklayın.
• Oradan ayarlara (settings) giderek yapılandırma (configuration) seçeneğini seçin.
• Arama motoru robotları (search engine robots) bölümünü açın. Artık Robots.txt dosyanızı görüntüleyebilir ve Robots.txt tarafından kısıtlanan URL’yi düzenleyebilirsiniz.
• İşiniz bittikten sonra yapılandırmayı kaydet (save config) butonuna tıklayın.

Aynı işlemleri Magento’da Robots.txt dosyası oluşturmak için de uygulayabilirsiniz. Eğer varsayılan talimatları geri yüklemeniz gereken bir durum olursa, varsayılana sıfırla (reset to default) butonuna tıklayabilirsiniz.

cPanel’de Robots.txt Nasıl Bulunur?

Linux tabanlı popüler kontrol panellerinden biri olan cPanel, web barındırma hizmetlerini maksimum verimlilikte kullanmaya yarar. Pek çok web geliştiricisi, Robots.txt dosyası oluşturmak için cPanel’den de yardım alır. Web tarayıcılarınıza ve Google Robots.txt dosyalarınıza cPanel üzerinden ulaşabilmek için şu adımları takip edin:

• cPanel hesabınıza giriş yapın.
• Dosya yöneticini (file manager) açarak sitenizin kök dizinine gidin.
• Böylece arama botlarına ve Google Robots.txt dosyasına web sitenizin indeksi ya da ilk sayfasıyla aynı konumdan erişebilirsiniz.

cPanel’de Robots.txt Nasıl Düzenlenir?

cPanel’de Robots.txt izin vermeme komutunu düzenlemek ya da gerekli diğer değişiklikleri yapmak istiyorsanız basitçe şu adımları izlemeniz gerekir:

• txt dizin dosyasında no index’i vurgulayın.
• Dosyadaki nofollow komutlarını düzenlemek için üst menüdeki editör (editor) ya da kod düzenleme (code edit) seçeneklerinden birine tıklayın.
• txt izin vermeme komutundaki en son değişiklikleri kaydedebilmek için değişiklikleri kaydet (save changes) butonuna basın.

cPanel’de Robots.txt Nasıl Oluşturulur?

cPanel’de bir Robots.txt dosyası oluşturmak için sırasıyla şunları yapmanız gerekir:

• İlk önce cPanel hesabınıza giriş yapın.
• Daha sonra dosyalar (files) sekmesine giderek dosya yöneticisine (file manager) tıklayın.
• Son olarak da yeni dosya (new file) yazan yere tıklayarak (create new file) butonuna basın.

Böylece siz de cPanel üzerinde bir Robots.txt dosyası oluşturabilirsiniz.

Robots.txt’i Optimize Etmenin Yolları

WordPress kullanırken, Robots.txt dosyasına nasıl erişeceğinizi ve çeşitli platformlar üzerinde dosyayı nasıl düzenleyeceğinizi öğrenmek Robots.txt yönergelerini optimize etmenizin ilk adımıdır. Dosyanızı düzgün bir şekilde optimize etmek için şu adımları uygulayabilirsiniz:

• Bir Robots.txt denetleyicisi kullanarak düzenli denetimler yapmaya özen gösterin. Google, web sitenizdeki herhangi bir Robots.txt sorununu belirlemenize yardımcı olmak amacıyla ücretsiz bir Robots.txt denetleyici sunar.
• Dosyanıza nasıl site haritası ekleyeceğinizi ve site haritasını bu dosyada nasıl uygulayacağınızı öğrenin.
• txt’in engelleme konusundaki tüm yönergelerinden yararlanarak arama botlarının web sitenizdeki özel dosyalara ya da tamamlanmamış sayfalara erişimini önleyin.
• Sunucu günlüklerini sık sık kontrol edin.
• Google arama konsolundan (GSC) tarama raporu isteyerek web sitenizin kaç tane arama örümceği tarafından tarandığını belirleyin. Bu rapor size; yanıt, dosya türü, amaç ve Googlebot türüne göre toplam tarama isteklerinizi sunar.
• Web sitenizin trafik ve kötü botlardan gelen istekler oluşturup oluşturmadığını dikkatli bir şekilde kontrol edin. Eğer oluşturuyorsa Robots.txt’in tüm blok yönergelerinden yararlanarak bunları engelleyin.
• Web siteniz çok sayıda 404 ve 500 hatası alıyorsa bu hatalar web tarama sorunlarına neden olabilir. Bu nedenle web sitenizde 301 yönlendirmeleri uygulayabilirsiniz. Ayrıca 404 ve 500 hatalarının hızlıca artması durumunda, bazı kullanıcı aracılarının web sayfalarınıza ve dosyalarınıza erişimini kısıtlamak için Robots.txt’in tüm blok yönergelerinden yararlanabilirsiniz. Ek olarak, yinelenen web tarama sorunlarını çözmek içim yine Robots.txt dosyanızı optimize ettiğinizden emin olun.
• Son olarak, Robots.txt sözdiziminizde izinler ile diğer yönergeleri düzgün bir şekilde çalıştırmak için profesyonel SEO hizmetlerini ve web geliştirme çözümlerini listeleyin.

Tüm bu adımları uygulayarak siz de optimize edilmiş bir Robots.txt dosyasından yararlanabilirsiniz. Böylece web sitenizi kötü botlardan ve zararlı yazılımlardan koruyabilirsiniz.