Google ve GoogleBot

Google

Google, web üzerindeki milyarlarca sayfayı tarayan bilgisayar sisteminin adıdır. Google tarafından yapılan web araması, dijital kütüphaneciliğe benzetilebilir. Google, kullanıcının arama sorgularına uygun olarak dizinindeki web sayfalarını kullanıcıya sunar. Google, web arama ve dizinleme sırasında belli özellikleri gizli tutulan algoritmalar kullanır.

GoogleBot

Google arama motoru sistemi, web üzerindeki site kaynaklarını Googlebot adı verilen arama robotu programı ile inceler. Googlebot arama robotuna, kısaca bot da denilir. Web Crawlers veya Spiders olarakta bilinen diğer önemli arama motorları; Bingbot, AOL, Yahoo! Slurp,  All the web, Lycos, Inktomi ve Teoma'dır.

Googlebot, bir web sitesini 3 aşamada inceler.

1- Tarama

2- Dizine ekleme

3- Sonuçları sunma

Tarama

Google, dizinine ekleyeceği yeni ve güncel sayfaları Googlebot (Web Spiders) programı ile inceler. Googlebot, her gün milyarlarca web sayfasını düzenli olarak taramaktadır.

Googlebot’un tarama işleminde, önce web sayfasının robots.txt dosyası sorgulanır, engel olup olmadığı tanımlanır. Eğer site genel aramaya açık ise bot, site haritasını ve URL listesini tarar. Sonraki aşamada bot, sayfalar içinde ve dışındaki bağlantıları takip eder.

Dizine ekleme

Google arama robotu, tarama yaptığı her sayfayı değerlendirir ama sayfanın dizine alınması (indekslenme) garantisini vermez. Bot, site sayfalarını teknik ve içerik standartları olarak 200 yakın parametre içinde inceler. Metin tabanlı olmayan ve tanım etiketleri (meta tags) sorunlu sayfalar indekslenmeyebilir. Meta tags hakkında bilgiye buradan ulaşabilirsiniz: Meta Tags: Title, Description, Keywords, Content ve SEO

Tabi ki, yazılım yarı-otomatik bir sistemle hareket ettiği için tüm içerik ve yapının tanımlaması ve doğru değerlendirmesi mümkün değildir. 

Sonuçları sunma

İnternet kullanıcısı sorgu yaptığında arama motoru, sorgu ile bot tarafından işlenmiş dizin bilgisi arasında aynılık ve alaka düzeyinde eşleşen sonuçları kullanıcıya sunar.

Sorgu ve dizin sonuçları değerlendirilirken en önemli kriterler, Backlink ve PageRank’dir. Backlink, bir siteden bir başka siteye verilen referans bağlantıdır. Web değeri yüksek bir siteden link bağı almış sitenin, Google gözünde PageRank değeri yüksek olacak ve arama sonucunda öncelik kazanacaktır.

Sitenizin Google’daki dizinini öğrenin!

Sitenizin, Google dizininde ne şekilde yer aldığını görebilmek için, sitenizin tam URL ismi üzerinden basit bir sorgu yapabilirsiniz. Örneğin, http://www.beyazperde.com/ sinema sitesinin Google dizinindeki konumunu görmek için,  site: sonrasında URL yazmanız yeterlidir.

site: http://www.beyazperde.com/

Yukarıdaki sorgu sonrası oluşan sonuçlar, sitenizin Google arama motoru dizinine eklenmiş içeriğinin sonuçlarıdır. Belli bir zaman geçmiş olmasına rağmen hala dizine eklenmeyen içerikleriniz var ise, Google'ı bilgilendirebilirsiniz.

Google Web Yöneticisi Araçları

Bir Gmail hesabı ile ücretsiz web master hizmeti alabileceğiniz Google Web Yöneticisi Araçları, Google dizin işlemleri için en doğru kaynaktır. Dizin konusunda olası teknik hatalarını öğrenmek için Web Yöneticisi Araçları’ndaki “Tarama hataları” sayfasını inceleyip, düzenlemeye gidebilirsiniz.

Web Yöneticisi Araçları sayfasında, dizin hataları ve web yönergelerini incelip ve sayfanızı optimize edebilirsiniz. En temel site optimizasyon yönetimi, Web Yöneticisi Araçları’ndan elle düzenleyeceğiniz “site haritası gönder” “dizin ekle” ve “url engelle” bildirimleridir.

Ahmet Usta

Kaynak:

https://www.google.com/webmasters/tools/

http://www.robotstxt.org

http://www.sitemaps.org/tr/

Site Haritası Nedir? Blogger Site Haritası Gönderme

Site Haritası Nedir?

Site haritası yani Sitemap, web sitesinin arama motorlarına tanıtılması için geliştirilmiş bir protokoldür. Site haritası, Arama motorlarının web sayfalarını hızlı  indekslemesi için oluşturulurlar. Site haritası, site içeriğinizin arama motorları tarafından fark edilip, işaretlenmesi için en kesin, kolay ve legal yöntemdir.

Blogger, Google'ın sunduğu subdomain üzerinden hizmet veren web-blog olduğu için site haritası (sitemap) gönderimi bağımsız olarak yapılamaz. Blogger için yapacağımız web sitesi harita gönderimi, yani içerik dizin bildirimi farklı olacaktır.

Blogger site haritası bildirimini, bir başka Google hizmeti olan web yöneticisi araçları/web master tools sayfasından yapacağız.

Blogger için Web Yöneticisi Araçları Üzerinden Site Haritası Ekleme

• İlk önce web yöneticisi araçları sayfasında oturum açın.

https://www.google.com/webmasters/

• Aşağıdaki resimde sağ üst köşede yer alan "site ekle" butonu ile sitenizin URL'sini girin.

Web Yönetici Araçları - Site Ekle

• Siteniz kabul edildikten sonra site adresinizi tıklayın. Açılan kontrol panelinde yer alan Optimizasyon - Site Haritaları seçeneğine gidin.

Optimizasyon - Site Haritaları

• Sağ üst köşedeki site haritası ekleme/test etme butonuna basarak açılan kutuya, blogspot.com/  adresinizden sonra gelecek şekilde aşağıdaki bilgileri aynen girin. 

Site Haritası Ekleme / Test Etme

Blogger için varsayılan site haritaları (sitemaps) şunlardır: 

• sosyalmedyamecerasi.blogspot.com/feeds/posts/full 
• sosyalmedyamecerasi.blogspot.com/feeds/posts/default?orderby=updated 
• sosyalmedyamecerasi.blogspot.com/feeds/comments/default?alt=rss

Bu gönderimler sitenizin içeriğini Google'a bildirmek için birinci adımdır. İkinci adımda, daha gelişkin olarak içeriklerinizin listesini gönderebilirsiniz. İkinci adım gönderimde, blogunuzun içerik/post sayısı temel alınır.

Blogunuzda 500’den az içerik varsa site haritanız:

sosyalmedyamecerasi.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Blogunuzda 500-1000 arası içerik  varsa site haritanız:

sosyalmedyamecerasi.blogspot.com/atom.xml?redirect=false&start-index=501&max-results=500

Site Haritası gönderildi.

Sonuç

Site haritası gönderiminiz Google'a ulaştırıldı, hatalı url ve meta etiketler ayrı tutularak, sitenize ait içerikler artık daha hızlı biçimde indekslenecektir.

Ahmet Usta