Indexleme terimini birçoğumuz duymuşuzdur.Bu yazımda Google’un sitemizi nasıl indexlediğini anlatacağım.  İndexleme; arama motorlarının sitemizi kendi veri tabanlarına kaydederek arşivlemesidir. Google’un siteleri ne şekilde indexlediğini açıklayacağım;
Google arama motorunun bilinen 3 tane botu vardır botlar sitemiz üzerinde dolaşırlar sitemizin her sayfasını gezer kategorilendirerek veri tabanlarına kaydeder. Google’un herkesçe bilinen 3 botu ise adsense boto freshbot ve deepcrawl.
Adsense’si web sitesi olan çoğu kişi bilir. Web site sahiplerinin içerikleri ile uyumlu reklâm yayınlayarak para kazanmalarını sağlayan bir sistemdir. Adsense botları bu reklâmları yayınlayan bu sitelerde gezerler. Sitenin içerik yapısını inceleyerek site ile uyumlu reklam yayınlayabilmek için her değişimden sonra 15 dkk içerisinde yeni yerleri indexleyip giderler.
Gelelim freshbot ve deepcrawl botları.
Â
Freshbot sitemizin popüler ve güncel kısımlarıyla ilgilenmektedir. Yani sitemizin en hızlı içerik girilen sayfaları ile ilgilenir.  Google botları sık güncellenen siteleri daha sık uğramaktadır. Sitenizin güncelleme sıklığı azaldıkça bu uğrama sıklığı azalmaktadır.
Fresbot sitemize geldiğinde linkleri tek tek gezer ve arşivler. Arşivlediği linkler deepcrawla yol gösterir ve işini yapmasına yardımcı olur.
Â
Deepcrawl ise ayda bir sitemize uğramaktadır. Son sitemizin tüm verilerini kaydederek arşivlerler. Buda sitemizde yer alan içeriklerin neden bir ay sonra gözüktüğünün göstergesidir.






