Seo yani arama motoru optimizasyonu yapabilmemiz için ilk önce arama motorlarının çalışma mantığını öğrenmemiz gerekmektedir.

Arama motorlarının en temel aşaması, "crawler" adı verilen web sitelerindeki sayfaları ve içeriklerin analiz edilerek arama motorlarının veritabanlarında depolanmasından oluşuyor.

Crawler

Crawler adı verilen işlem, arama motorunun web sitelerini ziyaret ederek orada bulduğu her şeyin bir listesini kaydetmesi anlamına geliyor. Bunlar arasında en az sayfa başlığı, resimler, anahtar sözcükler ve diğer sayfalara verilen bağlantılar bulunuyor. Bazı arama motorları, tüm web sayfasını kendi üzerinde depolayabiliyorlar, reklamların, bağlantıların sayfanın neresinde olduğunu tarayabiliyorlar.

Crawler işlemi, otomatik olarak bilgisayarlar tarafından gerçekleştiriliyor. Bu sırada web sitesindeki her sayfa tek tek ziyaret ediliyor, ancak bu işlem bir insanın yapabileceğinden çok daha hızlı yerine getiriliyor. Crawling, sonu olmayan bir işlem, yani arama motorları belirli aralıklarla web sitelerini tekrar tekrar tarıyorlar.

Arama motorunun taradığı web sitelerindeki herhangi bir yeni web sitesine verilen bağlantı, bu yeni web sitesinin de taranmasıyla sonuçlanır. Crawler işlemin sıklığı ve derinliği, siteden siteye değişmektedir.