Blog yazısı
Yapay Zekâ Sitemi Nasıl Bulur?
Bağlantıların, site haritasının, bot erişiminin ve açık içeriğin yapay zekâ asistanlarının sitenizi bulmasına nasıl yardım ettiğini öğrenin.
# Yapay Zekâ Sitemi Nasıl Bulur?
Yapay zekâ asistanları sitenizi arama motorlarından, kendi web botlarından, başka sayfalardaki bağlantılardan, site haritasından veya kullanıcının verdiği doğrudan adresten bulabilir. Adresin bulunması yalnızca başlangıçtır: sistemin sayfayı açabilmesi, içeriği okuyabilmesi ve belirli bir soruda kullanmayı seçmesi gerekir. Keşfedilmek; arama dizinine eklenme, kaynak gösterilme veya önerilme garantisi değildir.
“Yapay zekâ sitemi biliyor mu?” sorusu tek bir veri tabanı varmış gibi soruluyor. Oysa farklı asistanlar farklı arama hizmetlerinden, tarayıcılardan ve bağlantılardan yararlanabilir. Sayfanız bir sistemde bulunurken başka birinde görünmeyebilir. Bazen de asistan, sitenizi daha önce taramamış olsa bile kullanıcının verdiği tam adresi o anda açabilir.
Sorunu doğru yerde aramak için aşamaları ayırmak gerekir. Bu yazı sitenin nasıl keşfedildiğini ve okunduğunu ele alır. “Hangi ekrana girip ne göndermeliyim?” adımlarını Yapay Zekâya Sitemi Nasıl Gönderirim? yazısına bırakır.
Sitenizin bulunması tek bir adımdan oluşmaz
Günlük dilde hepsine “buldu” desek de dört ayrı olay vardır.
Keşif, bir sistemin sayfanın adresinden haberdar olmasıdır. Adres başka bir sayfadaki bağlantıdan, site haritasından, ürün akışından, platform bildiriminden veya kullanıcının verdiği bağlantıdan gelebilir. Sistem bu aşamada yalnızca URL’yi biliyor olabilir.
Tarama, bir web botunun adresi açıp sayfadaki bilgileri almaya çalışmasıdır. robots.txt kuralı, üyelik zorunluluğu, sunucu hatası, hız sınırı, güvenlik duvarı veya çalışmayan JavaScript içeriğin alınmasını engelleyebilir.
İndeksleme, alınan içeriğin işlenmesi ve bir arama dizininde saklanabilmesidir. Google tarama, indeksleme ve arama sonucunu sunmayı ayrı aşamalar olarak tanımlar; kurallara uygun bir sayfanın bütün aşamalardan geçeceğini garanti etmez.
Yapay zekâ yanıtında kullanım ise ek bir seçimdir. Asistan belirli bir soru için kaynak arar ve uygun gördüğü bilgileri kullanabilir. İndekste bulunan bir sayfa o cevapta seçilmeyebilir. Diğer taraftan kullanıcı tam adresi verdiğinde, sayfa genel taramayla keşfedilmeden doğrudan ziyaret edilebilir.
Bu ayrım teşhisi değiştirir. “Cevapta sitem yok” demek, “bot siteme hiç gelmedi” demek değildir.
Bağlantılar tarayıcılara yol gösterir
Web’de yeni adresler büyük ölçüde bağlantılar izlenerek keşfedilir. Tarayıcı bildiği bir sayfayı açar, erişebildiği bağlantıları çıkarır ve yeni adresleri tarama listesine ekleyebilir. Bu nedenle önemli sayfalar menü, kategori yapısı, ilgili içerikler ve metin içi bağlantılarla siteye bağlanmalıdır.
İç bağlantılar ana sayfadan kategoriye, kategoriden ürüne veya rehbere geçiş sağlar. Bağlantı metni de ilişkiyi anlatır. “Su geçirmez sırt çantaları” ifadesi “buraya tıklayın” sözünden daha açıklayıcıdır. Önemli adresleri sadece bazı tarayıcıların çalıştıramayacağı bir hareket veya komut dosyasının arkasında bırakmayın.
Başka sitelerden gelen gerçek bağlantılar da keşif ve bağlam sağlayabilir. Tedarikçi sayfası, meslek kuruluşu, güvenilir basın haberi veya güncel işletme profili buna örnektir. Toplu ve yapay bağlantı paketleri ise güvenilir bir tanıtım yolu değildir. Yeni ve hiç bağlantı almayan bir alan adı yine bulunabilir; ancak site haritası ve doğrudan bildirim daha önemli hâle gelebilir.
Sitenin hiçbir yerinden bağlantı verilmeyen bir sayfa, site haritasıyla keşfedilebilir; fakat hem müşteri yolculuğundaki hem de site yapısındaki yeri belirsiz kalır. Asıl bağlantı sorununu düzeltin.
Site haritası keşfe yardım eder, görünmeyi garanti etmez
XML site haritası (sitemap), arama motorlarının bilmesini istediğiniz tercih edilen adresleri listeler. Bazı içerik türleri ve dil sürümleri için ek bilgiler de taşıyabilir. Yeni, büyük, sık güncellenen veya bağlantı yapısı zayıf sitelerde özellikle yararlıdır.
Google’ın belgesine göre site haritası adreslerin keşfine yardım eder, fakat listedeki her sayfanın taranmasını ya da arama dizinine eklenmesini garanti etmez. Site haritası; hata döndüren, giriş isteyen, beklenmedik biçimde yönlenen, noindex taşıyan veya düşük değerli kopya içeriği sağlıklı hâle getirmez.
Dosyada yalnızca kamuya açık, tercih edilen ve arama sonuçlarına alınması amaçlanan adresleri tutun. Tam URL kullanın; değişiklik tarihini ancak içerikte gerçekten önemli bir güncelleme olduğunda yenileyin. Kalıcı olarak kaldırılan adresin yönlendirme veya durum kodu işini çözdükten sonra site haritasındaki kaydını temizleyin.
Taslakları, site içi arama sonuçlarını, sepet ve hesap sayfalarını veya her filtre parametresini dosyaya eklemek site haritasını güçlendirmez. Site haritası, bakımını yapacağınız gerçek kamusal sitenin haritası olmalıdır.
Bot erişimi ile arama sonuçlarına alınma talimatını karıştırmayın
robots.txt, kurala uyan tarayıcılara hangi adresleri isteyebileceklerini söyler. Tarama trafiğini yönetir; kimlik doğrulama sistemi değildir ve gizli bilgiyi korumak için kullanılamaz. Bir adres bağlantılardan bilinebilir. Google, tarama engellense bile bazı durumlarda URL’nin açıklamasız biçimde sonuçlarda görünebileceğini belirtir.
noindex gibi indeksleme talimatları farklı bir işi yapar. Tarayıcının bu talimatı görebilmesi için çoğunlukla sayfayı veya yanıt başlığını alması gerekir. Aynı adresi robots ile engellemek, noindex bilgisinin okunmasını önleyebilir. Özel içerik parola veya gerçek yetkilendirme arkasında tutulmalıdır.
Yapay zekâ hizmetleri farklı amaçlar için farklı kullanıcı aracı adları yayımlayabilir. OpenAI; ChatGPT arama sonuçları için OAI-SearchBot’u, model eğitiminde kullanılabilecek içerik için GPTBot’u ve bazı kullanıcı kaynaklı ziyaretler için ChatGPT-User’ı ayrı tanımlar. ChatGPT-User otomatik web tarayıcısı değildir ve ChatGPT aramasına dahil olmayı belirleyen araç değildir; kullanıcı başlattığı için robots kuralları aynı biçimde uygulanmayabilir.
Desteklemek istediğiniz hizmetin güncel belgesini okuyun. Güvenlik duvarınız kaynak IP doğrulaması yapıyorsa yayımlanan aralıkları kontrol edin. Kimin, hangi amaçla izin verdiğini kayda alın.
Herkese açık sayfa gerçekten açılıyor mu kontrol edin
Yönetici hesabınızla gördüğünüz ekran, tarayıcının aldığı sayfa olmayabilir. Gizli pencerede oturumsuz ziyaret yapın. Çerez penceresi, bölge seçimi, bot koruması, CDN kuralı veya güvenlik doğrulaması yüzünden önemli metnin boş kalıp kalmadığını kontrol edin.
Güncel arama tarayıcıları JavaScript işleyebilse de bu işlem ek bağımlılık ve hata noktası yaratır. Başlık, açıklama, ürün bilgisi, politika ve ana bağlantılar ilk yanıtta veya güvenilir biçimde oluşturulan sayfada yer alsın. Kritik metin yalnızca kaydırma, tıklama ya da engellenmiş bir API çağrısından sonra geliyorsa hedef tarayıcıyla test edin.
Satın alma için gerekli bilgiyi görsele gömmekle yetinmeyin. Anlamlı alternatif metin, açık tablo başlıkları ve anlaşılır bağlantılar hem erişilebilirliği hem de içerik yapısını iyileştirir.
Tercih edilen ana adres (canonical), yönlendirmeler ve dil işaretleri de aynı sayfayı göstermelidir. Aynı ürünü gösteren beş adres varsa sistem hangisinin asıl sayfa olduğuna karar vermek zorunda kalır. Türkçe sayfanın yanlışlıkla İngilizce olarak işaretlenmesi de doğru sayfanın anlaşılmasını zorlaştırır.
Bulunan içeriğin anlaşılır olması gerekir
Sayfanın alınması, içeriğin anlaşılması anlamına gelmez. “Çözümümüz” başlığı altında yalnızca slogan ve görseller varsa sistemin kullanabileceği az gerçek kalır. Sayfanın neyi anlattığını başlıkta ve girişte açıkça söyleyin; devamında gerçek takip sorularına görünür bilgilerle cevap verin.
Ürün sayfasında ürün kimliği, kategori, kullanım amacı, ayırt edici özellikler, fiyat, stok, varyasyonlar ve koşullar bulunmalıdır. İşletme sayfalarında gerçek ad, sunulan ürün veya hizmet, hizmet alanı, iletişim yolu ve politikalar açık olmalıdır. Bir iddianın sınırı varsa aynı yerde yazın.
Yapılandırılmış veri, destekleyen sistemler için görünür anlamı etiketleyebilir. Fakat geçerli kod indeks veya yapay zekâ kaynağı olma garantisi değildir. Bunu doğru içeriğin üzerindeki etiket gibi düşünün; kutunun içini değiştiren bir araç gibi değil.
Tek bir adresi adım adım test edin
Önemli bir URL seçip dışarıdan içeriye doğru ilerleyin:
- Adresi gizli pencerede açın; başarılı yanıt ve eksiksiz içerik aldığınızı doğrulayın.
- Sayfanın kamuya açık, tercih edilen ana adres olduğunu ve yanlışlıkla
noindextaşımadığını kontrol edin. - En az bir taranabilir site sayfasının bu adrese bağlantı verdiğini bulun.
- Uygunsa tercih edilen URL’nin güncel site haritasında olduğunu doğrulayın.
- Yalnızca genel bot erişim kuralına değil, ilgilendiğiniz bot adına ait kurala bakın.
- CDN, güvenlik duvarı ve sunucu kayıtlarında belgelenmiş kullanıcı aracını ve doğrulanmış kaynağı inceleyin.
- Tarayıcının aldığı veya oluşturduğu içeriği müşterinin gördüğü sayfayla karşılaştırın.
- Erişiminiz varsa ilgili arama motorunun webmaster aracında URL’yi inceleyin.
- Marka ve tam sayfa aramaları yapın; sonucu eksiksiz indeks raporu değil, gözlem olarak kaydedin.
- Tarih, araç, adres, sonuç ve sonraki testi yazarak değişiklikleri karşılaştırılabilir tutun.
Sayfa taranmış ve indekslenmiş olduğu hâlde belirli bir yanıtta kullanılmıyorsa sonraki soru erişim değil; alaka, kanıt, güncellik ve kaynak seçimi olmalıdır.
Yaygın keşif hatalarından kaçının
Bot erişimi, site haritası ve noindex ayarlarını aynı düğmenin üç biçimi sanmayın. Gizli bilgiyi robots.txt kuralıyla korumayın. Yalnızca oturum açınca çalışan veya birkaç alan adı arasında dolaşan yönlendirmeleri keşif sayfası olarak göndermeyin. Eğitim botuna izin vermenin arama görünürlüğünü yönettiğini varsaymayın.
Sadece marka adınızı soran tek bir yapay zekâ testi de yeterli değildir. Sistem markaya gidebilir ama ürünle ilgili gerçek müşteri sorusuna cevap bulamayabilir. Az sayıda gerçek soru belirleyin; sayfanın bulunup bulunmadığını, kaynak gösterilip gösterilmediğini ayrı kaydedin. Bunlar kalıcı sıralama değil, tarihli gözlemlerdir.
Aynı anda bot erişimini, JavaScript kullanımını, ana adresi, içeriği ve bağlantı yapısını değiştirirseniz hangi müdahalenin sonucu etkilediğini anlayamazsınız. Değişiklik günlüğü tutun ve sabit bir işlenme süresi vaat etmeyin.
Sık sorulan sorular
Google’da olmayan bir siteyi yapay zekâ bulabilir mi?
Bulabilir. Asistan başka bir arama hizmeti, kendi tarayıcısı, kullanıcının verdiği tam adres veya bağlı bir araç üzerinden sayfaya ulaşabilir. Yine de bu erişim, sayfanın bir yanıtta seçileceği veya önerileceği anlamına gelmez.
Site haritası yapay zekâda görünmemi sağlar mı?
Hayır. Site haritası, onu destekleyen botların tercih edilen adresleri keşfetmesine yardımcı olabilir. Taranma, arama dizinine eklenme, kaynak gösterilme veya önerilme garantisi vermez; sayfanın ayrıca erişilebilir, okunabilir, yararlı ve ilgili bot için izinli olması gerekir.
Tarama ile indeksleme aynı şey mi?
Hayır. Tarama sayfanın istenip alınmasıdır. İndeksleme, alınan bilginin analiz edilip bir dizinde saklanabilmesidir. Taranan sayfa indekslenmeyebilir; indekslenen sayfa da belirli bir arama veya yapay zekâ yanıtında kullanılmayabilir.
GPTBot’u engellersem ChatGPT aramasından çıkar mıyım?
OpenAI, GPTBot ile OAI-SearchBot’u ayrı kontroller olarak belgeler. GPTBot temel model eğitiminde kullanılabilecek içerikle, OAI-SearchBot ise ChatGPT arama taramasıyla ilgilidir. Politikanızı değiştirmeden önce güncel OpenAI belgesini kontrol edin.
Yapay zekânın yeni sayfamı bulması ne kadar sürer?
Bütün sistemler için geçerli güvenilir bir süre yoktur. Bağlantılar, site haritasının işlenmesi, tarama planı, sunucu erişimi, içerik ve kullanılan hizmet süreyi etkiler. Bildirim göndermek veya izin vermek belirli tarihte dahil edilme sözü değildir.
Kaynaklar
- Google: Arama nasıl çalışır?
- Google: Sitemap nedir?
- Google: robots.txt giriş rehberi
- Google: Web geliştiricileri için arama rehberi
- OpenAI: OpenAI tarayıcılarına genel bakış
