Yapay zeka ajanınız harika özetler çıkarıyor ama “Bu bilgiyi nereden aldın?” sorusuna cevap veremiyorsa, ciddi bir güvenilirlik probleminiz var demektir. Ajanın kaynak gösteren özet üretmesi için şablon oluşturma süreci, özellikle RAG (Retrieval-Augmented Generation) tabanlı sistemlerde kritik bir adım. Doğru yapılandırılmış bir prompt şablonu, hem halüsinasyonları azaltır hem de kullanıcıya “kontrol edilebilir” bir çıktı sunar.
Kilit Çıkarım: Kaynak gösterme yeteneği, ajanınızı “akıllı papağan”dan “güvenilir asistan”a dönüştüren en önemli özelliktir.
Başlamadan Önce
Şablon oluşturmaya geçmeden önce bazı temel gereksinimleri karşılamanız gerekiyor. Eksik bir altyapıyla başlamak, sonradan tüm sistemi yeniden kurmanıza neden olabilir.
Gerekenler
- LLM API erişimi (GPT-4, Claude, Gemini veya açık kaynak alternatifler)
- Vektör veritabanı veya bilgi tabanı (Pinecone, Weaviate, ChromaDB vb.)
- Chunk’lanmış ve metadata ile zenginleştirilmiş dokümanlar
- Temel prompt engineering bilgisi
Ön Koşullar
- Dokümanlarınız kaynak bilgisi (başlık, yazar, tarih, URL) içermeli
- Her chunk’a benzersiz bir ID atanmış olmalı
- Retrieval sisteminiz çalışır durumda olmalı
Kaynak Gösterme Şablonunun Temel Bileşenleri
Etkili bir citation şablonu dört ana katmandan oluşur. Bu katmanları atlarsanız, ajan ya kaynak göstermez ya da uydurma referanslar üretir.
1. Sistem Talimatları (System Prompt)
Ajanın genel davranışını belirleyen bu bölüm, kaynak gösterme zorunluluğunu net şekilde ifade etmeli:
Sen bir araştırma asistanısın. Yanıtlarını YALNIZCA sana verilen kaynaklardan oluştur.
Her iddia için mutlaka kaynak belirt. Kaynak bulamadığın bilgiyi ASLA uydurma.
Emin olmadığın durumlarda "Bu konuda kaynaklarda bilgi bulamadım" de.2. Bağlam Enjeksiyonu (Context Injection)
Retrieval sisteminden gelen dokümanları yapılandırılmış şekilde sunmalısınız:
[KAYNAK 1]
Başlık: {document_title}
Yazar: {author}
Tarih: {date}
ID: {chunk_id}
İçerik: {chunk_content}
[KAYNAK 2]
...Pro İpucu: Her kaynağa benzersiz bir numara veya ID atamak, ajanın referans vermesini kolaylaştırır. “[1]” gibi kısa etiketler, uzun URL’lerden çok daha pratiktir.
3. Çıktı Formatı Talimatları
Ajanın nasıl kaynak göstereceğini açıkça tanımlamalısınız:
Yanıtını şu formatta ver:
- Her paragrafın sonunda kullandığın kaynakları [1], [2] şeklinde belirt
- Yanıtın sonunda "Kaynaklar" başlığı altında tam referansları listele
- Birden fazla kaynak aynı bilgiyi destekliyorsa hepsini göster [1, 3]Adım Adım Şablon Oluşturma
- Temel şablonu oluştur: Sistem promptunu, bağlam alanını ve çıktı formatını içeren bir iskelet hazırla. Değişkenleri süslü parantezle işaretle: {query}, {sources}.
- Kaynak metadata yapısını tanımla: Her doküman chunk’ı için hangi bilgilerin tutulacağını belirle. Minimum: başlık, tarih, kaynak_id. İdeal: yazar, URL, sayfa numarası, güvenilirlik skoru.
- Citation formatını seç: Akademik stil mi ([1] numaralı), inline mı (“X kaynağına göre…”), yoksa hibrit mi kullanacaksın? Kullanım senaryona göre karar ver.
- Negatif talimatları ekle: “Kaynaklarda olmayan bilgi ekleme”, “Tahmin yürütme”, “Farklı kaynakları karıştırma” gibi yasakları açıkça belirt.
- Few-shot örnekler ekle: Ajanın beklenen davranışı görmesi için 1-2 örnek soru-cevap çifti ekle. Bu, tutarlılığı dramatik şekilde artırır.
- Test ve iterasyon: Farklı soru tipleriyle test et. Halüsinasyon, eksik kaynak veya yanlış atıf görürsen şablonu revize et.
Örnek Şablon Yapısı
Pratikte en sık kullanılan ve iyi sonuç veren bir şablon yapısı:
| Bölüm | İçerik | Zorunluluk |
|---|---|---|
| Rol Tanımı | Ajanın kim olduğu ve temel görevi | Evet |
| Kaynak Kullanım Kuralları | Sadece verilen kaynaklardan yanıt üretme zorunluluğu | Evet |
| Citation Formatı | Referansların nasıl gösterileceği | Evet |
| Belirsizlik Protokolü | Bilgi bulunamadığında ne yapılacağı | Evet |
| Few-shot Örnekler | 1-2 örnek soru-cevap | Önerilen |
| Çıktı Şeması | JSON veya yapılandırılmış format | Opsiyonel |
Yaygın Hatalar ve Çözümleri
Şablon oluştururken sıkça yapılan hatalar, sistemin güvenilirliğini ciddi şekilde zedeleyebilir:
- Belirsiz talimatlar: “Mümkünse kaynak göster” yerine “Her iddia için mutlaka kaynak belirt” kullan. Ajan, belirsizliği kendi lehine yorumlar.
- Eksik negatif örnekler: Ajanın ne yapmaması gerektiğini söylemezsen, istenmeyen davranışlar ortaya çıkar.
- Çok uzun bağlam: 10+ kaynak verdiğinde ajan kaybolabilir. Retrieval kalitesini artırıp kaynak sayısını 3-5 ile sınırla.
- Format tutarsızlığı: Kaynak metadata’sı farklı formatlarda geliyorsa, ajan tutarlı citation üretemez.
Mini Senaryo: Şu Durumda Ne Yaparsın?
Diyelim ki ajanın bir soruya yanıt verdi ama hiçbir kaynak göstermedi. İlk kontrol noktaları:
- Retrieval sistemi gerçekten ilgili doküman döndürüyor mu?
- Sistem promptunda citation zorunluluğu yeterince vurgulu mu?
- Bağlam penceresi doldu ve talimatlar mı kesiliyor?
- Few-shot örneklerde kaynak gösterme var mı?
Pro İpucu: Ajanın “düşünme sürecini” görmek için chain-of-thought prompting ekle. “Önce hangi kaynakları kullanacağını belirt, sonra yanıtı oluştur” talimatı, şeffaflığı artırır.
Sıkça Sorulan Sorular
Ajan bazen uydurma kaynak gösteriyor, nasıl önlerim?
Bu “citation hallucination” problemi, genellikle kaynak ID’lerinin tutarsız formatından kaynaklanır. Her kaynağa benzersiz ve kısa bir ID ata, ajanın sadece bu ID’leri kullanmasını zorunlu kıl. Ayrıca “Kaynaklarda olmayan referans numarası kullanma” talimatını ekle.
Kaç kaynak göndermek ideal?
Testlerde 3-5 kaynak en iyi dengeyi sağlıyor. Daha azı yetersiz bağlam, daha fazlası dikkat dağınıklığı yaratıyor. Retrieval kalitesine yatırım yap, quantity yerine quality’ye odaklan.
JSON çıktı formatı mı yoksa doğal dil mi kullanmalıyım?
Downstream işleme yapacaksan (otomatik doğrulama, veritabanına kayıt) JSON tercih et. Son kullanıcıya doğrudan sunacaksan doğal dil daha okunabilir. Hibrit yaklaşım da mümkün: doğal dil yanıt + JSON metadata bloğu.
Sonuç
Kaynak gösteren özet üreten bir ajan şablonu oluşturmak, teknik bir zorunluluktan öte bir güven inşası sürecidir. Doğru yapılandırılmış bir şablon şunları sağlar:
- Halüsinasyon oranında belirgin düşüş
- Kullanıcının bilgiyi doğrulayabilme imkânı
- Hukuki ve etik açıdan savunulabilir çıktılar
- Debugging ve iyileştirme için şeffaf bir yapı
Şablonunuzu oluşturduktan sonra farklı soru tipleriyle kapsamlı test edin. Citation kalitesini ölçmek için “kaynak gösterme oranı” ve “doğru atıf oranı” metriklerini takip edin. Unutmayın: iyi bir şablon bir kez yazılıp bırakılmaz, sürekli iterasyonla geliştirilir.
