API'lerinizi Çağıran Yapay Zeka Ajanları: Tool Calling için Pratik Rehber

Bir sohbet botu soruları yanıtlar. Bir ajan ise işi bitirir. Aradaki fark tool calling’dir: dil modeli sadece metin üretmez; fonksiyonlarınızdan hangisini, hangi argümanlarla çağıracağına karar verir ve sonuçlarla devam eder. İyi kurulduğunda çok adımlı bir iş süreci (müşteri oluştur, KDV numarasını kontrol et, karşılama e-postası gönder) kısa bir sohbete dönüşür.

Kötü kurulduğunda ise parametre tahmin edip veritabanınıza yazan bir modele dönüşür. Bu rehber ilk durumu anlatıyor.

Tool calling nasıl çalışır

Araçlarınızı modele tanımlarsınız: bir ad, kısa bir açıklama ve argümanlar için bir JSON şeması. Model ya metinle ya da bir aracı çağırma isteğiyle yanıt verir. Kodunuz çağrıyı yürütür, sonucu geri gönderir ve görev bitene kadar döngü devam eder.

{
  "name": "crm_lookup",
  "description": "E-posta adresine göre müşteri bul",
  "parameters": {
    "type": "object",
    "properties": { "email": { "type": "string", "format": "email" } },
    "required": ["email"]
  }
}

Model sistemlerinize asla doğrudan dokunmaz. Sadece çağrı önerir; çalıştırılıp çalıştırılmayacağına backend’iniz karar verir.

İş mantığını backend’de tutun

En önemli tasarım kuralı: model orkestre eder, backend karar verir. Doğrulama, yetkiler, fiyatlar, stok ve tüm iş kuralları mevcut servislerinizde kalır. Araçlar, zaten güvendiğiniz API’lerin etrafında ince sarmalayıcılar olmalı; model için yazılmış yeni bir mantık değil.

Bunun üç avantajı var: davranış öngörülebilir kalır, araçları hiçbir yapay zeka olmadan test edebilirsiniz ve kuralları yeniden yazmadan modeli (bulut veya lokal) değiştirebilirsiniz.

Sadece araç değil, iş akışı tanımlayın

Bir modele elli araç ve belirsiz bir hedef vermek üretimde nadiren işe yarar. İşe yarayan şey bir iş akışı tanımıdır: bir sürecin adımları, her adımın hangi girdilere ihtiyaç duyduğu, hangi aracı çağırdığı ve hata durumunda ne olacağı. Modelin işi çok daha daralır:

• kullanıcının ne istediğini anlamak ve bir iş akışıyla eşleştirmek,
• eksik girdileri kullanıcıya sorarak toplamak,
• araç argümanlarını sohbetten doldurmak,
• sonuçları ve hataları anlaşılır şekilde açıklamak.

İş akışları JSON’da veya bir veritabanı tablosunda durabilir; böylece iş birimleri, yeni bir sürüm yayınlamadan adımları değiştirebilir.

Tahmin etmek yerine sorun

Zorunlu bir argüman eksikse ajan sormalı. İyi bir kalıp, net bir soru içeren ayrı bir ask_user aracıdır. Şema doğrulamasıyla birleştiğinde uydurulan parametrelerin büyük kısmı ortadan kalkar: model bir alanı sohbetten dolduramıyorsa, onu sormak zorundadır.

Her şeyi doğrulayın, önemli olanı onaylatın

• Her araç çağrısını çalıştırmadan önce şemasına göre doğrulayın. Reddedin ve hatayı modele geri gönderin; model genellikle kendini düzeltir.
• Okuma ve yazma araçlarını ayırın. Okumalar hemen çalışabilir; parayı, sözleşmeleri veya müşteri verisini değiştiren yazmalar bir özet göstermeli ve onay beklemeli.
• Araçları mümkün olduğunca idempotent yapın; böylece bir yeniden deneme ikinci bir sipariş oluşturmaz.
• Her adımı loglayın: prompt, araç çağrısı, argümanlar, sonuç. Hata ayıklama ve denetimler için buna ihtiyacınız olacak.

Hatalardan toparlanın

API’ler hata verir. Ajan hata mesajını görmeli ve karar vermeli: yeniden denemek, kullanıcıdan düzeltme istemek (örneğin geçersiz bir posta kodu) ya da durup bir insana devretmek. Kafası karışan bir modelin sonsuz döngüye girmemesi için görev başına adım sayısını sınırlayın.

Ölçeklemeden önce ölçün

Küçük bir değerlendirme seti oluşturun: beklenen araç çağrılarını içeren gerçekçi sohbetler. Her prompt veya model değişikliğinde çalıştırın. Ajanın ne sıklıkla doğru iş akışını seçtiğini, argümanları doğru doldurduğunu ve görevi tamamladığını takip edin. Bir demoyu müşterilerin önüne koyabileceğiniz bir şeye dönüştüren budur.

Bulut mu, lokal model mi?

İkisi de çalışır. Bulut modelleri tool calling’de kutudan çıktığı haliyle güçlüdür. Lokal modeller (örneğin Ollama ile) iyi tanımlanmış iş akışları için yeterlidir ve veriyi şirket içinde tutar; Almanya’da bu çoğu zaman belirleyici etkendir. Mantık backend’de olduğu için biriyle başlayıp sonra diğerine geçebilirsiniz.

Her hafta saatlerce manuel tıklama gerektiren bir süreciniz varsa, birkaç iyi tanımlanmış araca sahip bir ajan çoğu zaman en hızlı kazançtır. Sizin senaryonuz için ücretsiz bir görüşmede bir taslak çıkarmaktan memnuniyet duyarım.