Özel Yapay Zeka: Veriyi Buluta Göndermeden LLM'leri Şirket İçinde Çalıştırmak

Almanya’daki birçok şirket yapay zekayı kullanmak istiyor; ama birçoğu müşteri ya da şirket verisini harici bir yapay zeka servisine gönderemiyor. Sözleşmeler, KVKK/GDPR yükümlülükleri, çalışan temsilcileriyle yapılan anlaşmalar ya da sadece temkinli bir BT departmanı buna izin vermiyor. Bu, yapay zeka projesinin sonu olmak zorunda değil. Açık kaynak dil modelleri kendi sunucularınızda, kendi ağınızın içinde çalışabilir ve birçok pratik kullanım senaryosu onlarla çok iyi sonuç verir.

Bu yazıda, iş uygulamaları için şirket içinde çalışan LLM’ler kurarken öğrendiklerimi özetliyorum: ne zaman mantıklı, neye ihtiyacınız var ve sınırlar nerede.

Özel bir LLM ne zaman doğru seçim

Şirket içinde çalışan bir model, aşağıdakilerden en az biri geçerliyse değer:

• Veri hassas. Müşteri kayıtları, sözleşmeler, sağlık veya finans verisi, iç dokümanlar.
• Veri, sözleşme veya mevzuat nedeniyle AB’de ya da şirket içinde kalmalı.
• Kullanım senaryosu dar ve tekrarlanabilir: doküman sınıflandırma, alan çıkarma, kendi bilgi tabanınızdan soru yanıtlama, kullanıcıyı bir iş akışında yönlendirme.
• Sürekli ve yüksek hacim bekliyorsunuz; token başına bulut fiyatlandırması burada hızla birikir.

Senaryonuz bugün mevcut olan en iyi akıl yürütmeyi gerektiriyorsa ya da veri hassas değilse, bulut modeliyle başlamak genellikle daha hızlıdır. Birçok proje ikisini birlikte kullanır: kişisel veriye dokunan her şey için lokal model, geri kalanı için bulut modeli.

Gerçekte neye ihtiyacınız var

Göreve uygun bir model

En büyük modele ihtiyacınız yok. Alan çıkarma, sınıflandırma, özetleme veya tool calling gibi yapılandırılmış görevler için 7–14 milyar parametrelik modeller, özellikle net bir prompt ve örneklerle, çoğu zaman yeterlidir. Daha büyük modeller (70B civarı) açık uçlu akıl yürütmede belirgin şekilde daha iyidir, ama çok daha fazla donanım ister.

Belirleyici olanlar: dil kalitesi (kullanıcılarınız Almanca konuşuyorsa Almanca test edin), yapılandırılmış çıktı veya function calling desteği ve lisans.

Donanım

Temel kural GPU belleğidir. 4 bit’e kuantize edilmiş 7–8 milyar parametrelik bir model yaklaşık 6–8 GB VRAM’e sığar; 70B bir model 40 GB ya da daha fazlasını ister. Bağlam penceresi ve aynı anda birden fazla kullanıcı için pay bırakın. Pilot için tek bir iş istasyonu GPU’su yeterlidir; çok sayıda eşzamanlı kullanıcıyla üretim ortamı doğru boyutlandırma gerektirir.

Bir sunum (serving) katmanı

Ollama veya vLLM gibi araçlar modeli yükler ve bulut API’lerine çok benzeyen bir HTTP API sunar. Uygulamalarınız internet yerine bu uç noktayla konuşur. Bunu TLS ve kimlik doğrulamalı bir reverse proxy’nin arkasına koyun, istekleri loglayın, gecikmeyi ve GPU kullanımını diğer servisler gibi izleyin.

Sistemlerinizle entegrasyon

Model tek başına değer üretmez. Değer, onu verinize ve süreçlerinize bağladığınızda ortaya çıkar:

• Retrieval (RAG): Dokümanlarınızı indeksleyin ve modelin kaynak göstererek onlardan yanıt vermesini sağlayın.
• Tool calling: Modelin mevcut API’lerinizi çağırmasına izin verin; örneğin müşteri aramak veya sipariş oluşturmak için. İş kuralları backend’inizde kalır.
• Koruma rayları: Veriyi değiştirmeden önce her model çıktısını doğrulayın ve kritik adımlarda insanı döngüde tutun.

Dürüst olunması gereken ödünleşimler

• Kalite: İyi seçilmiş bir lokal model odaklı görevlerde çok iyidir, ama en üst seviye bir bulut modeli değildir. Bir şey vaat etmeden önce gerçek verinizle ölçün.
• Operasyon: Güncellemeler, izleme ve kapasite sizde. Bunun için zaman ayırın.
• Maliyet yapısı: Donanım önden yapılan bir yatırımdır; karşılığında istek başına fatura yoktur ve veri binadan çıkmaz.

Bu projelere nasıl yaklaşıyorum

1. Bir kullanım senaryosu seçin: net bir değeri ve ölçülebilir başarı kriterleri olsun.
2. Küçük bir değerlendirme seti oluşturun: gerçek (anonimleştirilmiş) örneklerden.
3. İki veya üç aday modeli karşılaştırın: bu set üzerinde ve hedef donanımda.
4. Adım adım entegre edin: önce sadece okuma, sonra doğrulamalı aksiyonlar.
5. Teslim edin: ekibiniz için dokümantasyon, izleme ve operasyon el kitabıyla.

Yakın zamandaki bir projede bu yaklaşım sayesinde kullanıcılar el terminallerinde, web’de ve Windows’ta Almanca bir yapay zeka asistanıyla çalışabildi ve hiçbir müşteri verisi şirket ağından çıkmadı.

Yapay zekayı düşünüyor ama veri koruma tartışmayı sürekli tıkıyorsa, özel bir LLM çoğu zaman ileriye giden yoldur. Kullanım senaryonuza ücretsiz bir görüşmede memnuniyetle bakarım.