Bir modeli kurum sunucusunda çalıştırmak, kurum içi yapay zekâ platformu kurmak değildir. Model yalnızca üretim yapan motordur. O motorun hangi veriye, kimin adına, hangi amaçla erişeceği; hangi işlemleri yapabileceği ve ortaya çıkan sonucun nasıl denetleneceği ayrıca tasarlanmalıdır.
Başarılı bir platform; model seçimini, kurumsal bilgiyi, agent araçlarını, workflow'ları, güvenlik politikalarını ve operasyonel gözlemi tek bir kontrol düzleminde birleştirir. Aksi halde kurum, birbirinden kopuk chatbot'lar ve izlenemeyen otomasyonlar üretir.
Doğru başlangıç sorusu “Hangi modeli kullanalım?” değil, “Hangi iş kararını, hangi veri ve yetki sınırları içinde iyileştirmek istiyoruz?” sorusudur.
Platform ile model sunucusu arasındaki fark
Model sunucusu genellikle bir prompt alır ve çıktı döndürür. Kurumsal platform ise bu isteğin öncesini ve sonrasını yönetir.
| Katman | Model sunucusu | Kurumsal AI platformu |
|---|---|---|
| Kimlik | Çoğunlukla API anahtarı | Kullanıcı, grup, departman ve Space bağlamı |
| Bilgi | Prompt'a verilen içerik | Yetkili arama, kaynak gösterme ve yaşam döngüsü |
| Güvenlik | Sağlayıcı sınırları | DLP, maskeleme, politika, ağ ve araç kontrolü |
| İşlem | Metin üretimi | Workflow, agent aracı, onay ve geri alma |
| Gözlem | Token ve gecikme | Kullanıcı, kaynak, karar, araç çağrısı ve sonuç |
| İşletim | Model ayakta mı? | Uçtan uca hizmet seviyesi ve olay yönetimi |
Bu ayrım önemlidir. Çünkü üretimdeki risklerin çoğu model ağırlıklarından değil, modelin etrafındaki veri ve yetki akışından doğar.
1. İş sonucundan geriye doğru tasarlayın
Mimariyi ürün listesinden değil, ölçülebilir bir kullanım senaryosundan başlatın. Örneğin:
“Bakım mühendisi, arıza kodunu yazarak yalnızca kendi tesisindeki güncel kılavuzlara ve geçmiş iş emirlerine dayanan bir çözüm önerisi alsın; iş emri açılması gerekiyorsa vardiya sorumlusu onaylasın.”
Bu cümle mimari kararların çoğunu zaten ortaya çıkarır:
- Kullanıcı: Bakım mühendisi
- Yetki alanı: Kendi tesisi
- Bilgi kaynakları: Kılavuzlar ve geçmiş iş emirleri
- Güncellik: İş emri kaydı canlı sistemden okunmalı
- Model görevi: Kaynaklı çözüm önerisi üretmek
- Yazma işlemi: Yeni iş emri
- Onay: Vardiya sorumlusu
- Başarı metriği: Çözüm süresi, kaynak doğruluğu ve tekrar açılan arıza oranı
“Şirket için chatbot” gibi geniş bir hedef bu kararları vermez. İlk sürümde bir departman, bir bilgi alanı ve bir ölçülebilir sonuç seçmek daha güvenlidir.
2. Dağıtım sınırını açıkça belirleyin
“Kurum içi” farklı anlamlara gelebilir:
- On-premises: Uygulama, model ve veri katmanı kurum veri merkezindedir.
- Özel bulut: Kaynaklar kuruma ayrılmış ağ ve hesaplarda çalışır.
- Hibrit: Hassas bilgi kurum içinde kalırken belirli model çağrıları kontrollü biçimde harici sağlayıcıya gider.
- Air-gapped: Ortamın internet çıkışı yoktur; model, paket, güncelleme ve lisans akışları çevrimdışı yönetilir.
Seçim yalnızca güvenlik kararı değildir. GPU kapasitesi, model güncelleme sıklığı, felaket kurtarma, gözlemlenebilirlik ve işletme ekibinin yetkinliği de sınırı belirler.
Veri akış diyagramı zorunludur
Üretim onayından önce şu akışları gösteren bir diyagram hazırlayın:
- Kullanıcı isteği nereden giriyor?
- Kimlik ve grup bilgisi nerede doğrulanıyor?
- Hangi belgeler veya kayıtlar aranıyor?
- Prompt hangi güvenlik kontrollerinden geçiyor?
- Model nerede çalışıyor?
- Araç çağrısı hangi ağdan ve credential ile yapılıyor?
- Yanıt, kaynak ve audit kaydı nerede tutuluyor?
Bir kutunun “AI Platform” olarak etiketlenmesi yeterli değildir. Her güven sınırı, veri yönü ve kalıcı depolama noktası görünür olmalıdır.
3. Kimliği sistemin omurgası yapın
Kurumsal yapay zekâ erişimi model seçiminden önce kimliğe bağlanmalıdır. Kullanıcının oturumu; organizasyon, departman, Space, rol ve kaynak yetkileriyle birlikte değerlendirilmelidir.
Sağlıklı bir yetkilendirme zinciri şöyledir:
Kimlik → üyelik → Space erişimi → bilgi filtresi → agent yetkisi → araç aksiyonu
Bu zincirin herhangi bir halkası atlanırsa kullanıcı, arayüzde görmediği bir bilgiye model üzerinden ulaşabilir veya yetkili olmadığı işlemi agent aracılığıyla yapabilir.
Temel ilkeler:
- SSO/OIDC veya SAML ile merkezi kimlik
- SCIM ya da kontrollü süreçle hızlı yetki kaldırma
- Rolün yanında kaynak ve nesne seviyesinde kontrol
- Kullanıcı token'ı ile servis hesabının açık ayrımı
- Ayrıcalıklı işlemler için süreli veya onaylı erişim
- Her agent ve workflow çalıştırmasında gerçek kullanıcı bağlamı
Detaylı kapsam modeli için Organizasyon → Departman → Space rehberine bakabilirsiniz.
4. Model katmanını değiştirilebilir tasarlayın
Tek modele sıkı bağlı bir sistem, maliyet ve risk kararlarını geleceğe kilitler. Model katmanı; yerel çalışma zamanlarını ve izin verilen harici sağlayıcıları ortak bir yönetişim yüzeyinden yönetebilmelidir.
Model seçerken yalnızca benchmark puanına bakmayın:
| Boyut | Sorulması gereken |
|---|---|
| Görev kalitesi | Kurumun gerçek veri setinde doğru sonuç veriyor mu? |
| Bağlam | Gerekli belge ve konuşma hacmini taşıyor mu? |
| Araç kullanımı | Şemaya uygun ve güvenilir tool calling yapıyor mu? |
| Gecikme | Eşzamanlı kullanıcı sayısında kabul edilebilir mi? |
| Donanım | GPU belleği, quantization ve ölçekleme ihtiyacı nedir? |
| Veri politikası | Prompt, çıktı ve loglar nerede tutuluyor? |
| Lisans | Kurumsal kullanım ve türetilmiş çıktılar için uygun mu? |
| Operasyon | Güncelleme, geri dönüş ve model kaldırma nasıl yapılacak? |
Aynı platformda görev bazlı yönlendirme kullanılabilir: sınıflandırma için küçük yerel model, karmaşık analiz için daha güçlü model, embedding için ayrı model. Bu yaklaşım maliyeti ve gecikmeyi düşürür; ancak değerlendirme ve sürüm yönetimini zorunlu kılar.
5. Kurumsal bilgiyi dosya yükleme olarak görmeyin
RAG hattı bir defalık dosya yükleme özelliği değil, yaşayan bir veri ürünüdür. İçerik:
- Yetkili kaynaktan alınır.
- Formatına göre ayrıştırılır.
- Anlamlı parçalara bölünür.
- Metadata ve erişim kapsamıyla etiketlenir.
- Embedding üretilerek indekslenir.
- Soru anında izin filtresiyle aranır.
- Kaynaklarıyla birlikte modele verilir.
- Güncelleme ve silmeler kaynakla eşitlenir.
Kaliteyi yalnızca “cevap güzel mi?” ile ölçmeyin. Retrieval recall, kaynak doğruluğu, yanıtın kanıtla desteklenme oranı ve yetkisiz içeriğin hiç gelmemesi ayrı metriklerdir.
Senkronize bilgi ile canlı sistem sorgusunu da ayırın. Politika ve kılavuz gibi içerik RAG için indekslenebilir; stok, bakiye veya açık iş emri gibi değişken kayıtlar işlem anında canlı araçla alınmalıdır.
6. Secure Gateway'i modelin önüne ve arkasına koyun
Güvenlik yalnızca prompt gönderilmeden önce yapılan bir kelime filtresi değildir. Kontrol noktaları uçtan uca çalışmalıdır:
İstek öncesi
- Kullanıcı ve Space yetkisi
- Veri sınıflandırması
- PII ve kurum sırrı tespiti
- Maskeleme veya engelleme
- Prompt injection sinyalleri
- İzinli model ve bölge politikası
Model sonrası
- Çıktıda hassas veri kontrolü
- Kaynak ve güven seviyesi
- Zararlı ya da politika dışı içerik
- Araç çağrısının şema ve yetki doğrulaması
- Dış sisteme yazmadan önce insan onayı
İşlem sonrası
- Değiştirilemez audit bağı
- Kullanıcı, model, prompt sürümü ve araç kaydı
- Maskeleme kararı ve politika sonucu
- Maliyet, token, gecikme ve hata metriği
LLM Secure Gateway, harici veya yerel model ayrımı olmadan bu politika zincirinin merkezinde yer almalıdır. Yerel model kullanmak veri çıkışını azaltır; yanlış yetkilendirme veya prompt injection riskini kendiliğinden çözmez.
7. Agent ve workflow sorumluluklarını ayırın
Agent belirsiz bir hedefi yorumlayabilir, araç seçebilir ve bir sonraki adımı planlayabilir. Workflow ise bilinen iş kurallarını, sıralamayı, tekrar denemeyi ve onayı güvenilir biçimde yürütür.
İyi bir tasarım ikisini birlikte kullanır:
- Agent talebi sınıflandırır ve gerekli bilgiyi toplar.
- Workflow zorunlu kontrolleri sırayla uygular.
- Agent taslak veya öneri üretir.
- İnsan yüksek etkili kararı onaylar.
- Workflow dış sistemde işlemi gerçekleştirir.
- Sonuç ve gerekçe audit kaydına bağlanır.
Finansal transfer, erişim yetkisi, dış iletişim, kayıt silme ve üretim sistemi değişikliği gibi aksiyonları serbest biçimli agent döngüsüne bırakmayın. Bu işlemleri doğrulanmış şema, dar yetki ve açık onay adımlarıyla sınırlandırın.
8. Entegrasyonları üç sınıfa ayırın
Her bağlantı aynı amaçla kurulmaz:
| Bağlantı | Amaç | Örnek |
|---|---|---|
| Bilgi connector'ü | İçeriği indekslemek | SharePoint politikaları |
| Workflow entegrasyonu | Belirli işlem adımı | SAP'den sipariş okumak |
| Agent aracı | Görev anında seçilebilir yetenek | ServiceNow talebi açmak |
Bu ayrım credential, güncellik ve risk modelini değiştirir. Bilgi connector'ü okuma ve senkronizasyona; workflow işlemi idempotency ve hata yönetimine; agent aracı ise keşif, allowlist ve dinamik parametre doğrulamasına ihtiyaç duyar.
Katalog dışındaki sistemler REST API, webhook veya güvenli MCP araçları üzerinden eklenebilir. Ancak “bağlanabiliyor” olması “üretime hazır” olduğu anlamına gelmez; sahiplik, test ve olay planı gereklidir.
9. Gözlemlenebilirliği ilk günden kurun
Bir AI platformunda klasik CPU ve bellek metrikleri yeterli değildir. En az dört katmanı gözlemleyin:
Sistem sağlığı
Model gecikmesi, GPU kullanımı, kuyruk derinliği, connector hataları ve indeks güncelliği.
Kalite
Kaynaklı yanıt oranı, retrieval başarısı, kullanıcı geri bildirimi, tool-call başarı oranı ve insan düzeltmeleri.
Güvenlik
Engellenen istekler, maskeleme olayları, yetkisiz araç denemeleri, anormal veri erişimi ve credential hataları.
İş sonucu
Tamamlanma süresi, insan emeği, yeniden açılan iş, hata maliyeti ve süreç SLA'sı.
Model doğruluğu yüksek olsa bile iş sonucu iyileşmiyorsa kullanım senaryosu veya süreç tasarımı yanlıştır. Teknik metrikleri iş metriğine bağlamak, pilotun gösteriden üretime geçmesini sağlar.
10. Üretime geçiş için aşamalı yol haritası
Aşama 1 — Keşif
- Tek bir yüksek değerli ve ölçülebilir kullanım senaryosu seçin.
- Veri sahiplerini, kullanıcı rollerini ve risk sınıfını belirleyin.
- Mevcut sistemler ile güven sınırlarını çıkarın.
Aşama 2 — Kontrollü pilot
- Salt-okunur bağlantılarla başlayın.
- Dar bir kullanıcı grubuna ve Space'e açın.
- Değerlendirme veri seti ve kabul eşikleri oluşturun.
- Yanıtların kaynaklarını ve kullanıcı düzeltmelerini kaydedin.
Aşama 3 — İşlem yeteneği
- Yazma araçlarını tek tek ekleyin.
- Idempotency, timeout, retry ve geri alma davranışını test edin.
- Yüksek etkili adımlara insan onayı koyun.
- Kırmızı takım ve prompt injection testleri uygulayın.
Aşama 4 — Ölçekleme
- Departman ve ortamlar arasında politika şablonları kullanın.
- Model, prompt, connector ve workflow sürümlerini yönetin.
- Kapasite planı, yedekleme ve felaket kurtarmayı doğrulayın.
- Operasyon sahibi ve olay müdahale prosedürü atayın.
Pilotun başarısı, daha fazla kullanıcı eklemek için tek başına yeterli değildir. Veri kapsamı, eşzamanlılık ve araç yetkisi büyüdükçe tehdit modeli ve kapasite testi yeniden yapılmalıdır.
Mimari karar kontrol listesi
Üretim onayında aşağıdaki soruların yazılı yanıtı bulunmalıdır:
- Kullanım senaryosunun iş sahibi ve başarı metriği belli mi?
- Veri akışı ve güven sınırları çizildi mi?
- Kullanıcı, Space, bilgi ve araç yetkileri birbirine bağlı mı?
- Model seçimi gerçek kurum verisiyle değerlendirildi mi?
- Kaynak güncelleme ve silmeleri indekse yansıyor mu?
- Hassas veri politikası hem girişte hem çıkışta uygulanıyor mu?
- Agent araçları allowlist ve şema doğrulamasıyla sınırlı mı?
- Yazma işlemlerinde idempotency ve insan onayı var mı?
- Audit kaydı kullanıcıdan dış sistem sonucuna kadar izlenebilir mi?
- Model, connector veya vektör veritabanı kesildiğinde davranış tanımlı mı?
- Yedekleme, geri yükleme ve felaket kurtarma test edildi mi?
- Ürün, güvenlik, veri ve operasyon sahipleri belli mi?
Sonuç
Kurum içi yapay zekânın değeri yalnızca verinin fiziksel olarak içeride kalmasından gelmez. Asıl değer; kimlik, bilgi, model, araç ve insan kararının aynı yönetişim zincirinde birleşmesidir.
Knowentra bu katmanları ayrı projeler halinde bırakmak yerine; Chat, Knowledge Hub, Agent, Workflow, entegrasyonlar ve LLM Secure Gateway üzerinden ortak bir platformda yönetmeyi hedefler. Böylece kurum bir demo değil, denetlenebilir ve geliştirilebilir bir AI işletim modeli kurar.
Bir sonraki adım için Güvenlik, Knowledge Hub ve Workflow bileşenlerini birlikte inceleyebilirsiniz.