Retrieval-Augmented Generation (RAG) Eğitimi

Retrieval-Augmented Generation Eğitimi

RAG eğitimi, büyük dil modellerini kurumsal/dış bilgi kaynaklarıyla entegre ederek güncel, doğrulanabilir ve izlenebilir AI yanıtları üreten sistemler kurmayı öğretir. Katılımcılar, veri hazırlama, embedding–vektör veritabanı, retrieval–rerank mimarileri ve güvenli dağıtım adımlarını uçtan uca öğrenir.

20 Kontenjan

Eğitim Planlanmaktadır

Yapay Zeka

Online

Zoom

Retrieval-Augmented Generation Eğitimi

Genel tanım:

Retrieval-Augmented Generation (RAG), büyük dil modellerinin (LLM) dış bilgi kaynaklarına “sorgu-getir-yanıtla” yöntemiyle erişmesini sağlar. Böylece model parametrelerine gömülmemiş bilgileri gerçek-zamanlı çekerek daha güncel, doğru ve izlenebilir çıktılar sunar. Bu eğitim, RAG mimarisinin temel kavramlarını, bileşenlerini ve end-to-end üretim süreçlerini tanıtarak katılımcıların doğru-kaynaklı, ölçeklenebilir ve bakımı kolay RAG sistemleri kurabilmesini hedefler.

Nedir?

RAG;

Bilgi Erişim (Retrieval) katmanı → Sembolik veya vektör tabanlı arama ile bağlam toplar.
Üretim (Generation) katmanı → LLM’nin toplanan bağlamı kullanarak nihai yanıt üretmesini sağlar.
Bu iki aşamanın pipeline hâlinde otomatik orkestrasyonu, “hallucination” riskini azaltır, veri soy kütüğünü (data lineage) korur ve çıktıları denetlenebilir kılar.

Kimler içindir?

Bu eğitim, aşağıdaki bireyler için uygundur:

Veri Bilimcileri & ML Mühendisleri – LLM tabanlı çözümlerini kurumsal veriyle beslemek isteyenler
NLP Araştırmacıları – Bilgi erişim + üretim sinerjisini deneyimlemek isteyenler
Backend / Platform Mühendisleri – RAG servislerini ölçekli ortamda dağıtacak ekipler
Ürün & Proje Yöneticileri – LLM tabanlı ürün yol haritalarını şekillendiren karar vericiler
Teknoloji Meraklıları – Doğru kaynak gösteren sohbetbotları, arama motorları, belge asistanları vb. geliştirmek isteyenler

Neden RAG Eğitimi?

Gerçeğe Yakın Yanıtlar – Dış bilgi kaynağı ekleyerek hallucination’ı azaltın.
Güncel & Dinamik Bilgi – Modeli yeniden eğitmeden içerik güncellenir.
Kaynak İzlenebilirliği – Referans URL, doküman parçası ve skorlar aracılığıyla güven oluşturun.
Maliyet Verimliliği – Küçük/orta LLM’lerle yüksek doğruluk; parametre güncellemesine ihtiyaç yok.
Regülasyon Uyumu – Kaynak gösterme, verinin lokalde kalması ve erişim kontrollü mimari.

Eğitim İçeriği

RAG’e Giriş ve Temel Kavramlar
• Hoş Geldiniz ve Eğitimin Hedefleri
○ Program formatı (teori + laboratuvar + mini-proje) ve zaman çizelgesi
○ Katılımcı profili: veri bilimci, platform mühendisi, ürün sahibi, danışman
○ Başarı göstergeleri:
▪ Kendi doküman havuzunda çalışan bir RAG servisi yayınlama
▪ Retrieval + generation metriklerini ölçüp iyileştirme
▪ Hallucination oranını %40 → %5’e düşürme vaka ödevi
• RAG Tanımı, Motivasyonu ve Tarihçesi
○ LLM’lerin sınırlılıkları: parametre-içi bilgi sınırı, “staleness”
○ 2020 Facebook RAG → FiD (2021) → HyDE (2022) → ReACT/Self-RAG (2023-24)
○ Arama (IR) mirası: BM25, TF-IDF → Dense Retrieval; retrieval-tabanlı diyalog
• Temel Bileşenler ve Yaşam Döngüsü
○ Doküman katmanı: veri kaynakları, ETL, chunking, meta-tag enrichment
○ Embedding katmanı: sentence-transformer, çok-dilli modeller, domain adaptasyonu
○ Vektör DB: FAISS / Qdrant / Weaviate / pgvector; HNSW, IVF-PQ, Disk-ANN
○ LLM katmanı: GPT-4o, Llama-3-70B-Instruct, Mistral-8B, Phi-3-mini, PaLM-2-RAG
○ Fusion & Prompting: Stuff, Map-Reduce, Refine, Tree-of-Thoughts, Graph-of-Thoughts
○ İzleme-Değerlendirme: recall@k, MRR, nDCG, faithfulness, latency, token/s
○ Sürekli gelişim: feedback-loop, self-evaluation, RLHF/RLAIF

2. Veri Kaynakları, Embedding ve Versiyonlama
• Veri Toplama ve Parçalama
○ Kaynak tipleri:
▪ Yapısal (SQL, CSV, Parquet)
▪ Yarı-yapısal (HTML, JSON, API)
▪ Yapısal olmayan (PDF, DOCX, PPTX, resim-OCR)
○ ETL boru hattı: Apache Tika, Unstructured, trafilatura, GROBID, Tesseract-OCR
○ Chunking stratejileri: sabit token • semantik bölümleme • kaymalı pencere • heading-aware splitting
○ Metadata zenginleştirme: belge ID, sürüm, yazar, güvenlik etiketi, tarih

• Embedding Tasarımı ve Optimizasyonu
○ Dil/model uyumu:
▪ Genel: all-MiniLM-L6-v2, bge-base-en, text-embedding-3-small
▪ Çok-dilli: LaBSE, bge-base-tr, E5-mistral-large
▪ Alan-özel: Law-MiniLM, FinBERT-RR, Bio-Clinical-BERT
○ Boyut-kalite ticareti: 384 vs 768 vs 1 536; PCA/OPQ sıkıştırma
○ Eksik dil desteği için öğretici sentez (synthetic QA pair generation)
○ Fine-tune pipeline: LoRA-PEFT, contrastive loss, multi-negatives
• Veri & Embedding Versiyonlama Stratejileri
○ Depo hiyerarşisi: /data, /chunks, /embeddings, /index, /models
○ DVC-remote + Git-LFS snapshot, MLflow artefact store
○ Semantic versioning: v1.3-finance-tr-chunks → v1.3.1 bugfix rollback
○ Disaster-recovery: delta-sync, cold-storage, co-location replication
○ Veri soy kütüğü: Airflow/Marquez + OpenMetadata

3. Pipeline Orkestrasyonu, CI/CD ve Dağıtım
• CI/CD Tasarım İlkeleri
○ Build-Index-Test-Deploy-Monitor adımları için çok aşamalı Docker build
○ Trigger matrix: veri, embedding modeli, LLM sürümü değişimleri
○ Çift inceleme: kod PR + eval-score PR (RAGAS ≥ 0.72)
• CI/CD Araç Kümesi
○ Jenkins Declarative Pipeline • GitLab-CI parent-child • GitHub Actions reusable workflows
○ Artefact deposu: Harbor/Artifactory (Docker) + S3 (Embedding) + MLflow (Model)
○ Gizli değişken yönetimi: HashiCorp Vault, Azure Key Vault, Doppler
• Dağıtım Stratejileri ve Ortamları
○ Tek-düğüm demo: Docker-Compose (LLM-Server, Retriever-API, UI)
○ Prod: Kubernetes (Helm/Kustomize), Argo Rollouts (%5 canary, auto-abort)
○ Serverless: AWS Bedrock + Lambda + Pinecone; Azure Cognitive Search + Function App
○ GPU-CPU ayrışması: LLM svc → GPU node-pool, Retrieval svc → CPU spot-pool
• Otomatik Test & Validasyon
○ Retrieval: recall@3 > 0.8, latency < 120 ms p95
○ Generation: JSON schema, profanity filter, SAFE-completion
○ Sürüm geçişi: blue-green, feature-flag, shadow traffic (%10 prod query)
○ Rollback: Helm history → rollback; index snapshot restore; version-pin header

4. İzleme, Loglama ve Performans Yönetimi
• Gerçek-Zamanlı Gözlemlenebilirlik
○ Metrikler:
▪ Retrieval: qps, hit_rate, recall@k, avg_vector_dim
▪ LLM: tokens_in/s, tokens_out/s, streaming_latency, cache-hit%
▪ Sistem: CPU/GPU util, VRAM, fd-count, thread-count
○ Prometheus Exporters: qdrant-exporter, vllm-exporter, langchain-tracing exporter
○ Grafana panelleri: “RAG Overview”, “Retrieval Heatmap”, “LLM Throughput”
• Loglama ve Olay Yönetimi
○ OpenTelemetry trace ID propagation (frontend → retriever → LLM)
○ Central log: Loki/Elastic; JSON structured logging (query, doc_ids, citation_score)
○ Alert politikası: latency p99 > 1 s (Warning) • faithfulness < 0.6 (Critical)
○ Olay RCA: mis-ranking, stale index, prompt-drift, GPU OOM
• Sürekli İyileştirme Döngüsü
○ Feedback store: kullanıcı beğeni/şikâyet, ground-truth QA
○ Otomatik etiketleme: GPT-tabanlı self-grading (RAGAS)
○ Embedding refresh koşulları: yeni doküman > N veya recall düşüşü > %10
○ AB/online-learning: Lexicographic Diverse Retriever, Progressive Rerank

5. Güvenlik, Etik ve Uyumluluk
• Veri ve Model Güvenliği
○ Uçtan uca TLS 1.3, mTLS gRPC; JWT-bound access token
○ PII/PHI maskeleme: regex + NER-tabanlı redaction
○ Embedding sızıntısı önleme: reversible hashing, k-anonim chunk store
○ Prompt injection savunması: allow-list function-calling, param-guard, regex sandbox
○ Adversarial test paketi: “Rome jailbreak”, “Doc-rank overflow”, “Similarity poison”
• Etik ve Regülasyon
○ Kaynak gösterme: citation-id → URL → timestamp; log izlenebilirliği
○ Bias audit: fairness toolkit, counterfactual evaluation
○ KVKK/GDPR: veri minimizasyonu, silme talebi akışı, veri yerelliği
○ EU AI Act: “Limited Risk – Generative Search Assistant”
○ Denetim & rapor: model card, data sheet, algorithmic impact assessment