RAG Sistemi

# Geleneksel LLM vs RAG Karşılaştırması
# Geleneksel LLM
# Soru: "Şirketimizin 2024 stratejik hedefleri nelerdir?"
# Yanıt: "Üzgünüm, bu özel bilgiye sahip değilim."
# RAG Sistemi
# Soru: "Şirketimizin 2024 stratejik hedefleri nelerdir?"
# Yanıt: "2024 yılında %20 büyüme, yeni pazarlara açılma ve dijital dönüşümü tamamlama hedeflerimiz var. (Kaynak: 2024 Strateji Belgesi, Sayfa 3)"

# ChromaDB ile basit bir vektör veritabanı örneği
import chromadb
from chromadb.utils import embedding_functions
# İstemci ve koleksiyon oluştur
client = chromadb.Client()
collection = client.create_collection("my_documents")
# Embedding fonksiyonu
embed_fn = embedding_functions.SentenceTransformerEmbeddingFunction(model_name="all-MiniLM-L6-v2")
# Vektörleri ekle
collection.add(
    documents=["Python çok güçlü bir dildir.", "RAG LLM'leri güçlendirir."],
    metadatas=[{"source": "doc1"}, {"source": "doc2"}],
    ids=["id1", "id2"]
)

from sentence_transformers import SentenceTransformer
# Modeli yükle
model = SentenceTransformer('all-MiniLM-L6-v2')
# Metni vektöre çevir
texts = ["Kedi mutfakta uyuyor.", "Köpek bahçede oynuyor."]
embeddings = model.encode(texts)
print(embeddings.shape) # (2, 384) - 2 metin, 384 boyutlu vektörler
# Benzerlik hesapla
from sklearn.metrics.pairwise import cosine_similarity
sim = cosine_similarity([embeddings[0]], [embeddings[1]])
print(f"Benzerlik: {sim[0][0]:.4f}")

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter
from langchain_openai import OpenAIEmbeddings, ChatOpenAI
from langchain_community.vectorstores import Chroma
from langchain_core.runnables import RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser
from langchain import hub
# 1. Belgeyi yükle ve parçala
loader = TextLoader("belge.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=500, chunk_overlap=50)
chunks = text_splitter.split_documents(documents)

# 2. Vektör veritabanını oluştur
vectorstore = Chroma.from_documents(chunks, OpenAIEmbeddings())
# 3. Retriever oluştur
retriever = vectorstore.as_retriever()
# 4. Prompt şablonunu al (LangChain Hub'dan)
prompt = hub.pull("rlm/rag-prompt")
# 5. LLM'yi tanımla
llm = ChatOpenAI(model_name="gpt-4")
# 6. Zinciri oluştur
rag_chain = (
    {"context": retriever, "question": RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)
# 7. Soruyu sor!
result = rag_chain.invoke("Belgede bahsedilen ana fikir nedir?")
print(result)

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.core.response.pprint_utils import pprint_response
from llama_index.llms.openai import OpenAI
# 1. Belgeleri yükle
documents = SimpleDirectoryReader("./data").load_data()
# 2. İndeks oluştur
index = VectorStoreIndex.from_documents(documents)
# 3. Sorgu motoru oluştur
query_engine = index.as_query_engine(llm=OpenAI(model="gpt-4"))
# 4. Soruyu sor
response = query_engine.query("Belgedeki en önemli bulgu nedir?")
pprint_response(response, show_source=True)

# Reranking ile sonuç kalitesini artırma
from llama_index.postprocessor.cohere_rerank import CohereRerank
# Query engine'e reranker ekle
query_engine = index.as_query_engine(
    llm=OpenAI(model="gpt-4"),
    node_postprocessors=[CohereRerank(top_n=3)]
)

import os
from langchain_community.document_loaders import PyPDFDirectoryLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.vectorstores import Qdrant
from langchain_community.llms import Ollama
# 1. PDF belgelerini yükle
loader = PyPDFDirectoryLoader("./company_docs/")
docs = loader.load()
# 2. Daha akıllı parçalama
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=100,
    separators=["\n\n", "\n", ". ", " "]
)
chunks = text_splitter.split_documents(docs)

# 3. Yerel embedding modeli (ücretsiz)
embeddings = HuggingFaceEmbeddings(model_name="emirhan/TF-IDF-MSE-512")
# 4. Qdrant vektör veritabanı (ücretsiz)
vectorstore = Qdrant.from_documents(
    chunks,
    embeddings,
    location=":memory:",  # RAM'de tut
    collection_name="company_knowledge"
)
# 5. Yerel LLM (Mistral)
llm = Ollama(model="mistral")
# 6. Zinciri tamamla ve çalıştır
# ... (LangChain zinciri oluşturma kodu) ...
print(rag_chain.invoke("Yeni işe başlayanlar için tatil hakkı nedir?"))