LLM Fine-Tuning

# Karşılaştırma: Sıfırdan Eğitim vs Fine-Tuning
# Sıfırdan Eğitim
# - Veri: 1TB+
# - GPU: 1000+ A100
# - Zaman: Aylar
# - Maliyet: Milyonlarca $
# Fine-Tuning
# - Veri: 1000-10000 örnek
# - GPU: 1-8 A100
# - Zaman: Saatler-Günler
# - Maliyet: Yüzlerce-Dolar

# JSONL formatında eğitim verisi örneği (soru-cevaplama)
{"instruction": "Ankara'nın nüfusu kaçtır?", "input": "", "output": "Ankara'nın 2023 tahmini nüfusu 5.7 milyondur."}
{"instruction": "Türkiye'nin başkenti neresidir?", "input": "", "output": "Türkiye'nin başkenti Ankara'dır."}
# Alpaca formatı

from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, Trainer
from datasets import load_dataset
# 1. Model ve Tokenizer'ı yükle
model_name = "meta-llama/Meta-Llama-3-8B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
# 2. Veri setini yükle
dataset = load_dataset("json", data_files="train_data.jsonl")
# 3. Tokenizasyon fonksiyonu
def tokenize_function(examples):
    return tokenizer(examples["text"], truncation=True, padding="max_length", max_length=512)
tokenized_datasets = dataset.map(tokenize_function, batched=True)

# 4. Eğitim argümanlarını tanımla
training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    per_device_eval_batch_size=4,
    warmup_steps=500,
    weight_decay=0.01,
    logging_dir='./logs',
    logging_steps=100,
    save_strategy="epoch",
    evaluation_strategy="epoch",
    learning_rate=2e-5, # Fine-tuning için düşük LR
)
# 5. Trainer'ı oluştur ve eğitimi başlat
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["validation"],
)
trainer.train()

from peft import LoraConfig, get_peft_model
# LoRA konfigürasyonu
lora_config = LoraConfig(
    r=8,                   # Rank
    lora_alpha=32,           # Scaling factor
    target_modules=["q_proj", "v_proj"], # Hangi katmanlara uygulanacak
    lora_dropout=0.1,
    bias="none",
    task_type="CAUSAL_LM"
)
# Modeli PEFT ile sar
model = get_peft_model(model, lora_config)
model.print_trainable_parameters() # Sadece %0.1 parametre eğitilebilir!

# Prompt Tuning: Öğrenilebilir prompt token'lar
import torch
# [Prompt] [Task Input] formatında
learnable_prompt = torch.nn.Parameter(torch.randn(10, 768)) # 10 token, 768 boyut
# Instruction Tuning: Veri formatı
instruction_data = [
    {
        "text": "### Instruction: Bu metni özetle. ### Input: Uzun metin... ### Response: Kısa özet..."
    },
    {
        "text": "### Instruction: Bu soruyu cevapla. ### Input: Başkent neresi? ### Response: Ankara."
    }
]

# Eğitim ilerlemesini izlemek için
from transformers import TrainerCallback
class CustomCallback(TrainerCallback):
    def on_log(self, args, state, control, logs=None, **kwargs):
        print(f"Adım {state.global_step}: Kayıp = {logs['loss']:.4f}")
trainer.add_callback(CustomCallback())
# Weights & Biases (W&B) ile gelişmiş izleme
import wandb
wandb.init(project="my-finetuning-project")
training_args = TrainingArguments(
    ...,
    report_to="wandb", # W&B entegrasyonu
)

from transformers import pipeline
# Eğitilmiş modeli yükle
model = AutoModelForCausalLM.from_pretrained("./results/checkpoint-500")
tokenizer = AutoTokenizer.from_pretrained("./results/checkpoint-500")
# Pipeline oluştur
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
# Test örneği
result = pipe("### Instruction: Türkiye'nin başkenti neresidir? ### Response:", max_new_tokens=50)
print(result[0]['generated_text'])

# FastAPI ile basit bir API sunucusu
from fastapi import FastAPI
from pydantic import BaseModel
from transformers import pipeline
app = FastAPI()
# Modeli yükle (sunucu başlangıcında)
pipe = pipeline("text-generation", model="./fine_tuned_model")
class RequestModel(BaseModel):
    prompt: str
    max_tokens: int = 100
@app.post("/generate")
async def generate(request: RequestModel):
    result = pipe(request.prompt, max_new_tokens=request.max_tokens)
    return {"response": result[0]['generated_text']}