Transformer Mimarisi: GPT ve BERT'in Arkasındaki Devrim

Transformer Mimarisi

2017'de "Attention is All You Need" makalesiyle tanıtılan Transformer, NLP'de devrim yarattı.

## Attention Mekanizması

### Self-Attention
Her token, diğer tüm token'larla ilişkisini hesaplar.

Formül:
Attention(Q, K, V) = softmax(QK^T / √d_k) V

### Multi-Head Attention
Birden fazla attention head ile farklı ilişki türlerini yakala.

## Transformer Bileşenleri

### Encoder
- Self-attention layers
- Feed-forward networks
- Layer normalization
- Residual connections

### Decoder
- Masked self-attention
- Cross-attention (encoder'a)
- Feed-forward networks

## Positional Encoding

Transformer sıra bilgisi içermez. Pozisyon encoding ile eklenir.

Yöntemler:
- Sinusoidal encoding (orijinal)
- Learned embeddings
- Rotary Position Embedding (RoPE)
- ALiBi

## Önemli Modeller

### BERT (Encoder-only)
Bidirectional understanding.
- Masked language modeling
- Next sentence prediction
- Fine-tuning için ideal

### GPT (Decoder-only)
Autoregressive generation.
- Next token prediction
- In-context learning
- Few-shot capability

### T5 (Encoder-Decoder)
Text-to-text framework.
- Her görevi text dönüşümü olarak çerçevele
- Versatile applications

## Ölçekleme Yasaları

OpenAI'ın bulguları:
- Model boyutu ↑ → Performans ↑
- Veri miktarı ↑ → Performans ↑
- Compute ↑ → Performans ↑

Chinchilla optimal: Model ve veri eşit ölçeklendirilmeli.

## Verimlilik İyileştirmeleri

- Flash Attention: Bellek verimli attention
- Sparse Attention: O(n²) → O(n√n)
- Linear Attention: O(n²) → O(n)
- Mixture of Experts: Conditional computation

## Sonuç

Transformer, modern AI'ın temel taşı. GPT-4, Claude, Gemini - hepsi transformer tabanlı.