Mesaj Kuyruk Sistemleri: Apache Kafka Log Mimarisi ile RabbitMQ AMQP Yönlendirme Performansı
Bölüm 1: Bu Nedir ve Neden Hayati Önem Taşır?
Düşünün ki İstanbul trafiğinde binlerce araç, ışıklar yeşil onsun diye bekliyor. Her sürücü elinden gelenin en iyisini yapıyor ama kaos hâlâ kaos. İşte modern yazılım dünyasının kalbi atan “mikroservisler” de birebir böyle. Binlerce küçük uygulama birbiriyle sürekli konuşuyor: “Sipariş alındı”, “Ödeme onaylandı”, “Kargo etiketi bas”. Bu konuşmalar kaybolursa, yinelenirse ya da sıraya girerse sistem çöker. Mesaj kuyruk sistemleri (Message Queues), bu kaotik trafiği yöneten, araçların (verinin) kaybolmadan, takılmadan, doğru yol’dan hedefe ulaşmasını sağlayan görünmez trafik polisidir. Apache Kafka ve RabbitMQ bu alandaki iki dev. Biri “her şeyi kaydet, asla unutma, milyarlarca olay akışını yönet” derken (Kafka), diğeri “mesajı al, akıllı kurallarla doğru kuyruğa yönlendir, anında teslim et” diyor (RabbitMQ). Hangisini seçeceğiniz, sisteminizin “trafik yoğunluğuna” ve “kaza yapma toleransına” göre hayatınızı kurtarır ya da mahveder.
Bölüm 2: Perde Arkası: Sistem Nasıl Çalışıyor?
RabbitMQ bir posta dairesi gibidir. Mesajınız (mektup) “Exchange” adı verilen merkezi şubeye gelir. Buradaki müdür (Exchange tipi: Direct, Topic, Fanout, Headers), mektubun üzerindeki adres etiketine (Routing Key) bakarak, hangi posta kutusuna (Queue) atılacağını kararlaştırır. Tüketici (Consumer) de kuyruğun başında bekler, mektup gelir gelmez alır, “teslim aldım” (ACK) der ve mektup çöp olur. Hızlı, esnek, “anında teslimat” odaklıdır.
Kafka ise günlük tutan bir muhasebe defteri (Commit Log) gibidir. Mesajlar silinmez, sıralı birer dosyaya (Partition) yazılır ve diskte kalır. “Konu” (Topic) başlığı altına bölünürler. Tüketici kuyruğun başında beklemez; defterin hangi sayfasından (Offset) okumaya başlayacağını kendisi karar verir. Geriye dönüp dünün verisini okuyabilir, aynı veriyi on farklı ekip aynı anda işleyebilir. RabbitMQ “mesajı tüket ve unut” derken, Kafka “olayı kaydet, kim isterse okuyacak” der. Biri akıllı yönlendirme ustası, diğeri ise dayanıklı hafıza şahsıdır.
Bölüm 3: Bilim Dünyası ve Uzmanlar Nasıl İnceliyor?
Mühendislik dünyası bu ikiyi “yarıştırmaz”, “senaryoya göre eşleştirir”. Akademik literatürde ve Netflix, Uber, LinkedIn gibi devlerin mühendislik bloglarında ayrım net: RabbitMQ “Komut Taşıyıcı” (Command Bus), Kafka “Olay Akışı Platformu” (Event Streaming Platform). Martin Fowler gibi mimarlar, “Eğer ‘Yap şunu’ diyorsan (SendEmail, ProcessPayment) RabbitMQ; ‘Şu oldu’ diyorsan (OrderCreated, UserLoggedIn) Kafka” der. Performans testlerinde (benchmark) RabbitMQ düşük gecikme (latency) ve karmaşık yönlendirme senaryolarında (örneğin “Tüm Avrupa şubelerine ve mobil uygulamaya aynı anda bildir”) taçta kalır. Kafka ise saniyede milyonlarca olay ingest (alma) edebilme, veriyi haftalarca saklayıp tekrar oynatma (replay) yeteneğiyle “Büyük Veri” ve “Gerçek Zamanlı Analitik” kralıdır. Uzmanlar “Kafka kuyruk değil, log’dur” uyarısını yapar; onu klasik kuyruk gibi kullanmaya çalışırsanız (mesajı silme bekleyişi) disk dolup sistem çöker.
Bölüm 4: Önemli Parametreler ve Karşılaştırma Rehberi
| Parametre | Apache Kafka | RabbitMQ | Pratik Anlami | Gunluk Hayata / Sisteme Etkisi |
|---|---|---|---|---|
| Temel Felsefe | Olay Günlüğü (Event Log) | Mesaj Broker (Akıllı Postacı) | Veri mi saklıyorsun, yoksa görev mi dağıtıyorsun? | Kafka: “Hafıza”; RabbitMQ: “Koordinatör”. |
| Veri Saklama | Diskte, konfigüre edilebilir süre (Günler/Ayler) | Kuyrukta, tüketilince silinir (Genelde) | Veri kaybı riski vs Disk maliyeti. | Kafka: Denetim/Replay için hayat kurtarıcı. RabbitMQ: Geçici tampon. |
| Yönlendirme | Basit (Topic/Partition Key) | Çok Gelişmiş (Exchange Tipleri, Header) | “Herkes haber olsun” mu, “Sadece Muhasebe bilsin” mi? | RabbitMQ: Karmaşık iş kuralları için inanılmaz esnek. |
| Gecikme (Latency) | Yüksek İşlem Hacminde Düşük (ms) | Tek Mesajlarda Çok Düşük (sub-ms) | Anlık tepki mi, toplu işlem mi? | RabbitMQ: “Butona bas, anında tepki al”. Kafka: “Akışı işle”. |
| İşlem Hacmi (Throughput) | Milyonlarca msg/sn (Yatay Ölçekleme) | Binlerce/Onbinlerce msg/sn (Dikey/Zor) | Black Friday mı, yoksa dahili CRM mi? | Kafka: Trafik patlamasında ayakta kalır. |
| Sipariş Garantisi | Partition içi kesin sıralama | Kuyruk bazlı sıralama (Tek kuyrukta) | Sipariş 1, 2, 3 gelmeli mi? | Kafka: Partition key (user_id) ile kullanıcı bazlı sıra garanti. |
| Tüketici Modeli | Pull (Tüketici çeker, Offset yönetir) | Push (Broker iter, Prefetch ile) | Kim kontrolü elinde tutar? | Kafka: Tüketici “Ben ne kadar hızlıysam o kadar yerim” der. |
| Mimari Ölçekleme | Broker ekleyerek (Partition Rebalance) | Cluster/Federation/Shovel (Daha zor) | Büyüme nasıl yönetilir? | Kafka: “Node ekle, veri dağılsın”. RabbitMQ: “Kuyruk şardlama (Sharding) eforlu”. |
| Protokol | Kendi Binary Protokolü (TCP) | AMQP 0-9-1, MQTT, STOMP, HTTP | Çeşitli diller/cihazlar konuşmalı mı? | RabbitMQ: IoT cihazları (MQTT) için doğal köprü. |
| Tekrar İşleme (Replay) | Doğal (Offset sıfırla/ilerlet) | Zor (Dead Letter Queue / Requeue) | “Hata düzelttiğimizde dünün verisini tekrar işleyelim” | Kafka: 1 komutla geçmişi canlandırır. RabbitMQ: Manuel müdahale ister. |
| Öğrenme Eğrisi | Orta/Yüksek (JVM, Zookeeper/KRaft, Tuning) | Düşük/Orta (Erlang, Yönetim UI Güçlü) | Ekip ne kadar hızlı başlar? | RabbitMQ: “Kur, çalıştır, unut”. Kafka: “Anla, ayarla, yönet”. |
| En İyi Senaryo | Event Sourcing, Log Aggregation, Stream Processing | Task Queues, RPC, Complex Routing, Legacy Entegrasyon | Ne inşa ediyorsun? | Kafka: Veri gölü beslemesi. RabbitMQ: Mikroservisler arası senkron dans. |
Bölüm 5: Günlük Hayatta ve Doğada Nerede Karşımıza Çıkar?
Saat 00:00’te favori dizi platformunuzda “İzleme Listeme Ekle” butonuna bastınız. Arka planda RabbitMQ devreye girer: “Kullanıcı X, Liste Y’ye ekleme komutu gönderdi” mesajı “Bildirim Servisi”ne (Push at), “Analitik Servisi”ne (İstatistik tut), “Öneri Motoru”na (Algoritmayı güncelle) aynı anda farklı kuyruklara yönlendirilir. Hepsi milisaniyeler içinde biter.
Yarın akşam o dizinin yeni sezonu çıktığında, platform size “Yeni sezon geldi!” push bildirimi gönderir. Bu bildirim Kafka‘dan gelir. Platform her gün milyarlarca “İzleme”, “Durdurma”, “Tamamlama”, “Puanlama” olayını Kafka’ya “UserActivity” topic’ine yazar. Veri bilimcileri hafta sonu bu logları okuyup “Bu kullanıcı bilim kurgu sever, yeni sezon bilim kurgu” modelini eğitir. Aynı veriyi Fraud Detection (Dolandırıcılık) ekibi de okur: “Bu hesap 5 dakikada 50 farklı IP’den giriş yaptı, şüpheli”. Veri bir kez yazılır, on kez okunur. Bankanızda para transferi? RabbitMQ (Komut: “Parayı gönder”). Bankanızın hırsızlık alarm sistemi? Kafka (Olay: “Şüpheli giriş denemeleri akışı”).
Bölüm 6: Karşılaşılan Zorluklar ve Pratik Çözümler
En büyük hata: “Kafka’yı kuyruk gibi kullanmak”. Mesajı işledikten hemen silmeyi beklemek (compact topic hariç) diski doldurur, broker çöker. Çözüm: Retention (Saklama) süresini ve boyutunu (örn. 7 gün / 500GB) mutlaka ayarlayın. “Log Compaction” açın, sadece en son değeri tutun.
RabbitMQ’da ise klasik facia: “Kuyruk şişirmesi” (Queue Backlog). Tüketici çöker, mesajlar birikir, RAM dolar, broker “Flow Control” yapar, yayıncılar bloke olur, sistem donup kalır. Çözüm: “Lazy Queues” (Tembel Kuyruklar) kullanın; mesajları RAM yerine diske yazsın. “Quorum Queues” (Korum Kuyrukları) ile yüksek erişilebilirlik (HA) sağlayın, klasik Mirrored Queue’yu unutun. “Publisher Confirms” açmadan üretmeyin; mesaj ulaştı mı bilmezsiniz.
Her ikisinde de “Büyük Mesaj” (Large Payload) kabusu vardır. 10MB’lık bir resim/video kuyruğa atarsanız herkes yorulur. Ortak Çözüm: Veriyi S3/MinIO’ya atın, kuyruğa sadece “Dosya Yolu + Metadata” linkini koyun. Küçük mesaj, hızlı sistem.
Bölüm 7: Gelecek Perspektifi ve Yeni Gelişmeler
Kafka artık ZooKeeper’sız (KRaft Modu) yaşıyor. Bu, “Bir daha ZooKeeper cluster kurmam” demek değil; metadata yönetiminin Kafka içine çekildiği, cluster başlatmanın saniyeler sürdüğü, operasyonun basitleştiği yeni bir çağ. Tiered Storage (Katmanlı Depolama) ile eski veriler otomatik S3’e taşınıyor, broker diskleri hafifliyor, maliyet düşüyor.
RabbitMQ 3.12+ sürümlerle Stream’ler kavramını getirdi. Artık RabbitMQ da “Append-only Log” tutabiliyor, Replay yapabiliyor. AMQP 1.0 desteği ile protokol standardizasyonu ilerliyor. Wasm (WebAssembly) Eklentileri ile mesajları broker içinde filtreleme, dönüştürme, zenginleştirme (enrichment) yapabiliyorsunuz; ayrı bir “Stream Processing” motoru (Flink/KSQL) kurmadan.
Gelecek hibrit. “Command”lar için RabbitMQ (veya NATS/Redis Streams), “Event”ler için Kafka (veya Redpanda/WarpsStream). Mimarler artık “Tek araç her işe yarar” demez; “Doğru aleti doğru vida için” der. Serverless Kafka (Confluent Cloud, Upstash, Redpanda Serverless) ile “Cluster yönetmekten kurtulup sadece topic kullanmak” yeni standart oluyor.
Bölüm 8: Merak Edilen Sorular ve Cevaplar (SSS)
Soru 1: Benim projem küçük, ikisini de kurmak uğraş mı?
Cevap: Evet, büyük uğraş. Küçük/orta projelerde RabbitMQ tek başına her iki işi de (komut + olay) “iyi derecede” yapar. Yönetim arayüzü (Management UI) harika, debug kolay. Kafka’yı “büyük veri/olay akışı” ihtiyacınız olana kadar erteleyin.
Soru 2: Kafka mesajları silmiyorsa diskim dolmaz mı?
Cevap: Doldurur, ayarlamazsanız. retention.ms (süre) ve retention.bytes (boyut) ayarlarını mutlaka koyun. Örn: 7 gün veya 100GB. Eski veriler otomatik silinir. “Log Compaction” açarsanız aynı key’e sahip en son mesaj dışındakiler silinir, disk kullanımı sabitlenir.
Soru 3: RabbitMQ’da mesaj kaybolur mu?
Cevap: Evet, önlem almazsanız. Varsayılanda mesaj RAM’dedir, broker çökerse gider. Publisher Confirms (Yayıncı Onayı) açın, mesajı Persistent (Kalıcı) olarak gönderin, kuyruğu Durable (Dayanıklı) tanımlayın. “Quorum Queues” kullanın; çoğunluk (quorum) node’a yazılınca onay verilir.
Soru 4: Kafka “Pull” modeli kullanıyor, bu yavaş demek mi?
Cevap: Hayır, aksine hızlıdır. Tüketici “Ben hazırım, ver” der (Poll), broker sıfır kopyalama (Zero-Copy – sendfile) ile diskten network kartına doğrudan basar. Tüketici yavaşlarsa basmaz, backpressure (geri basınç) doğal oluşur. Push modelinde (RabbitMQ) tüketici ezilirse broker zorlanır.
Soru 5: Mikroservisler arası “Senkron” konuşma (REST/gRPC) yerine neden kuyruk?
Cevap: Çünkü “Bağımlılık zinciri” kırılır. Servis A, Servis B çökse bile mesajı kuyruğa atar, hayatına devam eder. B ayağa kalktığında kuyruğu işler. Bu Dayanıklılık (Resilience) ve Geçici Bağlantısızlık (Temporal Decoupling) sağlar. Senkron çağrıda A, B’yi beklerken bloklanır, zaman aşımına uğrar, hata yayılır (Cascading Failure).
Soru 6: “Dead Letter Queue (DLQ)” ne işe yarar, her kuyruk için mi lazım?
Cevap: “İşlenemeyen mektupların gittiği çöp kutusu”dur. Mesaj 3 kere denendi, hâlâ hata veriyorsa (örn: veritabanı kilitli, format bozuk) kuyruğu tıkamasın diye DLQ’ya atılır. Sabah mühendis gelir, DLQ’ya bakar, hatayı düzeltir, mesajı tekrar kuyruğa iter (Replay). Evet, kritik her kuyruk için mutlaka tanımlayın. Olmasa “Zehirli Mesaj” (Poison Pill) sonsuz döngüye girer, sistemi yıkar.
Bölüm 9: Bilmeniz Gereken Temel Terimler
Topic / Konu (Kafka’daki “Dosya Adı”): Verilerin kategorize edildiği isim. “Siparişler”, “Kullanıcı Tıklamaları”, “Loglar”. İçinde birden fazla “Partition” (Bölüm) olur.
Partition / Bölüm (Kafka’daki “Defter Sayfaları”): Topic’in yatayda parçalanmış hali. Her biri sıralı, değiştirilemez bir log dosyasıdır. Sıralama garantisi sadece partition içinde geçerlidir. Paralel işlem için partition sayısı artırılır.
Exchange / Değiştirici (RabbitMQ’daki “Şube Müdürü”): Mesajı alan, kurallara bakıp hangi kuyruğa gideceğini karar veren bileşen. Direct (Tam eşleşme), Topic (Desen eşleşme – siparis.*), Fanout (Herkese), Headers (Başlık bazlı) tipleri vardır.
Consumer Group / Tüketici Grubu (Kafka’daki “Ekip Arkadaşları”): Aynı group.id ile başlayan tüketiciler. Kafka bir partition’ı grubun sadece birine verir. Böylece iş bölümü yapılır, mesaj tek işlenir. Yeni tüketici gelirse “Rebalance” (Yeniden Denge) olur, partition’lar paylaşılır.
Offset / Konum (Kafka’daki “Sayfa Numarası / Yer İmleri”): Bir partition içindeki her mesajın benzersiz, artan ID’si. Tüketici “Ben 105 numaradaydım, 106’dan başla” der. Bu sayede geriye dönüp tekrar okuma (Replay) veya atlama mümkündür.
Acknowledgment (ACK) / Teslim Alındı (RabbitMQ’daki “İmza”): Tüketici “Mesajı başarıyla işledim, silin” diyerek broker’a haber verir. auto_ack=false (Manuel ACK) production standarttır. Vermezseniz mesaj kuyrukta kalır, tekrar işlenir (At least once).
Dead Letter Exchange (DLX) / Ölümcül Mektup Şubesi (RabbitMQ’daki “Kara Liste”): Reddedilen (Reject/Nack), süresi dolan (TTL), kuyruk dolduğu için atılan mesajların gönderildiği özel Exchange. Buradan DLQ (Dead Letter Queue)’ya düşerler.
Bölüm 10: Ozet ve Cikarilmasi Gereken Dersler
Hayatınızı kurtaracak altın kural şudur: Ne taşıdığınıza göre araç seçin, markaya göre değil. Elinizde “Yap şimdi, bir kere, güvenilir, karmaşık kurallarla” türünde komutlar (Sipariş ver, Mail at, PDF bas) varsa RabbitMQ sizin “güvenilir postacınız”dır. Kurulumu kolay, yönetimi görsel, yönlendirme yeteneği eşsizdir.
Elinizde “Şu oldu, tarihe not et, milyonlarca olayı akıt, geçmişe dönüp tekrar oku, birden fazla ekibe aynı anda besle” türünde olaylar (Event’ler) varsa Kafka sizin “kalıcı hafızanızdır”. Ölçeklenebilirlik, dayanıklılık ve replay yeteneği king’dir.
Ve asla unutmayın: En kötü mimari, “Tek araç her işe yarar” diyip Kafka’ya komut kuyruğu yapmaya çalışmak veya RabbitMQ’ya yılın verisini loglamaya çalışmaktır. İkisi de modern mimarinin vazgeçilmez direkleridir; yan yana dururlar. Biri “Hareket”i (Action), diğeri “Gerçekliği” (Fact) taşır. Sisteminizde her ikisi de varsa, doğru yerde buluşmuş demektir.