Veri Tabanı Parçalama (Database Sharding) ve Dağıtık İşlemlerde İki Fazlı Taahhüt (2PC) Riskleri
Bölüm 1: Bu Nedir ve Neden Hayati Önem Taşır?
Düşünün ki tek bir devasa kütüphane var ve tüm dünyanın kitapları orada. Herkes o tek kapıdan girip çıkıyor, arıyor, ödünç alıyor. Sonuç? Kaos, kuyruklar ve çöken raflar. Veri tabanı parçalama (sharding), bu tek dev kütüphaneyi, her biri belirli bir konuya (örneğin “A-H” harfleri, “İ-P” harfleri) odaklanmış küçük, yönetilebilir kütüphanelere bölmektir. Her parçaya “shard” (parça) deriz. Bu sayede yük dağıtılır, hızlanırsınız. Ama işler karışırken şu soru ortaya çıkar: Bir kullanıcı hem “A-H” kütüphanesinde hem de “İ-P” kütüphanesinde birer kitap ödünç almak istediğinde, her ikisi de ya başarılı olur ya da her ikisi de iptal olur. İşte bu “ya hepsi ya hiç” garantisini vermek için devreye İki Fazlı Taahhüt (2PC) girer. Bu mekanizma, dağıtık dünyanın “evet, onaylıyorum” deyen noteridir. Yanlış kurulduğunda sisteminiz kilitlenir, doğru kurulduğunda ise milyonlarca kullanıcıyı sorunsuz taşırsınız.
Bölüm 2: Perde Arkası: Sistem Nasıl Çalışıyor?
Sharding mantığı aslında bir restoranın “rezervasyon sistemine” benzer. Gelen müşteri (veri), adının ilk harfine veya TC kimlik numarasına göre “A masasına” mı “B masasına” mı gideceğini bilir. Bu yönlendirmeyi yapan “shard key” (parçalama anahtarı)dır. İşler 2PC’ye geldiğinde sahne değişir: Bir işlem (transaction) birden fazla masayı (shard) etkiliyorsa, bir “Koordinatör” (Coordinator) devreye girer. 1. Faz (Hazırlık): Koordinatör her masaya “Hazır mısınız?” diye sorar. Masalar verileri kilitler, loglarını diske yazar ve “Hazırım, geri dönüş yok” derler. 2. Faz (Taahhüt): Koordinatör herkes “Evet” dediyse “İşlemi tamamlayın” emrini verir. Tek bir “Hayır” veya zaman aşımı olursa “Herkes iptal edin, kilitleri açın” der. Bu süreçte koordinatör çökerse? Masalar sonsuza dek kilitli kalır, sistem donar. İşte bu “tek hata noktası” ve kilitlenme riski, 2PC’nin en büyük kabusu.
Bölüm 3: Bilim Dünyası ve Uzmanlar Nasıl İnceliyor?
Bilgisayar bilimlerinin babalarından Jim Gray ve Leslie Lamport, dağıtık sistemlerde “tutarlılık” ve “kullanılabilirlik” arasındaki çilekli ilişkiyi yıllar önce çözmüşlerdi. CAP teorisi bize şunu fısıldar: Ağ bölündüğünde (Partition) ya Tutarlılığı (Consistency) ya da Kullanılabilirliği (Availability) seçersiniz, ikisini birden alamazsınız. 2PC, “Tutarlılığı” sevenlerin kalbi olan, ama “Kullanılabilirliği” feda eden sert bir protokoldür. Google’ın Spanner ve Amazon’un DynamoDB gibi devler, 2PC’nin yavaşlığını ve kilitlenme riskini bilerek, onun yerine Paxos veya Raft gibi konsensüs algoritmalarını tercih ettiler. Bu algoritmalar “Koordinatör çökerse ne olur?” sorusuna “Yeni bir lider seçeriz, hayat devam eder” cevabını verir. Akademik dünyada bugün “Saga Pattern” (Saga Deseni) popülerdir: Uzun süren işlemleri küçük, geri alınabilir yerel işlemlere böleriz. Bir hata olursa “Ters işlem” (Compensating transaction) yaparız. Bu, 2PC’nin katı “kilitli” yapısından çok daha esnek ve bulut dostu bir yaklaşımdır.
Bölüm 4: Önemli Parametreler ve Karşılaştırma Rehberi
| Parametre | Değer / Özellik | Pratik Anlamı | Günlük Hayata / Sisteme Etkisi |
|---|---|---|---|
| Parçalama Anahtarı (Shard Key) | Kullanıcı ID, Coğrafi Bölge, Tarih Aralığı | Verinin nereye gideceğini belirleyen “adres” | Yanlış seçim “Hotspot” (aşırı yüklenmiş shard) yaratır, bir sunucu yanarken diğerleri boş durur. |
| Koordinatör (Coordinator) | Merkezi / Dağıtık (Paxos/Raft) | İşlemin noteri, oylama yöneticisi | Merkezi koordinatör çökerse sistem donar; dağıtıkte yeni lider seçilir, kesinti minimaldir. |
| Kilit Süresi (Lock Duration) | 2PC’de Uzun / Saga’da Kısa | Verilerin “dondurulup” beklediği süre | Uzun kilit = yüksek çakışma (contention), düşük işlem hacmi (throughput). Kullanıcı “Yükleniyor” ekranında kalır. |
| Hata Senaryosu | Tek Shard Hatası / Ağ Kesintisi | Bir parça hata verince ne olacak? | 2PC’de hepsi geri alınır (Rollback). Saga’da sadece hatalı kısım tersine çevrilir. |
| Gecikme (Latency) | 2PC: 2 Ağ Turu (Round-trip) / Yerel: 1 Tur | İşlem bitene kadar geçen süre | 2PC coğrafi olarak dağıtık shard’larda “yavaşlık” cezası verir. Mikroservislerde bottleneck olur. |
| İşlem Boyutu | Küçük/Atomik vs Uzun Süren/Süreç | İşlem ne kadar sürer? | 2PC kısa işlemler içindir. Saatler süren sipariş süreçleri için Saga/Zamanlayıcı (Orchestration) şarttır. |
| Tutarlılık Modeli | Güçlü (Strong) / Sonuçta (Eventual) | Veri ne an “doğru” olmalı? | Banka transferi: Güçlü (2PC). Sosyal medya beğenisi: Sonuçta tutarlı (Eventual) yeterli, hız kazanırsınız. |
| Yeniden Deneme (Retry) Mantığı | Idempotent (Tekrarlanabilir) Olmalı | Ağ hatasında tekrar deneme | 2PC “Hazır” dedikten sonra tekrar “Taahhüt” gelirse çift harcama olmamalı. Kodunuz “idempotent” olmalı. |
| Şema Değişikliği (Schema Migration) | Tüm Shard’larda Senkron / Aşamalı | Tabloya sütun eklerken ne olur? | 2PC şema kilitlemesiyle sistem durdurur. Modern araçlar (gh-ost, pt-online-schema-change) “sıfır kesinti” yapar. |
| Yedekleme ve Kurtarma | Nokta Zamani (PITR) / Anlık Görüntü | Felaket sonrası nasıl döneceksiniz? | Shard’lar arası tutarlı yedek almak 2PC ile zordur. Her shard kendi yedeğini alır, koordinatör “checkpoint” kaydeder. |
| Maliyet (Donanım/Lisans) | Yatay Ölçeklenebilirlik (Scale-out) | Daha çok sunucu mu, daha güçlü mü? | Sharding ucuz commodity hardware kullanmanıza izin verir. 2PC ekstra koordinatör sunucusu maliyeti getirir. |
| Gözlemlenebilirlik (Observability) | Dağıtık İzleme (Distributed Tracing) | Hata nerede, kim sorumlu? | 2PC logları karmaşıktır. Trace ID (OpenTelemetry/Jaeger) olmadan “Kim kilitledi?” bulmak imkansızdır. |
| Geliştirici Deneyimi (DX) | ORM Desteği / Şeffaflık | Kod yazarken ne kadar uğraşırsınız? | Sharding logic’i kodda dağıtılırsa bakım kabusu olur. Proxy katmanı (Vitess, ProxySQL) bunu gizler. |
Bölüm 5: Günlük Hayatta ve Doğada Nerede Karşımıza Çıkar?
Hayatın kendisi birer “shard” sistemidir. Beynimizde görsel bellek occipital lobda, duygusal bellek amigdala, motor beceriler cerebellumde ayrı ayrı saklanır (sharding). Bir topu tutmak istediğinizde beyniz bu ayrı bölgeleri 2PC gibi değil, çok daha hızlı ve hataya dayanıklı bir “paralel işleme” ile koordine eder. Eğer beyniz 2PC kullanıyor olsaydı, topu tutmaya karar verirken “Tüm bölgeler hazır mı? Kilitlenin, onay bekleyin” diyerek saniyeler kaybederdiniz, top yüzünüzde patlardı. Doğada arı kolonileri de böyle çalışır: Kraliçe yumurtlama (yazma işlemi) yapar, işçiler besler (okuma/dağıtım). Merkezi bir “koordinatör” arısı yoktur; feromon sinyalleriyle (event-driven) kendi kendine organize olurlar. Teknolojide ise; Uber bir sürücü bulurken “Konum shard’ına” yazar, “Fiyatlandırma shard’ına” yazar. Bunlar 2PC ile değil, Event Sourcing ve CQRS (Komut Sorgu Sorumluluk Ayrımı) ile asenkron, yani “evet, not aldım, işlerim halledince hallederim” mantığıyla çözülür. Bankacılıkta para transferi (Hesap A -100, Hesap B +100) ise hâlâ 2PC’nin veya dağıtık kilitlerin (Distributed Locks) vazgeçilmez adresidir; çünkü “yarım para” olmaz.
Bölüm 6: Karşılaşılan Zorluklar ve Pratik Çözümler
En büyük tuzak: “Her işlemi 2PC ile koruyayım” demek. Bir e-ticette “Sepete ekle” işlemi 2PC gerektirmez, “Öde ve Stok Düşür” gerektirir. Her şeye kilit koyarsanız veritabanınız “kilitlenme” (deadlock) ve “bekleme” (wait) istatistikleriyle çöker. Çözüm: İşlemleri sınıflandırın. Para, stok, fatura = Güçlü tutarlılık (2PC veya Dağıtık Kilit). Yorum, beğeni, log, analitik = Sonuçta tutarlılık (Eventual Consistency), asenkron mesaj kuyruğu (Kafka/RabbitMQ). İkinci tuzak: Shard Key’i sonradan değiştirememek. Kullanıcı ID ile parçaladınız, müşteri “Mağaza bazlı rapor istiyor” dedi. Tüm shard’ları taramanız (Scatter-Gather) gerekir, sistem yavaşlar. Çözüm: Başlangıçta erişim desenlerinizi (Access Patterns) analiz edin. Gerekirse “Reference Table” (Referans tablosu) veya “Global Index” (Vitess/Atlas gibi araçlarla) tutun. Üçüncü acı: Test ortamında dağıtık hata simülasyonu yapmamak. Chaos Mesh veya LitmusChaos ile “Koordinatör 2. Fazda çöktü”, “Ağ 5 saniye gitti” senaryolarını canlıya çıkmadan mutlaka test edin. Loglarınızda “Prepared” durumunda takılan işlemleri temizleyen bir “Temizleyici” (Janitor) servis yazın; aksi takdirde kilitli satırlar birikir, disk dolar.
Bölüm 7: Gelecek Perspektifi ve Yeni Gelişmeler
Gelecek, “Koordinatör” kavramından tamamen kurtulmak üzerine kurulu. Google Spanner ve CockroachDB gibi “NewSQL” veritabanları, 2PC’yi arka planda Paxos/Raft ile gizleyerek, size tek bir SQL veritabanıymış gibi “Güçlü Tutarlılık + Yatay Ölçek” sunduğu hissettiriyor. Artık “Shard Key” dert etmenize gerek kalmıyor; onlar veri yerleşimini (Range/Hash) dinamik olarak dengeleyerek (Rebalancing) “Hotspot”ları kendi dağıtıyorlar. Serverless Veritabanları (PlanetScale, Neon, Aurora Serverless v2) ise sharding’i “branching” (dallanma) kavramıyla birleştiriyor: Her geliştirici kendi veritabanı kopyasında (shard’lı) test ediyor, ana dala merge ediyor. Yapay zeka de devreye giriyor: Otonom Veritabanları (Autonomous DB), sorgu desenlerinizi izleyip “Bu tabloyu shard’laman lazım, şu kolon key olmalı” diyor ve gece yarısı kesintisiz taşıma (Online Migration) yapıyor. Yakın gelecekte geliştirici “Nasıl parçalayayım?” diye değil, “Verim ne kadar maliyet?” diye soracak, sistem stratejiyi kendisi üretecek. Odaklanma noktası “Altyapı yönetimi”nden “Veri modelleme ve erişim desenleri”ne kayacak.
Bölüm 8: Merak Edilen Sorular ve Cevaplar (SSS)
Soru 1: 2PC kullanırken koordinatör sunucum çökerse verilerim kaybolur mu?
Hayır, veri kaybolmaz ama sistem donar. Katılımcı shard’lar “Hazırım” diyip kilitli bekleme moduna (Prepared state) girerler. Koordinatör ayağa kalktığında loglarından “Taahhüt et” veya “İptal et” kararını verene kadar o satırlar kilitli kalır, kimse onlara dokunamaz. Bu yüzden koordinatörünüzü (veya Paxos/Raft kullanan dağıtık koordinatör kümenizi) yüksek erişilebilir (HA) yapmak şarttır.
Soru 2: Sharding yaparsam JOIN sorgularım nasıl çalışır?
Klasik JOINler çöp olur. İki farklı shard’daki tabloyu JOIN yapamazsınız (Cross-shard join). Çözümler: 1) Veriyi denormalize edin (kopyalayın), 2) Uygulama katmanında iki sorgu çekip birleştirin (Application-level join), 3) Vitess / ProxySQL gibi proxy’ler bunu sizin adınıza yapar ama yavaştır. En iyisi: Veriyi “birlikte sorgulanacak” şekilde aynı shard’a koymaktır (Colocation).
Soru 3: Saga Pattern 2PC’den her zaman daha iyi midir?
“Daha iyi” değil, “farklı ihtiyaçlar içindir”. 2PC: Kısa, anlık, tutarlılığı şart işlemler için (Banka havalesi, stok düşümü). Saga: Uzun süren, insan onayı gereken, mikro servisler arası süreçler için (Sipariş -> Ödeme -> Kargo -> İade). Saga’da geçici tutarlılık bozulur (Para çekildi, stok düşmedi henüz), ama sistem kilitlenmez, ölçeklenir.
Soru 4: Shard sayısını nasıl belirlerim? 10 mu 100 mü?
Kural basit: Shard başına veri boyutu ve işlem yükü, tek bir sunucunun rahat kaldırabileceği seviyede olmalı. Genelde bir shard 50GB-250GB arası tutulur. 100 shard başlangıçta yönetim kabusu yaratır. Az başlayın (örneğin 4-8), büyüdükte “Split” (bölme) yapın. Vitess/PlanetScale gibi araçlar bunu canlı sistemde “sıfır kesinti” yapar.
Soru 5: “Hotspot” (Aşırı yüklenmiş shard) sorununu nasıl çözerim?
Önce Shard Key’i sorgulayın. user_id hash’lediyseniz ama “Şirket X” tüm kullanıcıları aynı shard’a düşüyorsa (monotonic key), o shard yanar. Çözüm: Key’e rastgele bir prefix ekleyin (hash(company_id + user_id)), veya o “büyük müşteri” için ayrı bir shard (Tenant Isolation) ayırın. Okuma yükü yüksekse Read Replica (Okuma Replikası) ekleyin.
Soru 6: Dağıtık işlemlerde “Idempotency” (Tekrarlanabilirlik) ne demek, neden hayat kurtarır?
Ağ kopdu, istemci “Başarısız” aldı, tekrar gönderdi. Sunucu aslında işlemi yapmıştı ama cevap gitmemişti. Eğer işleminiz idempotent (örn: SET balance = 100 veya INSERT ... ON DUPLICATE KEY IGNORE) ise, ikinci istek “Zaten yapıldı, tekrar etmiyorum” der ve veri bozulmaz. Eğer balance = balance - 100 (idempotent DEĞİL) yaparsanız, para iki kez çekilir. Her dağıtık yazma API’niz Idempotency Key (Benzersiz İstek ID) almalıdır.
Bölüm 9: Bilmeniz Gereken Temel Terimler
Parçalama Anahtarı (Shard Key) – Verinin “Ev Adresi”: Bir satırın hangi shard’da (parçada) yaşayacağını belirleyen tek kolon veya kolon kombinasyonudur. Doğru seçilirse yük dengeli dağılır; yanlış seçilirse bir sunucu erir, diğerleri soğukta kalır.
İki Fazlı Taahhüt (2PC) – Dağıtık Dünyanın Noteri: Birden fazla shard’ı etkileyen bir işlemin “ya hepsi olur ya hiçi” garantisini veren, ama koordinatör çökerse sistemi kilitleyebilen katı bir protokoldür. “Hazır mısınız?” -> “Evet” -> “Tamamlayın” diye iki tur dolaşır.
Saga Deseni (Saga Pattern) – Geri Dönüşlü Zincir: Uzun süren işlemleri, her biri kendi başına biten ve hata olursa bir önceki adımı “tersine çeviren” (compensate) küçük yerel işlemlere böler. Merkezi koordinatör yoktur, servisler event (olay) ile haberleşir. Mikroservislerin vazgeçilmezi.
Yatay Ölçeklenebilirlik (Horizontal Scaling / Scale-out) – “Daha Fazla Kamyon” Stratejisi: Mevcut sunucuyu güçlendirmek (Dikey/Scale-up – daha büyük motor) yerine, uygun fiyatlı yeni sunucular (kamyonlar) ekleyerek yükü paylaştırmaktır. Sharding bunu mümkün kılar.
Sonuçta Tutarlılık (Eventual Consistency) – “Az Sabret, Düzeler”: Veri güncellendiği an her yerde anında doğru olmayabilir, ama bir süre (milisaniye/saniye) sonra tüm kopyalar eşitlenir. Bankacılık için risklidir; bildirim, like, arama indeksi için mükemmeldir.
Dağıtık İzleme (Distributed Tracing) – “İşlemin GPS’i”: Bir isteğin 10 farklı servis ve 5 farklı shard’dan geçerken izini süren, her adımda “Trace ID” bırakan sistemdir. Ohne bu, 2PC’de “Nerede takıldı?” sorusunun cevabı “Bilmem” olur.
Bölüm 10: Ozet ve Cikarilmasi Gereken Dersler
Veri büyüdüğünde tek bir sunucu yetmez, yolu sharding’dir. Ama sharding “bedava ödevi” değildir; getirdiği karmaşıklığı (dağıtık işlemler, join’ler, yeniden dengeleme) yönetmek için mimari zeka ister. Altın Kural: Tutarlılık maliyetlidir. Her işlem için 2PC kullanıp sisteminizi kilitlemeyin. İşinizi “Para/Can güvenliği” (Güçlü Tutarlılık + 2PC/Kilit) ve “Deneyim/Hız” (Sonuçta Tutarlılık + Saga/Event/Async) olarak ikiye ayırın. Modern NewSQL (Spanner, CockroachDB, TiDB) ve Serverless (PlanetScale, Neon) çözümleri, sharding’in acılarını (resharding, hotspot, join) arka planda çözerek size “tek veritabanı” rahatlığını sunuyor. Eğer kendi sharding’inizi yazacaksanız: Shard Key’i erişim desenlerine göre seçin, Idempotency Key zorunlu kılın, Chaos Engineering ile “koordinatör öldü” testini canlıya çıkmadan yapın ve Dağıtık İzleme (Tracing) olmadan üretime gitmeyin. Veri parçalarken akılınızı parçalamayın; doğru araçları, doğru yerde, doğru tutarlılık seviyesi için kullanın.