Veri Tabanı Parçalama (Database Sharding) ve Dağıtık İşlemlerde İki Fazlı Taahhüt (2PC) Riskleri
Bölüm 1: Bu Nedir ve Neden Hayati Önem Taşır?
Hayal edin ki tek bir devasa defteriniz var ve tüm dünyanın siparişlerini, kullanıcılarını, finansal hareketlerini bu tek deftere yazıyorsunuz. Bir süre sonra defterin sayfaları bitmeye başlar, yazmak için sıra beklemek zorunda kalırsınız, en kötüsü defter bir anda yırtılırsa her şey gider. İşte Veri Tabanı Parçalama (Sharding), bu devasa defteri mantıksal olarak “bölgelere” ayırıp, her birini ayrı, daha küçük ve yönetilebilir defterlere (shard’lara) dağıtma sanatıdır. Avrupa kullanıcıları bir sunucuda, Asya kullanıcıları başkasında, finansal veriler ise tamamen ayrı bir “kasada” durur.
Ancak bu dağıtım getirdiği bir sorun var: Bir müşteri hem Avrupa sunucusundan ürün alır hem de Asya sunucusundaki stoktan düşülmek isterse ne olur? İşte bu noktada İki Fazlı Taahhüt (Two-Phase Commit – 2PC) devreye girer. Bu, “Hepimiz yaparız ya da kimse yapmaz” diyen katı bir anlaşma protokolüdür. Bu yazıda, bu mekanizmanın neden bazen bir “huzursuz evlilik” gibi sisteme fren çektiğini, kilitlenmeleri ve veri tutarsızlıklarını nasıl beraberinde getirebileceğini, günlük hayattan örneklerle keşfedeceğiz.
Bölüm 2: Perde Arkası: Sistem Nasıl Çalışıyor?
Şimdi bu “katı anlaşma”nın arka planda nasıl işlediğine, bir evlilik töreni benzetmesiyle bakalım. 2PC’nin iki ana aşaması vardır: Hazırlık (Prepare) ve Taahhüt (Commit).
1. Aşama: Nişan (Prepare)
Ortak bir koordinator (Düğün Memuru) tüm katılımlara (Shard’lara) sorar: “Bu işlemi yapmaya hazır mısınız? Kilitler verildi mi, kaynaklar ayrıldı mı?” Her bir parça (Katılımcı) kendi yerel veritabanında işlemi simüle eder, kilitleri yerleştirir ve “Evet, ben hazırım, geri dönüş yok” diyerek oy (vote) kullanır. Bu aşamada henüz hiçbir veri kalıcı olarak yazılmaz; herkes sadece “hazırım” der ve bekler.
2. Aşama: Düğün (Commit/Rollback)
Koordinator herkesten “Evet” alırsa: “O halde resmi yazın (Commit)” emrini verir. Herkes işlemi kalıcı hale getirir, kilitleri serbest bırakır. Ancak tek bir parçadan bile “Hayır, disk doldu” veya “Ağ gitti” gelirse: Koordinator “İptal (Rollback)” emrini verir. Herkes yaptıklarını siler, sanki hiç olmamış gibi olur.
Bölüm 3: Bilim Dunyasi ve Uzmanlar Nasil Inciler?
Bilgisayar bilimlerinin babalarından Jim Gray ve Leslie Lamport gibi devler, dağıtık sistemlerde “Tutarlılık” (Consistency) ve “Kullanılabilirlik” (Availability) arasındaki bu çelişkiyi onlarca yıl önce formüle ettiler. CAP Teoremi‘ne göre; ağda bir kopma (Partition) olduğunda, ya tutarlılığı koruyup sistemi durdurursunuz (CP), ya da sistemi ayakta tutar ama veriler bir süre için tutarsız olabilir (AP).
2PC, kesinlikle CP (Tutarlılık + Bölünme Dayanımı) tarafındadır. Uzmanlar (örneğin Google Spanner ekibi, Amazon DynamoDB mimarları) 2PC’yi “güvenli ama yavaş” bulurlar. Çünkü kilitlenme (blocking) sorunu çözülmemiştir: Koordinator çökerse, katılımcılar “Hazırım” dedikten sonra sonsuza dek kilitli kalırlar, ne yapacaklarını bilemezler. Bu yüzden modern sistemler (Google Spanner, CockroachDB) 2PC’nin varyantı olan Paxos veya Raft gibi konsensüs algoritmalarını tercih eder; bu algoritmalar koordinatorun çökmesi durumunda yeni bir lider seçerek sistemi ayakta tutar. Akademik literatürde 2PC, “öğretmek için güzel, üretimde dikkatli kullanılacak” bir temel taşı olarak görülür.
Bölüm 4: Önemli Parametreler ve Karşılaştırma Rehberi
| Parametre | Değer / Özellik | Pratik Anlamı | Günlük Hayata / Sisteme Etkisi |
|---|---|---|---|
| Atomiklik Garantisi | Kesin (All-or-Nothing) | Ya herkes yazar ya kimse yazmaz. | Banka transferinde yarım kalma yok; para ya gider ya kalır. |
| Kilitlenme Süresi (Blocking) | Uzun / Sınırsız | Koordinator çökerse kaynaklar kilitli kalır. | Kasiyer “Onay bekliyor” ekranında donup, kuyruk uzar. |
| Gecikme (Latency) | Yüksek (2 Ağ Turu) | Herkesle iki kez konuşmak zor. | Kullanıcı “Sipariş Ver” dedikten sonra 500ms-2sn bekler. |
| Koordinator Noktası | Tek Hata Noktası (SPOF) | Koordinator ölürse sistem donar. | Düğün memuru bayılırsa nikah yarım kalır. |
| Ölçeklenebilirlik | Düşük | Parça sayısı arttıkça koordinasyon zorlaşır. | 100 şube için nişan aşaması saatler sürebilir. |
| Veri Tutarlılığı Modeli | Güçlü (Strong Consistency) | Okuma her zaman en son yazılanı döner. | Stok sayısı her ankesin doğrudur, “tükendi” şoku yok. |
| Ağ Bölünmesi (Partition) | Sistem Durur (CP) | Ağ kesilirse işlem iptal edilir/kilitlenir. | İnternet gittiğinde kasalar kapanır, satış yapılamaz. |
| Uygulama Karmaşıklığı | Orta/Yüksek | Uygulama kodunda retry/timeout mantığı gerekir. | Geliştirici “ne olursa olsun tekrar dene” yazmak zorunda. |
Bölüm 5: Günlük Hayatta ve Doğada Nerede Karşımıza Çıkar?
Bu kavramlar sadece sunucu odalarında yaşıyor değil; günlük hayatımızın akışkanlığının arkasındaki “gizli mühendislik”tir.
1. Bankacılık ve Para Transferleri (Klasik 2PC): IBAN ile para gönderdiğinizde, gönderen banka “Parayı kesiyorum, hazırım” (Prepare), alıcı banka “Hesap geçerli, almaya hazırım” (Prepare) der. Merkezi sistem (Koordinator) her ikisinden de “Evet” alana kadar para havada kalır. Onay gelince her ikisi de kaydeder. Bu yüzden bazen “İşleminiz onay bekliyor” diye bekletirsiniz; arka planda 2PC dansı yapılıyordur.
2. E-Ticaret Stok Rezervasyonu (Sharding + 2PC): “Son 1 ürün” uyarısını gördüğünüzde, stok servisi (Shard A) ve sipariş servisi (Shard B) farklı sunuculardadır. Sipariş ver butonuna bastığınızda; Stok: “Ben ayırdım (Kilitledim)”, Sipariş: “Ben kaydettim” der. Kargo etiketi basılana kadar (Commit) o ürün başkasına satılamaz. Eğer kargo API’si cevap vermezse (Timeout), sistem “İptal” der, stok serbest kalır, ürün tekrar satışa çıkar.
3. Doğadaki “İki Fazlı” Kararlar: Karıncalar bir yiyecek bulduğunda, ilk keşifçiler “Burada yiyecek var, gelin” (Prepare) feromonu bırakır. Koloni onay verip yola çıkarsa (Commit) herkes toplar. Eğer yolda bir tehlike (Ağ kesintisi) olursa, feromon uçuşur, karıncalar dağıılır (Rollback). Doğa, milyonlarca yıldır dağıtık konsensüs yapıyor.
Bölüm 6: Karşılaşılan Zorluklar ve Pratik Çözümler
Teoride mükemmel görünen 2PC, üretim ortamında “şeytan detaylarda gizlidir” derler.
Sorun 1: “Kaybolan Koordinator” (Blocking Problem)
Koordinator “Commit” yazdıktan sonra çökerse? Katılımcılar “Commit” emrini alamazlar. Onlar “Hazırım” dedikleri için kilitlidirler. Kimse kilidi açamaz. Sistem donmuş sayılır.
* Çözüm: Koordinatorun Write-Ahead Log (WAL) tutması zorunludur. Diskine “Commit kararı verdim” yazdıktan sonra çökse bile, ayağa kalktığında logdan okuyup “Commit” emrini tekrar gönderir. Buna Dayanıklı Koordinator (Durable Coordinator) denir.
Sorun 2: “Sonsuz Bekleme” (Timeout Hell)
Bir shard ağ sorunu yaşıyorsa, diğerleri kilitli bekler. Veritabanı bağlantı havuzu (Connection Pool) dolar, yeni işlemler gelmez. Tüm sistem çöker.
* Çözüm: Zaman Aşımı (Timeout) ve İptal (Abort) politikaları. “10 saniye cevap gelmezse herkesi serbest bırak” kuralı. Ancak bu, “Para kesildi ama sipariş oluşmadı” riskini (Tutarsızlık) beraberinde getirebilir. Bu yüzden İdempotent (Tekrarlanabilir) işlem tasarımı şarttır: “Bu işlem ID’si daha önce geldi mi? Geldiyse tekrar işleme, sadece sonucu döndür.”
Sorun 3: Performans Darboğazı
Her dağıtık işlem için 2 ağ turu (Round-trip) pahalıdır. Yüksek trafikte (Black Friday) kilit bekleme süresi (Lock Contention) saniyelere, hatta dakikalara uzar.
* Çözüm: Saga Pattern (Orkestrasyon/Koreografya). 2PC yerine, “Adım 1: Para tutarını rezerve et -> Adım 2: Stok düş -> Adım 3: Sipariş oluştur” zinciri kurulur. Bir adım başarısız olursa Ters İşlem (Compensating Transaction) yapılır (Para iadesi, stok iadesi). Bu Eventual Consistency (Nihai Tutarlılık) verir, kilitlenmez, çok daha hızlıdır. Modern mikroservis mimarilerinin çoğu 2PC’den kaçıp Saga’ya geçmiştir.
Bölüm 7: Gelecek Perspektifi ve Yeni Gelişmeler
Dünya “Kesin Tutarlılık” (Strong Consistency) maliyetinin ne kadar ağır olduğunu anladı. Gelecek, Hibrit Yaklaşımlar‘ın ve Yeni Nesil Veritabanları‘nın peşindedir.
1. NewSQL ve Dağıtık SQL (Google Spanner, CockroachDB, TiDB, YugabyteDB):
Bu veritabanları 2PC’yi sizden gizler. Alt yapıda Paxos/Raft kullanırlar. Veriyi otomatik parçalarlar (Sharding), replikasyon yaparlar, lider seçimi yaparlar. Siz sadece “BEGIN TRANSACTION” dersiniz; o arka planda küresel saatler (TrueTime) ile senkronize ederek, kilitlenmeden, yüksek performansla dağıtık işlemi bitirirler. “Sharding’i unut, SQL yaz” diyorlar.
2. Sunucusuz (Serverless) Veritabanları (Aurora Serverless v2, PlanetScale, Neon):
Bağlantı havuzu ve sharding yönetimi tamamen soyutlanıyor. Trafik arttığında otomatik shard bölme (Resharding) veya read replica açma yapıyorlar. 2PC riski, sağlayıcının sorunu haline geliyor.
3. CDC (Change Data Capture) ve Event Sourcing:
İşlemleri “Commit” ettikten sonra, değişiklikleri bir olay akışı (Kafka, Redpanda) olarak yayınlamak. Diğer servisler bu olayları dinleyerek kendi verilerini güncelliyor. Bu, 2PC’nin “kilitli bekleme” kabusundan kurtarıp, Loosely Coupled (Geçikmeli Bağlantı) mimariye taşıyor.
4. CRDT’ler (Conflict-free Replicated Data Types):
Çakışma serbest veri tipleri. “Son yazan kazanır” veya “Matematiksel birleşim” kurallarıyla, koordinasyon sıfır dağıtık sayaçlar, sepetler, oy sistemleri yazılabiliyor. Bu, “Tutarlılık” tanımını yeniden yazıyor.
Bölüm 8: Merak Edilen Sorular ve Cevaplar (SSS)
Soru 1: Peki, 2PC tamamen kötü mü? Hiç kullanmamalı mıyız?
Cevap: Hayır, “kötü” değil, “pahalı” ve “riskli” bir araçtır. Eğer para transferi, stok rezervasyonu, fatura kesme gibi “asla hata olmamalı, tutarlılık hayatî” işlemler yapıyorsanız ve shard sayınız azsa (2-5 arası), 2PC hala en basit ve doğru çözümdür. Ama “begeni sayma, log yazma, bildirim gönderme” gibi işlerde 2PC kullanmak killiği makasla kesmektir.
Soru 2: Sharding (Parçalama) yapmadan 2PC yapabilir miyim?
Cevap: Evet, buna Dağıtık İşlem (Distributed Transaction) denir. Örneğin; bir Oracle veritabanı ve bir MongoDB veritabanı arasında işlem yapıyorsanız (Heterojen sistemler), 2PC (XA Standardı) köprü kurar. Sharding, veriyi aynı tipte veritabanlarına bölmektir; 2PC ise farklı sistemleri birleştirmektir. İkisi sık sık bir arada geçer ama zorunlu değildir.
Soru 3: “Saga Pattern” 2PC’den nasıl farklı, hangisi daha kolay?
Cevap: 2PC “Senkron, Kilitli, Anında Tutarlı”: Herkes kilitlenip bekler, ya hep ya hiç. Saga “Asenkron, Kilitsiz, Nihai Tutarlı”: Adım adım gider, hata olursa geri sarar (Compensate). Saga kodlaması zordır (her adım için ters işlem yazmak lazım), ama sistem asla donmaz, ölçeklenir. Modern mikroservislerde Saga standarttır.
Soru 4: Shard Key (Parçalama Anahtarı) nasıl seçilmeli? Yanlış seçersem ne olur?
Cevap: Shard Key, verinin “nasıl dağıtılacağını” belirler. User_ID seçerseniz: Kullanıcı verisi tek shardda, sorgular hızlıdır ama “En çok satan ürünler” sorgusu tüm shardları tarar (Scatter-Gather). Product_ID seçerseniz: Stok sorguları hızlı, kullanıcı sepeti dağıılır. Yanlış seçim: “Hotspot” oluşur; tek bir shard yanar (CPU %100), diğerler boş durur. Yeniden dağıtım (Resharding) aylerce sürebilir.
Soru 5: 2PC’de “Heuristic Decision” (Sezgisel Karar) ne demek, neden tehlikelidir?
Cevap: Koordinator “Commit” dedi ama bir katılımcı cevap vermedi. Yönetici (veya otomatik sistem) “Sanırım commit olmuş, ben kilidi açayım” diyerek kendi başına karar verirse buna Heuristic Commit/Rollback denir. Eğer aslında diğer taraf “Rollback” yapmışsa -> Veri Kaybı/Tutarsızlığı oluşur. Bu, 2PC’nin en korkunç senaryosudur; loglar incelenmeden asla manuel müdahale edilmemelidir.
Soru 6: Kubernetes’te StatefulSet ile veritabanı sharding yaparken 2PC nasıl etkilenir?
Cevap: K8s, pod’ların IP’lerinin değişmesi, pod’ların ölüp yeniden doğması (Rescheduling) gibi dinamiklikler getirir. 2PC için Sabit Ağ Kimliği (Stable Network ID) ve Kalıcı Depolama (Persistent Volume) şarttır. Koordinator pod’u ölürse, StatefulSet’in ordinal indexi ve PersistentVolumeClaim sayesinde aynı IP/veriyle ayağa kalkmalıdır. Aksi takdirde “Kaybolan Koordinator” kabusu yaşanır. Operator’lar (Vitess, TiDB Operator) bu karmaşayı sizin yerinize yönetir.
Bölüm 9: Bilmeniz Gereken Temel Terimler
Shard (Parça / Dilim): Devasa veritabanının, bir anahtara (User ID, Region vb.) göre bölünerek elde edilen, bağımsız çalışan küçük veritabanı parçaları. Halk dili: “Büyük pastayı paylaştırmak.”
Shard Key (Parçalama Anahtarı): Verinin hangi shard’a gideceğini belirleyen sihirli sütun/değer. Seçimi mimarinin kaderini belirler. Halk dili: “Posta koduna göre dağıtım yapmak.”
Koordinator (Koordinatör / İşlem Yöneticisi): 2PC’de “Hazır mısınız?”, “Yazın” diyen, tüm parçaları yöneten merkezi otorite. Tek hata noktası (SPOF) olma riski taşır. Halk dili: “Düğün memuru / Orkestra şefi.”
Katılımcı (Participant / Kaynak Yöneticisi): 2PC’de koordinatorun sorularına cevap veren, kendi verisini kilitleyen, yazan her bir shard (veritabanı örneği). Halk dili: “Niğdeleyenler / İmza atanlar.”
Prepare Aşaması (Hazırlık Aşaması): 2PC’nin ilk turu. Kimse veri yazmaz, herkes kilitler (lock), loglara “Hazırım” yazar, cevap bekler. Halk dili: “Nişan aşaması, herkes ‘Evet’ diyor ama henüz evlilik cüzdanı yok.”
Commit Aşaması (Taahhüt Aşaması): 2PC’nin ikinci turu. Koordinator “Commit” der, herkes loglara “Bitti” yazar, kilitleri açar. Geri dönüş yoktur. Halk dili: “Resmi nikah, cüzdan imzalandı, artık boşanmazsınız.”
Rollback / Abort (Geri Alma / İptal): Herhangi bir sorun olursa (timeout, hata, “Hayır” oyu), koordinator “İptal” der. Herkes yaptıklarını siler, kilitleri açar. Halk dili: “Düğün iptal, herkes evine, sanki hiç olmamış gibi.”
Blocking (Kilitlenme / Donma): Koordinator çökerse, “Hazırım” diyen katılımcıların kilitleri sonsuza dek kalması, yeni işlem alamaması durumu. 2PC’nin en büyük achilles topudur. Halk dili: “Düğün memuru bayıldı, gelin damat kilitli kaldı, kimse ayrılamıyor.”
Saga Pattern (Saga Deseni): 2PC alternatifi. Uzun süreli işlemleri, her birinin ters işlemi (Compensation) olan küçük yerel işlemler zincirine böler. Kilitlenmez, nihai tutarlılık sağlar. Halk dili: “Adım adım git, yol yanlışsa geri sar.”
Resharding (Yeniden Parçalama): Shard sayısını artırma/azaltma veya Shard Key’i değiştirme işlemi. Veri taşınırken sistem ayakta kalmalıdır. En riskli, en zor, en uzun süren operasyondur. Halk dili: “Uçan uçağın motorunu değiştirmek.”
Eventual Consistency (Nihai Tutarlılık): “Şimdi tutarsız olabiliriz, ama biraz beklerseniz herkes aynı veriyi görür” vaadi. 2PC’nin (Strong Consistency) tam zıddı. Modern dağıtık sistemlerin (DNS, DynamoDB, Cassandra) çoğu bunu kullanır. Halk dili: “Akşam olunca herkes haberdar olur.”
Bölüm 10: Ozet ve Cikarilmasi Gereken Dersler
Veri tabanı parçalama (Sharding), büyümenin getirdiği zorunlu bir geçiştir; tek bir makinenin gücü yetmezse yolu budur. Ancak bu yolda İki Fazlı Taahhüt (2PC), “güvenlik kemeri” gibi korurken, “trafik ışığı” gibi de yavaşlatır.
Aklınızda Kalsın Altın Kurallar:
- 2PC Bir “Çekirdek” İşlem İçindir: Para, stok, kimlik gibi “asla hata olmaz” alanlarda kullanın. Her işlem için 2PC kurmayın; sisteminiz donar.
- Koordinatorunuz Ölmez: Koordinatorun loglarını (WAL) diske, hatta yedek bir bölgeye yazdırın. O çökerse sisteminiz donmaz.
- **Kilit Sü