
8GB GPU’mda çalışan 27B model: Artık ChatGPT için ödediğim ücreti kendim karşılıyorum
ChatGPT'nin aylık 20 dolarlık aboneliği artık sadece sohbet kutusundan çok daha fazlasını kapsıyor. Bu hizmet, tekrarlanan görevler için kaydedilmiş…
ChatGPT’nin aylık 20 dolarlık aboneliği artık sadece sohbet kutusundan çok daha fazlasını kapsıyor. Bu hizmet, tekrarlanan görevler için kaydedilmiş ayarlarınızı, modelin mantık yürütme çabasını ayarlama imkânını, dosyalarınızı sentezleme amacıyla yüklemeyi ve tabii ki daha gelişmiş modellere erişimi de içeriyor.
Buna karşılık, yerel modeller genellikle yalnızca sohbet kutusunun özel versiyonu olarak satılırken geri kalan özellikler dışarıda bırakılıyor. 8GB’lık bir ekran kartı da bu durumu değiştirebilecek donanım gibi görünmüyor. Bu tür kartlara sığabilen modeller genellikle küçük ve ChatGPT’nin yapabildiği gibi bütün bir iş akışının yerini alamayacak kadar sınırlı yetenekli oluyor. Ancak ben buna yakın bir çözüm bulmuş olabilirim.

8GB’lık kartta çalışan 27B model
İyi çalışmak için 27B’lik bir bütçeye gerek yok
Caltech araştırmacıları tarafından kurulan bir startup olan PrismML, Temmuz ayında Bonsai 27B’yi piyasaya sürdü. Bu model, Alibaba’nın açık kaynaklı modellerinden biri olan Qwen 3.6 27B’nin sıkıştırılmış versiyonu. Kullandığım 1-bitli yapı, modelin her bir ağırlığını —yani onu oluşturan sayıları— 16 bit yerine yaklaşık 1,125 bitte saklıyor. Bu da onu tam versiyondan yaklaşık 14 kat daha küçük yapıyor ve benim küçük ekran kartımda çalıştırabilmemin tek nedeni de bu. PrismML, sıkıştırma işlemini model eğitilirken doğrudan entegre ediyor, sonrasında hazır bir dosyayı sıkıştırmak yerine. Bence bu yüzden denediğim diğer aşırı sıkıştırılmış modeller gibi davranmıyor. Tüm model GPU’ma rahatlıkla sığıyor, hatta biraz boş alan bile kalıyor; bu sayede bağlam penceresini 30-40 bin token’a kadar genişletebiliyorum.

Özel GPT’leri önceden ayarlanmış profillerle değiştirmek
ChatGPT’nin kaydedilmiş ayarları, ama yerel versiyonu
Özel GPT’ler, ChatGPT’nin kaydedilmiş ayar versiyonudur; belirli bir görev tekrar tekrar ortaya çıktığında kullanabileceğiniz talimatları ve referans dosyalarını içerir. OpenAI bunları 11 Aralık’ta hizmetten kaldıracak ve Plus kullanıcıları zaten yeni GPT oluşturamıyor. Dolayısıyla bu planda geriye kalan en yakın alternatif Projeler oluyor.
Bunun için yerel bir çözüm yolu var ve en azından ilk kurulumda bu çözüm, modelin kendisinden çok Bonsai’yi çalıştırdığınız ortam veya çalışma alanıyla ilgili. LM Studio bunlara “önceden ayarlanmış profiller” (preset) diyor ve her biri, modelin her sohbetten önce okuduğu sistemsel talimatları ve örneklem ayarlarını saklıyor. Bunlar aslında ChatGPT’nin size hiç dokunma izni vermediği kısımlar. “Sıcaklık” (temperature), her kelime seçiminin ne kadar yaratıcı olacağını belirler. “Min P” ise modelin en olası seçeneğinden çok daha düşük olasılıklı kelimeleri eleyerek daha sıcak bir profilin tutarlı kalmasına yardımcı olur; OpenAI ise bunu API kullanan geliştiricilere bile sunmuyor.
Benim beyin fırtınası profilim, Min P 0,05 seviyesindeyken sıcak bir ayarla çalışıyor. Buna karşılık, katı kurallara dayalı profillerim çok daha soğuk bir sıcaklık kullanıyor ve Bonsai’nin talimatları en yakından bu durumlarda takip ettiği görülüyor. Min P kapalı ve sıcak bir profil ise kuralların birkaç yanıt sonra kaymaya başlamasına neden oluyor. Profiller, bir GPT gibi referans dosyalarını barındırmıyor, bu yüzden belgelerin her seans için ayrı olarak eklenmesi gerekiyor. Bu küçük bir ek iş yükü, ama yerel yapay zekâ ile çalışırken her şey öyle.
Düşünme modu vs. ChatGPT’nin çaba kaydırıcısı
Her sorunun önce düşünmesini gerektirmediği
ChatGPT Plus, sohbet kutusunda “Anlık”, “Orta” ve “Yüksek” seçenekleri sunan bir Düşünme kaydırıcısına sahip. Bu ayar, modelin bir soruya yanıt vermeden önce ne kadar süre üzerinde çalışacağını belirliyor. Bonsai varsayılan olarak düşünme modunda çalışıyor, ancak bu her görev için iyi bir şey değil. Bu yüzden çoğu görevde bu özelliği kapatıyorum. Düşünme modu 30 bin token’lık bağlam penceremden yer kaplıyor ve her yanıtı yavaşlatıyor; ChatGPT ise bunu OpenAI’nin sunucularında hallettiği için daha önce hiç düşünmem gerekmiyordu.
Çok adımlı problemlerde ise bu özelliği genellikle açıyorum. Örneğin, promosyon fiyatı bittikten sonra 24 aylık iki telefon sözleşmesini karşılaştırmak gibi. PrismML, tüm kıyaslamalarını düşünme modu açıkken yapmış, bu yüzden reklamda gösterdiği kalite bu modun açık olduğunu varsayıyor. Kapalıyken ne kadar performans kaybettiğini söyleyemem, ama matematiğin ilk etkilenen alan olduğu görülüyor.
Düşünme modu açıkken Bonsai, doğru bir cevabı olan ancak ulaşmak için birkaç adım gerektiren matematik veya kural setleri gibi görevlerde en iyi performansını sergiliyor. ChatGPT’nin “Yüksek” ayarı muhtemelen zor bir problemde hâlâ daha iyi sonuç verecektir. Ancak Bonsai’nin kazandığı nokta, mantık yürütme sürecinin tamamının çalıştırdığınız ortamda okunabilir olması. Oysa OpenAI, Plus kullanıcılarının ne kadar Düşünme mesajı aldıktan sonra başka bir modele geçtiğini de yayınlamıyor.
Bonsai’ye belgelerimi ve ekran görüntülerimi vermek
ChatGPT’ye bir dosya göndermek son derece kolay ve Plus planı her üç saatte bir 80 dosya yüklemeye izin veriyor. LM Studio ise doğrudan sohbete sürüklenen .docx, .pdf ve .txt dosyalarını kabul ediyor. Bağlam penceresine sığan bir dosya tamamen yüklenirken, daha uzun olanların yalnızca ilgili kısımları modele iletiliyor. 30 bin token’lık bağlamda uzun dosyalarımın çoğu zaten bu şekilde işleniyor.
Bonsai’nin güçlü olduğu alan belgeler. Üzerine inşa edildiği Qwen3.6 modeli uzun metinli dosyalar için tasarlanmış ve her dördüncü katmanı, belirli detayları yakalamak için standart dikkat mekanizmasını kullanıyor. Bu sayede bir kira sözleşmesinin ortasına gömülmüş tarihler veya banka mektuplarındaki rakamlar kaybolmuyor. Bir kira sözleşmesindeki madde veya bankamdan gelen bir mektup bana basit bir dille açıklanabiliyor ve hangi bölümün ne dediğini 9B’lik modellerimden çok daha iyi takip ediyor.
Görseller konusunda Bonsai biraz daha zayıf. Modelin görsel tanıma kısmı, onunla birlikte yüklenen ayrı bir 4-bit bileşen, bu yüzden o da yoğun bir şekilde sıkıştırılmış. Bir ekran görüntüsündeki metni iyi okuyor, yani performansının kötü olduğu söylenemez, ancak küçük detaylarda biraz belirsizleşebiliyor.
Özel GPT’lerin ömrüne bir aydan az kaldı, bu yüzden PC’mdeki önceden ayarlanmış profiller onlardan daha uzun süre kullanılabilir olacak. Tüm bunların yıllar önce oyun oynamak için aldığım bir ekran kartında çalıştığını düşününce bu durum biraz tuhaf. ChatGPT’yi terk ettiğim anlamına gelmiyor, ancak Bonsai’nin temel işlevlerinin çoğunu yerine getirebilmesiyle artık onun için para ödemenin bir anlamı kalmadığını düşünüyorum.