NVIDIA ve OpenAI’dan gelen son güncellemelerle birlikte, güçlü yapay zeka modellerini tamamen kendi bilgisayarınızda çalıştırmak mümkün hale geldi—bulut hesabı yok, aylık ücret yok. Tek ihtiyacınız olan şey, en az 16 GB VRAM’e sahip bir GeForce RTX ekran kartı. Bu gelişme, ister çevrimdışı belge analizi yapın, ister kod üretin ya da özel yapay zeka ajanları geliştirin, masaüstünüzde üst düzey yapay zeka kullanımının önünü açıyor.
Çoğu kullanıcı için en ideal model, 20 milyar parametreli gpt-oss-20b. Bu model, 16 GB grafik belleğe sahip herhangi bir RTX kartta rahatlıkla çalışabiliyor—örneğin RTX 4080 ve üzeri. Testlerimize göre, RTX 5090 modeli saniyede yaklaşık 256 token işleyebiliyor; bu da sohbet botları ve küçük ölçekli veri işleme uygulamaları için oldukça yeterli. Daha fazla performansa ihtiyaç duyulursa, 120 milyar parametreli gpt-oss-120b modeli kullanılabilir; ancak bunun için 80 GB VRAM’e sahip veri merkezi düzeyinde donanım (örneğin NVIDIA Blackwell GB200 NVL72) gerekiyor. Bu üst düzey donanım saniyede 1.5 milyondan fazla token işleyebiliyor ve aynı anda onlarca kullanıcıya hizmet verebiliyor.
Kendi sisteminizi kurmak için üç temel seçenek mevcut:
Ollama: En kolay seçenek. Modeli seçin, sohbet penceresini açın ve kullanmaya başlayın. Ayrıca PDF veya uzun talimat dosyalarını da okuyabiliyor ve tutarlı sohbet deneyimi sunuyor.
Microsoft AI Foundry Local: Kodlama bilgisine sahip olanlar için ideal. ONNX Runtime üzerine kurulu bu yapı, CUDA ve TensorRT optimizasyonları ile maksimum GPU performansı sunuyor. Yapay zekayı daha büyük projelere entegre etmek isteyen geliştiriciler için sağlam bir seçenek.
llama.cpp (NVIDIA optimizasyonlu): Açık kaynak meraklılarına yönelik. Flash Attention, CUDA Graph ivmesi ve yeni MBFP4 sayısal formatı gibi gelişmiş tekniklerle yüksek performans sunuyor. Kurulumu biraz daha karmaşık olabilir ama performans açısından ciddi kazançlar sağlıyor.
Yapay zekayı yerel çalıştırmak yalnızca teknik bir başarı değil; aynı zamanda büyük pratik faydalar da sağlıyor. Abonelik ücretleri ve internet bağlantısına olan bağımlılık ortadan kalkıyor. En önemlisi de, verileriniz üçüncü taraf sunuculara gitmiyor. Bu, özellikle finans, sağlık veya kamu gibi gizliliğin ön planda olduğu sektörler için büyük bir avantaj. Ayrıca modeli tamamen kontrol edebildiğiniz için, kendi kullanımınıza uygun şekilde özelleştirme ve yerel sistemlere entegre etme imkanınız da oluyor.
Başlamak için yapmanız gerekenler:
- En az 16 GB VRAM’e sahip bir RTX serisi ekran kartınız olduğundan emin olun.
- Kullanmak istediğiniz aracı kurun: Kolaylık için Ollama, geliştirme için AI Foundry, açık kaynak performansı için llama.cpp.
- İstediğiniz modelin ağırlık dosyalarını (gpt-oss-20b ya da gpt-oss-120b) indirin ve çalıştırma ortamını yapılandırın.
- Belgeler yükleyin, istemler hazırlayın veya kendi otonom yardımcınızı yazmaya başlayın.
