Mac üzerinde AI modellerini yerel olarak çalıştırmak için en iyi araçlardan biri daha da geliştirilmiş durumda. İşte nedenleri ve nasıl çalıştırılacağı.

Ollama ile yerel AI modelleri artık Apple silikon Mac'lerde daha hızlı çalışıyor

Ollama ile henüz tanışmadıysanız, bu, kullanıcıların bilgisayarlarında AI modellerini yerel olarak çalıştırmalarına olanak tanıyan bir Mac, Linux ve Windows uygulamasıdır.

ChatGPT gibi bulut tabanlı uygulamaların aksine, bu modeller yerel olarak çalışmaz ve internet bağlantısı gerektirir, Ollama kullanıcıların modelleri doğrudan makinelerinde yükleyip çalıştırmalarına olanak tanır.

Bu modeller, Hugging Face gibi açık kaynak topluluklarından veya doğrudan model sağlayıcısından indirilebilir.

Ancak, LLM'leri yerel olarak çalıştırmak oldukça zorlayıcı olabilir, çünkü küçük ve hafif LLM'ler bile önemli miktarda RAM ve GPU belleği tüketme eğilimindedir.

Bu durumu aşmak için, Ollama, uygulamasının önizleme sürümünü (Ollama 0.19) yayınladı ve bu sürüm “artık Apple’ın makine öğrenimi çerçevesi MLX üzerine inşa edilmiştir, böylece birleşik bellek mimarisinden yararlanarak” yerel AI modellerinin Apple silikon Mac'lerde daha hızlı çalışmasını sağlıyor.

İşte Ollama:

Bu, Ollama'nın tüm Apple Silicon cihazlarında büyük bir hız artışı sağlamasına neden oluyor. Apple’ın M5, M5 Pro ve M5 Max yongalarında, Ollama yeni GPU Sinir Hızlandırıcılarından yararlanarak ilk token'a kadar geçen süreyi (TTFT) ve token başına üretim hızını (token/saniye) hızlandırıyor.

Bu güncelleme ile Ollama, OpenClaw gibi kişisel asistanları ve “Claude Code, OpenCode veya Codex gibi kodlama ajanlarını” çalıştırmanın artık daha hızlı olduğunu belirtiyor.

Ancak, Ollama kullanıcıların “lütfen 32GB'dan fazla birleşik belleğe sahip bir Mac'e sahip olduğundan emin olun” önerisinde bulunuyor, bu da yerel olarak LLM'leri çalıştırmak isteyen birçok kullanıcı için geçerli olmayabilir.

Yine de, Ollama hakkında daha fazla bilgi edinmek için bu bağlantıyı takip edebilirsiniz. Eğer Apple’ın MLX projesi hakkında daha fazla bilgi edinmek isterseniz, tüm detayları buradan bulabilirsiniz.

Amazon'da göz atmaya değer ürünler

  • David Pogue – ’Apple: The First 50 Years’
  • MacBook Neo
  • Logitech MX Master 4
  • AirPods Pro 3
  • AirTag (2. Nesil) – 4 Paket
  • Apple Watch Series 11
  • Kablosuz CarPlay adaptörü