Uno dei migliori strumenti per eseguire modelli AI localmente su Mac è ulteriormente migliorato. Ecco perché e come eseguirlo.

I modelli AI locali con Ollama ora funzionano più velocemente sui Mac con silicio Apple

Se non hai ancora incontrato Ollama, si tratta di un'applicazione per Mac, Linux e Windows che consente agli utenti di eseguire modelli AI localmente sui propri computer.

Contrariamente alle applicazioni basate su cloud come ChatGPT, questi modelli non funzionano localmente e richiedono una connessione internet; Ollama consente agli utenti di caricare ed eseguire i modelli direttamente sulle proprie macchine.

Questi modelli possono essere scaricati da comunità open source come Hugging Face o direttamente dal fornitore del modello.

Tuttavia, eseguire LLM localmente può essere piuttosto impegnativo, poiché anche i LLM più piccoli e leggeri tendono a consumare una quantità significativa di RAM e memoria GPU.

Per superare questa situazione, Ollama ha rilasciato la versione beta della sua applicazione (Ollama 0.19) e questa versione è "ora costruita sul framework di machine learning MLX di Apple, consentendo così di sfruttare l'architettura della memoria unificata" per garantire che i modelli AI locali funzionino più velocemente sui Mac con silicio Apple.

Ecco Ollama:

Questo porta a un notevole aumento della velocità su tutti i dispositivi Apple Silicon. Sui chip M5, M5 Pro e M5 Max di Apple, Ollama accelera il tempo fino al primo token (TTFT) e la velocità di produzione per token (token al secondo) sfruttando i nuovi Acceleratori di Rete GPU.

Con questo aggiornamento, Ollama afferma che è ora più veloce eseguire assistenti personali come OpenClaw e "agenti di codifica come Claude Code, OpenCode o Codex".

Tuttavia, Ollama consiglia agli utenti di "assicurarsi di avere un Mac con più di 32 GB di memoria unificata", il che potrebbe non essere praticabile per molti utenti che desiderano eseguire LLM localmente.

Tuttavia, puoi seguire questo link per saperne di più su Ollama. Se desideri ulteriori informazioni sul progetto MLX di Apple, puoi trovare tutti i dettagli qui.

Prodotti da considerare su Amazon

  • David Pogue – ’Apple: The First 50 Years’
  • MacBook Neo
  • Logitech MX Master 4
  • AirPods Pro 3
  • AirTag (2ª generazione) – 4 pacchetti
  • Apple Watch Series 11
  • Adattatore CarPlay wireless