IA open source: Snowflake Artic batte il modello Meta Llama 3

Snowflake introduce il modello di intelligenza artificiale open source Arctic

Snowflake, noto fornitore di cloud di data warehousing, ha lanciato il modello di intelligenza artificiale open source denominato Arctic.
Secondo l’azienda, Arctic si dimostra più efficiente di Llama 3 di Meta nelle attività aziendali, come la codifica SQL per il recupero di database.
Basato su un modello di linguaggio di grandi dimensioni (LLM), Arctic si posiziona “alla pari o addirittura meglio di Llama 3 8B e Llama 2 70B sui parametri aziendali, consumando meno risorse di calcolo per la formazione”, come dichiarato su GitHub da Snowflake.

La tecnologia di Arctic e il confronto con altri modelli

Snowflake ha reso pubblici tutti i parametri e il codice modello di Arctic sotto licenza Apache 2.0, fornendo anche la “ricetta dei dati” per la formazione e una serie di spunti di ricerca.
Il modello è disponibile su repository Hugging Face e come servizio di inferenza su Snowflake Cortex, nonché su piattaforme come Amazon AWS.
Arctic si distingue per la sua capacità di confrontarsi con modelli come Llama 3 e DBRX in attività aziendali e nei comuni benchmark di machine learning.

Snowflake ha adottato un approccio simile ad altri attori del settore, combinando un modello trasformatore denso con una “miscela di esperti” (MoE) per ottimizzare l’elaborazione e la memoria.
Arctic viene descritto come un “Dense-MoE Hybrid Transformer”, che combina diversi componenti per un totale di 480B di parametri attivi.

L’azienda ha reso disponibili dettagli tecnici su GitHub e ha pubblicato articoli sul blog per approfondire l’architettura e il processo di formazione di Arctic.
Con una versione “base” e una “instruct” progettata per seguire istruzioni e conversazioni orientate ai compiti, Arctic si inserisce in una strategia più ampia di Snowflake per modelli di incorporamento del testo ad alte prestazioni e per la ricerca nel campo dell’intelligenza artificiale.