Meta si aspetta modelli di raccomandazione "ordini di grandezza" più grandi di GPT-4. Perché?

Meta ha fatto un'affermazione notevole in un annuncio pubblicato oggi inteso a fornire maggiore chiarezza sui suoi algoritmi di raccomandazione dei contenuti.
Si sta preparando per sistemi di analisi del comportamento "ordini di grandezza" più grandi dei più grandi modelli linguistici disponibili, inclusi ChatGPT e GPT-4.
È davvero necessario? Di tanto in tanto Meta decide di rinnovare il suo impegno per la trasparenza spiegando come funzionano alcuni dei suoi algoritmi.
A volte questo è rivelatore o informativo, ea volte porta solo a più domande.
Questa occasione è un po' di entrambi.
Oltre alle "schede di sistema" che spiegano come l'IA viene utilizzata in un determinato contesto o app, il social e la rete pubblicitaria hanno pubblicato una panoramica dei modelli di intelligenza artificiale che utilizza.
Ad esempio, potrebbe essere utile sapere se un video rappresenta l'hockey su pista o il roller derby, anche se c'è qualche sovrapposizione visiva, quindi può essere consigliato correttamente.
In effetti Meta è stata tra le organizzazioni di ricerca più prolifiche nel campo dell'IA multimodale, che combina dati provenienti da più modalità (visiva e uditiva, ad esempio) per comprendere meglio un contenuto.
Pochi di questi modelli vengono rilasciati pubblicamente, anche se spesso sentiamo parlare di come vengono utilizzati internamente per migliorare cose come la "rilevanza", che è un eufemismo per il targeting.
(Consentono ad alcuni ricercatori di accedervi.) Poi arriva questo piccolo bocconcino interessante in quanto descrive come sta costruendo le sue risorse di calcolo: per comprendere a fondo e modellare le preferenze delle persone, i nostri modelli di raccomandazione possono avere decine di trilioni di parametri – ordini di grandezza superiori anche ai più grandi modelli linguistici usati oggi.
Ho premuto Meta per essere un po' più specifico su questi modelli teorici da decine di trilioni, ed è proprio quello che sono: teorici.
In una dichiarazione chiarificatrice, la società ha dichiarato: "Riteniamo che i nostri modelli di raccomandazione abbiano il potenziale per raggiungere decine di trilioni di parametri".
Questa frase è un po' come dire che i tuoi hamburger "possono" avere polpette da 16 once ma poi ammettere che sono ancora allo stadio di un quarto di libbra.
Tuttavia, la società afferma chiaramente che mira a "garantire che questi modelli molto grandi possano essere addestrati e implementati in modo efficiente su larga scala".
Un'azienda costruirà un'infrastruttura costosa per il software che non intende creare o utilizzare? Sembra improbabile, ma Meta ha rifiutato di confermare (anche se non ha negato) che stanno attivamente perseguendo modelli di queste dimensioni.
Le implicazioni sono chiare, quindi mentre non possiamo trattare questo modello in scala di decine di trilioni come esistente, possiamo trattarlo come genuinamente ambizioso e probabile nelle opere.
"Comprendere e modellare le preferenze delle persone", tra l'altro, deve essere inteso come analisi del comportamento degli utenti.
Le tue preferenze effettive potrebbero probabilmente essere rappresentate da un elenco di testo in chiaro lungo un centinaio di parole.
Può essere difficile capire, a livello fondamentale, perché avresti bisogno di un modello così ampio e complesso per gestire i consigli anche per un paio di miliardi di utenti.
La verità è che lo spazio del problema è davvero enorme: ci sono miliardi e miliardi di contenuti tutti con relativi metadati, e senza dubbio tutti i tipi di vettori complessi che mostrano che le persone che seguono Patagonia tendono anche a donare alla World Wildlife Federation, acquistano sempre più costose mangiatoie per uccelli e così via.
Quindi forse non è così sorprendente che un modello addestrato su tutti questi dati sia piuttosto grande.
Ma "ordini di grandezza più grandi" persino del più grande là fuori, qualcosa di addestrato praticamente su ogni lavoro scritto accessibile? Non esiste un conteggio dei parametri affidabile su GPT-4 e anche i leader nel mondo dell'IA hanno scoperto che si tratta di una misura riduttiva delle prestazioni, ma ChatGPT è di circa 175 miliardi e si ritiene che GPT-4 sia superiore a quello ma inferiore rispetto ai selvaggi 100 trilioni di richieste.
Anche se Meta sta esagerando un po', è comunque spaventoso.
Pensaci: un modello di intelligenza artificiale grande o più grande di qualsiasi altro mai creato…
ciò che va da una parte è ogni singola azione che intraprendi sulle piattaforme di Meta, ciò che viene fuori dall'altra è una previsione di ciò che farai o ti piacerà dopo.
Un po' inquietante, non è vero? Ovviamente non sono gli unici a farlo.
Tiktok ha guidato la carica nel monitoraggio algoritmico e nella raccomandazione e ha costruito il suo impero sui social media sul suo feed avvincente di contenuti "rilevanti" destinati a farti scorrere finché non ti fanno male gli occhi.
I suoi concorrenti sono apertamente invidiosi.
Meta mira chiaramente ad accecare gli inserzionisti con la scienza, sia con l'ambizione dichiarata di creare il modello più grande sul blocco, sia con passaggi come i seguenti: questi sistemi comprendono le preferenze di comportamento delle persone utilizzando modelli di attenzione su larga scala, reti neurali grafiche, poche -apprendimento del tiro e altre tecniche.
Le recenti innovazioni chiave includono una nuova architettura di recupero neurale profondo gerarchico, che ci ha permesso di superare in modo significativo varie linee di base all'avanguardia senza regredire la latenza di inferenza; e una nuova architettura d'insieme che sfrutta moduli di interazione eterogenei per modellare meglio i fattori rilevanti per gli interessi delle persone.
Il paragrafo precedente non ha lo scopo di impressionare i ricercatori (sanno tutte queste cose) o gli utenti (non capiscono o non si preoccupano).
Ma mettiti nei panni di un inserzionista che sta iniziando a chiedersi se i suoi soldi siano ben spesi per gli annunci di Instagram invece che per altre opzioni.
Questo discorso tecnico ha lo scopo di stupirli, per convincerli che non solo Meta è un leader nella ricerca sull'IA, ma che l'IA eccelle davvero nel "comprendere" gli interessi e le preferenze delle persone.
Nel caso in cui ne dubiti: "più del 20 percento dei contenuti nei feed di Facebook e Instagram di una persona è ora raccomandato dall'intelligenza artificiale da persone, gruppi o account che non seguono".
Proprio quello che abbiamo chiesto! Quindi questo è quello.
L'intelligenza artificiale funziona alla grande.
Ma tutto questo è anche un richiamo all'apparato nascosto al centro di Meta, Google e altre aziende il cui principio motivante primario è quello di vendere annunci con un targeting sempre più granulare e preciso.
Il valore e la legittimità di tale targeting devono essere ribaditi costantemente anche se gli utenti si ribellano e la pubblicità si moltiplica e si insinua piuttosto che migliorare.
Mai una volta Meta ha fatto qualcosa di sensato come presentarmi un elenco di 10 marchi o hobby e chiedermi quale mi piace.
Preferiscono guardarmi alle spalle mentre sfoglio il web alla ricerca di un nuovo impermeabile e si comportano come se fosse un'impresa di intelligenza artificiale avanzata quando mi pubblicano annunci di impermeabili il giorno successivo.
Non è del tutto chiaro che quest'ultimo approccio sia superiore al primo o, in tal caso, quanto superiore? L'intero Web è stato costruito attorno a una convinzione collettiva nel targeting degli annunci di precisione e ora viene implementata la tecnologia più recente per sostenerlo per una nuova ondata di spese di marketing più scettica.
Ovviamente hai bisogno di un modello con dieci trilioni di parametri per dirti cosa piace alla gente.
In quale altro modo potresti giustificare il miliardo di dollari che hai speso per addestrarlo! Meta si aspetta modelli di raccomandazione "ordini di grandezza" più grandi di GPT-4.
Perché? di Devin Coldewey originariamente pubblicato su TechCrunch