LlamaIndex aggiunge dati privati a modelli linguistici di grandi dimensioni

Lo scorso autunno, dopo aver giocato con il modello di intelligenza artificiale per la generazione di testo GPT-3 di OpenAI, il predecessore di GPT-4, l'ex ricercatore di Uber Jerry Liu ha scoperto quelle che descrive come "limitazioni" alla capacità del modello di lavorare con dati privati (ad es.
file personali).
Per risolvere questo problema, ha lanciato un progetto open source, LlamaIndex, progettato per sbloccare le capacità e i casi d'uso di modelli linguistici di grandi dimensioni (LLM) come GPT-3 e GPT-4.
"Gli LLM offrono incredibili capacità per l'estrazione e il ragionamento della conoscenza: possono eseguire risposte a domande, riepilogo ed estrazione di informazioni e persino processi decisionali sequenziali con un ambiente esterno", ha dichiarato Liu a TechCrunch in un'intervista via e-mail.
"Ma gli LLM hanno dei limiti." Man mano che il progetto cresceva in popolarità (fino a 200.000 download mensili), Liu ha unito le forze con Simon Suo, uno dei suoi vecchi colleghi di Uber, per trasformare LlamaIndex in un'azienda a tutti gli effetti.
Oggi, LlamaIndex (l'azienda) offre un framework per aiutare gli sviluppatori a sfruttare le capacità degli LLM oltre ai propri dati personali o organizzativi.
"LlamaIndex [aiuta] gli sviluppatori a gestire i propri dati per le applicazioni LLM", ha affermato Liu.
"Il nostro toolkit contiene la massima profondità in questo aspetto e semplifichiamo l'integrazione con altri strumenti utilizzati dallo sviluppatore." Crediti immagine: LlamaIndex Il framework LlamaIndex consente agli sviluppatori di collegare dati da file come PDF, PowerPoint, app come Notion e Slack e database come Postgres e MongoDB a LLM.
Il framework include connettori per importare fonti di dati e formati di dati, nonché modi per strutturare i dati in modo che possano essere facilmente utilizzati con LLM.
Inoltre, LlamaIndex presenta un'interfaccia di recupero dati e query che consente agli sviluppatori di inserire qualsiasi prompt di input LLM per ottenere, come lo descrive Liu, un output "contesto e conoscenza aumentata".
"Esistono altri framework di applicazioni LLM là fuori che offrono elementi costitutivi di base per applicazioni e agenti LLM", ha affermato Liu.
"Ciò che è specifico di LlamaIndex è che ci concentriamo sulla connessione delle tue fonti di dati con gli LLM e disponiamo di strumenti estesi per l'inserimento dei dati, la gestione e l'indicizzazione dei dati e il recupero dei dati rispetto alle applicazioni LLM." La prospettiva di aumentare gli LLM in questo modo ha corteggiato gli investitori, che hanno promesso 8,5 milioni di dollari a LlamaIndex in un round di seed funding recentemente chiuso.
Greylock ha guidato con la partecipazione di angel investor, tra cui Jack Altman, Lenny Rachitsky e Charles Xie.
Allora, per cosa spenderà i soldi LlamaIndex? Liu afferma che verrà utilizzato per creare una "soluzione aziendale" in cima al progetto open source LlamaIndex, che verrà lanciato entro la fine dell'anno.
Una funzionalità consentirà ai clienti di utilizzare connettori di dati "di livello di protezione" per analizzare e trasportare grandi volumi di dati, mentre un'altra funzionalità correlata consentirà loro di indicizzare i dati "specifici del dominio".
"LlamaIndex non è legato a uno specifico pezzo di tecnologia, quindi possiamo continuare a essere utilizzati con LLM man mano che la tecnologia si evolve", ha affermato Liu.
"Il settore dell'intelligenza artificiale si sta muovendo così rapidamente che eventuali stack iniziali che stanno emergendo probabilmente cambieranno nel corso dei prossimi mesi".
LlamaIndex aggiunge dati privati a modelli linguistici di grandi dimensioni di Kyle Wiggers originariamente pubblicati su TechCrunch