Come Index Ventures è balzata in testa alla linea di GPU AI

All'inizio di questa settimana, il New York Times ha fatto luce su parte della disperazione che i fondatori stanno vivendo mentre cercano e falliscono di garantire la potenza di calcolo per le loro nascenti startup di intelligenza artificiale, grazie alle grandi aziende (e persino nazioni ricche) che corrono per strappare loro su.
Secondo quanto riferito, un fondatore ha detto delle unità di elaborazione grafica, o GPU, di cui ha bisogno per la sua azienda: "Penso a [loro] come un metallo di terre rare a questo punto".
Secondo quel pezzo del Times, i fondatori stanno provando numerose misure per accumulare chip, tra cui chiedere favori ad amici di grandi fornitori di apparecchiature che potrebbero avere GPU di riserva e navigare in un oscuro programma del governo degli Stati Uniti chiamato Access.
Almeno un'azienda, l'investitore globale Index Ventures, ha avuto un'altra idea, ha detto all'outlet.
Per garantire che le sue società in portafoglio non siano ostacolate dalla carenza, ha stretto un accordo con Oracle per fornire ai suoi fondatori alcuni di questi chip ricercati (in particolare i chip H100 di Nvidia e i chip A100 di Nvidia).
Per saperne di più sull'accordo – uno che altre società di venture capital stanno senza dubbio cercando di replicare – abbiamo parlato oggi con Erin Price-Wright, un partner di Index con sede nella Bay Area che si concentra su software aziendale e intelligenza artificiale e che, prima di entrare a far parte dell'impresa azienda nel 2019, è stato il capo del prodotto per la piattaforma di analisi dei dati e apprendimento automatico di Palantir.
Gli estratti dalla nostra chat sono stati leggermente modificati per lunghezza e chiarezza di seguito; puoi ascoltare la nostra conversazione più lunga qui.
TechCrunch: Parlaci di questa partnership con Oracle.
Erin Price-Wright: L'accesso al calcolo è una delle maggiori sfide che le aziende di intelligenza artificiale devono affrontare ed è particolarmente difficile per un'azienda in fase iniziale mettere le mani sulle GPU.
Riguarda meno il costo in particolare, ma il fatto che qualcosa come più del 95% della capacità della GPU è già allocato a grandi giocatori in questo spazio [perché] prendono questi impegni preliminari piuttosto grandi con i fornitori di cloud.
Quindi, se sei un'azienda in fase iniziale e stai solo cercando di iniziare la formazione o di mettere a punto il modello, di solito c'è un tempo di consegna molto lungo tra il momento in cui le GPU sono disponibili.
In alcuni casi possono essere da tre mesi a un anno ed è davvero difficile iniziare.
Se sei un'azienda in fase iniziale che sta ancora cercando di capire quale sia il tuo prodotto, non sai nemmeno di quante GPU hai bisogno.
Quindi anche quel processo di scoperta per capire come saranno i tuoi carichi di lavoro può essere estremamente impegnativo per le aziende in fase iniziale.
Quindi stiamo collaborando con Oracle per fornire GPU alle nostre società di portafoglio in fase iniziale, perché vogliamo aiutare a rimuovere quella barriera di accesso in modo che possano davvero concentrarsi su ciò che conta dal giorno zero.
In definitiva, l'obiettivo è aiutare tutte queste aziende a passare al proprio cluster.
Non ci occupiamo di fornire questi enormi cluster GPU alle nostre aziende.
.
.ma vogliamo davvero dare loro un vantaggio, in modo che possano iniziare a costruire più velocemente come un modo per livellare il campo di gioco.
Come è nato l'affare? Volevamo assicurarci che le persone che stanno costruendo contro problemi aziendali molto tangibili non si sentissero come se dovessero cambiare il loro modello di business o cambiare il modo in cui rappresentavano se stessi o cambiare il modo in cui raccoglievano fondi solo per avere accesso alle GPU .
Quindi è nato davvero dal vedere questo schema ancora e ancora con società in fase iniziale in cui ci siamo detti: "È qui che l'indice come fondo ha effettivamente una leva reale".
E possiamo usare la nostra posizione nel mercato, le nostre relazioni e il fatto che possiamo aggregare questa domanda tra più aziende per fornire davvero servizi a valore aggiunto '[ai nostri fondatori].
Index ha messo insieme un acconto o ha acquistato chip a titolo definitivo da Oracle? Stai dando a Oracle una partecipazione in queste startup? Non stiamo acquistando alcun chip a titolo definitivo.
Quindi la partnership con Oracle prevede che Index prenda il preimpegno per conto delle nostre startup e paghi il conto del cloud.
Oracle gestisce il cluster — è stato un partner fantastico — e quindi le nostre aziende ottengono l'accesso gratuito a quel cluster GPU.
Quindi stai pagando [questa bolletta del cloud] in anticipo.
Ne hai dovuto parlare con i tuoi stessi investitori? Non è tipico di ciò che [una società di venture capital] farebbe storicamente.
In termini di struttura effettiva di come funziona l'accordo, probabilmente eviterò di condividere troppi di questi dettagli.
È una relazione esclusiva? C'è qualcosa che impedisce ad altre società di venture capital di fare la stessa cosa? Sì, certo [potrebbero fare lo stesso], certamente non c'è [una relazione esclusiva con Index].
Un vantaggio che Oracle ne trae è quello di incontrare la prossima generazione di fantastiche aziende il prima possibile.
Nel processo di utilizzo del nostro cluster GPU, stiamo attivamente aiutando le nostre aziende a navigare nel processo di firma del proprio accordo cloud dedicato.
Quindi l'idea non è per loro di [fare] questo per sempre; spetta a loro sviluppare relazioni con Oracle e AWS e gli altri grandi fornitori di cloud e firmare il proprio contratto dedicato.
Una delle società del tuo portafoglio, Cohere, conta Oracle come uno dei suoi sostenitori insieme a Nvidia, che sono due delle società che desideri maggiormente coinvolgere con le società del tuo portafoglio in questo momento.
Uno dei modi in cui possiamo davvero aiutare le nostre società in portafoglio è assicurarci che siano in contatto con le persone giuste al momento giusto, in modo che ottengano le risorse di cui hanno bisogno.
L'indice ha almeno 20 società in portafoglio che rientrano nel bucket AI/ML, tra cui Cohere [che ha già raccolto $ 445 milioni] e un'altra società che ha recentemente raccolto un enorme seed round, Mistral AI in Francia.
Troppi soldi vengono investiti ampiamente nell'IA generativa o siamo ancora ai "primi inning", come amano dire i VC? Siamo ai primi inning.
Penso che stiamo rapidamente entrando in un periodo di raffreddamento in termini di sentimento, soprattutto per alcuni di questi round molto ampi e soprattutto per i tradizionali VC.
C'è ancora un grande divario tra la promessa e la potenza dei modelli di base della tecnologia e ciò che ci vorrà per essere effettivamente utilizzati e utili in molti casi d'uso nell'azienda.
Manca solo un'enorme lacuna infrastrutturale che deve essere colmata e non sarà colmata dall'oggi al domani; ci vorrà del tempo.
Nei prossimi 12 mesi, mentre sono ancora molto entusiasta della potenza della tecnologia di base e di quanto sarà trasformativa per il mondo, penso che assisteremo a un po' di arretramento man mano che le aziende lottano davvero con esso, calcola il ROI, dai la priorità ai casi d'uso e inizia effettivamente a costruire cose reali oltre forse a uno o due prototipi di app demo su cui hanno lavorato negli ultimi sei mesi.
In quel momento inizieremo a vedere emergere l'infrastruttura che inizierà a supportare questi casi d'uso su larga scala.
Come investitore ti assicuri che le tue società di intelligenza artificiale non si sovrappongano? Ed è più difficile o più difficile di quando si tratta di startup tradizionali? Non penso che sia molto diverso da come pensiamo alla concorrenza altrove.
Tutti dipingono l'IA come questa categoria a sé stante.
Ma se prevedo anche solo due anni, figuriamoci cinque o 10, ogni singolo software che utilizziamo avrà l'intelligenza artificiale come cuore pulsante.
Non ci sarà nessun pezzo di codice, nessun software, nessuna applicazione, nessun sito Web che visiti, che non abbia l'intelligenza artificiale come componente principale.
Ci penso quasi come SaaS.
Ogni singola azienda SaaS è uguale? No.
Ogni singola azienda SaaS ha un database, ogni singola azienda SaaS ha un front-end, ogni singola azienda SaaS ha una certa interazione tra i due.
L'intelligenza artificiale è in qualche modo simile a un database in questo senso.
È solo una specie di elemento fondamentale nel modo in cui crei il software.
Siamo molto presto sul mercato, quindi ci saranno alcuni movimenti e alcuni cambiamenti man mano che le aziende capiranno come utilizzare questi strumenti e quali problemi specifici affrontare.
Ma non è diverso da come pensiamo agli investimenti SaaS tradizionali dal mio punto di vista.