Mamba

Mar 21, 2024 | Empowering news

Mamba è il nuovo modello di apprendimento che sta sfidando Chat GPT, mira infatti a risolvere alcune delle più comuni problematiche dell’AI più famosa sino a questo momento. Approfondiamo le caratteristiche e i punti deboli di Mamba, per capire se potrà essere il prossimo punto di riferimento nel campo dell’intelligenza artificiale.

Innanzitutto è doveroso premettere che l’argomento trattato è quello dei modelli Transformer, ossia modelli di apprendimento profondo, in particolar modo del linguaggio, immagini e video. Il punto di forza dei Transformer è la possibilità di porre attenzione a diverse parti della sequenza analizzata, comprendendone in maniera più profonda e precisa il significato. Il punto debole è che questa operazione richiede grandi risorse computazionali e ciò ne limita l’efficienza soprattutto quando l’input è molto lungo o complesso. Non ci riferiamo solamente a testi molto lunghi, ma anche a problemi più complessi, come l’analisi genomica. Nonostante siano stati fatti diversi tentativi per migliorare l’efficacia dei Transformer, si comincia a pensare che si tratti di un modello di apprendimento con dei limiti intrinsechi, e se ne stanno valutando le alternative.

In questo contesto si inserisce Mamba, un modello di apprendimento SSM, modello dello spazio di stato selettivo. Si tratta di un’AI in grado di analizzare tutta la sequenza proposta e di filtrare le informazioni, salvando quelle utili e dimenticando quelle di poca importanza.

Mamba è un modello nuovo, nato per funzionare in maniera efficiente con gli hardware di calcolo moderno, in particolar modo per le sequenze lunghe, e in grado quindi di elaborare dati più rapidamente rispetto ai modelli precedenti. Il punto di forza di Mamba è proprio l’analisi di sequenze lunghe, processo che richiede risorse computazionali limitate rispetto a quelle richieste dai Transformer; inoltre l’analisi di una stessa sequenza risulta notevolmente più rapida. Si tratta di un’innovazione non da poco considerando che talvolta queste tecnologie devono servire per analizzare i dati in tempo reale.

Mamba potrebbe essere la base dei modelli fondamentali nell’AI, ossia modelli di grandi dimensioni addestrati con enormi moli di dati, che possono essere poi utilizzati in contesti vari. Si tratta quindi di un’alternativa ai Transformer che potrebbe aprire nuove porte a futuri modelli di AI, destinati a diventare sempre più intelligenti.

Siamo ancora nelle fasi preliminari del progetto, ma le premesse sono assolutamente buone. Gli addetti ai lavori nutrono dubbi sulla scalabilità di Mamba, soprattutto quando i parametri diventano numerosi. Nonostante ciò si tratta di una tecnologia da monitorare con molta attenzione.