“Posits”, een nieuwe vorm van getallen die een revolutie teweegbracht in kunstmatige intelligentie

Zelfs als we het ons niet altijd realiseren, is kunstmatige intelligentie een integraal onderdeel van ons dagelijks leven. Wist je bijvoorbeeld dat ze zich verschuilen achter automatische vertaaltools, of zelfs Google Berichten, Gmail?

Als hun operaties voor normale mensen obscuur blijven, komt dat deels omdat ze enorme rekenkracht vereisen. Er waren bijvoorbeeld een miljoen miljard miljard bewerkingen nodig om het meest geavanceerde taalmodel in OpenAI te trainen, GPT-3voor een bescheiden bedrag van 5 miljoen dollar.

Er is echter een oplossing om deze kosten te verlagen, Volgens IEEE Spectrum: Een andere manier om getallen weer te geven, als “aftrekken”.

We hebben deze uitvinding te danken aan de ingenieurs John Gustafson En de Isaac Yonemotodie asana’s zag als een alternatief voor het traditionele systeem van Rekenkundige rekenmachines met drijvende komma. Het ging dus om het vinden van een nieuwe manier om de echte getallen te coderen.

Sindsdien heeft een onderzoeksteam van Complutense Universiteit van Madrid Ik heb deze benchmark getest in een gloednieuwe CPU-kern en de resultaten waren zeer bemoedigend: de nauwkeurigheid van een elementaire rekentaak zou naar verluidt verviervoudigen.

Een potentiële revolutie in de wiskunde

Om te begrijpen hoeveel technologische vooruitgang de veronderstellingen vertegenwoordigen, moet rekening worden gehouden met het feit dat reële getallen niet volledig kunnen worden gecodeerd, aangezien er een oneindig aantal is.

Daarom moeten in het klassieke systeem veel reële waarden worden afgerond om overeen te komen met een bepaald aantal bits, een bit is de kleinste informatie-eenheid op een computer. Maar met asana’s kun je meer doen dan een zwevende komma.

Ook voor grote positieve en negatieve getallen neemt hun nauwkeurigheid toe. Het past beter bij de normale verdeling van getallen in rekenkundeGustafson beschrijft. Het is de juiste precisie, waar je het ook nodig hebt. Er zijn veel bitpatronen in drijvende-kommaberekeningen die niemand ooit gebruikt, het is tijdverspilling. “

In hun technische experiment kon het team van Complutense University berekeningen vergelijken die gemaakt waren met 32-bit floats en die met 32-bit posities. Het concludeerde dat de verbetering van de nauwkeurigheid niet ten koste ging van de rekentijd, maar alleen een toename van de chipruimte en het stroomverbruik.

Het valt nog te bezien of de training van grote AI daadwerkelijk zal worden beïnvloed door deze nieuwe standaard, ondanks de onmiskenbare winst in numerieke nauwkeurigheid. “Het kan de training mogelijk versnellen omdat je onderweg minder informatie verliest, maar we weten het nog niet, David Malasin Quintana, onderzoeker aan de Universiteit van Madrid legt uit. Mensen hebben ze in software geprobeerd. Nu willen we het in hardware proberen.”