Diverse

Formarea AI este șocant de costisitoare pentru mediu

Formarea AI este șocant de costisitoare pentru mediu


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Am văzut rezultatul noilor algoritmi alimentați cu inteligență artificială care pot face totul, de la detectarea cancerului, pentru a ajuta la conducerea mașinilor.

AI este forța motrice a atâtea noi tehnologii, dar cu ce preț?

Un nou raport arată că un model comun de antrenament AI poate emite peste 626.000 de kilograme de dioxid de carbon echivalent. Aceasta reprezintă de cinci ori emisiile pe viață ale unei mașini americane medii - inclusiv fabricarea mașinii în sine.

VEZI ȘI: AIS CONTINUĂ SĂ ACȚIONeze ÎN MODURI IMPREDICTABILE, Oare ar trebui să ne panicăm?

În timp ce unii cercetători AI au remarcat potențialul impact asupra mediului a ceea ce fac - cifra reală a șocat sectorul.

A face mașinile să înțeleagă limbajul este rău pentru mediu

Lucrarea a analizat procesul de procesare a limbajului natural (NLP). acest subdomeniu al AI se concentrează pe mașini de curse pentru a lucra cu limbajul uman. Comunitatea de dezvoltare NLP a făcut unele descoperiri fascinante în ultimii ani. Lucrările cercetătorilor din acest domeniu sunt responsabile de tehnologii precum traducerea automată și completarea propozițiilor.

Aceste progrese sunt foarte utile într-o gamă largă de aplicații, dar pentru a ajunge acolo, instruirea necesită seturi uriașe de date extrase de pe Internet. Conversia acestor seturi de date extinse din prostii într-un program de antrenament necesită o cantitate imensă de energie a computerului și, ca urmare, o cantitate imensă de energie.

Trebuie abordate costurile cu energia

Au fost examinate patru modele identificate de cercetători ca fiind responsabile pentru cel mai mare salt înainte în performanță; Transformer, ELMo, BERT și GPT-2.

Pentru a afla cât de mult au fost responsabile modelele de CO2, cercetătorii au pregătit mai întâi fiecare model pe un singur GPU timp de până la o zi - pentru a măsura puterea sa.

Apoi, ei au folosit numărul de ore de antrenament menționate de documentele originale ale modelului pentru a calcula energia totală pe care ar consuma-o procesul complet de antrenament.

Acest număr a fost, apoi, convertit în kilograme de dioxid de carbon echivalent. Rezultatele arată că costurile de calcul și de mediu ale instruirii au crescut proporțional cu dimensiunea modelului.

Etapele finale sunt cele mai costisitoare

Costurile au crescut atunci când s-a adăugat antrenament suplimentar pentru a crește precizia modelului.

De exemplu, un proces de reglare cunoscut sub numele de „arhitectură neuronală” care folosește un model de încercare și eroare pentru a optimiza un model prin modificarea designului rețelei are pătuțuri uriașe pentru un câștig general mic.

Eliminând acest pas final, cel mai costisitor model, BERT, avea o amprentă de carbon mult mai modestă de aproximativ 1.400 de lire sterline de dioxid de carbon. Acest lucru este aproape echivalent cu un zbor trans-american dus-întors pentru o persoană.

Ce este mai rău este că cercetătorii spun că acestea sunt numere modeste bazate pe instruirea unui model la cel mai minim nivel. Și faptul că majoritatea programelor mari de formare vor avea de fapt o amprentă mult mai mare pe măsură ce dezvoltă părți ale programului în creștere de la zero.

Impactul acestor numere este masiv.

AI conduce tot, de la cercetare medicală la apărare. Autorii lucrării își exprimă îngrijorarea față de mutarea dezvoltării AI în afara mediului academic, în lumea privată. Costurile dezvoltării AI sunt atât de mari, după cum se vede în această lucrare, încât instituțiile de învățământ nu pot ține pasul.

Urmărirea și monitorizarea dezvoltării AI poate deveni din ce în ce mai dificilă.


Priveste filmarea: DOMNUL MI-A SPUS ca TRUMP va ajunge din nou PRESEDINTE (Iunie 2022).