Divers

La formation de l'IA est extrêmement coûteuse pour l'environnement

La formation de l'IA est extrêmement coûteuse pour l'environnement


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Nous avons vu le résultat de nouveaux algorithmes basés sur l'intelligence artificielle qui peuvent tout faire, de la détection du cancer à la conduite automobile.

L'IA est le moteur de tant de nouvelles technologies, mais à quel prix?

Un nouveau rapport montre qu'un modèle de formation à l'IA commun peut émettre plus de 626 000 livres d'équivalent en dioxyde de carbone. C'est environ cinq fois les émissions à vie d'une voiture américaine moyenne - y compris la fabrication de la voiture elle-même.

VOIR AUSSI: L'AIS CONTINUE D'AGIR DE FAÇON IMPRÉVISIBLE, DEVRAIT-ON PANIQUEZ?

Alors que certains chercheurs en IA ont noté l'impact environnemental potentiel de ce qu'ils font, le chiffre réel a choqué le secteur.

Faire comprendre aux machines que le langage est mauvais pour l'environnement

L'article a examiné le processus de traitement du langage naturel (PNL). ce sous-domaine de l'IA se concentre sur les machines de course pour travailler avec le langage humain. La communauté de développement de la PNL a réalisé des percées fascinantes ces dernières années. Les travaux des chercheurs dans ce domaine sont responsables de technologies telles que la traduction automatique et l'achèvement de phrases.

Ces progrès sont extrêmement utiles dans une gamme d'applications, mais pour y parvenir, la formation nécessite d'énormes ensembles de données extraits d'Internet. La conversion de ces vastes ensembles de données de non-sens en un programme de formation nécessite une énorme quantité de puissance informatique et, par conséquent, une énorme quantité d'énergie.

Les coûts d'électricité doivent être abordés

Quatre modèles identifiés par les chercheurs comme étant responsables du plus grand bond en avant de la performance ont été examinés; le Transformer, ELMo, BERT et GPT-2.

Pour déterminer la quantité d'émissions de CO2 dont les modèles étaient responsables, les chercheurs ont d'abord formé chaque modèle sur un seul GPU pendant une journée - pour mesurer sa consommation d'énergie.

Ils ont ensuite utilisé le nombre d’heures de formation indiqué dans les documents originaux du modèle pour calculer l’énergie totale consommée par le processus de formation complet.

Ce nombre a ensuite été converti en livres d'équivalent en dioxyde de carbone. Les résultats montrent que les coûts informatiques et environnementaux de la formation ont augmenté proportionnellement à la taille du modèle.

Les étapes finales sont les plus coûteuses

Les coûts ont explosé lorsqu'une formation supplémentaire a été ajoutée pour augmenter la précision du modèle.

Par exemple, un processus de réglage connu sous le nom d '«architecture neuronale» qui utilise un modèle d'essai et d'erreur pour optimiser un modèle en modifiant la conception du réseau a d'énormes cots pour un faible gain global.

En supprimant cette dernière étape, le modèle le plus coûteux, le BERT, avait une empreinte carbone beaucoup plus modeste d'environ 1 400 livres de dioxyde de carbone. Cela équivaut presque à un vol transamérique aller-retour pour une personne.

Le pire, c’est que les chercheurs disent qu’il s’agit de chiffres modestes basés sur l’entraînement d’un modèle au niveau le plus minimal. Et, que la plupart des grands programmes de formation auront en fait une empreinte beaucoup plus grande car ils développent des parties du programme croissant à partir de zéro.

L'impact de ces chiffres est énorme.

L'IA pilote tout, de la recherche médicale à la défense. Les auteurs de l'article expriment leur inquiétude quant au déplacement du développement de l'IA du milieu universitaire vers le monde privé. Les coûts du développement de l'IA sont si élevés, comme le montre cet article, que les établissements d'enseignement ne peuvent pas suivre le rythme.

Le suivi et la surveillance du développement de l'IA peuvent devenir de plus en plus difficiles.


Voir la vidéo: Le Monde Festival 2019. Lintelligence artificielle au secours de la médecine? (Mai 2022).