Par fortes chaleurs, le risque pour les jeunes oiseaux de tomber du nid en fuyant la fournaise des sous-toits est accru. Nombreux sont les citoyens qui ont dernièrement contacté le Centre ornithologique de Genève (COG) pour leur venir en aide. La police vient...
Les Genevois iront aux urnes le 2 avril prochain pour élire leurs représentants au Gouvernement et au Grand Conseil. La liste des candidats au Conseil d'Etat réunit 23 personnes. Si les conseillers d'Etat Nathalie Fontanet (PLR), Thierry Apothéloz (PS), Antonio...
Par le biais de l'Aide humanitaire de la Confédération, la Suisse a déjà débloqué quelque huit millions de francs pour venir en aide aux victimes du séisme en Turquie et en Syrie. En plus des médecins, ingénieurs et sauveteurs suisses qui se sont rendus sur place, du...
Le 21 février 2024, le Conseil fédéral a nommé Beatrice Maser Mallor pour représenter la Suisse auprès de la Banque mondiale à Washington, lui conférant par la même occasion le titre d’ambassadrice. Mme Maser Mallor, âgée de 62 ans, prendra la tête du groupe de vote...
Le ministre jurassien David Eray a été élu vice-président de la Chambre des Régions du Congrès des pouvoirs locaux et régionaux du Conseil de l’Europe. Le mandat de vice-présidence porte sur une période de 2.5 ans et permet de siéger au bureau de l’institution Le...
Lors de sa séance du 28 juin 2023, le Conseil fédéral a nommé Alexandre Fasel nouveau secrétaire d'Etat du DFAE. Alexandre Fasel occupe actuellement la fonction de représentant spécial pour la diplomatie scientifique - avec titre d'ambassadeur – au sein de la Genève...
Le Conseil d’État a désigné le nouveau préfet du district d’Aigle en la personne de Régis Joly. Le préfet désigné succédera à Patricia-Dominique Lachat, qui a souhaité donner une nouvelle orientation à sa vie professionnelle et familiale. Actuellement secrétaire...
Le directeur de l'Institut de hautes études en administration publique (IDHEAP) revient pour Dossiers Publics sur l'historique et le rôle de la haute école située sur le campus de l'Université de Lausanne, à l'occasion de son 40e anniversaire. D.P. : Cher professeur,...
Présidente du conseil d'administration du Groupe CSD INGÉNIEURS depuis 2011, l'hydrogéologue Olga Darazs revient, dans cet entretien, sur les moments marquants de ce groupe qui a su évoluer en apportant des solutions aux principaux défis environnementaux. Plus grande...
Communale, cantonale, fédérale : la sécurité du territoire suisse est elle aussi placée sous le signe de la Sainte Trinité confédérale. Passage en revue des forces en présence.Cliquer l'image pour agrandir
Cathédrale de Lausanne, Château St-Maire, Vaudoise Arena, Vortex, Maison de l’Environnement, MCBA ou encore Plateforme 10, autant de noms évocateurs de chantiers et de réalisations d’envergure entrepris depuis 2017 dans le canton avec l’Etat de Vaud comme point commun...
Le branding territorial n’est pas vraiment une nouveauté et ce n’est pas les cantons du Valais ou des Grisons qui diront le contraire. Et comme les Vaudoises et les Vaudois ont du talent, il fallait le dire haut et fort, il fallait le faire...
#1. Un tsunami menace les rives du Léman. En 563, une terrible catastrophe s’est abattue sur les rivages du Léman. Une partie de montagne dans le bas-Chablais se détacha et tomba au niveau de l’embouchure du Rhône dans le lac, provoquant un tsunami. Une vague...
Du 19 janvier au 4 février 2024, des œuvres d’art lumineuses partent à la conquête du public genevois à l’occasion du festival de lumières Geneva Lux Organisé par le Département de la sécurité et des sports de la Ville de Genève, une trentaine d’œuvres seront visibles...
Le chatbot a fait une entrée en scène fracassante en novembre 2022. Il peut rédiger des essais, concevoir des plug-in WordPress et même passer un examen de MBA. Mais les scientifiques ne comprennent toujours pas totalement son fonctionnement. À l’EPFL, un projet a pour but de changer ce paradigme.
Quelques semaines après son lancement mondial par OpenAI, ChatGPT a atteint 100 millions d’utilisateurs. Il devenait l’application grand public à la croissance la plus rapide de l’Histoire. Deux mois plus tard, Google annonçait la sortie de son IA Bard et, le jour suivant, Microsoft communiquait l’incorporation d’une nouvelle version de GPT dans Bing. Ces puissants programmes d’IA généralistes auront des répercussions sur à peu près tout, de l’éducation à l’emploi — ce qui a conduit le CEO d’OpenAI, Sam Altman, à prédire qu’ils entraîneront la chute du capitalisme. «Il est encore difficile de dire ce que cela représente pour l’humanité, le monde du travail ou nos interactions personnelles», commente Robert West, professeur assistant à la Faculté informatique et communications de l’EPFL.
Ce chercheur travaille sur le traitement du langage naturel avec des réseaux de neurones. Il les décrit comme le substrat des programmes d’IA généralistes. Ces dernières années, l’industrie s’est employée à les rendre de plus en plus massifs, avec une croissance exponentielle. GPT-3 (le modèle langagier central de ChatGPT) compte 175 milliards de paramètres dans son réseau neuronal, tandis que Google en aligne 540 milliards dans PalM. Selon les rumeurs, GPT-4 augmentera le nombre de paramètres de plusieurs ordres de magnitude.
En 2020 au Danemark, des scientifiques ont estimé que l’entraînement de GPT-3 avait requis une quantité d’énergie équivalente à la consommation de 126 foyers danois. L’empreinte carbone de 700’000 kilomètres en voiture.
Les dimensions de ces réseaux leur permettent d’effectuer des tâches autrefois inimaginables. Mais, en plus de leurs implications éthiques et sociétales, l’entraînement de programmes aussi massifs induit également des répercussions financières et environnementales.
En 2020 au Danemark, des scientifiques ont estimé que l’entraînement de GPT-3 avait requis une quantité d’énergie équivalente à la consommation de 126 foyers danois. L’empreinte carbone de 700’000 kilomètres en voiture.
«Pour effectuer une simple addition, par exemple 48 +76, un modèle ultramoderne comme GPT-3 a besoin de l’intégralité de ses 175 milliards de paramètres. Avec «seulement» 6 milliards de paramètres, il accomplit un très mauvais travail et se trompe dans 90 % des cas», explique Robert West.
«La cause de cette inefficacité vient de ce que les réseaux neuronaux consistent encore en ce que j’appellerais une «soupe primordiale». Ce ne sont que de longues listes de nombres sans aucun type de structure. Je les considère comme des sortes de bouillons qui débordent de potentiel pour créer une structure», poursuit Robert West.
Son laboratoire de sciences des données s’est récemment vu décerner une Starting Grant du Fonds national suisse, dotée de 1,8 million de francs, pour tenter de résoudre un problème fondamental : transformer les milliards de données non structurées en représentations symboliques claires, grâce à des encodeurs automatisés.
«Dans les modèles de langage courants comme GPT-3, les connaissances sont diluées dans cette «soupe primordiale» de 175 milliards de paramètres. On ne peut pas ouvrir la boîte et accéder aux informations stockées. En tant qu’humains, nous ne savons pas ce que sait le modèle, à moins de lui poser la question. Nous ne pouvons donc pas facilement réparer les erreurs, parce que nous ne savons pas ce qui est erroné, explique Robert West. Nous allons appliquer le traitement du langage naturel autosupervisé du texte à la connaissance et dans l’autre sens. L’objectif est de proposer un nouveau paradigme pour un domaine appelé «traitement du langage naturel neuro-symbolique». Un peu comme si on apprivoisait la puissance brute des réseaux neuronaux en la canalisant à travers des représentations symboliques.»
Des neurosciences sur micropuce
Selon Robert West, cette approche ouvrira de nombreux possibles pour la prochaine génération d’IA, comme la correctibilité (en cas de mauvaise réponse il sera possible d’accéder au symbole et de le changer (dans une soupe de 175 milliards de paramètres, il est difficile de savoir où commencer), l’équité (on pourra améliorer la représentation factuelle des femmes et des minorités, parce que l’information sera auditable) et l’interprétabilité (le modèle pourra expliquer pourquoi il est parvenu à une certaine conclusion, parce qu’il disposera de représentations explicites).
De plus, un tel modèle pourra raisonner de manière introspective et combiner des faits connus en faits nouveaux — ce que les humains font tout le temps. Il mémorisera et oubliera des faits simplement, en éliminant une entrée incorrecte de sa base de données.
Pour le meilleur ou pour le pire, le génie est clairement sorti de la lampe avec ChatGPT
«Quand on essaie de comprendre les modèles actuels les plus perfectionnés comme GPT-3, on mène en fait une étude neuroscientifique, en introduisant des sondes virtuelles pour tenter de comprendre où les faits sont représentés. Quand nous étudions un élément naturel, nous essayons de comprendre quelque chose que nous n’avons pas construit. Mais ces IA n’ont jamais quitté nos ordinateurs et pourtant nous ne comprenons pas même comment elles fonctionnent.»
Mettre à jour Wikipédia
La conclusion de cette recherche démontrera le vaste champ d’application de ces nouvelles méthodes, en les employant à révolutionner Wikipédia. Pour soutenir les éditeurs bénévoles, le nouveau modèle de Robert West s’attaquera à des tâches clés et les automatisera. Par exemple, il corrigera et mettra à jour les informations périmées et les synchronisera dans les 325 langues de la plateforme.
Robert West envisage aussi des avantages financiers et environnementaux au travail de son équipe. «À l’université, nous n’avons pas les ressources du privé. Notre meilleure chance réside donc dans un changement de paradigme plutôt que dans la poursuite de ceux qui existent déjà, explique-t-il. Je pense que c’est là que nous pourrons économiser des ressources en puissance de calcul, en étant plus malins quant à ce que nous utilisons et comment nous l’utilisons. L’industrie pourra reprendre nos méthodes et les implémenter dans ses propres modèles pour, à terme, les rendre plus économes en énergie et moins coûteux à exploiter.»
Pour le meilleur ou pour le pire, le génie est clairement sorti de la lampe avec ChatGPT. Robert West reste optimiste, quelle que soit la manière dont nous manœuvrerons face aux défis bien réels de l’avenir, avec des modèles d’IA généralistes qui évoluent à un rythme qui en a surpris plus d’un. Le chercheur puise l’intérêt pour son travail dans le fait qu’il le voit comme une manière de rompre les barrières de communication entre humains, mais aussi entre humains et machines.
«Ce n’est que le début. C’est déjà un défi technique, mais ce n’est vraiment qu’une étape vers quelque chose qui peut s’autoaméliorer de manière perpétuelle, avec de nombreux autres avantages.»