Avant les plugins, Chat GPT avait des capacités impressionnantes mais isolées.
Avec l’arrivée des 120 plugins, cette IA devient surpuissante.
Elle s’ouvre :
- au web avec le plugin Browsing
- à Zapier pour automatiser les tâches.
- au résumé de pdfs avec ask my pdf
- à Instacart pour faire tes courses
- à Visla pour créer des vidéos
- aux Excel et aux images avec Code Interpreter
Comme le dit Open AI “Chat GPT a maintenant des yeux et des oreilles”
Et ça change TOUT.
Dans les minutes qui suivent, je vais te révéler comment tu peux utiliser la puissance des plugins Chat GPT pour augmenter tes possibilités d’action dans ton travail.
Et devenir un sapiens augmenté.
Tu ne travailleras jamais plus comme avant.
Au programme :
Qu’est-ce que les plugins de ChatGPT?
Comment activer les plugins pour ton compte?
Pourquoi Open AI a développé les plugins ?
La fin des hallucinations ?
L’accès aux références : une révolution pour les LLM
Un tremblement de terre économique à l’horizon
Chat GPT : + 14%, LLM + Logiciel : + 56% de productivité
Les plugins principaux
Les plugin tiers
Les plugins spéciaux d’Open AI
Le plugin Browsing
Le plugin Code Interpreter
Cas d’usage concret des plugins
Une conversation avec un seul plugin : Link Reader
Une conversation avec un combo de 3 plugins dans une seule conversation
Conclusion : Chat GPT plugin : le nouvel apple store
1 – Qu’est-ce que les plugins de ChatGPT?
La fonctionnalité de plugin est particulièrement importante.
Elle donne à ChatGPT le pouvoir d’utiliser des plugins tiers, activés par toi, élargissant ainsi les capacités de l’IA au-delà de ses fonctions inhérentes.
Cela signifie que ChatGPT peut maintenant accéder à des informations en temps réel, effectuer des calculs, ou même utiliser des services tiers, grâce à ces plugins.
2 – Comment activer les plugins Chat GPT pour ton compte?
Pour activer les plugins, suis ces étapes :
- Va sur ChatGPT, repère les trois points situés dans le coin inférieur gauche.
- Clique sur « Settings ».
Tu y trouveras l’option « Beta Features ».
- Active la fonctionnalité Plugins en la mettant en marche.
Tu peux maintenant ouvrir une nouvelle conversation avec Chat GPT et utiliser les plugins.
- Choisis GPT-4 et sélectionne « Plugins Beta ».
Dans le menu déroulant « Plugins« , tu peux choisir « Plugins Store » pour installer et activer de nouveaux plugins. Ce processus est intuitif et convivial, permettant d’améliorer ton expérience avec ChatGPT.
Au début, il y avait plus de 70 plugins disponibles dans la boutique de plugins. À partir du 20 mai 2023, le nombre de plugins a déjà dépassé 120 et continue de croître. Les abonnés à ChatGPT Plus peuvent installer n’importe quel plugin de la boutique de plugins.
Tu peux voir que j’en ai installé certains pour cet article.
3 – Pourquoi Open AI a développé les plugins Chat GPT ?
Les modèles de langage sont utiles pour une multitude de tâches.
Pourtant, il faut le reconnaître, ils ont encore des limites.
En effet, ils ne peuvent se baser que sur leurs données d’entraînement, qui peuvent devenir obsolètes avec le temps. De plus, par défaut, un modèle de langage peut uniquement générer du texte. Ce texte peut certes contenir des instructions utiles. Mais pour suivre ces instructions, tu as besoin de davantage.
C’est là que les plugins entrent en jeu.
Open AI les décrit comme les yeux et les oreilles des modèles de langage, leur fournissant des données récentes, personnelles ou spécifiques qui n’étaient pas incluses dans les données d’entraînement.
Sur demande explicite de ta part, les plugins peuvent aussi permettre aux modèles de langage d’effectuer des actions sécurisées et limitées en ton nom, augmentant ainsi l’utilité du système dans son ensemble.
4 – Chat GPT plugin : la fin des hallucinations ?
Le problème numéro 1des modèles des langages ( les « hallucinations ») est atténué avec les plugins
Mieux encore…
Les plugins, notamment browsing – Chat GPT connecté à internet – permet de suivre les événements récents.
Enfin, d’autres plugins pourraient permettre d’accéder (avec ton autorisation) à des sources d’informations personnelles.
a – L’accès aux références : une révolution pour les LLM
Les plugins renforcent leurs réponses avec des références fondées sur des preuves.
Non seulement ces références améliorent l’utilité du modèle, mais elles te permettent aussi d’évaluer la fiabilité des réponses du modèle et de vérifier leur exactitude, atténuant potentiellement les risques liés à une dépendance excessive.
En plus de résoudre ces limitations existantes, la valeur des plugins peut aller bien plus loin.
Elle aide avec une variété de nouveaux cas d’usage, allant de la navigation dans les catalogues de produits à la réservation de vols ou à la commande de nourriture comme tu vas le voir dans les prochains paragraphes.
Cependant, il faut être conscient que l’extension des capacités de ces modèles de langage augmente aussi les risques.
5 – Un tremblement de terre économique à l’horizon
Les modèles de langage avec accès aux outils auront probablement des impacts économiques beaucoup plus importants que ceux qui n’en ont pas.
Open AI a récemment publié une étude dans ce sens.
Ce document a révélé qu’environ 80 % de la main-d’œuvre pourrait voir au moins 10 % de ses tâches affectées par l’arrivée des modèles de langage comme GPT. Plus alarmant encore, presque un travailleur sur cinq pourrait voir au moins la moitié de ses tâches modifiées par l’IA générative.
L’étude n’indique pas le calendrier de ces changements, mais les impacts sont prévus à tous les niveaux de salaire, les emplois les mieux rémunérés étant potentiellement les plus touchés.
Et ce n’est pas tout.
a – Chat GPT : + 14%, LLM + Logiciel : + 56% de productivité
Les IA génératives avec plugins vont améliorer considérablement la performance des tâches
Le document d’Open AI estime qu’environ 15 % de toutes les tâches aux États-Unis pourraient être effectuées plus rapidement et à un niveau de qualité équivalent si elles sont effectuées avec l’aide d’un grand modèle de langage. Lorsque ces modèles sont intégrés dans des logiciels et des outils, cette proportion pourrait augmenter jusqu’à 56 %.
Les plugins ont un effet amplificateur massif.
Maintenant que tu connais les enjeux, découvrons ensemble les plugins.
6 – Chat GPT plugin : Les plugins principaux
Tu dois tout d’abord savoir qu’il existe les plugins d’Open AI et les plugin tiers :
Commençons par les plugins tiers :
a – Les plugin tiers
Voici les premiers qu’Open AI a partagé sur le Plugin Store :
- Expedia : Donnez vie à vos plans de voyage : allez-y, restez-y, trouvez des choses à voir et à faire.
- FiscalNote : Fournit et permet l’accès à certains ensembles de données en temps réel, leaders du marché, pour les données et informations juridiques, politiques et réglementaires.
- Instacart : Commandez dans vos épiceries locales préférées
- Kayak : Rechercher des vols, des séjours et des voitures de location. Obtenez des recommandations pour tous les endroits où vous pouvez aller dans les limites de votre budget.
- Klarna Shopping : Recherchez et comparez les prix parmi des milliers de boutiques en ligne.
- Open Table : Fournit des recommandations de restaurants, avec un lien direct pour réserver.
- Shop : Recherchez des millions de produits parmi les plus grandes marques du monde.
- Speak : Apprenez à dire n’importe quoi dans une autre langue avec Speak, votre tuteur de langue alimenté par l’IA
- Wolfram : Accédez au calcul, aux mathématiques, aux connaissances organisées et aux données en temps réel via Wolfram|Alpha et Wolfram Language.
- Zapier : Interagissez avec plus de 5 000 applications telles que Google Sheets, Trello, Gmail, HubSpot, Salesforce, etc
b – Les plugins spéciaux d’Open AI :
Il existe Browsing et Code Interpreter.
i – Le plugin Browsing
Tu peux l’utiliser en sélectionnant GPT-4 puis Browsing.
Il donne la possibilité à Chat GPT d’avoir accès aux informations récentes.
Cela permet donc d’augmenter la quantité de contenu avec laquelle tu peux converser avec l’IA.
Tu peux aussi cliquer sur les liens des références utilisées et vérifier ce qui est dit. Chat GPT choisit de faire la recherche ou de ne pas la faire.
Chat GPT browsing utilise l’API de recherche Bing. Il se sert alors du travail de Microsoft pour vérifier la fiabilité des sources et la véracité des informations. Il existe aussi une fonction pour empêcher la récupération de contenu problématique.
Testons ensemble.
J’ai donné ce prompt utilisé dans le document d’Open Ai avec Chat GPT Browsing :
“Pouvez-vous me dire quelle personne/film a remporté l’oscar pour ces catégories ?
– Meilleur acteur
– Meilleure bande son
– Meilleure image
– Meilleur acteur dans un second rôle
Puis créez un poème reliant tout ensemble”
Le prompt :
La réponse :
Et ceux qui se demandent si la réponse est juste ?
Ma réponse est oui est pour le meilleur acteur de second rôle.
ii – Le plugin Code Interpreter
Il s’agit du plugin qui m’a le plus bluffé.
Car c’est celui qu’on attendait pas, et qui pour moi – montre la puissance des plugins.
Imagine un modèle Chat GPT capable d’utiliser Python, de gérer les téléchargements et les chargements.
L’idée derrière tout ça, c’est d’avoir à ta disposition un programmeur junior super motivé qui travaille aussi vite que tu tapes au clavier. Cela peut créer de nouveaux processus de travail sans effort et très efficaces, et ouvrir les avantages de la programmation à un public plus large.
Dans les faits, qu’est-ce que tu peux faire avec Code Interpreter ?
Tu peux résoudre des problèmes mathématiques, aussi bien quantitatifs que qualitatifs.
Tu peux faire de l’analyse et de la visualisation de données.
Tu peux même convertir des fichiers d’un format à un autre.
Aussi, tu peux :
- lui demander d’analyser un fichier Excel et de créer des graphiques.
- lui donner une photo et lui demander d’enlever l’arrière-plan, de changer la taille de l’image.
Tu peux regarder la vidéo dans la sous partie de cet article ici.
Pour l’instant, je n’ai pas accès à Code Interpreter dans mes plugins.
Mais regarde ce qu’à fait Ethan Mollick avec :
Je te propose maintenant des usages concrets que j’ai déjà expérimentés :
7 – Comment utiliser les Chat GPT plugins ?
a – Une conversation avec un seul plugin chat gpt (Link Reader)
Avant je devais faire mémoriser à Chat GPT une newsletter entière car il était impossible de lui faire lire un lien d’internet.
Avec Link Reader, il est désormais possible de fournir un lien à GPT-4, de quoi faire économiser des dizaines d’heures avec l’outil.
Je te présente un prompt qui permet de lire une newsletter
Puis de demander à Chat GPT d’agir comme un journaliste pour écrire un essai dans un angle bien précis.
J’avais lu la newsletter en question juste avant et le résultat est impressionnant :
b – Une conversation avec un combo de 3 plugins dans une seule conversation
Dans une conversation Chat GPT, il est possible de sélectionner au maximum 3 plugins.
De manière à les faire fonctionner ensemble.
J’ai utilisé Open Table qui permet de faire des recherches de restaurants aux USA.
Puis j’ai demandé à GPT de me proposer une recette saine pour le week-end.
Enfin, j’ai demandé à Wolfram Alpha, une IA de calcul de me calculer les calories avant de valider ma recette et de commander les ingrédients sur Instacart.
Réponse :
Demande :
Réponse :
Demande et réponse :
Les applications ne sont encore disponibles qu’aux USA.
Mais imagine quand La Fourchette sera présent sur le plugin store et qu’un équivalent français Instacart sera aussi dans le plugin store ?
Ce que tu dois retenir, c’est la façon dont on peut combiner les plugins dans une même conversation pour arriver à un résultat.
Conclusion : Chat GPT plugin : le nouvel apple store
L’arrivée des plugins pour Chat GPT marque une révolution sans précédent dans le domaine de l’intelligence artificielle.
À l’instar de l’Apple Store pour les applications mobiles, ces plugins transforment Chat GPT en une plateforme polyvalente, capable de s’adapter à une multitude de tâches et de scénarios d’utilisation.
L’ajout de plus de 120 plugins en seulement six mois a propulsé Chat GPT de l’équivalent de l’âge de pierre à la Renaissance de l’IA.
Ces plugins ont ouvert des portes à des fonctionnalités auparavant inaccessibles, comme la navigation sur le web, l’automatisation des tâches, la lecture de PDF, la création de vidéos, et bien plus encore.
Mais ce n’est que le début.
Comme l’a souligné Ethan Mollick, « Chat GPT est l’assistant le plus mauvais que vous aurez jamais« , non pas parce qu’il est inefficace, mais parce qu’il ne fera que s’améliorer avec le temps.
Avec chaque nouveau plugin, chaque amélioration, Chat GPT devient de plus en plus puissant, augmentant les possibilités d’action pour ses utilisateurs.
En fin de compte, Chat GPT plugin pourrait bien devenir le nouvel « Apple Store » de l’intelligence artificielle, un hub central pour une multitude de services et d’applications basés sur l’IA.
Je te remercie de m’avoir lu,
N’hésite pas à me contacter sur Linkedin pour toutes questions supplémentaires,
Jean-Baptiste.
