LLM : comprendre les tâches et déterminer la prochaine étape

Le noyau de l'Agent, responsable du traitement des entrées utilisateur, de la génération de réponses et de la prise de décision — essentiellement le « cerveau » de l'Agent. Puisque les Agents ne suivent pas des chemins prédéfinis mais ajustent dynamiquement leur stratégie comportementale en fonction des conditions en temps réel, le LLM n'est pas seulement responsable de la compréhension et de la génération de contenu, mais doit également déterminer l'opération suivante en fonction de la tâche actuelle et des résultats d'exécution, en décidant comment interagir avec l'environnement externe. L'Agent utilise des prompts (indications) pour spécifier le rôle du LLM, les objectifs de la tâche, les règles comportementales et les limites d'autorisation, permettant au LLM de prendre des décisions et d'exécuter dans les limites prédéfinies.

Planification : décomposer les tâches en étapes exécutables

Responsable de l'élaboration du plan d'action de l'Agent, y compris la décomposition des tâches complexes en plusieurs sous-tâches et la détermination des étapes d'exécution ultérieures. Lors du traitement de tâches à plusieurs étapes, un Agent doit non seulement créer un plan d'action, mais aussi l'ajuster en fonction de l'exécution de la tâche. Par exemple, lorsque les résultats d'outils diffèrent des attentes ou lorsque les informations obtenues sont insuffisantes, l'Agent peut ajuster le plan original et redéterminer l'étape suivante. Le module de Planification permet à l'Agent de planifier et d'ajuster dynamiquement les actions ultérieures en fonction de l'état de la tâche.

Mémoire : retenir les progrès de la tâche et les informations nécessaires

Utilisée pour stocker la mémoire de l'Agent, y compris la mémoire à court terme et la mémoire à long terme. La mémoire à court terme enregistre principalement les informations de la session ou de la tâche en cours, tandis que la mémoire à long terme est utilisée pour sauvegarder les informations qui doivent être conservées sur le long terme. La mémoire est un système dynamique, accessible et mise à jour. Dynamique signifie que la mémoire peut évoluer avec les nouvelles informations et l'état de la tâche ; accessible signifie que l'Agent peut récupérer et utiliser les informations stockées en mémoire selon ses besoins ; mise à jour signifie que l'Agent peut compléter ou modifier la mémoire existante en fonction de nouvelles informations et de résultats d'exécution. À mesure que la mémoire se met à jour en continu, l'Agent peut tirer parti de l'interaction et de l'expérience des tâches pour améliorer les jugements et décisions ultérieurs, renforçant sa capacité d'adaptation à différentes tâches et environnements.

Outils : permettre au modèle d'exécuter réellement des opérations

Divers outils disponibles pour l'Agent, y compris les moteurs de recherche, les bases de données, les calculateurs, les environnements d'exécution de code et divers services externes fournis via des API. La fonction principale du module Outils est d'étendre la capacité de l'Agent à interagir avec l'environnement externe, permettant à l'Agent non seulement de générer du contenu, mais aussi d'obtenir des informations externes et d'exécuter des opérations spécifiques.

Lors de l'utilisation du module Outils, l'Agent doit déterminer si des outils sont nécessaires en fonction de la tâche actuelle et du contexte, et quel outil sélectionner. Utiliser efficacement les outils ne signifie pas seulement sélectionner le bon outil, mais aussi comment les utiliser efficacement pour réduire leur utilisation inutile. Lorsqu'une tâche nécessite la collaboration de plusieurs outils, l'Agent doit également décider s'il faut continuer à appeler d'autres outils en fonction des résultats, et intégrer les résultats de différents outils. Par conséquent, le module Outils ne fournit pas seulement à l'Agent des capacités externes, mais exige également qu'il sélectionne et utilise les outils de manière raisonnable en fonction des besoins de la tâche.

Un Agent est un système intégrant LLM, Planification, Mémoire et Outils, comme illustré dans le diagramme ci-dessous. Ces modules collaborent pour permettre à l'Agent d'exécuter des tâches de manière autonome, d'apprendre et d'améliorer son comportement.

Après avoir reçu une tâche, comment un Agent procède-t-il étape par étape ?

Après avoir reçu une tâche, un Agent doit déterminer comment procéder en fonction de l'objectif de la tâche et des informations actuelles. Par exemple, certaines tâches peuvent appeler des outils tout en déterminant l'étape suivante en fonction des résultats retournés ; certaines tâches complexes nécessitent d'abord de décomposer les étapes, puis de les exécuter progressivement ; pour les résultats générés, une vérification et une modification supplémentaires peuvent être effectuées. Lorsqu'un seul Agent ne peut pas accomplir l'ensemble de la tâche, plusieurs Agents peuvent se voir assigner différents rôles pour collaborer.

Selon les caractéristiques de la tâche et les méthodes d'exécution, les Agents peuvent adopter différents modes d'exécution de tâches. Nous présentons ci-après quatre modes courants : ReAct, Plan-and-Execute, Reflection et Collaboration Multi-Agent, qui organisent le processus d'exécution de tâches de l'Agent sous différents aspects tels que l'exécution dynamique, la planification des tâches, l'amélioration des résultats et la division des tâches.

Mode ReAct

ReAct (Reasoning and Acting) est une approche d'exécution de tâches qui combine raisonnement et action, proposée par Shunyu Yao et al. Le grand modèle raisonne et agit en fonction des informations actuelles, puis continue à raisonner et à agir en fonction des nouvelles informations obtenues de l'action, jusqu'à l'achèvement de la tâche.

Le processus typique de ReAct comprend Thought (raisonnement), Action (action) et Observation (observation). Thought représente l'analyse des informations actuelles par le modèle pour déterminer l'étape suivante ; lorsque des informations externes doivent être obtenues ou une opération doit être effectuée, le modèle génère l'Action correspondante, comme l'appel d'un outil de recherche ou l'interrogation d'une base de données ; le résultat retourné par l'outil est fourni au modèle sous forme d'Observation, et le modèle continue à prendre des décisions en fonction de ces nouvelles informations.

Pendant l'exécution de la tâche, Thought, Action et Observation apparaissent alternativement en fonction des besoins de la tâche, formant un processus d'exécution où raisonnement, action et observation collaborent. Le processus typique peut s'exprimer ainsi :

Thought → Action → Observation → Thought → Action → Observation → ... → Résultat Final

Par exemple, un utilisateur demande : « Qui a remporté le prix Nobel de physique en 2024 ? Lequel est le plus âgé d'entre eux ? »

L'Agent détermine d'abord qu'il doit obtenir la liste des lauréats du prix Nobel de physique 2024, il appelle donc l'outi de recherche pour interroger. Après avoir obtenu la liste, il constate qu'il doit également comparer l'âge des lauréats, il continue donc à interroger leurs dates de naissance. Après avoir obtenu les informations requises, l'Agent compare et génère la réponse finale.

Dans ce processus, l'Agent n'a pas déterminé toutes les étapes d'exécution au début de la tâche, mais a plutôt décidé de l'étape suivante en fonction du résultat retourné par chaque outil. ReAct est donc plus adapté aux tâches nécessitant une interaction continue avec l'environnement externe, comme la recherche, l'interrogation et l'appel d'outils. Pour les tâches complexes avec de nombreuses étapes, si cette approche d'exécution pas à pas est entièrement utilisée, il peut y avoir des étapes manquées ou des chemins d'exécution répétés.

Mode Plan-and-Execute

Plan-and-Execute divise le traitement des tâches complexes en deux phases : planification et exécution. Après avoir reçu une tâche, l'Agent analyse d'abord l'objectif de la tâche et décompose les étapes à accomplir, formant un plan global, puis exécute étape par étape selon le plan.

Par exemple, un utilisateur demande : « Analysez les performances récentes de trois entreprises de véhicules électriques et créez un rapport comparatif. » Cette tâche implique plusieurs étapes, notamment la collecte de données, l'organisation des données, l'analyse comparative et la génération de rapports. Pour ces tâches multi-étapes, un plan peut d'abord être établi comme suit :

1. Identifier les trois entreprises à comparer ;
2. Collecter les données d'activité de chaque entreprise au cours de la dernière année ;
3. Organiser les indicateurs clés tels que le volume de ventes et le chiffre d'affaires ;
4. Comparer les performances de chaque entreprise ;
5. Résumer les différences et générer le rapport.

Une fois le plan formé, l'Agent accomplit les tâches séquentiellement. Lors de l'exécution d'une étape, il peut encore appeler des outils de recherche, de base de données ou d'autres outils. S'il est constaté pendant l'exécution que le plan original ne peut pas continuer, ou si de nouvelles exigences de tâche apparaissent, le plan original peut être ajusté.

Le processus d'exécution typique de Plan-and-Execute peut s'exprimer ainsi :

Tâche Utilisateur → Élaborer le Plan → Exécuter Étape par Étape → Vérifier l'État de la Tâche → Résultat Final

Où, lors de la vérification de l'état de la tâche, si le plan original nécessite un ajustement, une re-planification peut être effectuée avant de poursuivre l'exécution.

Comparé à ReAct, Plan-and-Execute met l'accent sur l'établissement d'un plan global avant l'exécution, ce qui le rend adapté aux tâches avec de nombreuses étapes, des objectifs clairs et la possibilité d'être décomposées à l'avance. Les deux modes peuvent également être combinés, par exemple en utilisant Plan-and-Execute pour planifier des tâches complexes, puis en utilisant ReAct dans les étapes individuelles pour déterminer dynamiquement l'opération suivante en fonction des résultats retournés par les outils.

Mode Reflection

Les résultats générés par un Agent la première fois ne répondent pas nécessairement aux exigences de la tâche. Par exemple, le rapport généré peut omettre des informations importantes, les réponses peuvent contenir des erreurs factuelles, ou le code peut ne pas fonctionner correctement. Pour ces tâches, un processus de vérification et d'amélioration peut être ajouté sur la base des résultats préliminaires — c'est l'idée de base du mode Reflection (réflexion).

Le processus de base de Reflection peut s'exprimer ainsi : Tâche Utilisateur → Générer des Résultats Préliminaires → Vérifier les Résultats → Identifier les Problèmes → Modifier les Résultats → Vérifier à Nouveau → ... → Satisfaire les Exigences → Résultat Final.

Par exemple, demandez à un Agent de générer un rapport comparatif de produits basé sur plusieurs sources. Après avoir rédigé la première version, vous pouvez vérifier si tous les produits à comparer sont couverts, si les paramètres des produits sont cohérents avec les sources originales et si des différences importantes ont été omises. Si des informations incomplètes sont trouvées pour un produit, vous pouvez rechercher à nouveau des documents et les compléter ; si les conclusions ne sont pas cohérentes avec les sources, elles doivent être révisées.

Dans ce processus, les retours utilisés pour vérifier les résultats peuvent provenir de différentes sources. L'Agent peut vérifier ses propres résultats d'exécution, utiliser d'autres Agents ou modèles pour l'évaluation, ou combiner des règles, des bases de connaissances ou une révision manuelle pour fournir des retours.

Ce mode est plus adapté aux tâches nécessitant une qualité élevée, telles que la génération de rapports, la rédaction de code et l'analyse complexe. Cependant, les vérifications et modifications répétées augmenteront également le nombre d'appels de modèles et le temps d'exécution, il est donc courant de définir des conditions d'arrêt dans la pratique, par exemple en terminant lorsque les résultats répondent aux exigences ou en s'arrêtant après avoir atteint le nombre maximum de vérifications.

Mode de Collaboration Multi-Agent

Pour certaines tâches complexes, un seul Agent peut avoir besoin de gérer simultanément la collecte de données, l'analyse de données, la génération de contenu et la vérification des résultats. Dans ce cas, les tâches peuvent être réparties entre plusieurs Agents, chacun traitant différentes parties, puis collaborant pour atteindre l'objectif final. La collaboration Multi-Agent comprend principalement deux aspects : la division des tâches et l'échange d'informations.

Lors de la division des tâches, différents Agents se voient attribuer différents rôles, tâches, outils et connaissances. Par exemple, pour rédiger un rapport de recherche sur une industrie, un Agent de Recherche, un Agent d'Analyse de Données, un Agent de Rédaction et un Agent de Révision peuvent être mis en place. L'Agent de Recherche est responsable de la collecte et de l'organisation des documents, l'Agent d'Analyse de Données traite les données pertinentes, l'Agent de Rédaction génère le rapport, et l'Agent de Révision vérifie le rapport.

En termes d'échange d'informations, différentes méthodes de collaboration peuvent être utilisées entre plusieurs Agents. Pour les tâches qui peuvent être clairement divisées, plusieurs Agents peuvent traiter séparément différentes sous-tâches, puis les résultats peuvent être regroupés à la fin ; pour les tâches ayant des dépendances séquentielles, le résultat d'un Agent peut être transmis à l'Agent suivant pour un traitement ultérieur ; pour les tâches nécessitant des discussions ou des modifications répétées, différents Agents peuvent échanger des informations par des interactions de messages. De plus, un Agent coordinateur peut être défini pour décider quel Agent doit traiter la tâche ensuite en fonction de la situation actuelle.

En prenant l'exemple de la génération d'un rapport de recherche sur une industrie, une approche de collaboration Multi-Agent est illustrée dans le diagramme ci-dessous :

La collaboration Multi-Agent peut réduire la difficulté de traitement des tâches complexes pour un seul Agent grâce à la division du travail, mais le nombre d'Agents n'est pas nécessairement meilleur. À mesure que le nombre d'Agents augmente, l'affectation des tâches, la transmission des informations et la coordination des résultats deviennent également plus complexes, tout en augmentant les appels de modèles et les coûts d'exécution. Par conséquent, pour les tâches qu'un seul Agent peut accomplir, il n'est généralement pas nécessaire d'introduire plusieurs Agents.

Ces modes d'exécution de tâches ne sont pas indépendants les uns des autres et peuvent être combinés en fonction des besoins de la tâche dans les applications pratiques. Par exemple, Plan-and-Execute peut être utilisé pour planifier des tâches complexes, puis ReAct peut être utilisé pour accomplir les étapes nécessitant de multiples appels d'outils, avec Reflection vérifiant et améliorant les résultats ; pour des tâches à plus grande échelle, différentes sous-tâches peuvent être réparties entre plusieurs Agents pour une collaboration.