Rencontrez l'ingénieur anthropique qui garde son agent IA digne de confiance

Si vous vous êtes déjà demandé comment Claude et d’autres agents IA similaires peuvent répondre à des questions complexes en quelques secondes et où ils obtiennent les informations, vous n’êtes pas seul.

Gurmeet Saran s'efforce chaque jour de trouver cette réponse en tant qu'ingénieur chez Anthropic à San Francisco, la société de recherche en IA derrière Claude. Le membre senior de l’IEEE développe une infrastructure pour comprendre les mécanismes derrière le comportement du chatbot et garantir que son architecture sous-jacente produit des résultats fiables.

Gurmeet Saran

Employeur

Anthropique à San Francisco

Titre

Membre du staff technique

Note des membres

Membre senior de l'IEEE

Alma mater

Université de Kalyani, en Inde ; Institut Birla de technologie et de science, à Pilani, Inde

« Mon travail consiste à m'assurer que les données sont exactes, structurées et dignes de confiance, et que les données privées restent privées », dit-il. « Comme je l’ai appris plus tôt dans ma carrière, la confidentialité ne peut pas être une couche sur laquelle on s’appuie : elle doit faire partie de l’architecture dès le départ. » Si vous ne pouvez pas faire confiance à la logique, ajoute-t-il, vous ne pouvez pas faire d’affirmations fiables sur le comportement, ce qui a de réelles implications en matière de sécurité.

La sécurité est une priorité pour Anthropic, dit-il. Selon l’énoncé de mission de Claude, l’entreprise souhaite que l’agent d’IA soit « véritablement utile aux personnes avec lesquelles ou pour le compte desquelles il travaille, ainsi qu’à la société, tout en évitant les actions dangereuses, contraires à l’éthique ou trompeuses ». Il est crucial pour la mission de garantir que les chercheurs puissent observer et comprendre le comportement des modèles d'IA, un défi particulièrement aigu pour les grands modèles de langage, explique Saran.

"Nous disposons d'outils adéquats pour surveiller les bases de données et les services Web", dit-il, "mais pour les LLM, nous sommes encore en train de le découvrir."

Résoudre les problèmes de qualité des données chez Yahoo, Intuit et Meta

L’intérêt de Saran pour les systèmes informatiques remonte à son enfance à Calcutta, où il passait autant de temps qu’il le pouvait dans le laboratoire informatique de l’école.

« Je me souviens de la première fois que j'ai utilisé l'un des ordinateurs », dit-il. « Ce qui m'a frappé, c'est qu'on pouvait écrire des instructions et que la machine les suivait exactement. Aucune ambiguïté.

"Cela me semblait magique."

Après avoir obtenu son diplôme d'études secondaires en 1999, il est resté en Inde pour poursuivre des études supérieures. Il a obtenu une licence en ingénierie électronique et des télécommunications en 2004 à l'Université de Kalyani. En 2010, il a obtenu une maîtrise en génie logiciel du Birla Institute of Technology and Science à Pilani.

Alors qu'il était étudiant diplômé, il a débuté sa carrière en 2007 chez Yahoo en tant que responsable technique de l'équipe de données à Bangalore, en Inde. C'est là qu'il a découvert le projet qui a façonné son parcours professionnel : travailler sur des solutions de reporting d'analyse Web et de business intelligence.

« Nous étions constamment confrontés à un problème frustrant », se souvient-il. "Différentes équipes calculeraient la même métrique de site Web - quelque chose comme les utilisateurs actifs quotidiens du site - en utilisant une logique légèrement différente et se retrouveraient avec des réponses contradictoires. Cela semble être un petit problème, mais lorsque les dirigeants prennent des décisions sur l'allocation des ressources et le développement de produits en utilisant ces données, ne pas savoir quel chiffre est correct devient un problème. "

L’équipe a construit un référentiel de données central avec des mesures définies, servant essentiellement de source unique de vérité. Saran a créé un modèle qui définit ce que signifie « utilisateurs actifs quotidiens du site », en détaillant quels événements comptent, comment gérer les cas extrêmes (ou lorsque le code standard échoue), et plus encore.

Avec le nouveau modèle, les équipes data de l'entreprise pourraient s'appuyer sur une méthode standard pour déterminer le nombre d'utilisateurs actifs quotidiens pour les projets et les sites dont elles étaient responsables et obtenir des résultats comparables en utilisant la même logique.

À partir de là, Saran et son équipe ont créé Yahoo! Digits, un outil d'analyse Web interne utilisé pour tous les produits de l'entreprise.

Saran a quitté Yahoo en 2010 pour rejoindre Intuit en tant qu'ingénieur à Mountain View, en Californie. Il a contribué à la construction de l'infrastructure d'analyse qui unifiait les données entre les produits de l'entreprise, notamment les logiciels de comptabilité TurboTax et QuickBooks. Au cours de son mandat, Intuit a développé une fonctionnalité permettant de détecter les déclarations fiscales frauduleuses en temps réel. Saran et d’autres ingénieurs ont dû créer un système pour protéger les données des contribuables tout en adhérant aux politiques strictes de l’Internal Revenue Service des États-Unis.

"L'IEEE opère dans de nombreux pays où les ingénieurs n'ont pas de voies faciles d'accès à la communauté professionnelle mondiale. Ce type de connexion est important à mesure que le développement de l'IA s'étend au-delà d'une poignée d'organisations."

« Cela m’a appris que la confidentialité et la gouvernance ne peuvent pas être des couches que l’on ajoute au logiciel après coup », dit-il. "Ils doivent faire partie de l'architecture dès le départ."

Saran a rejoint Meta (connue à l'époque sous le nom de Facebook) en 2016 en tant qu'ingénieur logiciel principal à Menlo Park, en Californie. La société était confrontée à une controverse concernant ses statistiques vidéo : Meta a publiquement reconnu une erreur qui l'avait amenée à surestimer le nombre de vues des vidéos publiées.

"Ce n'était pas un bug de codage ; c'était un problème architectural", explique Saran. Il a construit un système qui fonctionnait de manière similaire à celui qu'il avait développé chez Intuit, dans lequel une seule vérité était définie pour régir toutes les mesures de visionnage vidéo sur le site.

Ce système, Metric360, est finalement devenu partie intégrante de l'architecture du site. Au moment où il a quitté Meta en 2021, dit-il, Metric360 était utilisé dans toute l'entreprise pour calculer les métriques vidéo.

Il a quitté l'entreprise pour devenir ingénieur logiciel principal chez Wealthfront, une société de services financiers située à Palo Alto, en Californie. Il a contribué à la construction de l'infrastructure de données de l'entreprise.

Construire des systèmes d'IA fiables chez Anthropic

Saran a rejoint Anthropic en 2025 en tant que membre du staff technique.

Pour décrire les implications de son travail, il utilise une analogie médicale : "Imaginez qu'un médecin surveille les signes vitaux d'un patient et prenne des décisions de traitement en fonction de ces chiffres. Et si un ou quelques dispositifs médicaux utilisés étaient légèrement mal calibrés ? Même si la plupart des mesures sont bonnes, c'est un problème sérieux car les décisions difficiles se prennent en marge. "

« C’est la même chose avec les systèmes d’IA. Mon travail est…

Article traduit automatiquement depuis la couverture d’origine d’un média international ; des imprécisions sont possibles. Consultez « Lire l’original » pour la source.

Les actualités sont collectées automatiquement depuis des flux publics robotique & IA.