Heure de construction : mise en cache des invites
Heure de construction : mise en cache des invites

Auteur: OpenAI – Durée: 00:56:04
Créez plus rapidement, à moindre coût et avec une latence plus faible grâce à la mise en cache rapide. Cette heure de construction explique comment fonctionne la mise en cache des invites et comment concevoir vos invites pour maximiser les accès au cache. Découvrez ce qui est réellement mis en cache, quand la mise en cache s'applique et comment de petites modifications apportées à vos invites peuvent avoir un impact important sur les coûts et les performances. Erika Kettleson (ingénieur solutions) aborde les sujets suivants : • Qu'est-ce que la mise en cache des invites et pourquoi elle est importante pour les applications du monde réel ? • Comment fonctionnent les accès au cache (préfixes, seuils de jetons et continuité) ? • Meilleures pratiques telles que l'utilisation de l'API Responses et prompt_cache_key ? 👉 Documents de mise en cache rapide : https://platform.openai.com/docs/guides/prompt-caching
👉 Livre de recettes Prompt Caching 101 : https://developers.openai.com/cookbook/examples/prompt_caching101
👉 Livre de recettes Prompt Caching 201 : https://developers.openai.com/cookbook/examples/prompt_caching_201
👉 Suivez le dépôt de code : http://github.com/openai/build-hours
👉 Inscrivez-vous aux prochaines heures de construction en direct : https://webinar.openai.com/buildhours
00:00 Introduction 02:37 Fondations, mécanismes, présentation de l'API 12:11 Démo : traitement d'images par lots 16:55 Démo : chat de branchement 26:02 Démo : compactage à long terme 32:39 Présentation des prix de remise du cache 36:03 Pleins feux sur les clients : Warp 49:37 Questions et réponses
Traduit en français à partir de cette source






