MCP gateway आपके AI एजेंट्स और उनके कॉल किए जाने वाले हर MCP सर्वर के बीच एकमात्र प्रवेश द्वार है। इस लेख में देखें कि इसका आर्किटेक्चर कैसे काम करता है, तीन असली सेटअप, एजेंट ट्रैफ़िक में टिके रहने वाले रेट लिमिट पैटर्न, और वे ओपन सोर्स gateways जिन्हें आप आज ही चला सकते हैं।
आपका पहला MCP सर्वर एक दोपहर में तैयार हो जाता है। आपके दसवें सर्वर के लिए सिक्योरिटी रिव्यू, तीन क्रेडेंशियल रोटेशन और एक गुस्से भरा संदेश चाहिए होता है, जिसमें किसी बेकाबू एजेंट की शिकायत होती है जिसने एक मिनट में किसी इंटरनल API को 4,000 बार ठोक दिया। यही वह पल है जब ज़्यादातर टीमें MCP gateway खोजने निकलती हैं।
MCP gateway एक प्रॉक्सी है जो AI क्लाइंट्स (एजेंट्स, चैट ऐप्स, IDE असिस्टेंट्स) और उन MCP सर्वर्स के बीच बैठता है जो टूल्स और डेटा उपलब्ध कराते हैं। हर क्लाइंट का सीधे हर सर्वर से जुड़ने के बजाय, वे सब एक नियंत्रित एंट्री पॉइंट से जुड़ते हैं। यह एंट्री पॉइंट ऑथेंटिकेशन, रूटिंग, पॉलिसी, रेट लिमिट और लॉगिंग संभालता है, ताकि अलग-अलग सर्वर्स को यह सब न करना पड़े।
यह लेख बताता है कि gateway क्या करता है, आर्किटेक्चर कैसे एक साथ फ़िट होता है, असली सेटअप कैसे दिखते हैं, ऐसी रेट लिमिट कैसे डिज़ाइन करें जो एजेंट ट्रैफ़िक झेल सकें, और कौन-से ओपन सोर्स विकल्प आपके समय के लायक हैं।
MCP Gateway असल में क्या करता है
एक टोल प्लाज़ा की कल्पना करें। ट्रैफ़िक कई दिशाओं से आता है, हर गाड़ी की एक बार जाँच होती है, और आगे की सड़क पर जाने से पहले बहाव को नियंत्रित किया जाता है। Gateway टूल कॉल्स के लिए यही काम करता है।
यह कौन-सी समस्या हल करता है
Model Context Protocol (MCP) यह मानकीकृत करता है कि एक LLM क्लाइंट टूल्स को कैसे खोजता और कॉल करता है। इंटरऑपरेबिलिटी के लिए यह बेहतरीन है, लेकिन बड़े पैमाने पर यह एक उलझा हुआ टोपोलॉजी बना देता है। अगर आपके पास 8 क्लाइंट और 15 सर्वर हैं, तो 120 अलग-अलग कनेक्शन हो सकते हैं, हर एक का अपना क्रेडेंशियल, अपना लॉगिंग फ़ॉर्मेट और अपना फ़ेलियर मोड।
Gateway के बिना आम समस्याएँ:
क्रेडेंशियल का फैलाव: हर क्लाइंट हर सर्वर के लिए एक टोकन स्टोर करता है।
कोई केंद्रीय ऑडिट ट्रेल नहीं: कोई नहीं बता सकता कि किस एजेंट ने किस टूल को, किन आर्गुमेंट्स के साथ कॉल किया।
असमान सुरक्षा: एक सर्वर पर रेट लिमिट है, नौ पर नहीं।
तकलीफ़देह ऑनबोर्डिंग: एक सर्वर जोड़ने का मतलब हर क्लाइंट पर कॉन्फ़िग बदलना।
टूल ओवरलोड: एजेंट्स सैकड़ों टूल डेफ़िनिशन देखते हैं और ऐसे विवरणों पर कॉन्टेक्स्ट खर्च करते हैं जिनका वे कभी इस्तेमाल नहीं करते।
मुख्य घटक
ज़्यादातर gateways, चाहे किसी भी वेंडर के हों, एक जैसे बिल्डिंग ब्लॉक्स मिलाते हैं:
घटक
काम
यह क्यों मायने रखता है
फ़्रंट डोर एंडपॉइंट
एक MCP URL जिससे क्लाइंट जुड़ते हैं
क्लाइंट को सिर्फ़ एक कॉन्फ़िग एंट्री चाहिए
ऑथेंटिकेशन लेयर
OAuth, OIDC, API टोकन, mTLS
पहचान एक बार, केंद्रीय रूप से सत्यापित होती है
राउटर / रजिस्ट्री
टूल नामों को अपस्ट्रीम सर्वर्स से मैप करता है
सर्वर बिना क्लाइंट बदले इधर-उधर हो सकते हैं
पॉलिसी इंजन
यूज़र, टूल या आर्गुमेंट के आधार पर अनुमति या इनकार
एजेंट्स के लिए न्यूनतम अधिकार
रेट लिमिटर
पहचान, टूल या टेनेंट के हिसाब से कॉल्स सीमित करता है
अपस्ट्रीम सिस्टम और बजट की रक्षा
ऑब्ज़र्वेबिलिटी
हर कॉल के लॉग, ट्रेस और मेट्रिक्स
डीबगिंग और कंप्लायंस
ट्रांसपोर्ट ब्रिज
stdio, SSE और streamable HTTP को बदलता है
पुराने सर्वर नए क्लाइंट्स के साथ काम करते हैं
💡 Gateway, LLM gateway के बराबर नहीं है। LLM gateway मॉडल प्रोवाइडर्स को कॉल्स (chat completions, embeddings) प्रॉक्सी करता है। MCP gateway टूल्स और डेटा स्रोतों को कॉल्स प्रॉक्सी करता है। आज कई प्रोडक्ट्स दोनों करते हैं, लेकिन ट्रैफ़िक के पैटर्न अलग होते हैं।
आर्किटेक्चर कैसे एक साथ फ़िट होता है
रिक्वेस्ट फ़्लो, चरण दर चरण
एक सामान्य टूल कॉल gateway से इस तरह गुज़रती है:
क्लाइंट जुड़ता है। एजेंट gateway के MCP एंडपॉइंट पर सेशन खोलता है और एक क्रेडेंशियल पेश करता है।
पहचान तय होती है। Gateway टोकन की जाँच करता है और उसे किसी यूज़र, टीम या टेनेंट से मैप करता है।
टूल लिस्टिंग फ़िल्टर होती है। जब क्लाइंट पूछता है कि कौन-से टूल मौजूद हैं, तो gateway सिर्फ़ वही लौटाता है जिन्हें वह पहचान इस्तेमाल कर सकती है। इससे मॉडल को पढ़ना पड़ने वाला कॉन्टेक्स्ट भी कम होता है।
कॉल की अनुमति मिलती है।tools/call पर, पॉलिसी इंजन टूल, आर्गुमेंट्स और किसी भी शर्त की जाँच करता है, जैसे दिन का समय या डेटा का वर्गीकरण।
लिमिट जाँची जाती है। रेट लिमिटर एक काउंटर घटाता है। अगर बजट खत्म हो गया है, तो कॉल एक साफ़ त्रुटि के साथ रद्द होती है, जिसे एजेंट समझ सकता है।
रिक्वेस्ट रूट होती है। Gateway कॉल को सही अपस्ट्रीम सर्वर तक भेजता है और उस सर्वर का क्रेडेंशियल इंजेक्ट करता है, ताकि क्लाइंट उसे कभी देखे ही नहीं।
रिस्पॉन्स लौटता है और लॉग होता है। परिणाम वापस आता है, और लेटेंसी, स्टेटस व पेलोड मेटाडेटा ऑडिट लॉग में लिखे जाते हैं।
Stateless बनाम Stateful सेशन
MCP सेशन में स्टेट हो सकती है, और यही तय करती है कि gateway को कैसे स्केल करें। Streamable HTTP stateless रिक्वेस्ट्स चलाने देता है, जो बिना दिक्कत के हॉरिज़ॉन्टली स्केल होती हैं। लेकिन सर्वर-इनिशिएटेड मैसेज, सब्सक्रिप्शन और लंबे समय चलने वाली टूल कॉल्स जैसी सुविधाओं को अक्सर सेशन एफ़िनिटी चाहिए होती है, यानी वही क्लाइंट हर बार उसी gateway replica पर पहुँचे, या सेशन स्टेट किसी साझा स्टोर में रहे।
एक व्यावहारिक नियम: stateless से शुरू करें, और साझा स्टोर तभी जोड़ें जब कोई टूल सच में उसकी ज़रूरत हो। ज़्यादातर टीमों के लिए लोड बैलेंसर पर स्टिकी सेशन सस्ता समाधान है।
यह कहाँ चलता है
तीन डिप्लॉयमेंट शेप बार-बार दिखते हैं:
Sidecar या लोकल प्रोसेस: डेवलपर की मशीन पर एक हल्का gateway, जो कुछ लोकल सर्वर्स के सामने बैठता है।
केंद्रीय सर्विस: आपके क्लाउड अकाउंट में एक gateway क्लस्टर, जो आपके आइडेंटिटी प्रोवाइडर के पीछे है।
प्रति-टेनेंट इंस्टेंस: मल्टी-टेनेंट प्रोडक्ट में हर ग्राहक के लिए एक gateway, जो ब्लास्ट रेडियस को अलग रखता है, पर इसमें ज़्यादा इन्फ़्रास्ट्रक्चर लगता है।
ट्रांसपोर्ट ब्रिज का ज़िक्र ज़रूरी है। कई उपयोगी MCP सर्वर अब भी केवल stdio पर चलते हैं, यानी वे एक लोकल सबप्रोसेस के रूप में चलते हैं। Gateway उन्हें रैप कर सकता है, कंटेनर में चला सकता है और HTTP पर एक्सपोज़ कर सकता है, ताकि रिमोट क्लाइंट्स बिना कुछ लोकली इंस्टॉल किए उनका इस्तेमाल कर सकें।
Gateway सेटअप के असली उदाहरण
सोलो डेवलपर सेटअप
आप एक IDE असिस्टेंट, एक चैट क्लाइंट और एक टर्मिनल एजेंट इस्तेमाल करते हैं। हर एक को एक फ़ाइलसिस्टम सर्वर, एक Git सर्वर और एक डेटाबेस सर्वर चाहिए। Gateway के बिना आपको वही तीन कॉन्फ़िग ब्लॉक तीन ऐप्स में कॉपी करने पड़ते हैं।
लोकल gateway के साथ, आप तीनों सर्वर्स को एक बार रजिस्टर करते हैं, और हर क्लाइंट http://localhost:PORT/mcp की ओर इशारा करता है। मंगलवार को एक नया सर्वर जोड़ें, और तीनों ऐप्स उसे तुरंत देख लेते हैं। यहाँ रेट लिमिट मुख्य रूप से एक सीटबेल्ट जैसी है: डेटाबेस टूल को लगभग 30 कॉल प्रति मिनट तक सीमित करें, ताकि कोई लूप में फँसा एजेंट आपके डेव डेटाबेस को न ठोक सके।
SSO वाला टीम सेटअप
40 लोगों की एक इंजीनियरिंग टीम एक इश्यू ट्रैकर, एक विकी, एक CI सिस्टम और एक प्रोडक्शन रीड रेप्लिका तक पहुँच साझा करती है। Gateway सिंगल साइन-ऑन के पीछे बैठता है:
इंजीनियर अपनी कंपनी की पहचान से ऑथेंटिकेट करते हैं। कोई साझा टोकन नहीं।
एक ग्रुप-से-टूल मैपिंग सपोर्ट स्टाफ़ को सिर्फ़ पढ़ने वाले विकी टूल देती है, डेवलपर्स को CI टूल, और केवल ऑन-कॉल ग्रुप को प्रोडक्शन रीड रेप्लिका।
हर कॉल इंसान की पहचान के साथ लॉग होती है, किसी जेनेरिक सर्विस अकाउंट के साथ नहीं।
ऑफ़बोर्डिंग आइडेंटिटी प्रोवाइडर में एक स्विच है।
यही वह मामला है जहाँ gateways सबसे जल्दी अपना खर्च वसूलते हैं, क्योंकि विकल्प यह है कि किसके पास कौन-सा टोकन है, इसकी एक स्प्रेडशीट रखी जाए।
मल्टी-टेनेंट SaaS
आप एक ऐसा प्रोडक्ट लॉन्च करते हैं जिसमें ग्राहक अपने AI एजेंट्स को आपके टूल्स से जोड़ते हैं। अब gateway आपकी पब्लिक सतह का हिस्सा है। आपको प्रति-टेनेंट आइसोलेशन, प्रति-टेनेंट कोटा, बिलिंग के लिए यूसेज मीटरिंग और सख्त आर्गुमेंट वैलिडेशन चाहिए, क्योंकि कॉल करने वाला अब ऐसा कर्मचारी नहीं है जिस पर आप भरोसा करते हों।
यहाँ रेट लिमिटर दोहरा काम करता है, एक कमर्शियल कंट्रोल के रूप में भी: एक फ़्री प्लान दिन में 1,000 टूल कॉल की अनुमति दे सकता है, एक पेड प्लान 100,000, और बर्स्ट को रद्द करने के बजाय थ्रॉटल किया जाता है।
💡 सेटअप जो भी हो, टूल का नाम, कॉलर की पहचान, लेटेंसी, स्टेटस और आर्गुमेंट का आकार लॉग करें। पूरे आर्गुमेंट और परिणाम लॉग करने में सावधानी बरतें, क्योंकि उनमें अक्सर निजी या गोपनीय डेटा होता है।
ऐसी रेट लिमिट जो समझ में आएँ
एजेंट ट्रैफ़िक इंसानी ट्रैफ़िक जैसा नहीं दिखता। एक इंसान हर कुछ सेकंड में एक बटन दबाता है। एक एजेंट एक साथ दस टूल कॉल चला सकता है, किसी भी त्रुटि पर दोबारा कोशिश कर सकता है, और तब तक लूप करता रह सकता है जब तक सफल न हो जाए या कोई उसे रोक न दे। रेट लिमिट यही तय करती हैं कि एक मददगार ऑटोमेशन आपके अपने सिस्टम्स पर डिनायल-ऑफ़-सर्विस हमला न बन जाए।
IP नहीं, पहचान के आधार पर सीमित करें
किसी कॉर्पोरेट प्रॉक्सी के पीछे सैकड़ों यूज़र एक ही IP पता साझा करते हैं, और एक एजेंट प्लेटफ़ॉर्म लगातार IP बदल सकता है। उपयोगी आयाम ये हैं:
प्रति यूज़र या प्रति एजेंट पहचान: एक बेकाबू लूप को रोकता है।
प्रति टूल: एक send_email टूल को search_docs से कहीं कम लिमिट मिलनी चाहिए।
प्रति टेनेंट या टीम: यह रोकता है कि शोर मचाने वाले पड़ोसी दूसरों के संसाधन खत्म कर दें।
प्रति अपस्ट्रीम सर्वर: नाज़ुक बैकएंड्स की रक्षा करता है जिनकी अपनी लिमिट होती है।
यह एक उदाहरण के तौर पर बनाया गया स्केच है, किसी खास प्रोडक्ट का सिंटैक्स नहीं। हर gateway का अपना कॉन्फ़िग फ़ॉर्मैट होता है, लेकिन पॉलिसी का ढाँचा हर जगह लागू होता है।
रिक्वेस्ट लिमिट बनाम टोकन बजट
दो अलग चीज़ें गिनी जा सकती हैं:
लिमिट का प्रकार
क्या गिनती है
किसके लिए सबसे अच्छी
रिक्वेस्ट-आधारित
समय अवधि में टूल कॉल्स
बैकएंड्स और APIs की सुरक्षा
टोकन-आधारित
टूल परिणामों द्वारा खर्च हुए LLM टोकन
मॉडल खर्च और कॉन्टेक्स्ट का आकार नियंत्रित करना
कॉनकरेंसी
एक समय में चल रही कॉल्स
धीमे या महँगे टूल
पेलोड आकार
अंदर या बाहर जाने वाले बाइट्स
बड़े परिणाम जो कॉन्टेक्स्ट भर दें, उन्हें रोकना
MCP के लिए टोकन-आधारित लिमिट उस तरह मायने रखती हैं जिस तरह क्लासिक APIs के लिए नहीं रखतीं। 200,000 अक्षरों का दस्तावेज़ लौटाने वाला टूल HTTP लेयर पर आपका कुछ खर्च नहीं करता, लेकिन वह मॉडल की कॉन्टेक्स्ट विंडो का बड़ा हिस्सा और आपका बिल खा सकता है। कुछ gateways अब टोकन-अवेयर लिमिट सपोर्ट करते हैं, इसलिए यह मान लेने से पहले जाँचें कि रिक्वेस्ट काउंट काफ़ी हैं।
काउंटर कहाँ रहते हैं
यह वह डिज़ाइन चुनाव है जो टीमों को बाद में परेशान करता है। काउंटर तीन जगहों पर रह सकते हैं:
मेमोरी में, प्रति replica। सबसे तेज़, लगभग कोई लेटेंसी नहीं जोड़ता, लेकिन हर replica अपनी अलग गिनती रखती है। 4 replicas और 100 की लिमिट के साथ, एक यूज़र असल में 400 तक कॉल कर सकता है।
साझा स्टोर, जैसे Redis। सभी replicas में सटीक, प्रति कॉल थोड़ी लेटेंसी के साथ, और चलाने के लिए एक और डिपेंडेंसी।
Gateway-नेटिव डिस्ट्रीब्यूटेड काउंटर। वही सटीकता, लेकिन यह सुविधा ओपन सोर्स प्रोजेक्ट्स में कभी-कभी पेड या एंटरप्राइज़ टियर के लिए रखी जाती है।
एक ही नोड वाले gateway के लिए मेमोरी वाला तरीका ठीक है। कई replicas और सख्त कोटा वाले किसी भी सेटअप के लिए साझा स्टोर की योजना बनाएँ।
💡 एक मशीन-पठनीय रिजेक्शन लौटाएँ, जिसमें retry-after संकेत हो। एक अच्छा व्यवहार करने वाला एजेंट रुक सकता है। सिर्फ़ एक सादा "error" मॉडल को तुरंत दोबारा कोशिश करने पर मजबूर करता है और हालात और बिगाड़ देता है।
आम एल्गोरिदम में token bucket (बर्स्ट की अनुमति देता है, लगातार भरता रहता है), fixed window (सरल है, लेकिन विंडो के किनारों पर दोगुने बर्स्ट की अनुमति देता है) और sliding window (ज़्यादा सुचारू, थोड़ी ज़्यादा स्टेट के साथ) शामिल हैं। टूल कॉल्स के लिए token bucket आमतौर पर डिफ़ॉल्ट होता है, क्योंकि एजेंट स्वभाव से बर्स्टी होते हैं।
आज़माने लायक ओपन सोर्स Gateways
यह क्षेत्र तेज़ी से बदलता है, और कई "सर्वश्रेष्ठ" सूचियाँ ऐसे वेंडर्स लिखते हैं जो अपने ही प्रोडक्ट को पहले स्थान पर रखते हैं। नीचे के नामों को एक प्रारंभिक शॉर्टलिस्ट मानें, और किसी को अपनाने से पहले हर प्रोजेक्ट के रिपॉज़िटरी में मौजूदा लाइसेंस, गतिविधि और फ़ीचर स्थिति जाँच लें।
पहले कंटेनर और Kubernetes
Docker MCP Gateway: Apache 2.0 लाइसेंस वाला बताया गया है, यह हर MCP सर्वर को एक अलग कंटेनर में चलाता है, साइन्ड इमेज और इंजेक्टेड सीक्रेट्स के सपोर्ट के साथ। यह Docker के डेस्कटॉप टूलिंग के साथ आता है, जो इसे लोकल डेवलपर सेटअप के लिए एक स्वाभाविक विकल्प बनाता है।
Microsoft MCP Gateway: Kubernetes के लिए बना एक रिवर्स प्रॉक्सी और मैनेजमेंट लेयर, जिसे MIT लाइसेंस वाला बताया गया है। अगर आपकी प्लेटफ़ॉर्म टीम पहले से क्लस्टर्स में काम करती है, तो यह अच्छा मेल है।
Envoy AI Gateway: Envoy प्रॉक्सी पर बना, और अब MCP रूटिंग भी देता है। अगर आप पहले से Envoy चलाते हैं, तो MCP रूटिंग जोड़ना एक नया कॉम्पोनेंट लाने के बजाय कॉन्फ़िगरेशन बदलने जैसा ज़्यादा हो सकता है।
रजिस्ट्री और फ़ेडरेशन शैली
IBM ContextForge: Apache 2.0 प्रोजेक्ट, जो gateway, रजिस्ट्री और प्रॉक्सी का काम करता है, और टूल्स, एजेंट्स व APIs को एक MCP एंडपॉइंट के पीछे फ़ेडरेट करता है। यह फ़ीचर-समृद्ध और लोकप्रिय है, लेकिन रिपॉज़िटरी बताती है कि IBM का इसे कोई आधिकारिक सपोर्ट नहीं है, इसलिए अपने रखरखाव का बजट खुद रखें।
Obot: एक ओपन सोर्स प्लेटफ़ॉर्म जो gateway को कैटलॉग और एक्सेस मैनेजमेंट के साथ बंडल करता है।
Lasso: सिक्योरिटी पर केंद्रित, जिसका ज़ोर एजेंट्स और टूल्स के बीच के ट्रैफ़िक की जाँच पर है।
परफ़ॉर्मेंस और API प्लेटफ़ॉर्म शैली
agentgateway: एक Linux Foundation प्रोजेक्ट, जिसके ओपन सोर्स टियर में टोकन-आधारित रेट लिमिटिंग है। रिपोर्ट्स बताती हैं कि वैश्विक, क्रॉस-replica लिमिट और बजट कंट्रोल एक एंटरप्राइज़ कंट्रोल प्लेन में हैं, इसलिए अपनी ज़रूरत के हिसाब से जाँचें।
Bifrost: Apache 2.0, बहुत कम ओवरहेड के लिए मेमोरी-आधारित रेट लिमिटिंग के साथ। ऊपर की चेतावनी याद रखें: काउंटर हर इंस्टेंस पर लोकल हैं।
Kong और Apache APISIX: परिपक्व API gateways जो प्लगइन्स के ज़रिए MCP संभालते हैं। अगर आप इनमें से कोई पहले से चलाते हैं, तो आपको डिस्ट्रीब्यूटेड रेट लिमिटिंग और एक परिचित ऑपरेटिंग मॉडल मिलता है, हालाँकि MCP-विशिष्ट फ़ीचर (टूल-स्तर फ़िल्टरिंग, सेशन हैंडलिंग) उन gateways से कमज़ोर हो सकते हैं जो खास इसी के लिए बने हैं।
त्वरित तुलना
Gateway
सबसे उपयुक्त
रेट लिमिट पहलू
किससे सावधान रहें
Docker MCP Gateway
लोकल और कंटेनर वर्कफ़्लो
बुनियादी
बड़े मल्टी-टेनेंट सेटअप के लिए कम उपयुक्त
Microsoft MCP Gateway
Kubernetes प्लेटफ़ॉर्म
प्लेटफ़ॉर्म पर निर्भर
क्लस्टर का ज्ञान चाहिए
Envoy AI Gateway
जो टीमें पहले से Envoy पर हैं
Envoy फ़िल्टर
कॉन्फ़िगरेशन कठिन
IBM ContextForge
फ़ेडरेशन और रजिस्ट्री
अंतर्निहित
केवल कम्युनिटी सपोर्ट
agentgateway
टोकन-अवेयर लिमिट
टोकन-आधारित
क्रॉस-replica लिमिट के लिए भुगतान लग सकता है
Bifrost
कम ओवरहेड
मेमोरी में
प्रति-replica काउंटर
Kong / APISIX
मौजूदा API सिस्टम
प्लगइन आधारित
MCP फ़ीचर कम
सिक्योरिटी और ऑब्ज़र्वेबिलिटी
Gateway अजीब चीज़ें पकड़ने की सबसे अच्छी जगह भी है। एजेंट्स तीसरे पक्ष द्वारा लिखे गए टूल विवरण पढ़ते हैं, और उन विवरणों में छिपे निर्देश हो सकते हैं। टूल परिणामों में इंजेक्टेड टेक्स्ट हो सकता है। एक केंद्रीय बिंदु आपको यह सब जाँचने, फ़िल्टर करने और रिकॉर्ड करने देता है।
जो कंट्रोल चालू करने लायक हैं
Allowlists: किसी भूमिका को सिर्फ़ वही टूल दें जिनकी उसे ज़रूरत है, न कि सर्वर की हर चीज़।
आर्गुमेंट वैलिडेशन: खराब बने या संदिग्ध रूप से व्यापक इनपुट रद्द करें, जैसे SQL टूल को DROP स्टेटमेंट मिलना।
जोखिम भरे टूल्स के लिए मानवीय मंज़ूरी: भेजने, भुगतान करने, मिटाने या डिप्लॉय करने वाली किसी भी चीज़ के लिए पुष्टि माँगें।
पिन किए गए टूल डेफ़िनिशन: जब कोई सर्वर आपकी मंज़ूरी के बाद चुपचाप किसी टूल का विवरण बदल दे, तो अलर्ट दें।
सीक्रेट इंजेक्शन: अपस्ट्रीम क्रेडेंशियल gateway में रखें, कभी क्लाइंट कॉन्फ़िग या मॉडल कॉन्टेक्स्ट में नहीं।
क्या मापें
आपको ऐसे डैशबोर्ड चाहिए जिनमें हर टूल पर कॉल्स, हर अपस्ट्रीम पर एरर रेट, p95 लेटेंसी, रेट लिमिट से रिजेक्शन और सबसे ज़्यादा कॉल करने वाले दिखें। किसी एक पहचान के लिए रिजेक्शन में अचानक उछाल आमतौर पर लूप में फँसे एजेंट का संकेत है। सबमें एक साथ उछाल आमतौर पर बताता है कि कोई अपस्ट्रीम धीमा हो गया और रिट्राई का ढेर लग गया।
एक कैसे चुनें
एक छोटी चेकलिस्ट
चुनने से पहले इन सवालों के जवाब दें:
यह कहाँ चलेगा? लैपटॉप, क्लाउड VM, Kubernetes, या एज पर?
कौन ऑथेंटिकेट करेगा? क्या आपको अपना मौजूदा OIDC प्रोवाइडर चाहिए, या टोकन काफ़ी हैं?
कितनी replicas? अगर एक से ज़्यादा हैं, तो रेट लिमिट काउंटर कैसे साझा होंगे?
कौन-से ट्रांसपोर्ट? क्या आपको stdio सर्वर्स को रैप करना है?
इसका रखरखाव कौन करता है? फ़ाउंडेशन या सक्रिय कंपनी के पीछे वाला प्रोजेक्ट एक वीकेंड वाले रिपो से बेहतर है।
क्या आप लॉग एक्सपोर्ट कर सकते हैं? ऑडिट डेटा उन टूल्स में जाना चाहिए जो आप पहले से इस्तेमाल करते हैं।
तीन आम गलतियाँ
सब कुछ एक सपाट अनुमति के पीछे रख देना। अगर हर यूज़र हर टूल कॉल कर सकता है, तो आपने एक महँगा प्रॉक्सी बनाया है, gateway नहीं।
replica की समस्या को नज़रअंदाज़ करना। मेमोरी वाली लिमिट डेमो में बिल्कुल सही लगती हैं, लेकिन प्रोडक्शन में बुरी तरह लीक होती हैं।
पायलट छोड़ देना। एक टीम में रोलआउट करें, एक हफ़्ते तक लॉग देखें, असली उपयोग के आधार पर लिमिट ट्यून करें, फिर पहुँच बढ़ाएँ।
एक समझदार रोलआउट क्रम: दो या तीन कम-जोखिम वाले सर्वर्स के सामने एक gateway, फिर SSO, फिर टूल-स्तर पॉलिसी, फिर असली आँकड़ों से ट्यून की गई रेट लिमिट, और फिर अनुमोदन फ़्लो के साथ उच्च-जोखिम वाले टूल।
बेहतर मॉडल से अपने एजेंट्स आज़माएँ
Gateway उतना ही उपयोगी है जितने उसके पीछे के एजेंट्स, और टूल कॉलिंग की गुणवत्ता मॉडलों के बीच काफ़ी अलग होती है। अगर आप एक MCP सेटअप जोड़ रहे हैं और देखना चाहते हैं कि अलग-अलग LLM मल्टी-स्टेप टूल उपयोग कैसे संभालते हैं, तो आप Picasso IA पर अलग खाते बनाए बिना कई मॉडल आज़मा सकते हैं:
Claude Sonnet 5 सावधानीपूर्वक कोडिंग और प्लानिंग कार्यों के लिए
अपने टूल विवरण लिखें, एक नमूना पॉलिसी चिपकाएँ, और हर मॉडल से कमियाँ या अस्पष्टताएँ ढूँढने को कहें। छोटे, सटीक विवरण एजेंट्स को सही टूल ज़्यादा बार चुनने में मदद करते हैं, और इससे आपका रेट लिमिट बजट भी बचता है।
जब आप टेक्स्ट से आगे जाने के लिए तैयार हों, तो picassoia.com/en/all-models पर उपलब्ध सब कुछ देखें और Picasso IA पर आज ही अपनी इमेज, वीडियो और ऑडियो परियोजनाओं के साथ प्रयोग शुरू करें।