Nástroj na volanie miestnych agentov AI v C#

Nástroje sú základnou súčasťou agentickej AI, spolu s týmito základnými schopnosťami: Zatiaľ čo jazykové modely vynikajú v chápaní a vytváraní textu, nástroje rozširujú svoje schopnosti tým, že im umožňujú interagovať s reálnym svetom: vyhľadávanie na webe pre aktuálne informácie, vykonávanie kódu pre výpočty, prístup k databázam, čítanie súborov alebo pripojenie k externým službám prostredníctvom API. Myslite na nástroje ako ruky a oči agenta AI. Transformujú konverzačný systém na agenta, ktorý môže vykonávať úlohy tým, že premostí medzeru medzi uvažovaním a akciou. Keď agent potrebuje skontrolovať počasie, analyzovať tabuľkový hárok alebo poslať e-mail, povolá vhodný nástroj, dostane výsledok a začlení tejto informácie do svojej odpovede. Zaujímate sa o to, ako agenti zachovávajú a používajú kontext v priebehu času? . Pamäťový agent Prečo boli miestni agenti ťažké Vytvorenie AI agentov, ktorí môžu skutočne robiť veci lokálne, bolo prekvapivo ťažké. Modely, ktoré vedia, kedy a ako zavolať externé funkcie Súkromie bez odosielania dát do cloudu Runtime, ktorý dokáže analyzovať výzvy na nástroje, validovať argumenty a vstrekovanie výsledkov Prúdy špecifické pre model, pretože každý model má rôzne formáty volania nástrojov a vzory interakcie, ktoré vyžadujú vlastnú logiku pre intercepciu, vstrekovanie výsledkov a usporiadanie akcií Bezpečnostné kontroly na zabránenie nekonečným krútiam a únikovým nákladom Jasná pozorovateľnosť, aby ste vedeli, čo váš agent robí Až doteraz si väčšina agentových rámcov musela vybrať: výkonné agenty založené na cloude s obavami o latenciu a súkromie alebo obmedzené lokálne modely bez správnej podpory nástrojov. Prečo nástroj volajúci zmení všetko S novými funkciami volania nástrojov LM-Kit môžu vaši miestni agenti: Pozemné odpovede v reálnych údajoch. Žiadne ďalšie halucinované predpovede počasia alebo výmenné kurzy.Agenti získavajú skutočné odpovede API a môžu citovať zdroje. Napríklad: skontrolujte počasie, skonvertujte teplotu na preferované jednotky používateľa a potom navrhnite aktivity. Udržiavajte úplné súkromie. Všetko beží na zariadení. Vaše používateľské dotazy, argumenty nástrojov a výsledky nikdy neopúšťajú svoje stroje. Napísané schémy, validované vstupy, kontroly politiky a schvaľovacie háky zabraňujú agentom zlyhať. Rozšírenie s vašou doménou.Pridajte podnikové rozhrania API, interné databázy alebo externé katalógy MCP ako nástroje.Model sa učí používať ich iba z popisov a schém. Čo je nové na pohľad Modely rozhodujú, kedy zavolať nástroje, odovzdať štruktúrované argumenty JSON a používať výsledky na správne odpovede používateľov. Vlastná podpora toku v modelových rodinách, ako sú Mistral, GPT-OSS, Qwen, Granite, LLaMA a ďalšie, a to všetko prostredníctvom jedného runtime. Three ways to add tools: Implement ITool Annotate methods with [LMFunction] Import catalogs from MCP servers Jednotné rozhranie API, ktoré spúšťa lokálne SLMs s politikou na zmenu, záložkami a udalosťami pre ľudí v kruhu a pozorovateľnosť v každej fáze. Jednoduchá funkcia, viacnásobná funkcia, paralelná funkcia a paralelná viacnásobná funkcia, vyberte prísne sekvenovanie alebo bezpečnú paralelitu. Moderné SLM vysielajú štruktúrované volania nástrojov. LM-Kit analyzuje volania, smeruje ich na vaše nástroje a prináša výsledky späť s koreláciou a jasnými typmi výsledkov pre spoľahlivú cestu záveru. Ako to funguje: Začať Tu je kompletný príklad práce v menej ako 20 riadkoch: using LMKit.Model; using LMKit.TextGeneration; using LMKit.Agents.Tools; using System.Text.Json; // 1) Load a local model from the catalog var model = LM.LoadFromModelID("gptoss:20b"); // OpenAI GPT-OSS 20B // Optional: confirm tool-calling capability if (!model.HasToolCalls) { /* choose a different model or fallback */ } // 2) Create a multi-turn conversation using var chat = new MultiTurnConversation(model); // 3) Register tools (see three options below) chat.Tools.Register(new WeatherTool()); // 4) Shape the behavior per turn chat.ToolPolicy.Choice = ToolChoice.Auto; // let the model decide chat.ToolPolicy.MaxCallsPerTurn = 3; // guard against loops // 5) Ask a question var reply = chat.Submit("Plan my weekend and check the weather in Toulouse."); Console.WriteLine(reply.Content); Katalóg modelov zahŕňa GPT-OSS a mnoho ďalších rodín. môžete vytiahnuť menovanú kartu ako Môžete tiež skontrolovať Predtým, ako sa spoliehate na nástroje. LM.LoadFromModelID gptoss:20b HasToolCalls Pozrite sa na Pre podrobnosti . Katalógová dokumentácia Skúste to teraz: GitHub vzorka Vzorka konzoly pripravená na výrobu demonštruje viacnásobný chat s volaním nástrojov (meny, počasie, jednotková konverzia), zásadami pre každý obrat, spätnou väzbou o pokroku a špeciálnymi príkazmi. Create Multi-Turn Chatbot with Tools in .NET Applications Vytvorenie viacerých chatbotov s nástrojmi v aplikáciách .NET Tri spôsoby, ako pridať nástroje 1) Implementácia ITool (plná kontrola) Najlepšie, keď potrebujete jasné zmluvy a vlastnú validáciu. Tento výskum ukazuje, že implementácia Zariadenie je určené na použitie v kombinácii s inými nástrojmi. ( , , , , ), analyzuje JSON args, spustí vašu logiku a vráti štruktúrovaný JSON do modelu. ITool Name Description InputSchema public sealed class WeatherTool : ITool { public string Name => "get_weather"; public string Description => "Get current weather for a city. Returns temperature, conditions, and optional hourly forecast."; // JSON Schema defines expected arguments public string InputSchema => """ { "type": "object", "properties": { "city": {"type": "string", "description": "City name (e.g., 'Paris' or 'New York')"} }, "required": ["city"] } """; public async Task InvokeAsync(string arguments, CancellationToken ct = default) { // Parse the model's JSON arguments var city = JsonDocument.Parse(arguments).RootElement.GetProperty("city").GetString(); // Call your weather API var weatherData = await FetchWeatherAsync(city); // Return structured JSON the model can understand var result = new { city, temp_c = weatherData.Temp, conditions = weatherData.Conditions }; return JsonSerializer.Serialize(result); } } // Register it chat.Tools.Register(new WeatherTool()); Úplná kontrola nad validáciou, asynchrónnym spustením, manipuláciou s chybami a formátovaním výsledkov. Why use ITool? Anotujte metódy pomocou funkcie [LMFunction] (Rýchle viazanie) Najlepšie pre rýchle prototypovanie a jednoduché synchrónne nástroje. Čo to znamená: pridať LM-Kit ich objavuje a odhaľuje každú ako , generovanie schémy JSON z parametrov metódy. [LMFunction(name, description)] ITool Ako je napájaný: odrážať a viazať (alebo / ), potom zaregistrujte výsledné nástroje prostredníctvom . LMFunctionToolBinder.FromType () FromInstance FromAssembly chat.Tools.Register(...) public sealed class MyDomainTools { [LMFunction("search_docs", "Search internal documentation by keyword. Returns top 5 matches.")] public string SearchDocs(string query) { var results = _documentIndex.Search(query).Take(5); return JsonSerializer.Serialize(new { hits = results }); } [LMFunction("get_user_info", "Retrieve user profile and preferences.")] public string GetUserInfo(int userId) { var user = _database.GetUser(userId); return JsonSerializer.Serialize(user); } } // Automatically scan and register all annotated methods var tools = LMFunctionToolBinder.FromType (); chat.Tools.Register(tools); Menej kvetináčov.sk vytvára schémy z typov parametrov a registruje všetko v jednom riadku. Why use [LMFunction]? viazať Import MCP katalógov (externé služby) Najlepšie pre pripojenie k ekosystémom nástrojov tretích strán prostredníctvom protokolu Model Context. Čo robí: používa na vytvorenie relácie JSON-RPC so serverom MCP, vyzdvihnite jeho katalóg nástrojov a prispôsobte tieto nástroje tak, aby ich váš agent mohol zavolať. mcpklient Ako to urobiť: vytvoriť (voliteľne nastaviť token nosiča), potom na import katalógu; LM-Kit spravuje , , Sedenie a vytrvalosť sedenia. new McpClient(uri, httpClient) chat.Tools.Register(mcp, overwrite: false) tools/list tools/call using LMKit.Mcp.Client; // Connect to an MCP server var mcp = new McpClient( new Uri("https://mcp.example.com/api"), new HttpClient() ); // Import all available tools from the server int toolCount = chat.Tools.Register(mcp, overwrite: false); Console.WriteLine($"Imported {toolCount} tools from MCP server"); Okamžitý prístup k katalógom sprostredkovaných nástrojov. server spracováva a cez JSON-RPC; LM-Kit validuje schémy lokálne. Why use MCP? tools/list tools/call vidieť . Dokumentácia McpClient Spôsoby vykonávania, ktoré zodpovedajú vášmu pracovnému postupu Vyberte správnu politiku pre každý rozhovor: Jednoduchá funkcia Jeden nástroj, jedna odpoveď chat.ToolPolicy.MaxCallsPerTurn = 1; chat.ToolPolicy.Choice = ToolChoice.Required; // force at least one call "Aké je počasie v Tokiu?" volá raz a odpovede. Example: get_weather viaceré funkcie Chain tools sequentially. chat.ToolPolicy.MaxCallsPerTurn = 5; chat.ToolPolicy.Choice = ToolChoice.Auto; "Premeňte 75 ° F na Celzia, potom mi povedzte, či potrebujem bundu." Example: Volá convert_temperature(75, "F", "C") a dostane 23.9°C Volá get_weather („current_location“) a získava podmienky Syntetizuje odpoveď: "Je to 24 ° C a slnečné. ľahká bunda by mala byť v poriadku." Paralelná funkcia Execute multiple tools concurrently. chat.ToolPolicy.AllowParallelCalls = true; chat.ToolPolicy.MaxCallsPerTurn = 10; "Compare weather in Paris, London, and Berlin." Example: Volá get_weather(„Paris“), get_weather(„Londýn“), get_weather(„Berlín“) súčasne Čaká na všetky výsledky, porovnania a odpovede Povoliť len vtedy, ak sú vaše nástroje idempotentné a bezpečné. Paralelné viaceré funkcie Spojenie reťaze a paralelizmu. "Skontrolujte počasie v 3 mestách, skonvertujte všetky časy na Fahrenheit a odporúčajte, ktoré navštíviť." Example: Paralelne: zachytáva počasie pre 3 mestá Paralelné: Konvertuje všetky teploty Sekvenčné: odporúčania založené na výsledkoch See Pre všetky možnosti vrátane a Predvolené nastavenia sú konzervatívne: paralelne vypnuté, max. volania obmedzené. ToolCallPolicy dokumentácia ToolChoice.Specific ForcedToolName Bezpečnosť, kontrola a pozorovateľnosť Politické kontroly Nastavenie bezpečných predvolených nastavení a limitov pre každú zmenu. pozri . ToolCallPolicy dokumentácia chat.ToolPolicy = new ToolCallPolicy { Choice = ToolChoice.Auto, // let model decide MaxCallsPerTurn = 3, // prevent runaway loops AllowParallelCalls = false, // safe default: sequential only // Optional: force a specific tool first // Choice = ToolChoice.Specific, // ForcedToolName = "authenticate_user" }; Človek v kruhu Preskúmať, schváliť alebo zablokovať spustenie nástroja. , , , , , , . Predbežná výzva Následná výzva Predbežné vyhodnotenie Pamätník // Approve tool calls before execution chat.BeforeToolInvocation += (sender, e) => { Console.WriteLine($"About to call: {e.ToolCall.Name}"); Console.WriteLine($" Arguments: {e.ToolCall.ArgumentsJson}"); // Block sensitive operations if (e.ToolCall.Name == "delete_user" && !UserHasApproved()) { e.Cancel = true; Console.WriteLine(" Blocked by policy"); } }; // Audit results after execution chat.AfterToolInvocation += (sender, e) => { var result = e.ToolCallResult; Console.WriteLine($"{result.ToolName} completed"); Console.WriteLine($" Status: {result.Type}"); Console.WriteLine($" Result: {result.ResultJson}"); _telemetry.LogToolCall(result); // send to monitoring }; // Override token sampling in real time chat.BeforeTokenSampling += (sender, e) => { if (_needsDeterministicOutput) e.Sampling.Temperature = 0.1f; }; // Control memory injection chat.MemoryRecall += (sender, e) => { Console.WriteLine($"Injecting memory: {e.Text.Substring(0, 50)}..."); // e.Cancel = true; // optionally cancel }; Štruktúrovaný dátový tok Každý hovor prechádza typovaným potrubím pre reprodukovateľnosť a jasné denníky. Incoming: ToolCall so stabilným ID a ArgumentsJson. Výstup: ToolCallResult s ToolCallId, ToolName, ResultJson a Typ (Úspech alebo chyba). Skúste to: Multi-Turn Chat vzorka Vytvorenie viacerých chatbotov s nástrojmi v aplikáciách .NET Demonštrácie Agentické volanie nástrojov: počas konverzácie sa model môže rozhodnúť zavolať jeden alebo viac nástrojov na vyzdvihnutie údajov alebo spustenie výpočtov, odovzdať argumenty JSON, ktoré zodpovedajú požiadavkám každého nástroja , a použite výsledok JSON každého nástroja na vytvorenie uzemnenej odpovede pri zachovaní úplného kontextu viacerých otočení. a sú spravované záznamom; správanie sa je formované prostredníctvom . Purpose: Názov LM-Kit.NET InputSchema ITool ToolChoice Why tools in chatbots? Spoľahlivé, zdrojovo podporované odpovede (počasie, FX, konverzie, podnikové rozhrania API). Agentický reťazec: zavolajte niekoľko nástrojov v jednom kroku a kombinujte výsledky. Determinizmus a bezpečnosť: typované schémy, jasné režimy zlyhania, kontrola politiky. Rozšíriteľnosť: implementácia ITool pre logiku domény; udržať kód auditovateľný. Efektívnosť: Odložte matematiku / náhľad na nástroje; udržiavajte model zameraný na uvažovanie. Tímy produktov a platforiem; DevOps a interné nástroje; B2B aplikácie; pedagógovia a demo. Target audience: Reakčné odpovede, deterministické konverzie / citácie, pamäť s viacerými zmenami, jednoduchá rozšíriteľnosť. Problem solved: Sample app: Umožňuje vybrať si lokálny model (alebo vlastný URI) Registruje tri nástroje (meny, počasie, jednotková konverzia) Spustí multi-turn chat, kde model rozhodne, kedy zavolať nástroje Štatistiky generácie tlače (tokeny, dôvod zastavenia, rýchlosť, používanie kontextu) Key features: Tool calling via JSON arguments Full dialogue memory Pokrok spätnej väzby (download / loading bars) Špeciálne príkazy: /reset, /continue, /regenerovať Viaceré volania nástrojov na zmenu (a cez zmenu) Vstavané nástroje Tool name Purpose Online? Notes convert_currency ECB rates via Frankfurter (latest or historical) plus optional trend Yes No API key; business days; rounding and date support get_weather Open-Meteo current weather plus optional short hourly forecast Yes No API key; geocoding plus metric/us/si convert_units Offline conversions (length, mass, temperature, speed, etc.) No Temperature is non-linear; can list supported units convert_currency Sadzby ECB cez Frankfurter (posledné alebo historické) plus voliteľný trend Yes Žiadny kľúč API; pracovné dni; zaokrúhľovanie a podpora dátumu get_weather Aktuálne počasie Open-Meteo plus voliteľná krátkodobá predpoveď Yes Žiadny kľúč API; geokódovanie plus metric/us/si convert_units Offline konverzie (dĺžka, hmotnosť, teplota, rýchlosť atď.) nie Teplota je nelineárna; môže zoznamovať podporované jednotky Tools implement : → , , , , (JSON schéma) a Späť na JSON. ITool Name Description InputSchema InvokeAsync(string json) Extend with your own tool: chat.Tools.Register(new MyCustomTool()); // implements ITool Používajte jedinečné, stabilné, nižšie a mená. snake_case Podporované modely (Vyberte podľa hardvéru) Mistral Nemo 2407 12.2B (približne 7,7 GB VRAM) Meta Llama 3.1 8B (približne 6 GB VRAM) Google Gemma 3 4B Medium (približne 4 GB VRAM) Microsoft Phi-4 Mini 3.82B (približne 3,3 GB VRAM) Alibaba Qwen-3 8B (približne 5,6 GB VRAM) Microsoft Phi-4 14.7B (približne 11 GB VRAM) IBM Granite 4 7B (asi 6 GB VRAM) Open-AI GPT-OSS 20B (asi 16 GB VRAM) Alebo zadajte vlastný modelový URI (GGUF/LMK) príkazov /reset - jasná konverzácia /continue - pokračovať posledný asistent správu /regenerate - nová odpoveď pre vstup posledného používateľa Rýchly príklad "Konvertujte USD 125 na EUR a zobrazte 7-dňový trend." "Počasie v Hanoji na najbližších 6 hodín (metrické)." "Previesť 65 mph na km/h." / "Zoznam jednotiek tlaku." "Teraz 75 °F na °C, potom 2 km na míle." Správanie a politiky (rýchly odkaz) By default the sample lets the model decide ( ). You can Require / Forbid / Force a specific tool per turn. Tool selection policy: ToolChoice.Auto Viaceré výzvy na nástroje: Podporuje viaceré výzvy na nástroje na zmenu; výstupy sú vložené späť do kontextu. Schémy záleží: Presné InputSchema plus stručný popis zlepšiť konštrukciu argumentov. Sieťovanie: Mena a počasie vyžadujú internet; konverzia jednotky je offline. Chyby: Jasné výnimky pre neplatné vstupy (jednotky, dátumy, miesta). Začať sa .NET Framework 4.6.2 alebo .NET 6.0 Prerequisites: Download: git clone https://github.com/LM-Kit/lm-kit-net-samples.git cd lm-kit-net-samples/console_net/multi_turn_chat_with_tools Run: dotnet build dotnet run Potom vyberte model alebo prilepte vlastný URI. Chat prirodzene; asistent zavolá jeden alebo viac nástrojov podľa potreby. , , kedykoľvek /reset /continue /regenerate Project link: GitHub úložisko Kompletný príklad: Všetky tri cesty integrácie // Load a capable local model var model = LM.LoadFromModelID("gptoss:20b"); using var chat = new MultiTurnConversation(model); // 1) ITool implementation chat.Tools.Register(new WeatherTool()); // 2) LMFunctionAttribute methods var tools = LMFunctionToolBinder.FromType (); chat.Tools.Register(tools); // 3) MCP import var mcp = new McpClient(new Uri("https://mcp.example/api"), new HttpClient()); chat.Tools.Register(mcp); // Safety and behavior chat.ToolPolicy = new ToolCallPolicy { Choice = ToolChoice.Auto, MaxCallsPerTurn = 3, // AllowParallelCalls = true // enable only if tools are idempotent }; // Human-in-the-loop chat.BeforeToolInvocation += (_, e) => { /* approve or cancel */ }; chat.AfterToolInvocation += (_, e) => { /* log results */ }; // Run var answer = chat.Submit( "Find 3 relevant docs for 'safety policy' and summarize."); Console.WriteLine(answer.Content); Prečo ísť lokálne s LM-Kit? Názov: Cloud Agent Frameworks Nulové náklady API: Žiadne poplatky za token. Spustite neobmedzené konverzácie. Úplné súkromie: Užívateľské údaje nikdy neopúšťajú zariadenie. GDPR/HIPAA priateľský. Sub-100ms latencia: Lokálna inferencia úplne eliminuje sieťové roundtrips. Funguje offline: Agenti fungujú bez pripojenia k internetu. Žiadne limity sadzieb: Rozšírenie na milióny požiadaviek bez škrípania. Plná kontrola: Vlastné zásobník. Žiadne uzamknutie dodávateľa alebo znehodnotenie API. Základný prompt engineering Typovo bezpečné schémy: Validácia schémy JSON zachytáva zlé argumenty pred vykonaním. Deterministické výsledky: Jasné štáty úspechu / chyby, nie krehké analýzy regexov. Súbežné spustenie: Spustenie viacerých nástrojov súčasne, keď je bezpečné. Structured events at every stage, not log archaeology. Full observability: Testovateľné zmluvy: Mock nástroje, vstrekovanie výsledkov, replay konverzácie. Hranice chýb: Milosrdné zlyhania s logikou retry a úskalia. vs. Manual Function Calling Model rozhoduje: Agent si nezávisle vyberá nástroje a argumenty, žiadne krehké if/else reťazce. Automatické reťazenie: viaceré volania nástrojov na zmenu, výsledky sa automaticky vrátia. 90% menej kotlovej dosky: Nástroje zaregistrujte raz, nie podľa modelu alebo podľa pokynov. Vstavaná bezpečnosť: Prevencia krútiaceho momentu, maximálne limity volania, schvaľovacie háky z krabice. Model-agnostic API: Rovnaký kód funguje cez Mistral, LLaMA, Qwen, Granite, GPT-OSS. Progresívne vylepšenie: Pridávanie nástrojov bez refaktorovania konverzačnej logiky. Výkon a obmedzenia Výkonové očakávania Overhead invokácia nástrojov: Približne 2 až 5 ms na hovor (parsing plus validácia) Sieťové nástroje: 50 až 500 ms v závislosti od API Lokálne nástroje: menej ako 1 ms Modelová inferencia zostáva primárnym faktorom latencie. Požiadavky Modely musia podporovať volanie nástrojov (kontrolujte HasToolCalls). Network-dependent tools require internet connectivity. Súbežné vykonávanie vyžaduje bezpečné, idempotentné nástroje. Odporúčaná pamäť GPU: 6 až 16 GB VRAM v závislosti od veľkosti modelu. Známe obmedzenia Kvalita výberu nástrojov závisí od jasných opisov a schém. Zložité vložené objekty v argumentoch môžu zamieňať menšie modely. Veľmi dlhé reťazce nástrojov (viac ako 10 hovorov) môžu presiahnuť okná kontextu. Pripravený na výstavbu? Clone the sample git clone https://github.com/LM-Kit/lm-kit-net-samples.git cd lm-kit-net-samples/console_net/multi_turn_chat_with_tools Pick your integration approach Need full control? Use ITool Prototyping quickly? Use [LMFunction] Using external catalogs? Use McpClient Replace demo tools with your APIs, databases, or business logic. Add your domain logic Set policies that fit your use case Simple lookups: MaxCallsPerTurn = 1 Complex workflows: with approval hooks MaxCallsPerTurn = 10 On-device. Private. Reliable. Observable. Ship agents that actually work Začnite vytvárať pracovné postupy, ktoré rešpektujú súkromie používateľov, bežia kdekoľvek a zostávajú pod vašou kontrolou.