Už ste si nainštalovali GPT4All a teraz ho chcete integrovať do svojich aplikácií a pracovných postupov bez toho, aby ste museli používať jeho grafické rozhranie. Gratulujeme! Tento všestranný nástroj vám tiež umožňuje Sprístupnenie lokálnych modelov ako služby prístupnej prostredníctvom HTTP požiadaviekV tomto príspevku vysvetľujeme, ako používať server GPT4All API: obsluha, inštalácia, konfigurácia a integrácia v reálnych projektoch.
Čo je server rozhrania API GPT4All?
Použitie servera API GPT4All je veľmi jednoduché riešenie, ktoré umožňuje externým aplikáciám používať lokálne modely umelej inteligencie. V podstate ide o ľahký webový server ktorý sa aktivuje z desktopovej aplikácie GPT4All. Po aktivácii sprístupní sériu koncové body HTTP, na ktorý môže odkazovať akákoľvek externá aplikácia alebo služba.
Inými slovami, aktiváciou servera GPT4All API, Premeníte svoj počítač na mini poskytovateľa umelej inteligencieDokáže teda odpovedať na otázky, generovať text, sumarizovať dokumenty alebo vykonávať funkcie uvažovania, a to všetko bez internetového pripojenia. Tento lokálny server replikuje funkcionalitu rozhrania OpenAI API, takže ho môže používať akákoľvek aplikácia alebo služba navrhnutá na prácu s týmto rozhraním API jednoduchou zmenou základnej adresy URL.
Môžete napríklad priamo, lokálne aj offline pripojiť skripty Pythonu, agentov LangChain, rozšírenia editora alebo lokálne webové aplikácie. Naozaj fantastické. Používanie servera GPT4All API je... obzvlášť užitočné pre aplikácie, ktoré vyžadujú úplné súkromieĎalej sa pozrime na postup aktivácie tejto funkcie a jej úplného využitia.
Ako aktivovať a používať server GPT4All API
Pred konfiguráciou API musíte mať samozrejme vo svojom systéme desktopovú aplikáciu GPT4All. Prostredie je multiplatformové a podporuje distribúcie Windows, macOS a Linux., ako napríklad Ubuntu. Predpokladáme, že ho už máte nainštalovaný, ale ak nie, môžete si spustiť spustiteľný súbor z Stránka Nomickej umelej inteligencie.
Pri prvom spustení aplikácie môžete vyberte a stiahnite si aspoň jeden konverzačný modelMôžete tiež importovať manuálne stiahnuté modely ich používať z aplikácie GPT4All. Doba odozvy bude do značnej miery závisieť od nainštalovaného hardvéru, najmä od pamäte RAM a procesora.
Grafické rozhranie GPT4All štandardne funguje výlučne ako chatovacia aplikácia, podobne ako ChatGPT. povoliť externým aplikáciám zadávať inferenčné požiadavkyMusíte povoliť vstavaný HTTP server. Postup je veľmi jednoduchý a intuitívny:
- Otvorte aplikáciu GPT4All na vašom počítači.
- Prejdite do ponuky Konfigurácia.
- V ponuke vľavo kliknite na Aplikácia.
- Posúvajte sa nadol, kým nenájdete požadovanú sekciu Pokročilé.
- Nájdite a zaškrtnite políčko Povoliť lokálny server APITýmto spôsobom aplikácia začne počúvať požiadavky na porte uvedenom v poli nižšie, ktorý je predvolene 4891.
Po aktivácii, Server bude bežať na pozadí, kým bude otvorená desktopová aplikácia.Dôležitým detailom je, že server počúva iba na localhoste (127.0.0.1) a používa protokol HTTP, nie HTTPS. Toto je ideálne pre lokálne vývojové prostredia, ale ak ho potrebujete sprístupniť iným zariadeniam vo vašej sieti, mali by ste zvážiť použitie reverznej proxy.
Hlavné koncové body
Keď je server spustený a funguje, môžete s ním teraz interagovať. Ak chcete používať server rozhrania API GPT4All, je nevyhnutné poznať hlavné dostupné koncové body. Základná URL adresa API bude http://localhost:4891/v1a ďalšie prístupové body sú:
- GET /v1/modelyVráti Zoznam všetkých dostupných modelov vo vašej inštalácii GPT4All. Je to veľmi užitočné na overenie funkčnosti servera a na zistenie presného názvu, ktorý by ste mali použiť vo svojich požiadavkách.
- POST /v1/dokončeniaKlasický koncový bod pre Vygenerujte text z jednoduchej výzvyPoužíva sa hlavne pre dokončovacie modely.
- POST /v1/chat/dokončeniaModerný a najuniverzálnejší koncový bod. Je navrhnutý pre formát „chatu“, kde sa zoznamy správ odosielajú s rolami (systém, používateľ, asistent). Je to ten, ktorý by ste mali použiť vo veľkej väčšine prípadovpretože väčšina súčasných modelov je trénovaná pomocou tohto formátu.
Používanie servera GPT4All API: Praktické príklady použitia
Pozrime sa na niekoľko praktických príkladov, ako používať server GPT4all API. Najrýchlejší spôsob, ako si to vyskúšať, je použiť cURL z vášho terminálu. Server prijíma POST požiadavky s telom JSONSkopírujte a vložte nasledujúci jednoduchý príkaz:
curl -X POST http://localhost:4891/v1/chat/completions \ -H "Typ obsahu: application/json" \ -d '{ "model": "DeepSeek-R1-Distill-Llama-8B-abliterated.Q2_K.gguf", "messages": [ {"role": "používateľ", "content": "Aké je hlavné mesto Francúzska?"} ], "max_tokens": 100, "temperature": 0.7 }'
V tomto príkaze určíme model a jeho formát, ktorým je DeepSeek-R1 vo formáte GGUF. Pred spustením príkazu Nezabudnite si zapísať celý názov modelu, ktorý ste nainštalovali do GPT4All.Ak to chcete zistiť, prejdite na stránku http://localhots:4891/v1/models, skopírujte ID modelu a nahraďte ho. Nakoniec spustite príkaz a server spracuje požiadavku a vráti odpoveď vo formáte JSON.
Príklad použitia knižnice OpenAI pre Python
Ak už poznáte ekosystém OpenAI, Prispôsobenie kódu pre GPT4All je hračkaKľúčom je zmeniť base_URL. Pozrite si nasledujúci príklad:
z openai import OpenAI
# Vytvoríme klienta smerujúceho na náš lokálny server
klient = OpenAI( base_url="http://localhost:4891/v1",
# Kľúč API nie je povinný, ale môžete ponechať fiktívnu hodnotu.
api_key="nepotrebné", )
# Požiadali sme o chat
chat_completion = client.chat.completions.create( model="DeepSeek-R1-Distill-Llama-8B-abliterated.Q2_K.gguf", messages=[ {"role": "system", "content": "Ste užitočný a výstižný asistent."}, {"role": "user", "content": "Vysvetlite mi, čo je umelá inteligencia."} ], max_tokens=200, temperatura=0.2, )
# Vypíšeme odpoveď
print(dokončenie_chatu.voľby[0].správa.obsah)
Ako vidíte, Kód je identický s tým, ako by ste to urobili s rozhraním OpenAI API.Toto výrazne zjednodušuje migráciu celých aplikácií do lokálneho, súkromného prostredia. Okrem toho, serverové API GPT4All používa parametre podobné parametrom OpenAI, ako napríklad model (názov modelu), správy (zoznamy správ v štýle ChatGPT), teplota (ovláda kreativitu), max_tokenov (limit generovania tokenov) a prúd (umožňuje streamovanie odpovedí).
A to je všetko! Takto môžete aktivovať a používať server GPT4All API na pripojenie k iným aplikáciám a službám. Je to jednoznačne výkonný nástroj na integráciu lokálnych jazykových modelov do všetkých druhov projektov. Jednoduché použitie, kompatibilné so známymi štandardmi a, čo je najlepšie, 100 % súkromnéMôžete začať experimentovať už teraz!
Od mladého veku ma fascinuje všetko, čo sa týka vedy a techniky, najmä tie pokroky, ktoré nám uľahčujú a spríjemňujú život. Rád sledujem najnovšie správy a trendy a delím sa o svoje skúsenosti, názory a tipy týkajúce sa zariadení a gadgetov, ktoré používam. To ma pred niečo vyše piatimi rokmi viedlo k tomu, že som sa stal webovým autorom, ktorý sa zameriava predovšetkým na zariadenia so systémom Android a operačné systémy Windows. Naučil som sa vysvetľovať zložité koncepty jednoduchými slovami, aby im moji čitatelia ľahko porozumeli.