Jak používat server GPT4All API

Již jste nainstalovali GPT4All a nyní byste ho chtěli integrovat do svých aplikací a pracovních postupů, aniž byste museli používat jeho grafické rozhraní. Gratulujeme! Tento všestranný nástroj vám také umožňuje Zpřístupnění lokálních modelů jako služby přístupné prostřednictvím HTTP požadavkůV tomto příspěvku vysvětlíme, jak používat API server GPT4All: provoz, instalaci, konfiguraci a integraci v reálných projektech.

Co je server GPT4All API?

Použití serveru GPT4All API je velmi jednoduché řešení, které umožňuje externím aplikacím používat lokální modely umělé inteligence. V podstatě se jedná o lehký webový server který se aktivuje z desktopové aplikace GPT4All. Po aktivaci se zobrazí řada koncové body HTTP, na který může odkazovat jakákoli externí aplikace nebo služba.

Jinými slovy, aktivací serveru GPT4All API, Proměníte svůj počítač v miniaturního poskytovatele umělé inteligenceMůže tedy odpovídat na otázky, generovat text, shrnovat dokumenty nebo provádět funkce uvažování, a to vše bez připojení k internetu. Tento lokální server replikuje funkcionalitu OpenAI API, takže jakákoli aplikace nebo služba navržená pro práci s tímto API jej může používat jednoduchou změnou základní URL adresy.

Můžete například propojit Python skripty, agenty LangChain, rozšíření editoru nebo lokální webové aplikace přímo, lokálně i offline. Opravdu fantastické. Používání serveru GPT4All API je... obzvláště užitečné pro aplikace, které vyžadují naprosté soukromíDále se podívejme na postup, jak tuto funkci aktivovat a začít ji plně využívat.

Jak aktivovat a používat server GPT4All API

Před konfigurací API je samozřejmě nutné mít v systému desktopovou aplikaci GPT4All. Prostředí je multiplatformní a podporuje distribuce Windows, macOS a Linux., jako Ubuntu. Předpokládáme, že jej již máte nainstalovaný, ale pokud ne, můžete si spustitelný soubor stáhnout z Stránka Nomické umělé inteligence.

Při prvním spuštění aplikace můžete vyberte a stáhněte si alespoň jeden konverzační modelMůžete také importovat ručně stažené modely používat je z aplikace GPT4All. Doba odezvy bude do značné míry záviset na nainstalovaném hardwaru, zejména na paměti RAM a procesoru.

Ve výchozím nastavení funguje grafické rozhraní GPT4All výhradně jako chatovací aplikace, podobně jako ChatGPT. umožnit externím aplikacím provádět inferenční požadavkyMusíte povolit vestavěný HTTP server. Postup je velmi jednoduchý a intuitivní:

1. Otevřete aplikaci GPT4All v počítači.
2. Přejděte do nabídky Konfigurace.
3. V nabídce vlevo klikněte na Aplikace.
4. Posuňte se dolů, dokud nenajdete sekci Moderní.
5. Najděte a zaškrtněte políčko Povolit lokální API serverTímto způsobem začne aplikace naslouchat požadavkům na portu uvedeném v poli níže, který je ve výchozím nastavení 4891.

Po aktivaci, Server bude běžet na pozadí, zatímco bude otevřená desktopová aplikace.Důležitým detailem je, že server naslouchá pouze na localhostu (127.0.0.1) a používá protokol HTTP, nikoli HTTPS. To je ideální pro lokální vývojová prostředí, ale pokud jej potřebujete zpřístupnit dalším zařízením ve vaší síti, měli byste zvážit použití reverzní proxy.

Hlavní cílové parametry

Jakmile je server spuštěný, můžete s ním nyní komunikovat. Abyste mohli používat server GPT4All API, je nezbytné znát hlavní dostupné koncové body. Základní URL API bude http://localhost:4891/v1a další přístupové body jsou:

• GET /v1/modelyVrátí Seznam všech dostupných modelů ve vaší instalaci GPT4All. Je to velmi užitečné pro ověření, zda server funguje, a pro zjištění přesného názvu, který byste měli použít ve svých požadavcích.
• POST /v1/dokončeníKlasický koncový bod pro Generování textu z jednoduchého výzvyPoužívá se hlavně pro dokončovací modely.
• POST /v1/chat/dokončeníModerní a nejvšestrannější koncový bod. Je navržen pro formát „chatu“, kde se odesílají seznamy zpráv s rolemi (systém, uživatel, asistent). Je to ten, který byste měli použít ve velké většině případů.protože většina současných modelů je trénována pomocí tohoto formátu.

Používání API serveru GPT4All: Praktické příklady použití

Podívejme se na několik praktických příkladů, jak používat server GPT4all API. Nejrychlejší způsob, jak si to vyzkoušet, je použití cURL z vašeho terminálu. Server přijímá POST požadavky s tělem JSON.Zkopírujte a vložte následující jednoduchý příkaz:

curl -X POST http://localhost:4891/v1/chat/completions \ -H "Typ obsahu: application/json" \ -d '{ "model": "DeepSeek-R1-Distill-Llama-8B-abliterated.Q2_K.gguf", "messages": [ {"role": "user", "content": "Jaké je hlavní město Francie?"} ], "max_tokens": 100, "temperature": 0.7 }'

V tomto příkazu určíme model a jeho formát, kterým je DeepSeek-R1 ve formátu GGUF. Před spuštěním příkazu Nezapomeňte si do GPT4All zapsat celý název modelu, který jste nainstalovali.Chcete-li to zjistit, přejděte na adresu http://localhots:4891/v1/models, zkopírujte ID modelu a nahraďte ho. Nakonec spusťte příkaz a server zpracuje požadavek a vrátí odpověď ve formátu JSON.

Příklad použití knihovny OpenAI pro Python

Pokud již znáte ekosystém OpenAI, Adaptace kódu pro GPT4All je hračkaKlíčem je změnit base_URL. Viz následující příklad:

z openai import OpenAI

# Vytvoříme klienta odkazujícího na náš lokální server
klient = OpenAI( base_url="http://localhost:4891/v1",
    # Klíč API není povinný, ale můžete ponechat fiktivní hodnotu.
    api_key="není-potřeba", )

# Požádali jsme o chat
chat_completion = client.chat.completions.create( model="DeepSeek-R1-Distill-Llama-8B-abliterated.Q2_K.gguf", messages=[ {"role": "system", "content": "Jste ochotný a stručný asistent."}, {"role": "user", "content": "Vysvětlete mi, co je umělá inteligence."} ], max_tokens=200, temperatura=0.2, )

# Vypíšeme odpověď
print(chat_completion.choices[0].message.content)

Jak vidíte, Kód je identický s tím, jak byste to udělali s OpenAI API.To výrazně zjednodušuje migraci celých aplikací do lokálního, soukromého prostředí. Serverové API GPT4All navíc používá parametry podobné těm v OpenAI, jako například model (název modelu), zprávy (seznamy zpráv ve stylu ChatGPT), teplota (ovládá kreativitu), max_tokens (limit generování tokenů) a proud (umožňuje streamování odpovědí).

A to je vše! Tímto způsobem můžete aktivovat a používat server API GPT4All k propojení s dalšími aplikacemi a službami. Je to jednoznačně mocný nástroj pro integraci lokálních jazykových modelů do nejrůznějších projektů. Snadné použití, kompatibilní se známými standardy a, co je nejlepší, 100% soukroméMůžete začít experimentovat hned teď!