Wie man den GPT4All API-Server verwendet

Sie haben GPT4All bereits installiert und möchten es nun in Ihre Anwendungen und Arbeitsabläufe integrieren, ohne die grafische Benutzeroberfläche zu verwenden. Herzlichen Glückwunsch! Dieses vielseitige Tool ermöglicht Ihnen außerdem Folgendes: Lokale Modelle als Dienst bereitstellen, der über HTTP-Anfragen zugänglich istIn diesem Beitrag erklären wir die Verwendung des GPT4All API-Servers: Betrieb, Installation, Konfiguration und Integration in realen Projekten.

Was ist der GPT4All API-Server?

Die Verwendung des GPT4All-API-Servers ist eine sehr einfache Lösung, um externen Anwendungen die Nutzung lokaler KI-Modelle zu ermöglichen. Im Wesentlichen handelt es sich um einen Leichtgewichtiger Webserver die über die Desktop-Anwendung GPT4All aktiviert wird. Nach der Aktivierung werden verschiedene Funktionen angezeigt. Endpunkte HTTP, auf das jede externe Anwendung oder jeder Dienst verweisen kann.

Mit anderen Worten, durch Aktivierung des GPT4All-API-Servers, Sie verwandeln Ihren Computer in einen Mini-KI-AnbieterSo kann es Fragen beantworten, Texte generieren, Dokumente zusammenfassen oder logische Schlussfolgerungen ziehen – alles ohne Internetverbindung. Dieser lokale Server bildet die Funktionalität der OpenAI-API nach, sodass jede Anwendung oder jeder Dienst, der für die Nutzung dieser API entwickelt wurde, ihn mit einer einfachen Änderung der Basis-URL verwenden kann.

Sie können beispielsweise Python-Skripte, LangChain-Agenten, Editor-Erweiterungen oder lokale Webanwendungen direkt, lokal und offline verbinden. Wirklich fantastisch. Die Verwendung des GPT4All-API-Servers ist besonders nützlich für Anwendungen, die absolute Privatsphäre erfordern.Schauen wir uns nun an, wie man diese Funktion aktiviert und sie vollumfänglich nutzt.

So aktivieren und verwenden Sie den GPT4All API-Server

Selbstverständlich benötigen Sie vor der Konfiguration der API die Desktop-Anwendung GPT4All auf Ihrem System. Die Umgebung ist plattformübergreifend und unterstützt Windows-, macOS- und Linux-Distributionen.Wie Ubuntu. Wir gehen davon aus, dass Sie es bereits installiert haben; falls nicht, können Sie die ausführbare Datei von der Website herunterladen. Nomic AI-Seite.

Wenn Sie die Anwendung zum ersten Mal starten, können Sie Wählen Sie mindestens ein Konversationsmodell aus und laden Sie es herunter.Sie können auch manuell heruntergeladene Modelle importieren Um sie über die GPT4All-App zu verwenden, ist eine Antwortzeit erforderlich. Diese hängt maßgeblich von der installierten Hardware ab, insbesondere von RAM und CPU.

Standardmäßig fungiert die grafische Benutzeroberfläche von GPT4All ausschließlich als Chat-Anwendung, ähnlich wie ChatGPT. Externen Anwendungen das Stellen von Inferenzanfragen ermöglichen.Sie müssen den integrierten HTTP-Server aktivieren. Der Vorgang ist sehr einfach und intuitiv:

1. Öffnen Sie die GPT4All-Anwendung auf Ihrem Computer.
2. Navigieren Sie zum Menü von Konfiguration.
3. Klicken Sie im Menü auf der linken Seite auf Anwendung.
4. Scrollen Sie nach unten, bis Sie den Abschnitt finden. Fortschrittlich.
5. Suchen Sie das Kästchen und markieren Sie es. Aktivieren Sie den lokalen API-Server.Dadurch beginnt die Anwendung, auf Anfragen an dem im unten angegebenen Port zu lauschen, der standardmäßig 4891 ist.

Nach der Aktivierung Der Server läuft im Hintergrund, während die Desktop-Anwendung geöffnet ist.Wichtig ist, dass der Server nur auf localhost (127.0.0.1) lauscht und das HTTP-Protokoll, nicht HTTPS, verwendet. Dies ist ideal für lokale Entwicklungsumgebungen. Wenn Sie den Server jedoch für andere Geräte in Ihrem Netzwerk zugänglich machen möchten, sollten Sie einen Reverse-Proxy einsetzen.

Hauptendpunkte

Nachdem der Server eingerichtet und betriebsbereit ist, können Sie nun mit ihm interagieren. Um den GPT4All-API-Server zu nutzen, ist es wichtig, die verfügbaren Hauptendpunkte zu kennen. Die Basis-URL der API lautet: http://localhost:4891/v1und die anderen Zugangspunkte sind:

• GET /v1/modelsGibt einen Wert zurück Liste aller verfügbaren Modelle in Ihrer GPT4All-Installation. Es ist sehr nützlich, um zu überprüfen, ob der Server funktioniert, und um den genauen Namen zu erfahren, den Sie in Ihren Anfragen verwenden sollten.
• POST /v1/completionsDer klassische Endpunkt für Generiere Text aus einer einfachen EingabeaufforderungEs wird hauptsächlich für Vervollständigungsmodelle verwendet.
• POST /v1/chat/completionsDer modernste und vielseitigste Endpunkt. Er ist für das "Chat"-Format konzipiert, bei dem Nachrichtenlisten mit Rollen (System, Benutzer, Assistent) versendet werden. Das ist die Variante, die Sie in den allermeisten Fällen verwenden sollten.da die meisten aktuellen Modelle in diesem Format trainiert werden.

Verwendung des GPT4All-API-Servers: Praktische Anwendungsbeispiele

Schauen wir uns einige praktische Beispiele für die Verwendung des GPT4all-API-Servers an. Am schnellsten lässt er sich mit cURL im Terminal ausprobieren. Der Server akzeptiert POST-Anfragen mit einem JSON-Body.Kopieren Sie den folgenden einfachen Befehl und fügen Sie ihn ein:

curl -X POST http://localhost:4891/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "DeepSeek-R1-Distill-Llama-8B-abliterated.Q2_K.gguf", "messages": [ {"role": "user", "content": "What is the capital of France?"} ], "max_tokens": 100, "temperature": 0.7 }'

In diesem Befehl geben wir das Modell und sein Format an, nämlich DeepSeek-R1 im GGUF-Format. Vor dem Ausführen des Befehls, Notieren Sie sich unbedingt den vollständigen Namen des in GPT4All installierten Modells.Um dies herauszufinden, rufen Sie http://localhots:4891/v1/models auf, kopieren Sie die Modell-ID und ersetzen Sie sie. Führen Sie anschließend den Befehl aus. Der Server verarbeitet die Anfrage und sendet eine Antwort im JSON-Format zurück.

Beispiel unter Verwendung der OpenAI-Bibliothek für Python

Wenn Sie bereits mit dem OpenAI-Ökosystem vertraut sind, Die Anpassung Ihres Codes an GPT4All ist kinderleicht.Der Schlüssel liegt in der Änderung der base_URL. Siehe folgendes Beispiel:

from openai import OpenAI

Wir erstellen den Client, der auf unseren lokalen Server verweist.
client = OpenAI( base_url="http://localhost:4891/v1",
    # Der API-Schlüssel ist nicht erforderlich, Sie können aber einen Dummy-Wert angeben.
    api_key="nicht erforderlich", )

# Wir haben eine Chatanfrage gestellt
chat_completion = client.chat.completions.create( model="DeepSeek-R1-Distill-Llama-8B-abliterated.Q2_K.gguf", messages=[ {"role": "system", "content": "Du bist ein hilfreicher und prägnanter Assistent."}, {"role": "user", "content": "Erkläre mir, was künstliche Intelligenz ist."} ], max_tokens=200, temperature=0.2, )

# Wir drucken die Antwort aus
print(chat_completion.choices[0].message.content)

Wie Sie sehen können, Der Code ist identisch mit dem, den Sie für die OpenAI-API verwenden würden.Dies vereinfacht die Migration ganzer Anwendungen in eine lokale, private Umgebung erheblich. Darüber hinaus verwendet die GPT4All-Server-API ähnliche Parameter wie OpenAI, beispielsweise: Modell (Modellname), Nachrichten (ChatGPT-ähnliche Nachrichtenlisten), Temperatur (steuert die Kreativität), max_tokens (Token-Generierungslimit) und Strom (ermöglicht das Streaming von Antworten).

Und das war's! So können Sie den GPT4All-API-Server aktivieren und nutzen, um andere Apps und Dienste zu verbinden. Es ist eindeutig ein leistungsstarkes Werkzeug zur Integration lokaler Sprachmodelle in Projekte aller Art. Einfach zu bedienen, kompatibel mit gängigen Standards und vor allem 100 % privatSie können jetzt mit dem Experimentieren beginnen!