Δείτε πώς μπορείτε να εργαστείτε με το gpt-oss-20b τοπικά: τι νέο υπάρχει, απόδοση και πώς να το δοκιμάσετε.

Η άφιξη του gpt-oss-20b για τοπική χρήση φέρνει ένα ισχυρό μοντέλο συλλογισμού που εκτελείται απευθείας στον υπολογιστή σε περισσότερους χρήστες. Αυτή η ώθηση, ευθυγραμμισμένη με το Βελτιστοποίηση για GPU NVIDIA RTX, ανοίγει την πόρτα σε απαιτητικές ροές εργασίας χωρίς να βασίζεται κανείς στο cloud.

Ο στόχος είναι σαφής: να προσφέρουμε ανοιχτού βάρους με πολύ μεγάλο πλαίσιο για σύνθετες εργασίες όπως προηγμένες αναζητήσεις, έρευνα, βοήθεια κώδικα ή μακροσκελείς συνομιλίες, δίνοντας προτεραιότητα στο Μυστικότητα και έλεγχος κόστους κατά την τοπική εργασία.

Τι παρέχει το gpt-oss-20b όταν εκτελείται τοπικά;

Η οικογένεια gpt-oss κάνει το ντεμπούτο της με μοντέλα... ανοιχτά βάρη σχεδιασμένο για εύκολη ενσωμάτωση στις δικές σας λύσεις. Συγκεκριμένα, gpt-oss-20b Ξεχωρίζει για την εξισορρόπηση της ικανότητας συλλογισμού και των λογικών απαιτήσεων υλικού για έναν επιτραπέζιο υπολογιστή.

Ένα διακριτικό χαρακτηριστικό είναι το εκτεταμένο παράθυρο περιβάλλοντος, με υποστήριξη έως και 131.072 διακριτικών στην περιοχή gpt-oss. Αυτό το μήκος διευκολύνει μακρές συζητήσεις, ανάλυση ογκωδών εγγράφων ή βαθύτερων αλυσίδων σκέψης χωρίς περικοπές ή κατακερματισμό.

Σε σύγκριση με τα κλειστά μοντέλα, η πρόταση ανοιχτού βάρους δίνει προτεραιότητα στο ευελιξία ενσωμάτωσης σε εφαρμογές: από βοηθοί με εργαλεία (πράκτορες) ακόμη και πρόσθετα για έρευνα, αναζήτηση στο διαδίκτυο και προγραμματισμός, όλα εκμεταλλευόμενα την τοπική συμπερασματολογία.

Στην πράξη, το πακέτο των Το gpt-oss:20b είναι περίπου 13 GB εγκατεστημένο σε δημοφιλή περιβάλλοντα χρόνου εκτέλεσης. Αυτό καθορίζει τον τόνο για τους απαιτούμενους πόρους και βοηθά στην κλιμάκωση του VRAM για να διατηρηθεί η απόδοση χωρίς εμπόδια.

Υπάρχει επίσης μια μεγαλύτερη παραλλαγή (gpt-oss-120b), σχεδιασμένη για σενάρια με πιο άφθονοι γραφικοί πόροιΓια τους περισσότερους υπολογιστές, ωστόσο, το 20B Είναι το πιο ρεαλιστικό σημείο εκκίνησης λόγω της σχέσης που υπάρχει μεταξύ ταχύτητας, μνήμης και ποιότητας.

Βελτιστοποίηση για RTX: Ταχύτητα, Συμφραζόμενα και VRAM

Προσαρμογή μοντέλων GPT-OSS στο οικοσύστημα NVIDIA RTX επιτρέπει υψηλούς ρυθμούς παραγωγής. Σε εξοπλισμό υψηλής τεχνολογίας, κορυφές έως και 256 διακριτικά/δευτερόλεπτο με κατάλληλες προσαρμογές, αξιοποιώντας συγκεκριμένες βελτιστοποιήσεις και ακριβείς μεθόδους όπως MXFP4.

Τα αποτελέσματα εξαρτώνται από την κάρτα, το περιβάλλον και τη διαμόρφωση. Σε δοκιμές με RTX 5080, το gpt-oss 20b έφτασε περίπου 128 τόνοι/δευτ. με περιεχόμενα περιβάλλοντα (≈8k). Αυξάνοντας το παράθυρο 16k και αναγκάζοντας μέρος του φορτίου στη μνήμη RAM του συστήματος, ο ρυθμός μειώθηκε σε ~50,5 τόνοι/δευτ., με την GPU να κάνει το μεγαλύτερο μέρος της δουλειάς.

Το δίδαγμα είναι σαφές: το Κανόνες VRAMΣτην τοπική Τεχνητή Νοημοσύνη, ένα RTX 3090 με περισσότερη μνήμη Μπορεί να έχει καλύτερη απόδοση από μια νεότερη GPU αλλά με λιγότερη VRAM, επειδή αποτρέπει την υπερχείλιση προς τα μνήμη συστήματος και την επιπλέον παρέμβαση της CPU.

Για το gpt-oss-20b, είναι βολικό να λάβετε ως αναφορά το μέγεθος του μοντέλου: περίπου 13 GB περισσότερος χώρος για το KV cache και εντατικές εργασίες. Ως σύντομος οδηγός, συνιστάται να έχετε 16 GB VRAM τουλάχιστον και στοχεύστε σε 24 GB εάν αναμένονται μεγάλα πλαίσια ή παρατεταμένα φορτία.

Όσοι θέλουν να πιέσουν το hardware μπορούν να εξερευνήσουν αποτελεσματική ακρίβεια (όπως το MXFP4), προσαρμόστε το μήκος του περιβάλλοντος ή καταφύγετε σε διαμορφώσεις πολλαπλών GPU όταν είναι εφικτό, διατηρώντας πάντα τον στόχο του αποφύγετε τις ανταλλαγές προς τη μνήμη RAM.

Εγκατάσταση και χρήση: Ollama και άλλες διαδρομές

Για να ελέγξουμε το μοντέλο με έναν απλό τρόπο, Ολάμα προσφέρει μια άμεση εμπειρία σε υπολογιστές με τεχνολογία RTX: Σας επιτρέπει να κάνετε λήψη, εκτέλεση και συνομιλία με το GPT-OSS-20B χωρίς πολύπλοκες διαμορφώσεις., εκτός από την υποστήριξη PDF, αρχείων κειμένου, προτροπών εικόνας και προσαρμογής περιβάλλοντος.

Υπάρχουν επίσης εναλλακτικές διαδρομές για προχωρημένους χρήστες, για παράδειγμα Εγκατάσταση LLM στα Windows 11Πλαίσια όπως καλέστε.cpp και βιβλιοθήκες τύπων GGML είναι βελτιστοποιημένα για RTX, με πρόσφατες προσπάθειες σε μείωση του φορτίου της CPU και επωφεληθείτε Γραφήματα CUDAΠαράλληλα, Τοπικό Microsoft AI Foundry (σε προεπισκόπηση) Ενσωμάτωση μοντέλων μέσω CLI, SDK ή API με επιτάχυνση CUDA και TensorRT.

Στο οικοσύστημα των εργαλείων, Intel AI Playground 2.6.0 έχει ενσωματώσει το gpt-oss-20b στις επιλογές τουΗ ενημέρωση προσθέτει λεπτομερή έλεγχο εκδόσεων για backends και αναθεωρήσεις σε frameworks όπως OpenVINO, ComfyUI y καλέστε.cpp (με την υποστήριξη του Vulkan και προσαρμογή στο πλαίσιο), διευκολύνοντας σταθερά τοπικά περιβάλλοντα.

Ως οδηγός εκκίνησης, ελέγξτε το Διαθέσιμη VRAM, κατεβάστε την παραλλαγή μοντέλου που ταιριάζει στην GPU σας, επικυρώστε το ταχύτητα συμβολαίου με αντιπροσωπευτικές προτροπές και προσαρμόζει το παράθυρο περιβάλλοντος για να διατηρηθεί όλο το φορτίο στην κάρτα γραφικών.

Με αυτά τα κομμάτια, είναι δυνατή η κατασκευή βοηθών για αναζήτηση και ανάλυσηεργαλεία έρευνα ή υποστηρίζει προγραμματισμού που εκτελούνται εξ ολοκλήρου στον υπολογιστή, διατηρώντας την κυριαρχία των δεδομένων.

Ο συνδυασμός του gpt-oss-20b με την επιτάχυνση RTX, την προσεκτική διαχείριση VRAM και εργαλεία όπως το Ollama, το llama.cpp ή το AI Playground εδραιώνει μια ώριμη επιλογή για την εκτέλεση της τεχνητής νοημοσύνης σε τοπικό επίπεδο. Μια διαδρομή που εξισορροπεί την απόδοση, το κόστος και την ιδιωτικότητα χωρίς να βασίζεται σε εξωτερικές υπηρεσίες.

σχετικό άρθρο:

Η OpenAI κυκλοφορεί το gpt-oss-120b: το πιο προηγμένο μοντέλο ανοιχτών βαρών μέχρι σήμερα.

Αλμπέρτο ​​Ναβάρο

Είμαι λάτρης της τεχνολογίας που έχει μετατρέψει τα «γκικ» ενδιαφέροντά του σε επάγγελμα. Έχω περάσει περισσότερα από 10 χρόνια της ζωής μου χρησιμοποιώντας τεχνολογία αιχμής και ασχολούμαι με όλα τα είδη προγραμμάτων από καθαρή περιέργεια. Τώρα έχω ειδικευτεί στην τεχνολογία υπολογιστών και στα βιντεοπαιχνίδια. Αυτό οφείλεται στο γεγονός ότι για περισσότερα από 5 χρόνια εργάζομαι γράφοντας για διάφορους ιστότοπους σχετικά με την τεχνολογία και τα βιντεοπαιχνίδια, δημιουργώντας άρθρα που επιδιώκουν να σας δώσουν τις πληροφορίες που χρειάζεστε σε μια γλώσσα κατανοητή από όλους.

Αν έχετε απορίες, οι γνώσεις μου κυμαίνονται από οτιδήποτε σχετίζεται με το λειτουργικό σύστημα Windows καθώς και με Android για κινητά τηλέφωνα. Και η δέσμευσή μου είναι απέναντί ​​σας, είμαι πάντα πρόθυμος να αφιερώσω λίγα λεπτά και να σας βοηθήσω να επιλύσετε τυχόν απορίες που μπορεί να έχετε σε αυτόν τον κόσμο του Διαδικτύου.