- Jan AI дозволяє запускати мовні моделі GGUF локально, гарантуючи повну конфіденційність даних.
- Програмне забезпечення пропонує кілька методів імпорту, від інтегрованого Центру до завантаження локальних файлів або посилань Hugging Face.
- Інструмент автоматично визначає метадані моделі, що спрощує налаштування архітектури та шаблону чату.
Якщо ви цікавитеся штучним інтелектом, але не хочете надсилати свої особисті розмови та документи на зовнішні сервери, Jan AI пропонує дуже цікаву альтернативу. Це безкоштовний помічник з відкритим кодом, який дозволяє запускати мовні моделі безпосередньо на комп'ютері.
Одна з його найбільших переваг — сумісність з Моделі формату GGUF з використанням llama.cppЦе дозволяє завантажувати квантовані моделі, використовувати переваги процесора та відеокарти комп'ютера та використовувати їх навіть без підключення до Інтернету.
На практиці ви можете перетворити Jan на своєрідний приватний та налаштовуваний ChatGPT. Однак конфіденційність залежить від вибраних вами налаштувань. Локальні моделі обробляють дані на пристроїтоді як з’єднання з OpenAI, Anthropic або іншими зовнішніми постачальниками надсилають запити на їхні сервери.
Що потрібно перед імпортом моделі GGUF
Перш ніж завантажувати першу знайдену модель, варто перевірити, чи сумісний файл з llama.cpp, і чи його розмір відповідає доступній пам'яті. Репозиторії Hugging Face часто містять кілька квантувань однієї й тієї ж моделі, таких як Q4_K_M, Q5_K_M або Q8_0.
Квантування зменшує розмір завантажень даних і дозволяє великим моделям працювати на менш потужних машинах. Як правило, Q4_K_M пропонує хороший баланс між якістю, споживанням пам'яті та швидкістютоді як Q5_K_M та Q8_0 зберігають дещо більшу точність, але займають більше місця та потребують більшої кількості оперативної або відеопам'яті.
Також слід перевірити архітектуру моделі. Хоча llama.cpp підтримує велику кількість сімейств, для нещодавно опублікованих моделей може знадобитися новіша версія механізму. Якщо файл не завантажується, це не завжди означає, що він пошкоджений. Бекенд, встановлений у січні, може ще не розпізнати його архітектуру..
Завантажте моделі з Jan's Hub
Найпростіший спосіб додати модель – це скористатися Інтегрований хаб ЯнаУ цьому розділі ви можете шукати моделі, переглядати доступні варіанти та завантажувати найбільш підходяще квантування для вашого комп'ютера.
Після початку завантаження Ян відображає модель та відсоток завершення на індикаторі у верхній частині. Процес можна скасувати, а якщо виникне помилка, просто натисніть кнопку завантаження ще раз, щоб спробувати.
Цей метод особливо рекомендується для початківців, оскільки Ян піклується про збережіть файл та підготуйте необхідну конфігураціюПісля завершення завантаження шаблон з’явиться у селекторі чату, і ви зможете завантажити його, щоб почати використовувати.
Імпортуйте модель обіймального обличчя, використовуючи її ідентифікатор
Центр також дозволяє знаходити моделей, доступних на Hugging Face, за допомогою їхнього ідентифікатора репозиторію. Для цього скопіюйте ідентифікатор у форматі organizacion/nombre-del-modelo і вставте його в рядок пошуку Jan's Hub.
Наприклад, ви можете пошукати репозиторій, як-от bartowski/Qwen2.5-7B-Instruct-GGUFЯкщо Jan розпізнає репозиторій, він відобразить доступні квантування, щоб ви могли вибрати та завантажити одне з них.
Перш ніж продовжити, переконайтеся, що репозиторій містить файли GGUF сумісний з llama.cppРепозиторій, який містить лише ваги у форматах, таких як Safetensors, не може бути завантажений таким чином як локальна модель.
Деякі моделі Hugging Face мають обмеження та вимагають попереднього прийняття їхніх умов використання. У таких випадках вам потрібно буде увійти в Hugging Face, отримати токен доступу та ввести його у [відповідне поле/програму/тощо]. Налаштування > Загальні > Інші > Токен HuggingFaceТочне місцезнаходження може дещо відрізнятися залежно від версії за січень.
Ви також можете відкрити сторінку сумісної моделі на Hugging Face, натиснути Використовуйте цю модель і виберіть Jan у розділі локальних програм. Браузер спробує відкрити Jan, щоб розпочати імпорт.
Як імпортувати файл GGUF, збережений на вашому комп'ютері
Якщо ви вже завантажили файл за допомогою браузера або іншого інструменту, вам не потрібно завантажувати його знову з Центру. У січні перейдіть за посиланням Налаштування > Постачальники моделейВідкрийте файл конфігурації llama.cpp та натисніть опцію Імпорт.
Далі виберіть файл GGUF, що зберігається на вашому комп’ютері. Ян проаналізує його метадані, щоб визначити таку інформацію, як архітектура, токеналізатор і, якщо доступно, шаблон діалогу.
Ян може створити посилання на модель з її поточного розташування, замість того, щоб обов'язково створювати ще одну повну копію. Це економить місце, але означає, що Ви не повинні переміщувати, перейменовувати або видаляти оригінальний файл після імпорту. Якщо ви це зробите, Ян може втратити посилання та припинити завантаження моделі.
Після встановлення відкрийте новий чат, виберіть шаблон і зачекайте, поки він завантажиться. Перше завантаження може тривати трохи довше, особливо якщо файл великий або в основному ресурсоємний для процесора.
Імпортуйте в Jan модель, налаштовану за допомогою Ertas Studio
Користувачі, які виконують точне налаштування мовних моделей Вони також можуть використовувати Jan як середовище виконання. Такі інструменти, як Ertas Studio, дозволяють навчати або налаштовувати модель у хмарі та експортувати результат у форматі GGUF.
Це не пряма інтеграція між двома програмами. Робочий процес включає підготовку та навчання моделі в Ertas Studio, оцінку її результатів, експорт квантованої версії та Завантажте файл GGUF пізніше у січні використовуючи опцію локального імпорту.
Перед експортом рекомендується протестувати різні квантування. Q4_K_M зазвичай є розумним вибором для розподілу моделі між домашніми комп'ютерами, тоді як Q5_K_M або Q8_0 можуть запропонувати вищу точність, якщо цільові комп'ютери мають достатньо пам'яті.
Ця система дозволяє розробляти майстри, адаптовані до конкретної документації, термінології чи завдань, та їх подальше виконання без постійної залежності від API. Однак у таких секторах, як охорона здоров'я чи фінанси, Робота на місцевому рівні сама по собі не гарантує дотримання нормативних вимогТакож необхідно контролювати джерело даних, дозволи, сховище та доступ до обладнання.
Налаштуйте Jan, щоб модель працювала швидше
Швидкість моделі залежатиме від її розміру, вибраного квантування та доступного обладнання. За допомогою значка налаштувань поруч із моделлю можна змінити такі параметри, як контекст, температура та шари, що надсилаються на графічний процесор.
Коригування Шари графічного процесора Це визначає, скільки шарів обробляє відеокарта. Високе значення зазвичай значно покращує швидкість, але також збільшує споживання відеопам'яті. Якщо модель не завантажується або виникає помилка пам'яті, зменште це значення, доки не знайдете стабільне налаштування.
Довжина контексту також впливає на споживання. Навіть якщо модель підтримує десятки тисяч токенів, налаштування максимуму з самого початку може зарезервувати значну кількість пам'яті для кешу KV. Якщо системі закінчуються ресурси, спробуйте... зменшити контекст або використовувати квантований кеш.
На системах із відеокартою NVIDIA рекомендується перевірити, чи Jan використовує сумісний сервер CUDA. На інших системах можна використовувати Vulkan, Metal або процесор, залежно від апаратного забезпечення та операційної системи. Штучний інтелект Ян не розпізнає відеокартуОновлення драйверів та механізму llama.cpp зазвичай є одним із перших кроків.
Як видалити шаблони та звільнити місце на диску
Файли GGUF можуть займати кілька гігабайт, тому легко накопичити десятки гігабайт файлів із моделей, які ви більше не використовуєте. Щоб видалити один файл окремо, відкрийте його налаштування та торкніться значка кошика.
Jan також дозволяє виконувати масове очищення. Перейдіть до Налаштування > Llama.cpp —або MLX на сумісних пристроях Apple — та використовуйте Видалити все у розділі моделей. Перед підтвердженням програма вказує, скільки місця буде звільнено.
Ця функція видаляє завантаження, якими керував Ян, але Це зберігає вручну пов'язані локальні моделі недоторканими.У цих випадках посилання на програму видаляється без видалення оригінального файлу.
Що робити, якщо Ян не розпізнає або не завантажує модель GGUF
Коли модель зависає під час завантаження на невизначений термін або Jan відображає помилку, програма спочатку перевіряє, чи завантаження файлу завершилося та чи він не розділений на кілька частин. Деякі великі моделі розповсюджуються як кілька файлів GGUF, які повинні зберігати свої назви та залишатися в одній папці.
Також можливо, що поточна версія llama.cpp несумісна з нещодавно випущеною архітектурою. Перейдіть до налаштувань движка, встановіть останню доступну версію та ввімкніть автоматичні оновлення, якщо ви хочете отримувати нові збірки.
Якщо проблема пов'язана з пам'яттю, спробуйте такі заходи:
- Зменште кількість шарів, що надсилаються на графічний процесор.
- Зменште максимальну довжину контексту.
- Закривайте ігри та програми, які споживають багато оперативної або відеопам'яті.
- Використовуйте менше квантування, таке як Q4_K_M.
- Налаштуйте Jan так, щоб одночасно завантажувалася лише одна модель.
- Спробуйте інший сервер, сумісний з вашим процесором або відеокартою.
Після імпорту моделі з іншої папки також перевірте, чи файл все ще знаходиться в тому ж місці. Якщо його було переміщено або перейменовано, видаліть посилання на Jan та імпортуйте його знову.
Ян також приймає індивідуальні моделі, такі як Січ-v3-4BБазований на Qwen3-4B-Instruct-2507, він також підключається до OpenAI, Anthropic, OpenRouter та інших сумісних сервісів. Таке поєднання дозволяє використовувати локальні моделі, коли вам потрібна конфіденційність, та звертатися до зовнішніх постачальників, коли вам потрібна більша потужність або певні функції.
Таким чином, імпорт моделей GGUF у Jan AI – це простий спосіб створіть локальне середовище штучного інтелекту під вашим контролемВибір відповідного квантування, налаштування використання графічного процесора та оновлення llama.cpp зазвичай достатньо для запуску широкого спектру моделей без постійної залежності від Інтернету.
Я ентузіаст технологій, який перетворив свої "гікові" інтереси на професію. Я провів понад 10 років свого життя, користуючись передовими технологіями та возячись із усіма видами програм із чистої цікавості. Зараз я спеціалізуюся на комп’ютерних технологіях та відеоіграх. Це тому, що більше 5 років я писав для різних веб-сайтів про технології та відеоігри, створюючи статті, які прагнуть надати вам необхідну інформацію мовою, зрозумілою для всіх.
Якщо у вас є запитання, я знаю все, що стосується операційної системи Windows, а також Android для мобільних телефонів. І я зобов’язаний перед вами, я завжди готовий витратити кілька хвилин і допомогти вам вирішити будь-які запитання, які можуть виникнути в цьому світі Інтернету.