LM Studio не дозволяє прикріплювати зображення: причини та рішення

Якщо LM Studio не дозволяє додавати зображення або модель відповідає, ніби вона їх не отримала, почніть з перевірки того, яку модель ви завантажили. Програма може працювати з моделями зору, але Модель, яка підтримує лише текст, не отримує такої можливості шляхом додавання файлу..

Також важливо розрізняти збої чату та проблеми з надсиланням зображень зі скрипта. Найкорисніший тест — використовувати просте зображення та перевіряти кожен метод окремо, перш ніж змінювати налаштування або перевстановлювати програму.

Перевірте, чи завантажена модель підтримує зображення

Щоб інтерпретувати фотографії, знімки екрана або відскановані документи, вам знадобиться модель зору та мови, також відома як VLMНедостатньо, щоб назва належала до відомої родини: перевірте варіант та його можливості, перш ніж завантажувати його.

1. Перевірте точну назву обраної моделі в чаті.
2. Перевірте його характеристики, щоб переконатися, що він підтримує введення зображень.
3. Якщо вам потрібна інша модель, пошукайте її Відкрийте та виберіть дистрибутив, сумісний з LM Studio.
4. Завантажте його та спробуйте з одним зображенням та простим запитом, наприклад, описом об'єктів, що з'являються.

Вбудована пошукова система дозволяє знаходити моделей за іменем або за адресою їхнього репозиторію на Hugging Face. Щоб відкрити Discover, ви можете скористатися Ctrl + 2 у Windows та Linuxабо Cmd + 2 на Mac.

Якщо імпорт вручну не вдається, спочатку порівняйте результат із дистрибутивом, отриманим із пошукової системи програми. Це допомагає відрізнити проблему з пакетом моделі від помилки у вашому коді.

Перевірте файл і налаштування вхідного зображення

Як діагностичний тест використовуйте невелике зображення, яке можна коректно відкрити за допомогою системного переглядача. Задокументовані формати для вхідних зображень сервера: JPEG, PNG та WebP.

Якщо оригінальний файл має інший формат, експортуйте його у PNG або JPEG. Проста зміна розширення не конвертує його вміст.

Також перевірте, що саме означає помилка:

• Ви не можете вибрати або прикріпити зображення: Перевірте завантажену модель та відтворіть проблему в новому чаті.
• Під час надсилання виникла помилка: Збережіть усе повідомлення та спробуйте інший простий файл.
• Зображення оброблено, але дрібний текст неправильно інтерпретовано: Перевірте роздільну здатність вхідного сигналу та спробуйте обрізати важливу область.

LM Studio має налаштування зображення в Налаштування > Чат > Вхідні зображенняУ програмі внесено зміни як у зміну розміру, так і у візуальну обробку, тому рекомендується перевірити примітки до випуску, якщо ви використовуєте старішу версію.

Зменшення розміру великого зображення може бути корисним тестом, якщо він не спрацює, але це також може погіршити читабельність дрібного шрифту. Порівняйте обидва результати, перш ніж встановлювати постійне обмеження.

Як надіслати зображення з Python без редагування внутрішніх чатів

Щоб автоматизувати аналіз, використовуйте Офіційний SDK для PythonВи можете встановити або оновити його у середовищі вашого проекту:

python -m pip install --upgrade lmstudio

З запущеною LM Studio та завантаженою моделлю візуального зору, цей приклад готує файл та включає його в повідомлення:

from pathlib import Path
import lmstudio as lms

ruta = Path("imagen.png").resolve()

if not ruta.is_file():
    raise FileNotFoundError(f"No existe la imagen: {ruta}")

modelo = lms.llm("IDENTIFICADOR_DEL_MODELO_CON_VISION")
imagen = lms.prepare_image(str(ruta))

chat = lms.Chat()
chat.add_user_message(
    "Describe los elementos principales de esta imagen.",
    images=[imagen],
)

respuesta = modelo.respond(chat)
print(respuesta)

Замініть ідентифікатор на ідентифікатор вашої моделі та розмістіть дійсне зображення у вказаному шляху. У прикладі спочатку перевіряється існування файлу, щоб уникнути плутанини між помилкою розташування та помилкою перегляду.

Вказівка ​​шляху в тексті повідомлення не призводить до приєднання файлу. У цьому робочому процесі зображення готується за допомогою prepare_image() і включено через аргумент images.

Якщо виникла помилка підключення, перевірте налаштування хоста, порту та автентифікації вашої інсталяції, перш ніж змінювати файл. Конфігурація клієнта має відповідати серверу, до якого ви намагаєтеся підключитися.

Якщо ви використовуєте HTTP, перевірте кінцеву точку та її схему

Вбудований API LM Studio та інтерфейс, сумісний з OpenAI, використовують різні структури. Не змішуйте їхні поля в межах того самого запиту.

En POST /api/v1/chatЗапис може містити блок тексту та ще один блок зображення з такою структурою:

{
  "model": "IDENTIFICADOR_DEL_MODELO_CON_VISION",
  "input": [
    {
      "type": "text",
      "content": "Describe esta imagen."
    },
    {
      "type": "image",
      "data_url": "data:image/png;base64,BASE64_REAL_DEL_ARCHIVO"
    }
  ]
}

Цей JSON є шаблоном: вам потрібно замінити ідентифікатор та кодування base64. MIME-тип префікса має відповідати фактичному файлу. У цій кінцевій точці, data_url Він містить повний URI даних.

Щоб використовувати HTTP, активуйте сервер у розділі розробки або за допомогою lms server startЙого адреса за замовчуванням http://localhost:1234Додайте відповідну автентифікацію, якщо вона увімкнена.

Якщо ваша програма використовує /v1/chat/completionsЗверніться до схеми цього інтерфейсу. Попередній блок належить до рідного API і не повинен копіюватися без адаптації до іншої кінцевої точки.

Уникайте модифікації внутрішніх файлів як загального рішення.

LM Studio зберігає розмови у форматі JSON та дозволяє знаходити їхні файли з контекстного меню чату. Однак, його документація Не рекомендується редагувати їх вручну або покладатися на їхню структуру..

Тому створення файлів у внутрішніх папках або відновлення їхніх метаданих не є рекомендованим рішенням для поширеної проблеми з вкладеннями. Процедура, виявлена ​​для певної версії, може перестати працювати після оновлення.

Щоб підготувати відтворюваний звіт про інцидент, запишіть версію LM Studio, точну модель, формат та розміри зображення, використаний шлях та повне повідомлення про помилку. Перевірте файл, який не містить персональних даних, якими ви можете поділитися. Таке порівняння дозволяє дослідити помилку, не змінюючи збережені розмови.