LM Studio không cho phép đính kèm hình ảnh: nguyên nhân và giải pháp

Nếu LM Studio không cho phép bạn đính kèm hình ảnh, hoặc mô hình phản hồi như thể chưa nhận được hình ảnh, hãy bắt đầu bằng cách kiểm tra xem bạn đã tải mô hình nào. Ứng dụng có thể hoạt động với các mô hình thị giác, nhưng Một mô hình chỉ hỗ trợ văn bản không thể có được khả năng đó bằng cách thêm một tập tin..

Điều quan trọng nữa là phải phân biệt giữa lỗi trò chuyện và sự cố khi gửi hình ảnh từ một tập lệnh. Cách kiểm tra hữu ích nhất là sử dụng một hình ảnh đơn giản và kiểm tra từng phương pháp riêng biệt trước khi thay đổi cài đặt hoặc cài đặt lại chương trình.

Hãy kiểm tra xem mô hình đã tải lên có hỗ trợ hình ảnh hay không.

Để giải thích ảnh chụp, ảnh chụp màn hình hoặc tài liệu được quét, bạn cần một mô hình thị giác và ngôn ngữ, còn được gọi là VLMChỉ cần tên gọi thuộc về một gia đình nổi tiếng thôi là chưa đủ: hãy kiểm tra biến thể và khả năng của nó trước khi tải xuống.

1. Hãy kiểm tra tên chính xác của mẫu sản phẩm đã chọn trong khung chat.
2. Hãy kiểm tra thông số kỹ thuật để xác nhận rằng nó hỗ trợ đầu vào hình ảnh.
3. Nếu bạn cần mẫu khác, hãy tìm kiếm ở... Phát hiện và chọn bản phân phối tương thích với LM Studio.
4. Hãy tải nó lên và thử với một hình ảnh duy nhất cùng một yêu cầu đơn giản, chẳng hạn như mô tả các đối tượng xuất hiện.

Công cụ tìm kiếm tích hợp cho phép bạn tìm kiếm các mô hình theo tên hoặc theo địa chỉ kho lưu trữ của chúng trên Hugging Face. Để mở Discover, bạn có thể sử dụng Tổ hợp phím Ctrl + 2 trên Windows và Linux, hoặc Cmd + 2 trên máy Mac.

Nếu quá trình tải xuống được nhập thủ công thất bại, trước tiên hãy so sánh kết quả với phân bố dữ liệu thu được từ công cụ tìm kiếm của ứng dụng. Điều này giúp phân biệt vấn đề nằm ở gói mô hình với lỗi trong mã của bạn.

Kiểm tra tệp và cài đặt đầu vào hình ảnh.

Để kiểm tra chẩn đoán, hãy sử dụng một ảnh nhỏ mà bạn có thể mở đúng cách bằng trình xem ảnh của hệ thống. Các định dạng được ghi nhận cho ảnh đầu vào máy chủ là: JPEG, PNG và WebP.

Nếu tệp gốc sử dụng định dạng khác, hãy xuất nó sang định dạng PNG hoặc JPEG. Chỉ thay đổi phần mở rộng sẽ không chuyển đổi nội dung của nó.

Hãy kiểm tra xem lỗi đó chính xác có nghĩa là gì:

• Bạn không thể chọn hoặc đính kèm hình ảnh: Kiểm tra mô hình đã tải và tái hiện sự cố trong một cuộc trò chuyện mới.
• Quá trình nộp bài đã dẫn đến lỗi: Hãy giữ nguyên toàn bộ tin nhắn và thử với một tệp tin đơn giản khác.
• Hình ảnh đã được xử lý, nhưng phần chữ nhỏ lại bị hiểu sai: Kiểm tra độ phân giải đầu vào và thử cắt bỏ phần quan trọng.

LM Studio có các chức năng điều chỉnh hình ảnh. Cài đặt > Trò chuyện > Nhập hình ảnhỨng dụng đã được tích hợp những thay đổi về cả việc thay đổi kích thước và xử lý hình ảnh, vì vậy bạn nên kiểm tra ghi chú phát hành nếu đang sử dụng phiên bản cài đặt cũ.

Việc giảm kích thước của một hình ảnh lớn có thể là một thử nghiệm hữu ích nếu nó thất bại, nhưng nó cũng có thể làm giảm khả năng đọc của chữ in nhỏ. Hãy so sánh cả hai kết quả trước khi đặt giới hạn cố định.

Cách gửi hình ảnh từ Python mà không cần chỉnh sửa đoạn hội thoại nội bộ

Để tự động hóa quá trình phân tích, hãy sử dụng Bộ SDK Python chính thứcBạn có thể cài đặt hoặc cập nhật nó trong môi trường dự án của mình:

python -m pip install --upgrade lmstudio

Với LM Studio đang chạy và mô hình thị giác đã được tải xuống, ví dụ này chuẩn bị tệp và tích hợp nó vào thông điệp:

from pathlib import Path
import lmstudio as lms

ruta = Path("imagen.png").resolve()

if not ruta.is_file():
    raise FileNotFoundError(f"No existe la imagen: {ruta}")

modelo = lms.llm("IDENTIFICADOR_DEL_MODELO_CON_VISION")
imagen = lms.prepare_image(str(ruta))

chat = lms.Chat()
chat.add_user_message(
    "Describe los elementos principales de esta imagen.",
    images=[imagen],
)

respuesta = modelo.respond(chat)
print(respuesta)

Thay thế mã định danh bằng mã định danh của mô hình của bạn và đặt một hình ảnh hợp lệ vào đường dẫn được chỉ định. Ví dụ này trước tiên kiểm tra xem tệp có tồn tại hay không để tránh nhầm lẫn lỗi vị trí với lỗi hiển thị.

Việc ghi đường dẫn vào nội dung tin nhắn không tự động đính kèm tệp. Trong quy trình này, hình ảnh được chuẩn bị bằng cách prepare_image() và được kết hợp thông qua lập luận images.

Nếu gặp lỗi kết nối, hãy kiểm tra máy chủ, cổng và cài đặt xác thực của hệ thống trước khi chỉnh sửa tệp. Cấu hình máy khách phải khớp với máy chủ mà bạn đang cố gắng kết nối.

Nếu bạn đang sử dụng HTTP, hãy kiểm tra điểm cuối và lược đồ của nó.

API gốc của LM Studio và giao diện tương thích với OpenAI sử dụng các cấu trúc khác nhau. Đừng trộn lẫn các lĩnh vực của họ. trong cùng một yêu cầu.

En POST /api/v1/chatBài dự thi có thể bao gồm một đoạn văn bản và một đoạn hình ảnh với cấu trúc như sau:

{
  "model": "IDENTIFICADOR_DEL_MODELO_CON_VISION",
  "input": [
    {
      "type": "text",
      "content": "Describe esta imagen."
    },
    {
      "type": "image",
      "data_url": "data:image/png;base64,BASE64_REAL_DEL_ARCHIVO"
    }
  ]
}

JSON này là một mẫu: bạn phải thay thế mã định danh và mã hóa base64. Loại MIME của tiền tố phải tương ứng với tệp thực tế. Tại điểm cuối này, data_url Nó chứa URI dữ liệu đầy đủ.

Để sử dụng HTTP, hãy kích hoạt máy chủ từ phần phát triển hoặc bằng cách sử dụng lệnh sau: lms server startĐịa chỉ mặc định của nó là http://localhost:1234Thêm thông tin xác thực tương ứng nếu bạn đã bật chức năng này.

Nếu ứng dụng của bạn sử dụng /v1/chat/completionsHãy tham khảo lược đồ của giao diện đó. Khối mã trước đó thuộc về API gốc và không nên sao chép mà không điều chỉnh cho phù hợp với điểm cuối khác.

Tránh chỉnh sửa các tập tin nội bộ như một giải pháp chung.

LM Studio lưu trữ các cuộc hội thoại dưới dạng JSON và cho phép bạn tìm thấy các tệp đó từ menu ngữ cảnh của cuộc trò chuyện. Tuy nhiên, tài liệu hướng dẫn của nó lại không đầy đủ. Nó khuyên không nên chỉnh sửa chúng thủ công hoặc dựa vào cấu trúc của chúng..

Do đó, việc tạo tệp trong các thư mục nội bộ hoặc xây dựng lại siêu dữ liệu của chúng không phải là giải pháp được khuyến nghị cho một vấn đề phổ biến về tệp đính kèm. Một quy trình được tìm ra cho một phiên bản cụ thể có thể ngừng hoạt động sau khi cập nhật.

Để lập báo cáo sự cố có thể tái hiện, hãy ghi lại phiên bản LM Studio, kiểu máy chính xác, định dạng và kích thước hình ảnh, đường dẫn được sử dụng và toàn bộ thông báo lỗi. Thử nghiệm với một tệp không chứa dữ liệu cá nhân mà bạn có thể chia sẻ. Việc so sánh này cho phép bạn điều tra lỗi mà không làm thay đổi các cuộc hội thoại đã lưu của bạn.