Cách khắc phục lỗi Dify không kết nối được với Ollama

Việc thiết lập một hệ thống trí tuệ nhân tạo tại nhà thoạt nhìn có vẻ dễ như chơi trẻ con cho đến khi bạn nhận ra rằng... Dify không thể liên lạc được với Ollama.Tình huống này rất phổ biến, đặc biệt khi chúng ta muốn giữ dữ liệu của mình ở chế độ riêng tư và ngăn chặn việc thông tin bị gửi lên đám mây, bằng cách lựa chọn triển khai cục bộ, điều này cho phép chúng ta kiểm soát hoàn toàn mô hình.

Vấn đề thường nằm ở chỗ Dify, thường chạy bên trong một container Docker, sống trong thế giới nhỏ hẹp và biệt lập của riêng nó và không biết cách tìm thấy Ollama, thứ đang chạy trên hệ điều hành máy chủ. Để giải quyết cuộc tranh giành mạng này, chúng ta cần... Điều chỉnh một vài cài đặt trong cấu hình URL và các biến hệ thống..

Hiểu rõ kịch bản kết nối

Trước khi thử đủ loại địa chỉ IP khác nhau, điều quan trọng là phải biết mỗi chương trình được cài đặt ở đâu. Nếu bạn chạy cả hai chương trình trực tiếp trên máy tính của mình, địa chỉ IP sẽ là... http://localhost:11434 Về lý thuyết, nó sẽ hoạt động mà không gặp vấn đề gì. Tuy nhiên, phần lớn người dùng sử dụng Docker cho Dify, điều này hoàn toàn thay đổi cục diện.

Khi Dify nằm trong một vùng chứa, localhost đề cập đến chính container đó. và không phải đến máy tính của bạn. Đó là lý do tại sao việc cố gắng kết nối với localhost sẽ dẫn đến lỗi từ chối kết nối. Trên Windows và macOS, giải pháp thần kỳ là sử dụng URL. http://host.docker.internal:11434, đóng vai trò như một cầu nối trực tiếp đến hệ thống máy chủ.

Nếu bạn đang sử dụng môi trường Linux, rất có thể là host.docker.internal không thể phân giải tự động. Trong trường hợp này, bạn cần chỉnh sửa tệp docker-compose.yaml của Dify và thêm hướng dẫn sau vào phần services. máy chủ bổ sung Liên kết host.docker.internal với host-gateway để container biết cần tìm ở đâu.

Thủ thuật đỉnh cao: Biến OLLAMA_HOST

Ngay cả khi URL chính xác, Ollama vẫn có thể từ chối bạn. Theo mặc định, Ollama rất thận trọng và chỉ lắng nghe các yêu cầu Chúng đến từ cùng một máy tính (127.0.0.1). Để Dify có thể truy cập từ vùng chứa của nó, chúng ta cần yêu cầu Ollama mở rộng hơn.

Mấu chốt nằm ở việc cấu hình biến môi trường. OLLAMA_HOST với giá trị 0.0.0.0:11434Điều này cho phép Ollama lắng nghe trên tất cả các giao diện có sẵn, chứ không chỉ trên một giao diện duy nhất. 127.0.0.1.

Điều quan trọng cần lưu ý là việc mở Ollama cho tất cả các giao diện có thể tiềm ẩn rủi ro nếu máy tính của bạn được kết nối với mạng công cộng. Nếu bạn là người rất quan tâm đến vấn đề bảo mật, hãy đảm bảo rằng... cấu hình tường lửa để chỉ các địa chỉ IP trên mạng cục bộ của bạn mới có quyền truy cập vào cổng 11434.

Cấu hình chi tiết trong Dify

Sau khi mạng đã ổn định, đã đến lúc truy cập giao diện Dify. Vào phần cài đặt, sau đó nhập... Nhà cung cấp mô hình và tìm kiếm Ollama. Khi thêm mô hình, đừng chỉ sử dụng bất kỳ tên nào; bạn phải sử dụng tên chính xác. tên chính xác Thông báo đó xuất hiện khi bạn chạy lệnh ollama list trên bảng điều khiển của mình.

Nếu bạn nhập một tên khác với tên được hiển thị bởi ollama listDify có thể trả về lỗi Không tìm thấy mô hình. Ví dụ, llama3.2 y llama3.2:3b Họ có thể nhận diện các biến thể khác nhau. Sao chép toàn bộ giá trị từ cột. NAMEbao gồm cả nhãn nằm sau dấu hai chấm.

Về các thông số kỹ thuật, Cửa sổ ngữ cảnh Đây là một điểm rất quan trọng. Nếu bạn đặt giá trị quá cao so với khả năng xử lý của mô hình, bạn có thể gặp phải hiện tượng phản hồi bị cắt ngắn hoặc hành vi bất thường. Nếu bạn không chắc chắn, hãy bắt đầu với... 4096 mã thông báo Đây thường là một lựa chọn an toàn để duy trì sự ổn định của hệ thống.

Kiểm tra nhanh các lỗi thường gặp

Nếu sau tất cả những điều này mà bạn vẫn không kết nối được, đừng tuyệt vọng. Đôi khi thủ phạm chính là... Windows Defender hoặc tường lửa Quy tắc của công ty bạn chặn lưu lượng truy cập đến trên cổng 11434. Hãy tạo một quy tắc đến cụ thể để cho phép lưu lượng TCP trên cổng đó và thử lại.

Một chi tiết khác thường bị bỏ qua là mức tiêu thụ bộ nhớ RAMNếu bạn cố gắng tải một mô hình lớn lên máy có bộ nhớ hạn chế, Ollama có thể bị lỗi hoặc hoạt động cực kỳ chậm, điều mà Dify hiểu là lỗi hết thời gian kết nối. Hãy thử sử dụng một... mẫu nhẹ hơn để loại trừ khả năng đó là sự cố phần cứng.

Để hoàn tất quá trình cài đặt, hãy nhớ rằng nếu bạn đang sử dụng phiên bản Cloud của Dify, việc kết nối với Ollama cục bộ yêu cầu máy tính của bạn phải có... Địa chỉ IP công cộng có thể truy cập Hoặc bạn có thể sử dụng các công cụ tạo đường hầm như Ngrok, vì dịch vụ đám mây của Dify không thể tự động truy cập vào mạng gia đình của bạn nếu không có đường dẫn mở.

Để Dify và Ollama có thể hiểu nhau, về cơ bản cần phải nắm vững cách giao tiếp giữa các container Docker, mở quyền truy cập máy chủ thông qua biến OLLAMA_HOST và đảm bảo tên mô hình khớp chính xác, tất cả được hỗ trợ bởi tường lửa không chặn cổng 11434 và phân bổ bộ nhớ phù hợp với mô hình đã chọn.