Cách khắc phục sự cố cổng 11434 của Ollama và bật truy cập từ xa

Bạn cài đặt Ollama, tải xuống một mô hình và có thể sử dụng nó hoàn hảo từ terminal của máy tính. Tuy nhiên, khi bạn cố gắng kết nối với Open WebUI, n8n, Obsidian hoặc một ứng dụng khác được cài đặt trên thiết bị khác, lỗi kết nối xuất hiện và... Cổng 11434 của Ollama không phản hồi..

Hành vi này thường không cho thấy Ollama bị lỗi. Theo mặc định, máy chủ của nó lắng nghe trên 127.0.0.1:11434Địa chỉ này chỉ cho phép các kết nối được khởi tạo từ cùng một máy tính. Để truy cập từ một máy tính khác trên mạng, bạn cần thay đổi địa chỉ lắng nghe, kiểm tra tường lửa và cấu hình ứng dụng khách đúng cách.

Cũng nên thực hiện việc này một cách thận trọng. API cục bộ của Ollama Nó không tích hợp xác thực bằng tên người dùng và mật khẩu.Do đó, bạn tuyệt đối không nên trực tiếp chuyển tiếp cổng 11434 từ bộ định tuyến của mình ra internet. Nếu cần truy cập internet từ bên ngoài mạng gia đình, tốt nhất nên sử dụng VPN như Tailscale hoặc WireGuard.

Tại sao cổng 11434 không phản hồi từ máy tính khác?

Ollama sử dụng cổng TCP 11434 để cung cấp API cục bộ. Dịch vụ này thường được liên kết với địa chỉ sau:

127.0.0.1:11434

Địa chỉ 127.0.0.1 Điều này tương ứng với giao diện vòng lặp cục bộ, còn được gọi là máy chủ cục bộChỉ có chính máy tính đó mới có thể kết nối với nó. Do đó, một ứng dụng được cài đặt trên máy khác sẽ không thể truy cập vào máy chủ bằng địa chỉ IP riêng của máy chủ, ngay cả khi cả hai thiết bị đều được kết nối với cùng một bộ định tuyến.

Giới hạn ban đầu này bảo vệ hệ thống khỏi các kết nối trái phép. Nếu Ollama chấp nhận các yêu cầu bên ngoài mà không có bất kỳ hạn chế nào, người dùng khác có thể truy vấn các mô hình đã cài đặt, gửi lời nhắc hoặc tiêu tốn tài nguyên CPU và GPU.

Việc ping máy chủ cũng không cho phép bạn xác minh xem Ollama có đang chạy hay không. Lệnh ping chỉ xác nhận rằng thiết bị phản hồi qua giao thức ICMP; nó không xác minh rằng có một dịch vụ đang lắng nghe trên cổng 11434.

Trước khi thực hiện bất kỳ thay đổi nào, bạn có thể kiểm tra chức năng cục bộ bằng cách mở địa chỉ này trên máy chủ:

http://localhost:11434/api/tags

Bạn cũng có thể thử từ PowerShell, Terminal hoặc giao diện dòng lệnh Linux:

curl http://localhost:11434/api/tags

Nếu Ollama hoạt động, bạn sẽ nhận được phản hồi JSON với các mẫu có sẵn. Sau khi bật truy cập từ xa, bạn cần lặp lại thử nghiệm từ một thiết bị khác, thay thế (các) mẫu. localhost bằng địa chỉ IP riêng của máy chủ.

Cách tìm địa chỉ IP của máy chủ

Để kết nối từ thiết bị khác, bạn cần biết địa chỉ IP riêng của máy tính đang chạy Ollama. Trên Windows, bạn có thể tìm thấy địa chỉ này bằng cách mở PowerShell hoặc Command Prompt và chạy lệnh sau:

ipconfig

Tìm địa chỉ IPv4 tương ứng với bộ chuyển đổi mạng được kết nối với mạng của bạn. Thông thường nó sẽ có dạng như sau:

192.168.1.50

Trên Linux, bạn có thể sử dụng:

hostname -I

Trên macOS, bạn có thể tìm địa chỉ IP từ cài đặt mạng hoặc chạy lệnh sau:

ipconfig getifaddr en0

Địa chỉ IP có thể thay đổi nếu bộ định tuyến của bạn sử dụng DHCP. Nếu bạn thường xuyên kết nối với các ứng dụng khác, bạn nên dành riêng địa chỉ IP đó trong cài đặt bộ định tuyến để Ollama luôn khả dụng ở cùng một địa chỉ.

Hướng dẫn cấu hình OLLAMA_HOST trong Windows

Biến môi trường OLLAMA_HOST Tham số này xác định các địa chỉ mà máy chủ lắng nghe. Để cho phép kết nối thông qua bất kỳ giao diện mạng nào trên máy tính, bạn có thể gán giá trị này:

0.0.0.0:11434

Trên hệ điều hành Windows, hãy làm theo các bước sau:

1. Đóng ứng dụng Ollama từ biểu tượng của nó trong khay hệ thống.
2. Tìm kiếm Chỉnh sửa các biến môi trường hệ thống Từ menu Bắt đầu.
3. Nhấp chuột vào Các biến số môi trường.
4. Tạo một biến người dùng có tên là OLLAMA_HOST.
5. Nhập giá trị 0.0.0.0:11434.
6. Lưu các thay đổi và khởi động lại Ollama.

Bạn cũng có thể thiết lập nó từ PowerShell bằng lệnh này:

[Environment]::SetEnvironmentVariable("OLLAMA_HOST", "0.0.0.0:11434", "User")

Sau đó, bạn phải đóng hoàn toàn Ollama và chạy lại. Các ứng dụng đã mở trước đó sẽ không tự động nhận các biến môi trường mới.

Để kiểm tra xem máy chủ có đang lắng nghe trên cổng mong muốn hay không, hãy chạy lệnh sau:

netstat -ano | findstr :11434

Nếu nó xuất hiện 0.0.0.0:11434 với tiểu bang LISTENINGOllama đang chấp nhận các kết nối thông qua giao diện mạng của máy tính.

Cách cho phép Ollama trong tường lửa Windows

Mặc dù Ollamama đang lắng nghe 0.0.0.0:11434Tường lửa Windows Defender có thể ngăn thiết bị khác kết nối. Trong trường hợp đó, bạn phải cấp quyền cho Ollama hoặc tạo quy tắc đến cho cổng đó.

Bạn có thể làm điều đó từ Bảo mật Windows > Tường lửa và Bảo vệ mạng > Cài đặt nâng cao. Sau đó:

1. Mở Quy tắc nhập cảnh.
2. Nhấp chuột vào Quy tắc mới.
3. Lựa chọn Cảng.
4. Quay số TCP và nhập 11434 như một cảng địa phương cụ thể.
5. Nó cho phép kết nối.
6. Chỉ áp dụng quy tắc này cho hồ sơ Riêng tưtrừ khi bạn có nhu cầu khác.
7. Đặt một tên dễ nhận biết, chẳng hạn như "Cuộc gọi mạng cục bộ".

Tránh bật quy tắc này cho các mạng công cộng nếu bạn sử dụng máy tính ở khách sạn, sân bay hoặc quán cà phê. Trên các mạng đó, các thiết bị khác có thể cố gắng kết nối với API.

Sau khi cấu hình tường lửa xong, hãy kiểm tra từ một máy tính khác:

curl http://192.168.1.50:11434/api/tags

Thay thế 192.168.1.50 bằng địa chỉ IP thực của máy chủ.

Cách cấu hình truy cập từ xa trong Linux

Khi Ollama được cài đặt như một dịch vụ systemd, cách được khuyến nghị để thêm biến này là tạo một cấu hình bổ sung:

sudo systemctl edit ollama.service

Thêm các dòng này:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

Lưu tập tin và chạy:

sudo systemctl daemon-reload
sudo systemctl restart ollama

Bạn có thể kiểm tra trạng thái dịch vụ bằng cách sử dụng:

sudo systemctl status ollama

Để xem các bản ghi theo thời gian thực:

journalctl -u ollama --no-pager --follow --pager-end

Bạn cũng nên kiểm tra tường lửa của bản phân phối hệ điều hành. Nếu bạn đang sử dụng UFW, bạn có thể hạn chế quyền truy cập vào mạng cục bộ của mình thay vì mở cổng chung. Ví dụ, đối với một mạng 192.168.1.0/24:

sudo ufw allow from 192.168.1.0/24 to any port 11434 proto tcp

Hãy điều chỉnh phạm vi cho phù hợp với cấu hình mạng thực tế của bạn.

Cách thay đổi biến môi trường OLLAMA_HOST trong macOS

Trên macOS, hãy đóng hoàn toàn Ollama và thiết lập biến bằng lệnh:

launchctl setenv OLLAMA_HOST "0.0.0.0:11434"

Sau đó, hãy mở lại ứng dụng. Chỉ đóng cửa sổ thôi là chưa đủ: Ollama phải ngừng chạy trước khi bạn khởi động lại nó.

Nếu macOS yêu cầu quyền chấp nhận các kết nối đến, bạn phải cấp quyền đó trong mạng đáng tin cậy. Bạn cũng có thể kiểm tra quyền từ đó. Cài đặt hệ thống > Mạng > Tường lửa.

Biến số được thiết lập bởi launchctl Cài đặt này có thể không được lưu giữ sau khi đăng xuất hoặc khởi động lại máy tính. Nếu bạn cần cấu hình vĩnh viễn, bạn sẽ phải áp dụng biến này bằng cách sử dụng dịch vụ khởi chạy hoặc khởi động Ollama từ một môi trường nơi biến này đã được định nghĩa sẵn.

Cách xuất bản cổng Ollama trong Docker

Giao diện Ollama chính thức hiện đã sẵn sàng cung cấp dịch vụ bên trong container. Để truy cập giao diện này từ máy chủ và các thiết bị khác, bước cần thiết là công bố cổng:

docker run -d \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama

Trong một tệp compose.yamlCấu hình cơ bản sẽ là:

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    ports:
      - "11434:11434"
    volumes:
      - ollama:/root/.ollama

volumes:
  ollama:

Thông thường không cần phải thêm thủ công. OLLAMA_HOST bên trong vùng chứa chính thức. Tham số -p 11434:11434 Công bố cổng container trên máy chủ.

Nếu bạn chỉ muốn Ollama có thể truy cập được từ chính máy chủ đó chứ không phải từ toàn bộ mạng, bạn có thể giới hạn việc xuất bản chỉ cho localhost:

-p 127.0.0.1:11434:11434

Khi Ollama và ứng dụng khách nằm trong cùng một tệp Docker Compose, bạn có thể giao tiếp giữa các container bằng cách sử dụng tên dịch vụ:

http://ollama:11434

Trong trường hợp này, bạn không nên sử dụng localhostBởi vì bên trong một container, địa chỉ đó trỏ đến chính container đó, chứ không phải đến dịch vụ của Ollama.

Hướng dẫn cách kết nối Open WebUI và n8n với Ollama

Nếu Open WebUI, n8n hoặc ứng dụng khác được cài đặt trên một máy tính khác, hãy sử dụng địa chỉ IP riêng của máy chủ làm URL cơ sở:

http://192.168.1.50:11434

Nếu ứng dụng chạy trong Docker và Ollama được cài đặt trực tiếp trên máy chủ, đường dẫn thông thường trong Docker Desktop là:

http://host.docker.internal:11434

Tài liệu chính thức về sự tích hợp giữa Ollama và n8n khuyến nghị chính xác như sau: host.docker.internal Khi n8n đang chạy thông qua Docker và Ollama đang được cài đặt trên máy chủ.

Trên Linux, địa chỉ này có thể yêu cầu thêm các dòng sau vào container:

--add-host=host.docker.internal:host-gateway

Nếu cả hai dịch vụ đều nằm trên cùng một mạng Docker Compose, hãy sử dụng tên được gán cho dịch vụ Ollama, ví dụ như: http://ollama:11434.

Cách khắc phục lỗi CORS

Lỗi CORS xảy ra khi một ứng dụng web được tải từ một nguồn gốc khác cố gắng gọi trực tiếp API của Ollama từ trình duyệt.

Biến được sử dụng để cho phép thêm nguồn dữ liệu là:

OLLAMA_ORIGINS

Thay vì cho phép tất cả các trang web có dấu sao một cách bừa bãi, tốt hơn hết là chỉ định địa chỉ của giao diện bạn sẽ sử dụng. Ví dụ:

OLLAMA_ORIGINS=http://192.168.1.60:3000

Nếu cần xác thực nhiều nguồn, hãy cấu hình chúng theo định dạng được Ollama hỗ trợ. Sau khi thay đổi biến, hãy khởi động lại hoàn toàn dịch vụ.

Sử dụng:

OLLAMA_ORIGINS=*

Điều này có thể hữu ích để khoanh vùng sự cố trong một thử nghiệm ngắn, nhưng đây không phải là cấu hình được khuyến nghị để sử dụng lâu dài. Cho phép bất kỳ nguồn gốc nào sẽ làm cho trang web được mở trong trình duyệt dễ dàng cố gắng liên lạc với máy chủ cục bộ của bạn hơn.

Hơn nữa, CORS không thay thế tường lửa hoặc bổ sung xác thực. Nó chỉ kiểm soát nguồn gốc web nào có thể thực hiện các yêu cầu nhất định từ trình duyệt.

Cách truy cập Ollama một cách an toàn từ bên ngoài nhà bạn

Bạn không nên tạo quy tắc chuyển tiếp trên bộ định tuyến của mình để trực tiếp mở cổng 11434 ra internet. API cục bộ không yêu cầu mật khẩu hoặc khóa truy cập, vì vậy bất kỳ ai phát hiện ra địa chỉ này đều có thể gửi yêu cầu và tiêu tốn tài nguyên máy chủ.

Một giải pháp an toàn hơn là cài đặt Tailscale hoặc WireGuard Trên máy chủ và trên các thiết bị được ủy quyền. Các công cụ này tạo ra một mạng riêng được mã hóa và cho phép truy cập vào Ollama thông qua một địa chỉ dành riêng cho VPN.

Ví dụ, với Tailscale, bạn có thể kết nối bằng địa chỉ tương tự như sau:

http://100.x.y.z:11434

Bạn cũng có thể sử dụng Tailscale Serve để đặt dịch vụ phía sau kết nối HTTPS trong mạng riêng của mình.

Một lựa chọn khác là đặt Ollama phía sau một máy chủ proxy ngược như Nginx hoặc Caddy. Proxy có thể xử lý HTTPS, hạn chế địa chỉ IP và phương thức xác thực. Tuy nhiên, chỉ thiết lập proxy thôi không đảm bảo an ninh: bạn phải bảo vệ thông tin đăng nhập, cập nhật phần mềm thường xuyên và ngăn chặn máy chủ Ollama bị truy cập thông qua bất kỳ con đường nào khác.

Các đường hầm công cộng tạm thời có thể được sử dụng để thử nghiệm có kiểm soát, nhưng chúng tạo ra một điểm truy cập vào dịch vụ. Nếu bạn cần sử dụng chúng, hãy thêm xác thực trước Ollama và tắt đường hầm khi bạn hoàn thành.

Phải làm gì nếu cổng 11434 vẫn không phản hồi?

Nếu kết nối vẫn tiếp tục gặp lỗi, hãy kiểm tra các mục theo thứ tự sau:

1. Xác minh rằng Ollama phản hồi cục bộ bằng cách http://localhost:11434/api/tags.
2. Xác nhận rằng OLLAMA_HOST chứa 0.0.0.0:11434.
3. Khởi động lại hoàn toàn ứng dụng hoặc dịch vụ.
4. Hãy kiểm tra xem cổng có đang ở trạng thái lắng nghe hay không.
5. Kiểm tra quy tắc đến của tường lửa.
6. Hãy đảm bảo bạn đang sử dụng địa chỉ IP máy chủ chính xác.
7. Hãy đảm bảo cả hai thiết bị đều nằm trên cùng một mạng và không nằm trên một mạng khách riêng biệt.
8. Hãy kiểm tra xem bộ định tuyến có bật tính năng cách ly máy khách Wi-Fi hay không.
9. Kiểm tra API với /api/tags trước khi cấu hình Open WebUI, n8n hoặc ứng dụng khác.

Trên Windows, nhật ký Ollama có thể giúp phát hiện lỗi máy chủ. Bạn có thể tìm thấy chúng ở:

%LOCALAPPDATA%\Ollama

Trên macOS, bạn có thể truy cập vào registry chính bằng lệnh sau:

cat ~/.ollama/logs/server.log

Trên Linux với systemd:

journalctl -u ollama --no-pager --follow --pager-end

Cách kiểm tra xem Ollama có đang sử dụng GPU hay không

Kết nối hoạt động nhưng phản hồi rất chậm thường không liên quan đến cổng. Để kiểm tra xem mô hình đang chạy ở đâu, hãy sử dụng:

ollama ps

Cột bộ xử lý cho biết mô hình được tải trên CPU, GPU hay chia đều giữa cả hai. Nếu chủ yếu được tải trên CPU, thời gian phản hồi có thể lâu hơn đáng kể.

Điều này có thể xảy ra do mô hình không hoàn toàn phù hợp với bộ nhớ của card đồ họa, thiếu trình điều khiển tương thích hoặc quá trình cài đặt Docker không có quyền truy cập vào GPU. Trên các hệ thống có NVIDIA và Docker, bạn cần cấu hình NVIDIA Container Toolkit và chạy container với quyền truy cập phần cứng.

Cũng nên kiểm tra dung lượng RAM và VRAM hiện có. Dung lượng quá lớn có thể gây áp lực lên bộ nhớ hệ thống, dẫn đến hiệu năng giảm đáng kể.

Việc cấu hình đúng cổng 11434 cho phép bạn sử dụng Ollama từ các máy tính khác, giao diện web và nền tảng tự động hóa. Giải pháp thông thường là thay đổi... OLLAMA_HOST, cho phép kết nối trong tường lửa và sử dụng địa chỉ phù hợp tùy thuộc vào việc ứng dụng nằm trên máy tính khác, trên máy chủ hay bên trong Docker.

Tuy nhiên, việc công khai API ngụ ý rằng Ollama không hỗ trợ xác thực cục bộ. Đối với mạng gia đình, bạn nên hạn chế quyền truy cập vào hồ sơ riêng tư và, nếu cần kết nối từ bên ngoài, hãy sử dụng VPN hoặc proxy bảo mật thay vì trực tiếp công khai cổng trên internet.