Hướng dẫn đầy đủ về cách chia sẻ Open WebUI và Ollama trên mạng cục bộ của bạn

¿Làm thế nào để tôi chia sẻ Open WebUI với những người dùng khác trên mạng cục bộ của mình? Tôi chắc chắn rằng bạn cũng từng trải qua cảm giác này: bạn muốn sở hữu sức mạnh của một mô hình ngôn ngữ tiên tiến, nhưng việc dữ liệu của mình bị lưu trữ trên máy chủ của một tập đoàn lớn lại khiến bạn rùng mình. Đây chính là lúc sự kết hợp linh hoạt giữa... Open WebUI và OllamaĐây là sự kết hợp cho phép bạn thiết lập một hệ thống trò chuyện giống hệt như của OpenAI, nhưng hoạt động hoàn toàn trên phần cứng của riêng bạn, mà không phải trả một xu nào cho mỗi token và hoàn toàn kiểm soát được quyền riêng tư của mình.

Điều tuyệt vời nhất là bạn không cần phải là chuyên gia máy tính để cài đặt và sử dụng nó. Mặc dù việc thiết lập cơ bản rất dễ dàng, nhưng thử thách thực sự xuất hiện khi bạn muốn các thành viên khác trong gia đình hoặc đồng đội của mình cũng có thể sử dụng nó. truy cập trang web từ thiết bị của riêng bạnTrong bài viết này, chúng ta sẽ phân tích mọi thứ, từ cài đặt đơn giản nhất đến các thủ thuật mạng phức tạp nhất, để giúp bạn truy cập máy chủ AI từ khắp mọi nơi trong nhà hoặc văn phòng.

Khi nhắc đến Open WebUI và Ollama, chúng ta đang nói đến điều gì vậy?

Để tránh nhầm lẫn, điều cần thiết là phải hiểu rằng chúng ta đang nói về hai mảnh khác nhau nhưng lại khớp với nhau một cách hoàn hảo. Ollama là động cơChương trình chịu trách nhiệm quản lý các mô hình (các tệp GGUF này, tương tự như các tệp .mp3 của AI), tải chúng vào bộ nhớ và thực hiện các phép tính. Mặt khác, Open WebUI là giao diện hiển thị trực quan.Một giao diện web được hoàn thiện cao cấp cho phép chúng ta trò chuyện, quản lý người dùng và sắp xếp tài liệu.

Kiến trúc này rất tuyệt vời vì nó cho phép lớp trò chuyện hoạt động độc lập với lớp thực thi. Chúng giao tiếp với nhau qua HTTP, thường là qua cổng 11434. Ưu điểm lớn của sự kết hợp này là nó... hoàn toàn miễn phí và mã nguồn mởĐiều này cho phép bạn chạy các mô hình như Llama 3.2 hoặc DeepSeek mà không cần bất kỳ dữ liệu nào rời khỏi mạng cục bộ của bạn.

Thiết lập nhanh chóng để bắt đầu trò chuyện

Nếu muốn đi thẳng vào vấn đề, cách nhanh nhất là sử dụng Docker. Đối với những người đã cài đặt Ollama trên hệ thống của mình, chỉ cần khởi chạy một container Open WebUI. Lệnh tiêu chuẩn bao gồm ánh xạ cổng 3000 và cờ. host.docker.internal:host-gatewayĐây chính là bí quyết giúp container có thể giao tiếp với dịch vụ Ollama đang chạy trên máy chủ, đặc biệt là trên các hệ thống Linux.

Đối với những ai đang tìm kiếm một sản phẩm bền bỉ hơn, Docker Compose là sự lựa chọn lý tưởng.Nó cho phép bạn định nghĩa cả hai dịch vụ trong một tệp YAML duy nhất, đảm bảo rằng mạng nội bộ của Docker tự động phân giải tên. Bằng cách này, thay vì sử dụng các địa chỉ IP phức tạp, Open WebUI có thể gọi Ollama chỉ bằng URL. http://ollama:11434Điều này giúp cấu hình ổn định hơn nhiều và dễ bảo trì hơn về lâu dài.

Cách mở quyền truy cập cho người dùng khác trên mạng cục bộ của bạn

Đây là điểm mà hầu hết mọi người thường gặp khó khăn. Theo mặc định, hệ thống thường chỉ phản hồi lại localhostĐiều này có nghĩa là chỉ máy tính lưu trữ AI mới có thể truy cập được nó. Để vượt qua rào cản này, trước tiên chúng ta phải đảm bảo rằng Ollama lắng nghe trên tất cả các giao diện. Việc này được thực hiện bằng cách chỉnh sửa dịch vụ systemd và thêm biến môi trường. OLLAMA_HOST=0.0.0.0, buộc máy chủ không được giới hạn phạm vi hoạt động chỉ ở địa chỉ IP nội bộ.

Nếu bạn đang sử dụng Windows với WSL2, mọi thứ sẽ phức tạp hơn một chút vì WSL2 có mạng ảo riêng. Trong trường hợp này, bạn cần tạo một mạng ảo. Sử dụng proxy cổng với netsh Trong PowerShell với quyền quản trị viên. Về cơ bản, chúng ta đang yêu cầu Windows chuyển hướng tất cả lưu lượng truy cập đến cổng 8080 của máy vật lý đến địa chỉ IP nội bộ của máy ảo Ubuntu trong WSL2. Ngoài ra, đừng quên... Mở quy tắc đến trong Tường lửa Windows Defender hoặc hệ thống sẽ chặn mọi nỗ lực kết nối từ bên ngoài.

Tối ưu hóa phần cứng và tăng tốc GPU

Giao diện đẹp đến mấy mà AI phản hồi chậm cũng vô ích. Mấu chốt nằm ở chỗ... Tăng tốc phần cứngNếu bạn có card đồ họa NVIDIA, bạn cần NVIDIA Container Toolkit để Docker truy cập các lõi CUDA. Đối với người dùng Mac có chip Apple Silicon, thủ thuật nằm ở chỗ... chạy Ollama bản địa và không phải trong Docker, vì điều này cho phép bạn tận dụng GPU của Metal, đạt được tốc độ xử lý token mỗi giây cao hơn vô hạn.

Đối với người dùng AMD trên Linux, giải pháp là sử dụng ảnh Docker chuyên dụng với... Hỗ trợ ROCmViệc theo dõi mức sử dụng VRAM là rất quan trọng; nếu bạn cố gắng tải một mô hình quá lớn so với card đồ họa của mình, hệ thống sẽ chuyển nó vào RAM hệ thống và tốc độ sẽ giảm mạnh, biến máy chủ mạnh mẽ của bạn thành một thứ giống như máy tính từ mười năm trước.

Tăng cường sức mạnh cho AI bằng RAG, Pipelines và MCP

Open WebUI không chỉ là một hộp chat; nó là một nền tảng có khả năng mở rộng. Một trong những điểm nổi bật của nó là... Công nghệ RAG gốc (Recovery Augmented Generation)Bạn có thể tải lên các tệp PDF, Word hoặc tài liệu Markdown của riêng mình, và công cụ sẽ phân mảnh và lưu trữ chúng trong cơ sở dữ liệu vector có tên là ChromaDB. Sau đó, khi bạn đặt câu hỏi, AI ​​sẽ tìm kiếm trong tài liệu của bạn trước và trả lời dựa trên thông tin đó. thông tin thật và riêng tư.

Nếu bạn muốn tiến thêm một bước nữa, thì có những lựa chọn sau: Các quy trình và chức năngPipelines là các dịch vụ Python bên ngoài có thể lọc tin nhắn hoặc hoạt động như bộ định tuyến. Mặt khác, Functions cho phép bạn thêm các nút vào giao diện để chạy các tập lệnh, chẳng hạn như tóm tắt văn bản và gửi trực tiếp đến Notion. Hơn nữa, sự xuất hiện của Giao thức ngữ cảnh mô hình (MCP) Nó cho phép trí tuệ nhân tạo tương tác với các công cụ bên ngoài như GitHub hoặc Slack theo một cách chuẩn hóa.

Bảo mật và truy cập từ xa nâng cao

Khi bạn mở máy chủ của mình cho người dùng mạng LAN khác truy cập, bảo mật trở nên tối quan trọng. Điều đó là bắt buộc. tắt ghi nhật ký mở Sau khi tạo tài khoản quản trị viên và người dùng, bạn cần ngăn chặn bất kỳ kẻ xâm nhập nào tạo tài khoản trên mạng của mình. Đối với những người cần truy cập mạng từ bên ngoài nhà, khuyến nghị là không nên mở cổng trên bộ định tuyến, mà nên sử dụng [thông tin bị thiếu - có thể là một tài liệu hoặc ứng dụng riêng biệt, không liên quan]. Đường hầm Cloudflare hoặc Caddy Quản lý HTTPS một cách gọn gàng và an toàn.

Nếu số lượng người dùng tăng lên, SQLite có thể bắt đầu gặp vấn đề về hiệu suất. Trong trường hợp đó, giải pháp thông minh nhất là chuyển sang sử dụng hệ thống khác. PostgreSQLĐiều này giúp xử lý đồng thời và các truy vấn phức tạp trên cơ sở dữ liệu hội thoại tốt hơn nhiều. Việc lưu trữ dữ liệu trong một volume Docker được đặt tên là cách duy nhất để đảm bảo rằng, khi cập nhật ảnh Open WebUI, bạn không bị mất toàn bộ lịch sử trò chuyện và bộ sưu tập tài liệu của mình.

Việc giúp nhiều người có thể tiếp cận AI cục bộ đòi hỏi sự phối hợp giữa cấu hình máy chủ, quản lý mạng và tối ưu hóa phần cứng. Bằng cách kết hợp tính linh hoạt của Docker, sức mạnh của Ollama và tính đa năng của Open WebUI, chúng ta có thể xây dựng một hệ sinh thái riêng tư, an toàn và cực kỳ mạnh mẽ mà không cần phụ thuộc vào bất kỳ dịch vụ đám mây bên ngoài nào.