Hướng dẫn cài đặt và cấu hình AnythingLLM với Docker

AnythingLLM cho phép bạn tạo một trợ lý AI có thể truy vấn tài liệu, sử dụng các mô hình cục bộ và sắp xếp thông tin vào các không gian làm việc riêng biệt. Bạn có thể cài đặt nó trên máy tính cá nhân hoặc triển khai trên máy chủ bằng Docker, tùy thuộc vào việc bạn cần sử dụng nó một mình hay chia sẻ với người khác.

Mặc dù nó có thể hoạt động hoàn toàn cục bộ, Quyền riêng tư phụ thuộc vào các nhà cung cấp mà bạn cấu hình.Nếu bạn kết nối các dịch vụ bên ngoài cho mô hình ngôn ngữ, các lớp nhúng hoặc bất kỳ công cụ bổ sung nào khác, một số thông tin có thể bị rò rỉ ra khỏi cơ sở hạ tầng của bạn.

Nên chọn phiên bản nào: Desktop hay Docker

AnythingLLM Desktop là lựa chọn đơn giản nhất dành cho người dùng cá nhân. Nó có sẵn cho Windows, macOS và Linux, sử dụng trình cài đặt tiêu chuẩn và bao gồm trình cung cấp mô hình cục bộ tích hợp sẵn. Nó cũng cho phép bạn làm việc với RAG, tài liệu và tác nhân mà không cần thiết lập máy chủ.

Phiên bản Docker được thiết kế để truy cập từ trình duyệt, tạo phiên bản đa người dùng, quản lý quyền hoặc xuất bản tiện ích trò chuyện trên trang web. Không giống như phiên bản Desktop, Docker không tích hợp sẵn trình cung cấp LLM.Do đó, bạn cần kết nối nó với Ollama, LM Studio hoặc một API tương thích.

Docker ban đầu có thể hoạt động ở chế độ người dùng đơn. Kích hoạt chế độ nhiều người dùng cho phép bạn tạo tài khoản với các vai trò khác nhau và hạn chế quyền truy cập vào không gian làm việc. Hãy nhớ rằng... Việc chuyển sang chế độ nhiều người dùng không thể đảo ngược. từ ứng dụng.

Hướng dẫn cài đặt AnythingLLM với Docker

Trước tiên, bạn cần cài đặt Docker. Trên Linux hoặc macOS, bạn có thể tạo một thư mục lưu trữ cố định và chạy ảnh Docker chính thức bằng các lệnh sau:

export STORAGE_LOCATION=$HOME/anythingllm
mkdir -p "$STORAGE_LOCATION"
touch "$STORAGE_LOCATION/.env"

docker run -d \
  --name anythingllm \
  -p 3001:3001 \
  -v "$STORAGE_LOCATION:/app/server/storage" \
  -v "$STORAGE_LOCATION/.env:/app/server/.env" \
  -e STORAGE_DIR="/app/server/storage" \
  --restart unless-stopped \
  mintplexlabs/anythingllm:latest

Sau đó bạn có thể mở http://localhost:3001Khối lượng được gắn trên /app/server/storage Điều này rất quan trọng vì nó cho phép bạn bảo toàn tài liệu, cài đặt và cơ sở dữ liệu khi khởi động lại hoặc thay thế vùng chứa.

Nếu bạn cần sử dụng web scraping, tài liệu chính thức cho biết bạn phải thêm... --cap-add SYS_ADMINTính năng này cấp quyền rộng rãi cho vùng chứa, vì vậy không nên tích hợp nó nếu bạn không có ý định sử dụng chức năng đó.

Trên máy chủ có thể truy cập từ internet, hãy đặt AnythingLLM phía sau máy chủ proxy ngược với HTTPS, hạn chế các cổng bằng tường lửa và bật xác thực. Không được để lộ trực tiếp phiên bản không được bảo mật thông qua cổng 3001.

Cách kết nối với Ollama hoặc nhà cung cấp AI khác

Trong quá trình thiết lập ban đầu, bạn phải chọn một mô hình ngôn ngữ, một nhà cung cấp nhúng và một cơ sở dữ liệu vectơ. AnythingLLM bao gồm một mô hình nhúng chạy trên CPU và sử dụng LanceDB làm cơ sở dữ liệu vectơ mặc định, nhưng trong Docker, bạn sẽ cần cấu hình LLM riêng.

Nếu Ollama hoặc LM Studio đang chạy trên cùng một máy tính, đừng sử dụng localhost như một địa chỉ từ AnythingLLM, vì bên trong container, địa chỉ đó trỏ đến chính container đó. Trên Windows và macOS, bạn có thể sử dụng host.docker.internalĐối với bản cài đặt Linux với mạng mặc định, tài liệu AnythingLLM đề xuất địa chỉ sau: 172.17.0.1Tuy nhiên, điều này có thể thay đổi nếu bạn đã tùy chỉnh mạng Docker.

Bạn cũng có thể kết nối với các dịch vụ như OpenAI, Anthropic hoặc Gemini. Trong trường hợp đó, các thông báo và ngữ cảnh được truy xuất gửi đến mô hình sẽ tuân theo chính sách bảo mật của nhà cung cấp bên thứ ba.

Cách thức hoạt động của không gian làm việc và RAG

Không gian làm việc cho phép bạn tách biệt tài liệu, cuộc trò chuyện và hướng dẫn. Ví dụ, bạn có thể dành một không gian cho tài liệu kỹ thuật và một không gian khác cho tài liệu kinh doanh mà không làm lẫn lộn các nguồn tài liệu được sử dụng trong các phản hồi.

Một tài liệu được đính kèm vào cuộc hội thoại chỉ giới hạn trong luồng hội thoại đó và chỉ có thể chứa toàn bộ văn bản của nó trong ngữ cảnh đó. Tuy nhiên, khi được tích hợp bằng RAG, AnythingLLM sẽ chia nhỏ tài liệu thành các đoạn, tạo ra các vectơ của nó và cung cấp chúng cho tất cả các cuộc hội thoại trong không gian làm việc. Ở chế độ nhiều người dùng, tài liệu cũng sẽ có sẵn cho bất kỳ ai có quyền truy cập vào không gian làm việc đó.

Nếu hệ thống không tìm thấy đoạn văn bản chính xác, bạn có thể kiểm tra số lượng kết quả tối đa và ngưỡng tương đồng. Tài liệu hướng dẫn cũng khuyến nghị nên thử tùy chọn không giới hạn khi loại bỏ các đoạn văn bản liên quan.

Bạn cũng có thể ghim tài liệu để chèn toàn bộ văn bản của nó vào cửa sổ ngữ cảnh. Tùy chọn này chỉ phù hợp khi tệp tin vừa với cửa sổ ngữ cảnh, vì nó có thể làm tăng mức tiêu thụ tài nguyên, thời gian phản hồi và chi phí nếu bạn đang sử dụng API bên ngoài.

Hướng dẫn sử dụng tác nhân, luồng và API

Các tác nhân có thể sử dụng các công cụ để tìm kiếm thông tin bằng RAG, truy vấn các trang web, lưu tệp hoặc thực thi các luồng được cấu hình sẵn. Chức năng của chúng phụ thuộc vào mô hình được chọn, vì một số mô hình nhỏ hoặc có độ phân giải cao gặp khó khăn trong việc tạo ra các lệnh gọi công cụ một cách chính xác.

Nếu ký hiệu tương ứng xuất hiện trong ô soạn thảo, bạn phải bắt đầu yêu cầu bằng @agentKhi chỉ báo đó không xuất hiện, AnythingLLM có thể tự động kích hoạt các công cụ tương thích. Để kết thúc một phiên được bắt đầu thủ công, hãy sử dụng lệnh. /exit.

AnythingLLM cũng có API để quản lý tài liệu, không gian làm việc và các cuộc hội thoại. Tài liệu hướng dẫn tương tác có thể được tìm thấy tại đây. /api/docs Trong phạm vi phiên bản của bạn. Hãy bảo vệ các khóa API, vì bất kỳ ai có được chúng đều có thể thực hiện các thao tác được liên kết với quyền hạn của chúng.

Luồng tác vụ (Agent Flows) cho phép bạn xâu chuỗi các hành động, chẳng hạn như truy vấn một trang, xử lý nội dung của trang đó và trả về một tập hợp kết quả. Trước khi tự động hóa các tác vụ quan trọng, hãy kiểm tra luồng với dữ liệu mẫu và giới hạn các công cụ có sẵn.

Quyền riêng tư và các vấn đề thường gặp

Để duy trì quá trình xử lý trong phạm vi cơ sở hạ tầng của bạn, bạn nên sử dụng mô hình cục bộ, nhà cung cấp nhúng cục bộ và cơ sở dữ liệu vector được lưu trữ trên cùng một hệ thống. Bạn cũng nên tránh các công cụ truy vấn các dịch vụ bên ngoài. Việc sử dụng Ollama cho LLM tự nó không đảm bảo rằng tất cả luồng dữ liệu đều là cục bộ..

AnythingLLM thu thập dữ liệu đo từ xa ẩn danh, có thể tắt trong cài đặt quyền riêng tư của ứng dụng. Ngay cả sau khi tắt tính năng này, các kết nối bên ngoài vẫn có thể xảy ra nếu bạn sử dụng API, mô hình từ xa, tìm kiếm trên web hoặc các tài nguyên được tải xuống từ internet.

Nếu Docker hiển thị lỗi quyền truy cập, hãy xác minh rằng UID và GID đã cấu hình khớp với UID và GID của chủ sở hữu thư mục lưu trữ. Thông thường, ảnh Docker sử dụng giá trị 1000, nhưng mã định danh này không giống nhau trên tất cả các hệ thống.

Trước khi cập nhật container, hãy sao lưu thư mục lưu trữ. Đối với các cài đặt lớn, cũng nên chọn một phiên bản ảnh cụ thể và kiểm tra các bản cập nhật trước khi áp dụng chúng.

AnythingLLM là một lựa chọn thú vị cho việc truy vấn tài liệu bằng trí tuệ nhân tạo, tạo cơ sở tri thức và chia sẻ trợ lý nội bộ. Tuy nhiên, trước khi triển khai, bạn cần quyết định những thành phần nào sẽ được chạy cục bộ, ai sẽ có quyền truy cập và thông tin nào có thể được gửi đến các nhà cung cấp bên ngoài.