- Các giải pháp mã nguồn mở thay thế cho việc chạy mô hình ngôn ngữ và tạo ảnh mà không cần phụ thuộc vào điện toán đám mây.
- Các công cụ đa năng như LocalAI, Stable Diffusion và các ứng dụng di động đảm bảo sự riêng tư tuyệt đối.
- Các yêu cầu kỹ thuật về phần cứng và phương pháp cài đặt đơn giản bằng Docker hoặc trình cài đặt tự động.
Có lẽ bạn đã từng rơi vào tình huống muốn thử nghiệm với trí tuệ nhân tạo, nhưng lại lo ngại về việc tài liệu, cuộc trò chuyện hoặc hình ảnh của mình bị xử lý trên các máy chủ từ xa. Bạn cũng có thể lo lắng về việc phụ thuộc vào một dịch vụ thường xuyên thay đổi điều khoản, giới hạn số lượng truy vấn hoặc bắt đầu tính phí đăng ký khó biện minh.
Trong những trường hợp này, chạy các mô hình trí tuệ nhân tạo cục bộ Nó cung cấp một giải pháp thay thế đặc biệt thú vị. Dữ liệu có thể được lưu trữ trên máy tính, hoạt động không phụ thuộc liên tục vào một nền tảng bên ngoài, và bạn có nhiều quyền kiểm soát hơn đối với các mô hình, cấu hình và công cụ được sử dụng.
Việc sở hữu cơ sở hạ tầng AI riêng không chỉ là vấn đề về quyền riêng tư. Nó còn cho phép... xử lý tài liệu mậtThử nghiệm với các mô hình khác nhau, tự động hóa các tác vụ và tạo hình ảnh mà không cần trả phí cho mỗi truy vấn. Tuy nhiên, trải nghiệm sẽ phụ thuộc đáng kể vào bộ xử lý, RAM, card đồ họa và mô hình được chọn.
LocalAI: giải pháp thay thế cục bộ cho API thương mại
Nếu bạn đang tìm kiếm một công cụ mạnh mẽ và linh hoạt để xây dựng dịch vụ trí tuệ nhân tạo của riêng mình, LocalAI là một trong những lựa chọn toàn diện nhất. Nó tự giới thiệu mình là một... Sản phẩm thay thế tương thích với các API phổ biến., bao gồm cả những công nghệ được OpenAI và Anthropic sử dụng, cho phép nhiều ứng dụng được điều chỉnh để gửi yêu cầu của chúng đến máy chủ riêng.
Thay vì sử dụng trực tiếp API được lưu trữ trên đám mây, bạn có thể cấu hình chương trình để trỏ đến địa chỉ LocalAI. Bằng cách này, các yêu cầu sẽ được xử lý bằng cách sử dụng các mô hình được cài đặt trên máy tính hoặc máy chủ của bạn.
Điều này không có nghĩa là LocalAI sao chép hoàn toàn tất cả các chức năng và hành vi của các dịch vụ thương mại. Khả năng tương thích phụ thuộc vào... API được sử dụng, hệ thống phụ trợ được chọn và khả năng của mô hình.Tuy nhiên, nó rất hữu ích cho việc di chuyển các ứng dụng hiện có mà không cần phải xây dựng lại toàn bộ hệ thống tích hợp từ đầu.
LocalAI là phần mềm mã nguồn mở miễn phí. Nó cho phép bạn chạy các mô hình ngôn ngữ, tạo hình ảnh, phiên âm âm thanh, chuyển văn bản thành giọng nói và làm việc với các nội dung nhúng, cùng nhiều chức năng khác. Kiến trúc của nó sử dụng các hệ thống phụ trợ khác nhau, chẳng hạn như... llama.cpp, vLLM, MLX, whisper.cpp và các công cụ phát sóngtùy thuộc vào nhiệm vụ và phần cứng hiện có.
Nó cũng hỗ trợ các mô hình được phân phối ở định dạng GGUF và các định dạng khác tương thích với nhiều công cụ của nó. Cần làm rõ điều này. GGUF là một định dạng tệpMặt khác, Transformer và Diffuser là các thư viện và hệ sinh thái được sử dụng để làm việc với các kiến trúc trí tuệ nhân tạo khác nhau.
Các bước cơ bản để cài đặt LocalAI với Docker
Cách dễ nhất để thử LocalAI thường là thông qua Docker. Trước khi bắt đầu, bạn cần cài đặt Docker Desktop trên Windows hoặc macOS, hoặc Docker Engine nếu bạn đang sử dụng Linux.
Các bước chung như sau:
- Cài đặt Docker: Điều này cho phép LocalAI chạy trong một container biệt lập và tránh được nhiều xung đột về phụ thuộc.
- Tải xuống hình ảnh phù hợp: Có nhiều biến thể dành cho CPU và các hệ thống tăng tốc GPU khác nhau.
- Khởi động máy chủ: Thông thường, container sẽ công bố API và giao diện web thông qua một cổng trên máy chủ.
- Cài đặt mô hình: Thư viện LocalAI cho phép bạn thêm các cấu hình đã được tạo sẵn trực tiếp từ giao diện.
- Kiểm tra API: Bạn có thể gửi yêu cầu bằng curl hoặc sử dụng thư viện tương thích với API của OpenAI bằng cách thay đổi địa chỉ cơ sở.
Một lệnh cơ bản để thực hiện kiểm tra CPU sẽ là:
docker run -p 8080:8080 --name local-ai -ti localai/localai:latestSau đó, bạn có thể mở giao diện bằng cách sử dụng:
http://localhost:8080Nếu bạn có card đồ họa, bạn phải sử dụng ảnh hệ điều hành tương thích với nền tảng tăng tốc của mình. LocalAI cung cấp nhiều tùy chọn khác nhau cho NVIDIA, AMD, Intel, Apple Silicon, Vulkan và các loại phần cứng khác, nhưng Việc ghi nhãn và cài đặt chính xác có thể khác nhau giữa các phiên bản.Vì vậy, nên tham khảo tài liệu hướng dẫn trước khi sao chép một lệnh cũ.
Từ thư viện ảnh, bạn có thể cài đặt một trong những mô hình có sẵn. Các mô hình được chọn sẽ thay đổi theo thời gian, vì vậy tốt nhất là nên chọn một mô hình dựa trên kích thước, lượng tử hóa và yêu cầu bộ nhớ của nó, thay vì chỉ tìm kiếm mô hình phổ biến nhất.
Những hạn chế của LocalAI và các mô hình địa phương
Tốc độ phản hồi có liên quan trực tiếp đến sức mạnh của phần cứng và kích thước của mô hìnhMột mô hình nhỏ, được lượng tử hóa có thể chạy khá tốt trên CPU hiện đại, trong khi một mô hình với hàng chục tỷ tham số có thể cần GPU với dung lượng VRAM đáng kể.
Các mô hình mở không phải lúc nào cũng cung cấp cùng mức độ lập luận, hướng dẫn thực hiện hoặc kiến thức như các dịch vụ thương mại tiên tiến hơn. Tuy nhiên, chúng cho phép người dùng lựa chọn từ nhiều phương án khác nhau và tìm ra sự cân bằng giữa các yếu tố đó. quyền riêng tư, tốc độ, chất lượng và mức tiêu thụ bộ nhớ.
Gọi nó là hoàn toàn miễn phí cũng không hoàn toàn chính xác. Ứng dụng và nhiều mẫu có thể được tải xuống miễn phí, nhưng vẫn có chi phí tiêu thụ điện năng, dung lượng lưu trữ và phần cứng. Ưu điểm là thông thường Bạn không phải trả phí cho mỗi yêu cầu, cũng không phụ thuộc vào gói đăng ký bắt buộc..
Cách sử dụng khuếch tán ổn định để tạo ảnh cục bộ
Stable Diffusion là một trong những mô hình nổi tiếng nhất用于 tạo ảnh trên máy tính. Không giống như các dịch vụ chỉ hoạt động trên đám mây, các tệp của nó có thể được tải xuống và chạy bằng các giao diện cục bộ tương thích.
Với những công cụ này có thể Tạo hình ảnh từ văn bản, chỉnh sửa các phần của cảnh, mở rộng bố cục, sử dụng mô hình tùy chỉnh và áp dụng LoRA.Các chức năng khả dụng phụ thuộc vào giao diện và kiểu máy được cài đặt.
Để có trải nghiệm mượt mà, nên sử dụng card đồ họa rời với cấu hình đủ mạnh. VRAM hay bộ nhớ videoYêu cầu về cấu hình khác nhau đáng kể giữa các phiên bản. Phiên bản Stable Diffusion cũ hơn có thể chạy trên tài nguyên tương đối khiêm tốn, trong khi SDXL và các thế hệ sau này thường yêu cầu nhiều bộ nhớ hơn.
AUTOMATIC1111, ComfyUI và các giao diện khác có sẵn.
Một trong những giao diện nổi tiếng nhất là Giao diện người dùng web Stable Diffusion của AUTOMATIC1111Nó cung cấp chức năng tạo văn bản, chuyển đổi hình ảnh, điền khuyết điểm, mở rộng và nhiều tùy chọn nâng cao khác.
Việc cài đặt nó có thể phức tạp hơn so với các ứng dụng thông thường vì nó phụ thuộc vào Python, PyTorch, trình điều khiển card đồ họa và các thành phần khác. Tuy nhiên, thường không cần phải cài đặt thủ công tất cả các thư viện, càng không cần phải cài đặt lại hệ điều hành: các tập lệnh chính thức sẽ tạo môi trường ảo và tải xuống hầu hết các thành phần cần thiết.
Trên các hệ thống có bộ nhớ video hạn chế, có thể sử dụng các tùy chọn sau:
--medvramĐể giảm mức tiêu thụ VRAM đổi lại một chút giảm tốc độ.--lowvramNgay cả với thiết bị hạn chế hơn nữa, quá trình này sẽ diễn ra chậm hơn đáng kể.--xformersKhi card đồ họa, hệ thống và quá trình cài đặt tương thích với việc tối ưu hóa này.
GPU chỉ có 2 GB VRAM đặt ra những hạn chế đáng kể. và có thể không chạy các mô hình hiện tại một cách chính xác. Trong những trường hợp này, cần phải sử dụng các mô hình nhẹ hơn, độ phân giải thấp hơn hoặc giao diện được tối ưu hóa đặc biệt.
Một lựa chọn khác là Giao diện người dùng thoải máiNó tổ chức quá trình tạo ra dữ liệu thông qua các nút được kết nối. Quá trình học tập có độ khó cao hơn, nhưng nó cho phép kiểm soát rất chính xác từng giai đoạn của quy trình và tái sử dụng các quy trình làm việc phức tạp.
Đối với những người muốn được hướng dẫn cài đặt chi tiết hơn, có các ứng dụng như... khuếch tán dễ dàngCác công cụ này tự động hóa phần lớn quá trình thiết lập môi trường. Điều quan trọng là phải tải xuống trình cài đặt từ kho lưu trữ hoặc trang web chính thức của nó và xác minh rằng nó vẫn tiếp tục nhận được các bản cập nhật.
Địa chỉ IP cục bộ, cổng và các bước cài đặt khác nhau giữa các công cụ. Do đó, không nên cho rằng tất cả các giao diện sẽ được mở trong mọi công cụ. localhost:9000 cũng như việc chúng sử dụng cùng một tập tin BAT.
Các công cụ khác để chạy trí tuệ nhân tạo cục bộ
Nếu bạn không muốn quản lý một nền tảng phức tạp như LocalAI, thì có những giải pháp đơn giản hơn. Ollama cho phép bạn tải xuống và chạy các mô hình ngôn ngữ. Trên Windows, macOS và Linux bằng các lệnh rất đơn giản.
LM Studio cung cấp giao diện đồ họa dễ tiếp cận hơn. Công cụ này giúp tìm các mô hình tương thích, giao tiếp với chúng và thiết lập máy chủ cục bộ với API tương thích. Nó cũng có thể được sử dụng kết hợp với các ứng dụng có khả năng truy vấn tài liệu, mặc dù việc xử lý tệp sẽ phụ thuộc vào công cụ hoặc quy trình RAG được sử dụng.
Về phía họ, ComfyUI là một trong những lựa chọn hàng đầu để xây dựng quy trình làm việc trực quan cho việc tạo ảnh.Các nút của nó cho phép bạn kết hợp các mô hình, lời nhắc, ControlNet, LoRA, hệ thống tỷ lệ và các công cụ khác trong cùng một quy trình.
Cách chạy mô hình cục bộ trên iPhone
Trí tuệ nhân tạo cục bộ (Local AI) cũng đã có mặt trên các thiết bị di động. Một số ứng dụng dành cho iPhone và iPad cho phép bạn tải xuống các mô hình tương thích và chạy các truy vấn trực tiếp trên thiết bị sau khi quá trình tải xuống hoàn tất.
Một trong số đó là AI riêng tư: Trò chuyện cục bộTính năng này cho phép bạn nhập một số mô hình GGUF nhất định, phân tích các tệp PDF và ảnh, cũng như sử dụng các mô hình tạo ảnh cục bộ. Chức năng chính xác và các mô hình được hỗ trợ có thể thay đổi khi ứng dụng được cập nhật.
Nhờ những công cụ này, điều đó trở nên khả thi. Tham khảo nội dung của một số tài liệu nhất định.Có thể giao tiếp với các mô hình ngôn ngữ hoặc phân tích hình ảnh mà không cần liên tục gửi thông tin đến máy chủ bên ngoài.
Tuy nhiên, cần phải lưu ý một số hạn chế. Các mô hình này chiếm vài gigabyte dung lượng, tiêu hao pin và có thể gây tăng nhiệt độ. Hơn nữa, Dung lượng bộ nhớ khả dụng trên điện thoại sẽ quyết định những mô hình nào có thể được tải xuống.Mô hình đa phương thức hoặc trình tạo ảnh có thể chạy chậm hơn nhiều so với trên máy tính có GPU chuyên dụng.
Cũng nên xem xét kỹ chính sách bảo mật và chức năng cụ thể của từng ứng dụng. Việc một ứng dụng cho phép chạy mô hình cục bộ không đảm bảo rằng... Tất cả các chức năng, thống kê và tải xuống của nó đều hoạt động mà không cần kết nối internet..
Bạn nên chọn giải pháp trí tuệ nhân tạo cục bộ nào?
Công cụ phù hợp chủ yếu phụ thuộc vào mục đích bạn muốn thực hiện:
- LocalAI: Điều này rất hữu ích để thiết lập máy chủ riêng của bạn tương thích với các API và loại mô hình khác nhau.
- Ollama: Giúp đơn giản hóa việc tải xuống và thực thi các mô hình ngôn ngữ.
- LM Studio: Nó cung cấp trải nghiệm đồ họa thân thiện với người dùng để kiểm thử mô hình và công bố API cục bộ.
- TỰ ĐỘNG 1111: Nó cung cấp một giao diện rất đầy đủ để làm việc với Stable Diffusion.
- ComfyUI: Nó cho phép bạn xây dựng các quy trình làm việc trực quan nâng cao để tạo và chỉnh sửa hình ảnh.
- Ứng dụng di động: Chúng tạo điều kiện thuận lợi cho việc sử dụng các mô hình nhỏ trực tiếp trên điện thoại hoặc máy tính bảng.
Dù bạn chọn máy chủ tại nhà với Docker hay ứng dụng dành cho máy tính để bàn hoặc thiết bị di động, mục tiêu đều tương tự: Lấy lại quyền kiểm soát các mô hình và giảm sự phụ thuộc vào các dịch vụ bên ngoài..
Trí tuệ nhân tạo cục bộ không loại bỏ mọi hạn chế hoặc biến bất kỳ máy tính nào thành một máy trạm không giới hạn. Tuy nhiên, bằng cách chọn các mô hình phù hợp với phần cứng hiện có, nó cho phép kết hợp ngôn ngữ, thị giác, âm thanh và tạo hình ảnh trong khi vẫn giữ phần lớn quá trình xử lý và dữ liệu dưới sự kiểm soát của người dùng.
Tôi là một người đam mê công nghệ và đã biến sở thích “đam mê” của mình thành một nghề. Tôi đã dành hơn 10 năm cuộc đời mình để sử dụng công nghệ tiên tiến và mày mò đủ loại chương trình chỉ vì tò mò. Bây giờ tôi chuyên về công nghệ máy tính và trò chơi điện tử. Điều này là do trong hơn 5 năm, tôi đã viết cho nhiều trang web khác nhau về công nghệ và trò chơi điện tử, tạo ra các bài viết nhằm cung cấp cho bạn thông tin bạn cần bằng ngôn ngữ mà mọi người đều có thể hiểu được.
Nếu bạn có bất kỳ câu hỏi nào, kiến thức của tôi bao gồm mọi thứ liên quan đến hệ điều hành Windows cũng như Android dành cho điện thoại di động. Và cam kết của tôi là với bạn, tôi luôn sẵn sàng dành một vài phút và giúp bạn giải quyết mọi thắc mắc mà bạn có thể có trong thế giới internet này.