Cách cài đặt Gemma 3 LLM trên Windows 11 từng bước

Các mô hình ngôn ngữ nguồn mở đã phát triển vượt bậc và Ngày nay, bạn có thể thưởng thức chúng trực tiếp từ máy tính cá nhân mà không cần phụ thuộc vào dịch vụ đám mây.. Một trong những công nghệ triển vọng nhất hiện nay là Gemma 3, LLM mới của Google dựa trên công nghệ Gemini, nổi bật với khả năng xử lý văn bản và hình ảnh, cũng như cửa sổ ngữ cảnh khổng lồ lên tới 128 nghìn mã thông báo trong các phiên bản nâng cao. Để biết thêm thông tin về bản phát hành này, bạn có thể truy cập bài viết của chúng tôi trên bài thuyết trình của Gemma 3.

Nếu bạn đang sử dụng Windows 11 và muốn cài đặt Gemma 3 để thử nghiệm hoặc thậm chí sản xuất tại địa phương, bạn đã đến đúng nơi rồi. Chúng ta hãy cùng xem xét chi tiết tất cả các cách có thể để chạy AI trên máy tính của bạn, bao gồm các tùy chọn được đề xuất nhiều nhất như Ollama, LM Studio và giải pháp thay thế dựa trên đám mây là Google AI Studio. Ngoài ra, chúng tôi sẽ giải quyết các yêu cầu kỹ thuật, ưu điểm của từng phương pháp và Làm thế nào để tận dụng tối đa tiềm năng của trí tuệ nhân tạo mạnh mẽ này.

Gemma 3 là gì và tại sao phải cài đặt nó?

Gemma 3 là thế hệ thứ ba của các mô hình LLM được Google phát hành theo giấy phép nguồn mở.. Không giống như các giải pháp trước đây như Llama hoặc Mistral, giải pháp này cung cấp hỗ trợ trực tiếp cho đầu vào hình ảnh, ngữ cảnh rộng hơn nhiều và hỗ trợ hơn 140 ngôn ngữ. Tùy thuộc vào nhu cầu của mình, bạn có thể lựa chọn từ một số phiên bản mô hình có thông số từ 1B đến 27B:

• Gemma 3:1B: Mẫu máy nhẹ lý tưởng cho các tác vụ cơ bản và môi trường có nguồn lực hạn chế.
• Gemma 3:4B: Cân bằng hiệu suất và hiệu quả cho các ứng dụng trung gian.
• Gemma 3:12B: Khuyến khích sử dụng cho phân tích phức tạp, lập trình và xử lý đa ngôn ngữ.
• Gemma 3:27B: Tùy chọn mạnh mẽ nhất, được thiết kế cho mục đích sử dụng đa phương thức chuyên sâu với khả năng ngữ cảnh tuyệt vời.

Khả năng chạy một mô hình tiên tiến như vậy từ máy tính của bạn Nó thay đổi luật chơi về quyền riêng tư, tốc độ phản hồi và sự phụ thuộc vào bên thứ ba. Bạn không còn phải trả phí thuê bao hàng tháng hoặc từ bỏ dữ liệu của mình nữa. Tất cả những gì bạn cần là một chút chuẩn bị và mong muốn học hỏi. Nếu bạn muốn biết thêm về lợi ích của các mô hình này, hãy xem bài viết của chúng tôi trên mô hình AI trọng lượng mở.

Tùy chọn 1: Cài đặt với Ollama

Ollama có lẽ là cách dễ nhất để chạy LLM như Gemma 3 từ Windows 11. Giao diện dựa trên thiết bị đầu cuối cho phép bạn cài đặt và chạy mô hình bằng dòng lệnh đơn giản. Ngoài ra, nó tương thích với macOS, Linux và Windows, giúp bạn dễ dàng sử dụng trong nhiều môi trường khác nhau.

Các bước cài đặt Ollama và chạy Gemma 3:

1. Truy cập trang web chính thức: ollama.com.
2. Tải xuống trình cài đặt cho Windows và chạy nó như bất kỳ chương trình nào khác.
3. Mở Command Prompt (CMD) hoặc PowerShell và xác minh cài đặt bằng:

ollama --version

Nếu mọi việc suôn sẻ, bây giờ bạn có thể tải xuống bất kỳ mẫu Gemma 3 nào có sẵn. Chỉ cần chạy một trong các lệnh sau tùy thuộc vào mẫu bạn muốn:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Sau khi tải xuống, bạn có thể dễ dàng khởi động mô hình.. Để thực hiện điều này, hãy chạy:

ollama init gemma3

Từ thời điểm đó, bạn có thể bắt đầu tương tác với LLM bằng cách:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Nếu bạn muốn tận dụng các chức năng đa phương thức, bạn cũng có thể sử dụng hình ảnh trong truy vấn của mình:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Bạn cần gì để nó hoạt động tốt? Mặc dù Ollama không áp dụng yêu cầu tối thiểu nghiêm ngặt, nhưng các mẫu lớn hơn (như 27B) yêu cầu ít nhất 32GB RAM. Với 16GB, bạn có thể làm việc mà không gặp vấn đề gì với model 7B và mặc dù việc sử dụng GPU không phải là bắt buộc nhưng nó giúp tăng tốc độ rất nhiều.

Tùy chọn 2: Sử dụng LM Studio

LM Studio là một công cụ miễn phí khác cho phép bạn cài đặt và chạy các mô hình LLM cục bộ từ giao diện đồ họa.. Nó tương thích với Windows, macOS và Linux và ưu điểm lớn nhất của nó là không yêu cầu kiến ​​thức chuyên môn để vận hành.

Hướng dẫn:

1. Tải xuống LM Studio từ trang web chính thức: lmstudio.ai.
2. Cài đặt và chạy nó.
3. Nhấp vào biểu tượng kính lúp có nội dung “Khám phá”.
4. Nhập “Gemma 3” vào công cụ tìm kiếm để xem các mẫu có sẵn.

Trước khi cài đặt, hãy kiểm tra xem model có tương thích với thiết bị của bạn không. Nếu bạn thấy cảnh báo “Có thể quá lớn đối với máy này”, bạn vẫn có thể cài đặt, nhưng không đảm bảo hiệu suất tối ưu.

Sau khi đã tải xuống mô hình tương thích:

• Nhấn “Tải mô hình” để tải mô hình.
• Hoặc mở một cuộc trò chuyện mới và chọn người mẫu từ menu thả xuống.

Điều tuyệt vời nhất về LM Studio là nó hoạt động như một loại ChatGPT cục bộ, ngoại tuyến và bằng ngôn ngữ của bạn. Bạn có thể tạo nhiều cuộc trò chuyện và lưu các cuộc trò chuyện của mình nếu muốn. Ngoài ra, nếu bạn bật tùy chọn “Máy chủ cục bộ”, bạn có thể tích hợp tùy chọn này với các ứng dụng Python của mình bằng API tương thích với OpenAI.

Tùy chọn 3: Sử dụng Google AI Studio (trực tuyến)

Nếu bạn không thể hoặc không muốn cài đặt bất cứ thứ gì, bạn có thể sử dụng Gemma 3 trực tiếp từ đám mây với Google AI Studio. Không cần cài đặt nhưng cần có kết nối Internet và tài khoản Google.

Bạn chỉ cần phải đi đến aistudio.google.com và chọn “Gemma 3” từ danh sách các mô hình. Từ thời điểm đó, bạn có thể bắt đầu trò chuyện với người mẫu như thể đó là phiên bản nâng cao của Bard hoặc ChatGPT, bao gồm cả nhập hình ảnh.

Cài đặt đám mây với NodeShift (tùy chọn)

Dành cho những ai đang tìm kiếm sức mạnh lớn hơn hoặc triển khai mô hình một cách chuyên nghiệp, có thể sử dụng các dịch vụ đám mây như NodeShift. Với chúng, bạn có thể thuê máy có GPU mạnh mẽ và cấu hình môi trường lý tưởng để chạy Gemma 3 mà không có giới hạn.

Các bước cơ bản trong NodeShift:

1. Tạo một tài khoản tại ứng dụng.nodeshift.com.
2. Bắt đầu một nút GPU tùy chỉnh (ví dụ: với 2x RTX 4090).
3. Chọn một hình ảnh được cấu hình sẵn với Ubuntu + Nvidia CUDA hoặc Jupyter Notebook, tùy thuộc vào việc bạn sẽ sử dụng Ollama hay Transformers.
4. Kết nối qua SSH và cài đặt mô hình từ dòng lệnh.

Loại cài đặt này cho phép bạn truy cập vào các cấu hình chuyên nghiệp, lý tưởng cho việc đào tạo mô hình, đánh giá hiệu suất, v.v. Mặc dù không cần thiết đối với người dùng tại nhà, nhưng nó hữu ích cho những ai muốn thử nghiệm chuyên sâu hoặc xây dựng ứng dụng trên LLM nâng cao.

Yêu cầu hệ thống và khuyến nghị kỹ thuật

Không phải tất cả các mô hình Gemma 3 đều có thể chạy trên bất kỳ PC nào. Dưới đây chúng tôi cung cấp cho bạn tài liệu tham khảo chung theo từng loại mô hình:

• đến mô hình 1B đến 7B: tối thiểu GB RAM 8. Chúng hoạt động trên hầu hết mọi máy tính hiện đại, ngay cả khi không có GPU.
• đến Mô hình 13B: được khuyến khích RAM 16GB đến 24GB.
• đến Mô hình 27B: cần thiết ít nhất 32 GB RAM và tốt nhất là nên có GPU chuyên dụng.

Có nhiều RAM hơn sẽ tăng tốc hoạt động và ngăn ngừa lỗi do thiếu bộ nhớ. Mặc dù Ollama và LM Studio cố gắng sử dụng tài nguyên một cách hiệu quả nhưng điều này phụ thuộc rất nhiều vào phần cứng của bạn. Ngoài ra, tốc độ phản hồi sẽ được cải thiện đáng kể nếu sử dụng GPU thay vì CPU.

Việc cài đặt Gemma 3 trên Windows 11 dễ hơn bạn nghĩ.. Cho dù bạn quyết định sử dụng Ollama vì tính đơn giản, LM Studio vì giao diện đồ họa hay Google AI Studio để sử dụng an toàn trên đám mây thì cũng không quan trọng. Điều quan trọng là mỗi phương pháp đều phù hợp với các mức độ kinh nghiệm và khả năng kỹ thuật khác nhau. Bây giờ bạn đã biết tất cả các tùy chọn và những gì cần thiết để bắt đầu, bạn có thể bắt đầu thử nghiệm trí tuệ nhân tạo địa phương ấn tượng này ngay hôm nay.