AI tạo sinh và mô hình ngôn ngữ lớn hoạt động ra sao?

AI tạo sinh hoạt động như thế nào? Bạn gõ một câu hỏi, chờ vài giây rồi nhận lại một đoạn văn khá tròn trịa. Cảm giác giống như bên kia màn hình có người đọc đề, suy nghĩ và viết câu trả lời. Nhưng mô hình ngôn ngữ lớn không ngồi nghĩ sẵn cả đoạn rồi mới gõ ra. Nó tạo câu trả lời từng mảnh nhỏ, dựa trên xác suất và phần ngữ cảnh đang có.

Hiểu cơ chế này không phải để biến mọi người thành kỹ sư AI. Nó giúp ta đặt kỳ vọng đúng. Một hệ thống giỏi dự đoán phần văn bản tiếp theo có thể viết rất mượt, nhưng câu mượt vẫn có thể sai. Nói nôm na, nó có thể trả lời tỉnh bơ ngay cả lúc đang đi nhầm đường.

AI tạo sinh hoạt động như thế nào, bắt đầu từ token?

Máy không nhìn câu chữ giống chúng ta. Trước khi xử lý, văn bản được chia thành các đơn vị nhỏ gọi là token. Một token có thể là một từ, một phần của từ, dấu câu hoặc ký tự, tùy bộ mã hóa của từng mô hình. Google định nghĩa mô hình ngôn ngữ là hệ thống ước lượng xác suất của một token hoặc chuỗi token xuất hiện trong một chuỗi dài hơn.[1]

Ví dụ, câu “Hôm nay trời đẹp” có thể được chia thành vài token. Một tên riêng hiếm, từ ghép hoặc chuỗi số có thể bị tách thành nhiều phần hơn. Vì vậy, token không đồng nghĩa với số từ. Đây cũng là lý do các dịch vụ AI thường tính giới hạn đầu vào và chi phí theo token thay vì đếm từ như Word.

Sau khi tách token, hệ thống biến mỗi token thành một dãy số. Dãy số này thường được gọi là embedding, tức biểu diễn số giúp mô hình xử lý mối quan hệ giữa các phần văn bản. Ta không cần học ma trận ở bài này. Chỉ cần nhớ: câu chữ đi vào, các con số chạy qua mạng nơ-ron, rồi xác suất token kế tiếp đi ra.

Mô hình “học” bằng cách nào?

Trong giai đoạn huấn luyện trước, mô hình đọc một lượng dữ liệu văn bản rất lớn và tập dự đoán phần bị thiếu hoặc token tiếp theo. Mỗi lần dự đoán sai, quá trình huấn luyện điều chỉnh các con số bên trong để lần sau dự đoán tốt hơn. Những con số được điều chỉnh ấy là tham số.

Tham số không phải một thư mục chứa sẵn hàng triệu câu trả lời để tìm rồi chép lại. Chúng lưu các mẫu quan hệ mà mô hình học được từ dữ liệu: từ nào hay đi cùng nhau, cấu trúc câu thường gặp, kiểu diễn đạt, một phần kiến thức và nhiều mối liên hệ khác. Cách mô tả này đã lược bớt toán học, nhưng đủ dùng để hiểu việc gì xảy ra khi ta nhập prompt.

Sau huấn luyện trước, nhà phát triển có thể tinh chỉnh mô hình cho nhiệm vụ cụ thể. Fine-tuning là tiếp tục huấn luyện bằng tập ví dụ phù hợp với nhiệm vụ. Còn prompt engineering chỉ hướng dẫn mô hình phản hồi trong lần sử dụng, không sửa các tham số của nó.[3] Hai việc này hay bị gọi chung là “dạy AI”, nhưng chi phí và mức can thiệp khác nhau khá xa.

Transformer và self-attention làm gì?

Phần lớn LLM hiện đại dựa trên kiến trúc Transformer. Kiến trúc này được giới thiệu trong bài báo Attention Is All You Need năm 2017, dùng cơ chế attention thay cho kiểu xử lý tuần tự dựa chủ yếu vào mạng hồi quy trong thiết kế được công bố.[5]

Thành phần dễ hình dung nhất là self-attention, tạm dịch là cơ chế tự chú ý. Khi xử lý một token, mô hình cân xem các token khác trong ngữ cảnh liên quan đến nó đến mức nào. Google minh họa bằng câu “The animal didn’t cross the street because it was too tired”. Từ “it” liên quan mạnh hơn đến “animal” vì “too tired” mô tả con vật hợp lý hơn con đường.[2]

Cơ chế này không biến mô hình thành người hiểu ngôn ngữ theo nghĩa đầy đủ. Nó giúp mô hình xây biểu diễn phụ thuộc vào ngữ cảnh. Cùng một từ nhưng đứng trong câu khác có thể mang quan hệ khác. Nhiều đầu attention và nhiều lớp xử lý chồng lên nhau giúp mô hình học các quan hệ ngày càng phức tạp hơn.

Khi bấm gửi, câu trả lời được tạo ra ra sao?

Ta có thể rút gọn quá trình suy luận thành năm bước:

1. Nhận đầu vào: hệ thống ghép yêu cầu của bạn với hướng dẫn hệ thống, lịch sử trò chuyện và tài liệu liên quan nếu ứng dụng có dùng chúng.
2. Token hóa: toàn bộ phần văn bản được chia thành token và chuyển thành biểu diễn số.
3. Tính ngữ cảnh: các lớp Transformer xử lý mối quan hệ giữa token, trong đó self-attention giúp cân phần nào liên quan hơn.
4. Dự đoán token kế tiếp: mô hình tạo một phân bố xác suất cho nhiều token có thể xuất hiện tiếp theo.
5. Chọn, ghép và lặp: hệ thống chọn một token theo cấu hình, ghép nó vào ngữ cảnh rồi tính tiếp. Vòng lặp dừng khi gặp tín hiệu kết thúc hoặc chạm giới hạn.

IBM cũng mô tả suy luận theo vòng lặp: prompt được token hóa, Transformer tính xác suất cho token tiếp theo, sinh một token rồi lặp lại cho đến khi đầu ra hoàn tất.[4]

Token có xác suất cao nhất không phải lúc nào cũng được chọn. Một số cấu hình cho phép tăng hoặc giảm mức ngẫu nhiên để câu trả lời bớt cứng hoặc ổn định hơn. Tên tham số và cách triển khai khác nhau giữa các dịch vụ, vì vậy không nên coi một nút “sáng tạo” trên giao diện là phép đo khoa học tuyệt đối.

Một ví dụ tự làm bằng giấy

Giả sử phần đầu là: “Sau cơn mưa, con đường trở nên…”. Bạn hãy viết năm cách nối tiếp và tự gán xác suất:

Các con số trên chỉ là dữ liệu thực hành, không phải kết quả từ một mô hình thật. Điểm cần thấy là nhiều lựa chọn có thể đúng về ngữ pháp. Ngữ cảnh càng rõ, nhóm lựa chọn phù hợp càng hẹp. Nếu đổi thành “Sau cơn mưa lớn trên tuyến đường đất…”, “lầy lội” có thể trở nên hợp lý hơn.

Bây giờ chọn một phương án, chẳng hạn “trơn”, ghép vào câu rồi dự đoán tiếp: “Sau cơn mưa, con đường trở nên trơn và…”. Cứ lặp vài vòng, bạn sẽ có một câu hoàn chỉnh. LLM làm việc tương tự ở mức phức tạp hơn rất nhiều, với lượng tham số, lớp mạng và token mà ta không thể mô phỏng bằng tờ giấy.

Vì sao mô hình có thể nói sai rất tự tin?

Mục tiêu cốt lõi của mô hình ngôn ngữ là tạo phần tiếp theo có vẻ phù hợp với mẫu đã học và ngữ cảnh hiện tại. “Có vẻ phù hợp” không đồng nghĩa với “đã được kiểm chứng”. Tài liệu Google cảnh báo LLM có thể tạo dự đoán sai và mang thiên lệch từ dữ liệu.[2]

Lỗi thường xuất hiện khi câu hỏi mơ hồ, dữ kiện quá mới, chủ đề ít có trong dữ liệu, yêu cầu buộc mô hình đoán, hoặc người dùng hỏi nguồn mà hệ thống không thật sự truy xuất tài liệu. Một token sai cũng có thể kéo các token sau đi theo một hướng nghe ngày càng hợp lý. Đây là lý do câu trả lời bịa vẫn có mở đầu, giải thích và kết luận khá tử tế.

NIST có hồ sơ rủi ro riêng cho AI tạo sinh, dùng cùng AI Risk Management Framework để giúp tổ chức đưa yếu tố đáng tin cậy vào thiết kế, phát triển, sử dụng và đánh giá hệ thống.[6] Với người dùng phổ thông, ta có thể bắt đầu bằng một quy tắc ngắn: đầu ra càng ảnh hưởng đến tiền, sức khỏe, an toàn, quyền lợi hay danh tiếng, bước kiểm tra càng phải chặt.

Năm bước kiểm chứng trước khi dùng đầu ra

1. Tách dữ kiện khỏi cách diễn đạt. Gạch chân tên người, ngày, số liệu, quy định, trích dẫn và liên kết. Đây là phần cần kiểm tra trước.
2. Tìm nguồn gốc. Ưu tiên văn bản chính thức, tài liệu kỹ thuật, nghiên cứu gốc hoặc cơ quan có trách nhiệm. Một trang tổng hợp dẫn qua dẫn lại chưa đủ.
3. Thử hỏi lại theo hướng ngược. Yêu cầu mô hình chỉ ra giả định, trường hợp ngoại lệ và phần nó không chắc. Đừng coi câu trả lời thứ hai là bằng chứng; dùng nó để tìm chỗ cần kiểm tra.
4. Đối chiếu bằng công cụ khác. Tính lại phép tính, chạy đoạn mã trong môi trường thử, mở liên kết và kiểm tra ngày cập nhật.
5. Giữ người chịu trách nhiệm. AI có thể soạn nháp. Người hoặc đơn vị sử dụng đầu ra vẫn phải duyệt trước quyết định có hậu quả.

Những lỗi người mới hay mắc

• Nghĩ LLM là công cụ tìm kiếm. Mô hình có thể được nối với web hoặc tài liệu, nhưng bản thân cơ chế sinh văn bản vẫn là dự đoán token. Hãy kiểm tra xem ứng dụng có đưa nguồn thật hay chỉ tạo câu trả lời.
• Đếm token bằng số từ. Một từ có thể thành nhiều token. Với API, hãy dùng bộ đếm do nhà cung cấp công bố thay vì ước lượng bằng mắt.
• Cho rằng self-attention là suy nghĩ có ý thức. Nó là phép tính trọng số quan hệ trong ngữ cảnh, không phải bằng chứng mô hình có cảm xúc hay ý định.
• Tăng “độ sáng tạo” rồi mong dữ kiện chính xác hơn. Mức ngẫu nhiên cao có thể làm đầu ra đa dạng, nhưng không thay thế nguồn và phép kiểm tra.
• Dán dữ liệu nhạy cảm vào prompt. Đừng đưa mật khẩu, hồ sơ cá nhân, hợp đồng mật hoặc dữ liệu nội bộ vào một dịch vụ khi chưa rõ chính sách và quyền sử dụng.

Sản phẩm thực hành: vẽ sơ đồ giải thích LLM

Sản phẩm bắt buộc của bài này là một sơ đồ một trang dành cho người chưa học AI. Có thể vẽ trên giấy, PowerPoint, Canva hoặc bất kỳ công cụ nào bạn quen. Sơ đồ cần có tối thiểu bốn khối: prompt, token hóa, dự đoán token kế tiếp, ghép token và lặp.

Bên dưới sơ đồ, viết ba câu bằng lời của bạn:

1. Token là gì?
2. Self-attention giúp xử lý ngữ cảnh như thế nào?
3. Vì sao đầu ra cần kiểm chứng?

Dùng một ví dụ tiếng Việt khác ví dụ trong bài. Sau đó đưa sơ đồ cho một người chưa biết LLM và nhờ họ kể lại quy trình. Nếu họ tưởng mô hình tra một đáp án có sẵn trong kho, sơ đồ cần sửa. Bài thực hành này không chấm đẹp xấu; mũi tên đúng hướng quan trọng hơn màu chuyển sắc long lanh.

Đáp án: (1) Không; (2) Lặp từng token hoặc cụm token theo cách triển khai; (3) Cân quan hệ giữa các token để xây biểu diễn theo ngữ cảnh; (4) Không; (5) Không, vẫn phải kiểm chứng.

Rubric chấm sản phẩm, đạt từ 75%

Mỗi tiêu chí đạt được 25 điểm. Tổng từ 75 điểm trở lên là đạt. Nếu thiếu cảnh báo kiểm chứng, hãy sửa trước dù tổng điểm tạm đủ. Một sơ đồ về LLM mà quên mất khả năng nói sai thì hơi giống hướng dẫn đi mưa nhưng bỏ quên áo mưa.

Chốt bài và đường học tiếp

LLM nhận văn bản, chia thành token, dùng Transformer để xử lý ngữ cảnh, tính xác suất phần tiếp theo rồi lặp quá trình sinh. Self-attention giúp mô hình cân quan hệ giữa các token. Huấn luyện làm thay đổi tham số; prompt chỉ cung cấp nhiệm vụ và ngữ cảnh cho lần sử dụng.

Bài trước: AI là gì? Phân biệt AI, học máy và AI tạo sinh. Bài tiếp theo sẽ giúp bạn chọn công cụ AI đầu tiên theo nhiệm vụ, chi phí, dữ liệu và mức an toàn, thay vì chọn theo quảng cáo hoặc vì biểu tượng nhìn “xịn”.

Nguồn tham khảo

• [1] Google for Developers – Introduction to Large Language Models
• [2] Google for Developers – LLMs và Transformer
• [3] Google for Developers – Fine-tuning và prompt engineering
• [4] IBM – What are large language models?
• [5] Vaswani và cộng sự – Attention Is All You Need
• [6] NIST – Generative Artificial Intelligence Profile