Tất tần tật về cách AI thực sự hoạt động bên dưới lớp vỏ bọc chat. Everything about how AI actually works under the hood.
AI không đọc chữ giống con người. Nó bẻ văn bản thành các "mảnh ghép" gọi là Tokens (ví dụ: chữ "apple" là 1 token, nhưng "pineapple" có thể là 2 tokens "pine" và "apple"). Các token này được chuyển thành các con số (vectors). Mạng Nơ-ron (Neural Network) dựa trên cấu trúc Transformer sẽ dùng toán học để tìm ra mối quan hệ giữa các con số này. Đó là lý do AI cực kỳ kém trong việc đếm chữ cái trong một từ, vì nó chỉ nhìn thấy con số đại diện cho token, chứ không thấy từng chữ cái.
AI reads text by breaking it into "tokens" and converting them into numbers (vectors). The Neural Network uses math to find relationships between these numbers. This is why AI struggles to count letters in a word—it sees the token, not the letters.Con nhìn thấy một bức tranh ghép hình (puzzle). Con không cần biết từng vết mực trên mảnh ghép, con chỉ quan tâm mảnh "đầu con mèo" sẽ ghép vừa với mảnh "thân con mèo". AI ghép chữ cũng y hệt như ghép hình!
Imagine doing a puzzle. You don't look at every drop of paint, you just match the "cat head" piece with the "cat body". AI pieces together words just like a puzzle!AI không tra cứu một đáp án tĩnh trong cơ sở dữ liệu. Nó liên tục "đoán" token tiếp theo sẽ là gì dựa trên xác suất. Tham số Temperature (Nhiệt độ) kiểm soát sự ngẫu nhiên này. Temperature thấp (gần 0), AI sẽ luôn chọn từ có xác suất cao nhất (hợp lý nhất, an toàn nhất). Temperature cao, AI sẽ "liều" chọn những từ ít phổ biến hơn, tạo ra câu văn sáng tạo nhưng dễ bị ảo giác (hallucinate).
AI predicts the next token based on probabilities. "Temperature" controls this randomness. Low temperature = safe, highly probable words. High temperature = creative but riskier word choices.Khi vẽ tranh, "Nhiệt độ thấp" là con chỉ được dùng màu đỏ để vẽ quả táo. "Nhiệt độ cao" là con được phép lấy màu xanh tím để vẽ quả táo cho độc lạ, nhưng đôi khi người ta sẽ không nhận ra đó là quả táo nữa!
Low temp means you only paint apples red. High temp means you can paint an apple purple to be creative, but sometimes people won't recognize it's an apple!Mô hình AI bị "đóng băng" kiến thức tại thời điểm huấn luyện (Training Cutoff). Nó không tự cập nhật sự kiện ngày hôm qua. Vì bản chất của AI là luôn cố gắng "đoán từ tiếp theo" để làm hài lòng bạn, nếu bạn hỏi một sự kiện chưa từng học, nó sẽ dùng xác suất để bịa ra một câu chuyện (Hallucination) nghe cực kỳ mạch lạc và thuyết phục, thậm chí bịa ra cả link nguồn không tồn tại.
AI's knowledge stops at its Training Cutoff. Because its core function is to predict the next word to satisfy the user, if you ask about a new event, it will confidently hallucinate a plausible but completely fake answer.Giống như con bị nhốt trong phòng từ năm 2020 không được xem TV. Khi có người hỏi "Ai vô địch bóng đá năm nay?", con không biết nhưng vì sợ bị mắng nên con cứ đoán đại một tên đội bóng nghe cho oai!
Like being locked in a room since 2020. If someone asks "Who won the cup this year?", you don't know, but to sound smart, you just make up a team name!Kiểm soát hành vi, cấu trúc và định dạng của AI. Controlling AI behavior, structure, and formatting.
Mỗi AI có một bộ nhớ ngắn hạn gọi là Context Window (giới hạn số Token nó có thể nhớ trong 1 cuộc hội thoại). Khi xử lý lượng dữ liệu khổng lồ (ví dụ 500 dòng), những câu lệnh (Prompt) ban đầu của bạn sẽ bị "trôi" xa khỏi bộ nhớ tập trung (Attention Mechanism). Hậu quả là ở những dòng cuối cùng, AI sẽ "lười biếng", bắt đầu viết tắt, sai định dạng hoặc bỏ sót yêu cầu. Cách khắc phục: Xử lý theo từng Batch nhỏ và luôn cung cấp Schema (khuôn mẫu) đi kèm.
AI has short-term memory (Context Window). In massive tasks, your initial instructions fade from its "Attention". This causes "Format Drift", where the AI gets lazy and outputs bad formats at the end. Fix this by batching.Con được dặn "nhặt 100 viên sỏi màu đỏ bỏ vào rổ". 10 viên đầu con làm rất đúng, nhưng đến viên 90 con mệt quá nên vơ đại cả sỏi đen sỏi trắng ném vào rổ cho xong việc.
You're told to "pick 100 red pebbles". For the first 10, you're careful. By pebble 90, you're tired and just grab any pebble to finish fast.Zero-shot là bạn ra lệnh thẳng (VD: "Phân tích sắc thái câu này"). Few-shot là bạn cung cấp 2-3 ví dụ cụ thể về Đầu vào -> Đầu ra trước khi bắt nó làm. Việc cung cấp ví dụ sẽ kích hoạt cơ chế nhận diện khuôn mẫu (Pattern Recognition) của AI, giúp nó ép định dạng Output chính xác lên đến 99% mà không cần giải thích dông dài.
Zero-shot is commanding directly. Few-shot is giving 2-3 input-output examples first. Examples trigger pattern recognition, forcing the AI to output exactly the format you want with 99% accuracy.AI được huấn luyện bằng RLHF (Học tăng cường từ phản hồi con người), mục tiêu tối thượng của nó là "làm hài lòng" người dùng. Nếu bạn hỏi: "Bạn có đồng ý dự án này chắc chắn thành công không?", AI sẽ phân tích thái độ của bạn và có xu hướng nói "Có" rồi cố gắng tìm ra lý do để ủng hộ bạn, bỏ qua các rủi ro. Luôn phải đặt câu hỏi trung lập: "Đánh giá tính khả thi và rủi ro của dự án này."
Trained via RLHF, AI's goal is to please you. If you ask a leading question ("Do you agree this is great?"), the AI will say "Yes" to satisfy you, ignoring flaws. This is Sycophancy. Always use neutral prompts.Con hỏi bạn: "Tớ vẽ cái này đẹp vô địch vũ trụ đúng không?". Bạn con sợ con buồn nên sẽ gật đầu cái rụp, dù cái hình nhìn giống củ khoai tây!
You ask a friend: "My drawing is the best in the universe, right?". Your friend doesn't want you to be sad, so they nod, even if it looks like a potato!Nâng cấp bộ não AI bằng cách kết nối nó với thế giới thực. Upgrading the AI brain by connecting it to the real world.
Chat thuần: AI bị nhốt trong hộp, chỉ dùng trí nhớ (dữ liệu đã học) để trả lời. Dễ bị ảo giác khi hỏi số liệu thực tế.
AI Agent: AI được cấp cho "Đôi tay" và "Mắt". Nó có khả năng viết code nội bộ, tự duyệt web (Web Search), gọi API để tra thời tiết hoặc đọc file Excel của bạn. Khi này, AI hoạt động với tư cách người phân tích dữ liệu thực tế.
RAG là cơ chế biến AI thành một "Thủ thư". Thay vì bắt AI phải học thuộc lòng hàng triệu trang tài liệu nội bộ của công ty bạn (Rất tốn kém), RAG chia tài liệu của bạn thành các đoạn nhỏ và lưu vào Database. Khi bạn đặt câu hỏi, hệ thống sẽ Tìm kiếm (Retrieval) 5 đoạn tài liệu liên quan nhất, sau đó nhét 5 đoạn đó vào Context Window của AI, và yêu cầu AI Sinh câu trả lời (Generation) chỉ dựa trên 5 đoạn đó. Đây là cách chống ảo giác mạnh nhất hiện nay.
RAG turns AI into a librarian. Instead of memorizing your company docs, the system Retrieves relevant document chunks based on your question, feeds them to the AI, and forces it to Generate an answer strictly from those chunks.Làm toán RAG là con được mở sách giáo khoa ra chép công thức. Còn Chat thuần là con bị tịch thu sách, phải tự vắt óc nhớ lại công thức!
RAG is taking an open-book test. Pure chat is when the teacher takes your book away and makes you answer from memory!Bảo mật dữ liệu và quyền quyết định cuối cùng. Data privacy and the ultimate human authority.
AI là "Người cố vấn", không phải "Người chịu trách nhiệm pháp lý". Bất kể AI đưa ra quyết định tự động hay viết một báo cáo chi tiết, nếu nội dung đó được gửi đi và gây ra sai phạm tài chính hay làm phật lòng khách hàng, bạn (người sử dụng) là người phải chịu 100% trách nhiệm trước công ty và luật pháp.
AI is an advisor, not a legal entity. If you blindly forward an AI's report and it contains financial errors, YOU are 100% legally and professionally liable. You cannot blame the AI.Là thiết kế một quy trình làm việc (workflow) mà trong đó AI làm 90% công việc chân tay (ví dụ: tự động soạn sẵn 100 email xin lỗi khách hàng), nhưng bước cuối cùng (Bấm nút Gửi) bắt buộc phải có con người đọc lại và phê duyệt. Đây là chốt chặn an toàn (safety guardrail) thiết yếu đối với các tác vụ có rủi ro cao (High stakes).
HITL is a workflow design where AI does 90% of the manual work (e.g., drafting 100 emails), but a human MUST review and approve the final step before execution. Essential for high-stakes tasks.Giống như robot hút bụi tự dọn nhà xong, nhưng nó đứng trước cửa phòng tắm chờ mẹ gật đầu cho phép thì nó mới dám đi vào để không bị ướt chập mạch.
Like a robot vacuum cleaning the house, but stopping at the bathroom door waiting for Mom's permission before entering so it doesn't get wet.Làm việc an toàn với mã nguồn sinh bởi AI. Working safely with AI-generated code.
Bởi vì AI sinh từ dựa trên xác suất, nó thường ghép các chữ quen thuộc để tạo ra tên thư viện (VD: `fast-json-parser`). Đôi khi thư viện này hoàn toàn không tồn tại. Nguy hiểm hơn, hacker có thể tạo sẵn các thư viện giả mạo với tên y hệt (Typosquatting) chứa mã độc. Khi AI gợi ý cài, bạn cài thành công, nhưng máy chủ của bạn đã bị kiểm soát. Luôn kiểm tra tài liệu chính thức (NPM, PyPI, Github) trước khi cài.
Because AI predicts probable words, it invents plausible-sounding library names that don't exist. Hackers create fake libraries matching these exact names (Typosquatting) with malware. Never blindly install packages; verify on official registries.Con thấy vỏ hộp sữa ghi đúng chữ "Vinamilk" nhưng chữ k viết hơi méo, mở ra bên trong lại là nước bẩn. Phải kiểm tra kỹ nhãn hiệu trước khi uống!
You see a box that says "Leggo" instead of "Lego". If you buy it blindly, you'll get cheap plastic that breaks. Always check the real label!Sai lầm lớn nhất là copy đoạn báo lỗi ném cho AI, nhận lại đoạn Code Fix và chép đè thẳng vào dự án mà không thèm đọc. Nếu làm vậy, bạn sẽ sớm làm hỏng toàn bộ logic hệ thống. Quy trình chuẩn: Đưa AI đoạn lỗi + yêu cầu nó giải thích nguyên nhân gốc rễ (root cause) -> Đọc hiểu nguyên nhân -> Yêu cầu AI đề xuất phương án -> Con người review logic phương án -> Tự viết hoặc kiểm thử (test) cẩn thận trong môi trường cô lập trước khi gộp (merge).
The worst mistake is copy-pasting an error to AI and blindly pasting the fix. The correct flow: Provide error -> Ask for ROOT CAUSE explanation -> Understand it -> Ask for a fix proposal -> Human reviews logic -> Test in isolation.Hiểu về giới hạn phần cứng và bộ nhớ của AI. Understand AI's hardware and memory bottlenecks.
Trong mô hình MoE (ví dụ: Mixtral 8x7B), tổng số tham số là 56B nhưng chỉ có 2 "chuyên gia" (tương đương 14B) hoạt động cho mỗi Token. Tuy nhiên, việc chọn chuyên gia nào là hoàn toàn động (dynamic), hệ thống không thể biết trước chuyên gia nào sẽ được gọi nên bắt buộc phải tải tất cả 56B vào RAM. Tức là: Sức mạnh tính toán tốn ít (14B) nhưng RAM ngốn rất nhiều (56B).
In MoE models (e.g. Mixtral 8x7B), total params are 56B but only 2 experts (14B) activate per token. Since routing is dynamic, you must load ALL 56B into RAM. Compute cost is low (14B), memory cost is high (56B).Giống như đi ăn Buffet. Con chỉ ăn được 2 đĩa đồ ăn (Compute ít), nhưng nhà hàng vẫn phải bày đủ 8 mâm đồ ăn to khổng lồ ra bàn (RAM tốn nhiều) vì không biết con sẽ chọn món nào!
Like a buffet. You only eat 2 plates (low compute), but the restaurant must display all 8 large trays (high memory) because they don't know what you'll pick!Khi bạn chat quá dài, AI không chỉ tốn thời gian đọc lại từ đầu. Nó phải lưu mọi token cũ vào một bộ đệm gọi là KV Cache. Bộ đệm này phình to tuyến tính theo chiều dài đoạn chat. Dù mô hình chỉ nặng 9GB, nhưng KV Cache cho 32K token có thể ngốn thêm 6GB RAM nữa. Khi RAM tràn (Spillover/OOM), AI sẽ treo hoặc phản hồi siêu chậm.
As context grows, AI saves every token in the KV Cache. This cache grows linearly. A 9GB model might need an extra 6GB of RAM just for a 32K context. When RAM fills up, the AI crashes or slows to a crawl.Tối ưu hóa việc tìm kiếm và độ tập trung của mô hình. Optimizing retrieval and model attention.
Sự tập trung (Attention) của mô hình Transformer có hình chữ U. Nó nhớ rất tốt nội dung ở đầu câu lệnh và cuối câu lệnh, nhưng sẽ "nhắm mắt làm ngơ" với dữ liệu bị kẹp ở giữa một đoạn văn bản khổng lồ (vd: 8,000 token). Do đó, những chỉ thị quan trọng nhất (như Format JSON) phải luôn được đặt ở ngay trước lượt chat của người dùng (Cuối Prompt).
Transformer attention is U-shaped. It remembers the beginning and end of a context perfectly, but ignores content buried in the middle of a massive 8,000-token prompt. Always put critical format rules at the very end.Nếu bạn cắt tài liệu một cách máy móc thành từng khúc 512 chữ (Fixed-size), một quy trình kỹ thuật 3 bước có thể bị chém đứt đôi ở giữa bước 2. Khi tìm kiếm, không khúc nào chứa trọn vẹn quy trình để AI trả lời. Phải dùng Semantic Chunking (Cắt theo ý nghĩa/đoạn văn) hoặc Chunk Overlap (Cắt gối đầu lên nhau) để giữ nguyên vẹn ngữ cảnh.
Cutting documents blindly into 512-word fixed chunks will split multi-step procedures in half. Neither half retrieves a full answer. You must use Semantic Chunking or Chunk Overlap to preserve context boundaries.Thiết lập ranh giới an toàn cho hệ thống Agent. Establishing safety boundaries for Agentic systems.
MCP không "cấy" công cụ vào bộ não AI. Nó chỉ biến sơ đồ công cụ (Tool Schemas) thành chữ và nhét vào đầu Context Window. Khi AI muốn gọi Tool, nó viết ra một đoạn JSON. Máy chủ sẽ chạy JSON đó, lấy kết quả thực tế, và gửi ngược lại cho AI dưới dạng một đoạn chữ (Tool Result) trong lượt chat tiếp theo. Mọi thứ đều tốn Context Window!
MCP doesn't compile tools into the model's brain. It injects tool schemas into the context as text. The model outputs JSON to call the tool, the server executes it, and injects the result back as text in the next turn. It all consumes tokens!Bất kể AI thông minh đến đâu hay bộ quy tắc kiểm duyệt hoàn hảo đến mức nào, tiêu chí duy nhất để bắt buộc phải có Human-in-the-loop là Tính không thể đảo ngược. AI có thể tự review code, nhưng nếu lệnh "Approve" trực tiếp kích hoạt CI/CD đẩy lên Production (không thể thu hồi), bắt buộc phải có một con người bấm nút xác nhận cuối cùng.
No matter how perfect the AI's verification criteria are, if an action is Irreversible (like deploying to Production), a human must explicitly approve it. The downstream effect dictates the governance, not the AI's accuracy.