Những điều bạn cần biết về cache trong AI
Chi phí sử dụng các mô hình ngôn ngữ lớn (LLM) chủ yếu nằm ở giá của Token đầu vào và Token đầu ra. Điều này khá dễ hiểu.
Những điều bạn cần biết về cache trong AI
Ảnh bìa
Dải hành lang xanh sinh thái tại không gian công cộng ven sông Tiêu Giang, Thai Châu, Chiết Giang, tượng trưng cho những gợn sóng lan tỏa từ mặt nước, tràn lên bờ và bồi đắp thành những ngọn đồi. (via)
Những điều bạn cần biết về cache trong AI
Chi phí sử dụng các mô hình ngôn ngữ lớn (LLM) chủ yếu nằm ở giá của Token đầu vào và Token đầu ra. Điều này khá dễ hiểu.
Thế nhưng, bạn đã bao giờ nghe đến một khoản chi phí gọi là “giá cho Token đầu vào trúng cache” (cache hit input price) chưa? Rốt cuộc nó là cái gì?
Bức ảnh trên là bảng giá của mô hình DeepSeek V4 Flash. Bạn có thể thấy giá Token đầu vào khi trúng cache chỉ vỏn vẹn 2 xu, rẻ bằng 1/50 so với giá đầu vào khi không trúng cache (1 nhân dân tệ)!
Tại sao lại có sự chênh lệch khủng khước đến vậy? Liệu chúng ta có thể tận dụng tối đa cơ chế cache này để tối ưu hóa chi phí?
Thật ra trước đây tôi cũng không hiểu rõ những vấn đề này. Dạo gần đây, sau khi đọc một bài viết, tôi mới thực sự vỡ lẽ và hôm nay muốn chia sẻ lại với mọi người.
(1) Lý do các mô hình tính phí dữ liệu đầu vào
Như bạn đã biết, khi làm việc với LLM, bước đầu tiên luôn là cung cấp một đoạn prompt.
Mô hình sẽ tách prompt đó thành các Token, chuyển đổi chúng thành các giá trị vector, rồi tính toán mối quan hệ chú ý (attention) giữa tất cả các Token với nhau.
Công đoạn này tiêu tốn sức mạnh tính toán cực kỳ lớn, do đó các nhà cung cấp mô hình phải tính phí Token đầu vào. Prompt của bạn càng dài thì chi phí Token đầu vào càng cao.
(2) Vai trò của cache đầu vào
Đối với những cuộc trò chuyện nhiều lượt (multi-turn) hoặc các tác vụ kéo dài, mỗi lượt hội thoại mới đều phải gửi lại toàn bộ lịch sử các bước nhập/xuất trước đó cho mô hình.
Nhưng hãy ngẫm xem: phần prompt bổ sung ở các lượt trước vốn dĩ không hề thay đổi và đã được xử lý rồi. Mô hình hoàn toàn không cần phải tính toán lại những đoạn “tiền tố” (prefix) này ở mỗi lượt tiếp theo. Họ chỉ cần lưu trữ (cache) kết quả tính toán trước đó lại, lần sau dùng thì lấy ra là xong.
Đó chính là lý do vì sao cache lại ra đời. Nó giúp tiết kiệm một lượng khổng lồ năng lực tính toán không cần thiết, đồng thời gia tăng tốc độ xử lý của mô hình.
Đây cũng là nguyên nhân khiến chi phí của nó lại rẻ đến vậy. Bởi một khi đã trúng cache, mô hình gần như không tốn thêm tài nguyên tính toán nào, và khoản phí bạn trả thực chất chỉ là chi phí lưu trữ không gian dữ liệu.
(3) Thời hạn tồn tại của cache
Cache luôn có thời hạn nhất định, bởi giữ chúng mãi mãi là điều phi thực tế. Nếu trong một khoảng thời gian nhất định không có ai dùng đến, máy chủ sẽ tự động xóa bộ nhớ cache này đi.
Dựa trên các bài kiểm tra từ bài viết dẫn nhập ở trên, thời gian lưu cache của các nhà cung cấp là hoàn toàn khác nhau:
- Anthropic: 5 phút
- DeepSeek: 10 phút
- OpenAI: Giảm hiệu lực dần trong khoảng 10 đến 30 phút
- Google: Giảm hiệu lực dần trong vòng 1 giờ
Lấy DeepSeek làm ví dụ: trong vòng 10 phút, bộ nhớ cache vẫn sẽ có hiệu lực và mỗi lần trúng cache bạn chỉ tốn 2 xu. Nhưng nếu khoảng cách giữa hai lần nhập liệu kéo dài quá 10 phút, cache sẽ bị xóa. Khi nhận lại prompt của lượt trước, mô hình buộc phải tính toán lại toàn bộ từ đầu, và chi phí lại nhảy vọt lên 1 nhân dân tệ.
(4) Duy trì hiệu lực của cache
Chính vì khoảng cách chi phí giữa việc trúng cache và trượt cache là quá lớn, các công cụ AI Agent của người dùng thường tìm đủ mọi cách để kéo dài thời gian lưu trữ cache càng lâu càng tốt.
Khi người dùng không thao tác hoặc không thoát ứng dụng trong thời gian dài, phần lớn AI Agent sẽ tự động gửi một yêu cầu ngầm đến máy chủ sau mỗi 30 giây để giữ cho cache luôn ở trạng thái kích hoạt (keep-alive).
Một số mô hình có sẵn API kích hoạt cache riêng, số khác thì không. Với những mô hình không hỗ trợ, người ta đành dùng giải pháp thủ công: Agent sẽ tự động gửi lại prompt cũ để đảm bảo bộ nhớ cache không bị xóa.
Tuy nhiên, bản thân các yêu cầu kích hoạt này cũng tốn tiền. Nếu cứ 30 giây gửi một lần mà suốt 10 phút không có đầu vào mới, hệ thống sẽ phát đi 20 yêu cầu duy trì. Cứ tích tiểu thành đại như vậy, chi phí phát sinh cũng không hề nhỏ.
Như đã phân tích ở trên, thời gian tồn tại ngắn nhất của cache hiện nay cũng đã là 5 phút. Việc gửi yêu cầu duy trì mỗi 30 giây rõ ràng là quá mức cần thiết. Do đó, khuyến nghị mới nhất là điều chỉnh tần suất tự động kích hoạt duy trì cache thành 4 phút một lần.
Tin tức công nghệ
1. Camera giao thông tích hợp nhận diện Bluetooth
Một công ty khởi nghiệp tại Mỹ vừa ra mắt loại camera giao thông không chỉ đọc được biển số xe mà còn nhận diện được các thiết bị Bluetooth xung quanh.
Thông thường, camera giao thông trên đường chỉ chụp được biển số chứ không thể biết ai đang ngồi trong xe.
Mẫu camera thế hệ mới này giải quyết triệt để vấn đề đó. Nó có thể bắt sóng Bluetooth, từ đó liên kết địa chỉ MAC của thiết bị với biển số xe, giúp suy đoán chính xác những ai đang có mặt trên xe.
Chưa dừng lại ở đó, bên cạnh Bluetooth, nó còn quét được thẻ từ, chip định danh thú cưng (RFID) cũng như SSID của mạng Wi-Fi phát ra từ xe, giúp tăng tối đa độ tin cậy của dữ liệu phân tích.
2. Dập tắt đám cháy bằng sóng âm
Ngoài nước, người ta giờ đây còn có thể dập lửa bằng sóng âm.
Nguyên lý vật lý đã chứng minh rằng các sóng âm tần số thấp nhưng có cường độ mạnh (từ 30Hz đến 60Hz) có khả năng dập tắt ngọn lửa. Lý do là sóng âm ngăn cản luồng oxy tiếp xúc với đám cháy và đẩy nhanh quá trình tản nhiệt.
Một startup tại Mỹ mới đây đã chế tạo thành công thiết bị dập lửa bằng sóng âm và chuẩn bị đưa ra thị trường. Họ đã thử nghiệm thực tế thành công trong một kịch bản cháy bếp.
Chỉ cần hướng loa phát ra các luồng sóng âm tần số thấp vào thẳng bếp lửa, ngọn lửa liền bị dập tắt. Công ty này kỳ vọng thiết bị sẽ thay thế hệ thống vòi phun nước tự động. Sau này khi xảy ra hỏa hoạn, chỉ cần các loa trên trần nhà phát âm thanh là xong.
Mặc dù vậy, thiết bị vẫn vướng một vài nhược điểm khó nhân rộng. Đầu tiên, kích thước loa phải đủ lớn thì mới tạo ra được cường độ sóng âm cần thiết. Thứ hai, loa buộc phải đặt rất gần nguồn lửa vì sóng âm suy giảm rất nhanh theo khoảng cách. Điều này khiến nó chỉ phát huy tác dụng với các đám cháy nhỏ lẻ chứ không thể dập tắt những trận đại hỏa hoạn bùng phát trên diện rộng.
Một nhà sản xuất máy bay của Mỹ vừa giới thiệu mẫu phi cơ riêng kiểu mới với điểm đặc trưng nhất: hoàn toàn không có cửa sổ (hình bên dưới).
Khoang hành khách được thiết kế đúc liền khối khép kín, hoàn toàn loại bỏ các khung cửa sổ truyền thống.
Thay vào đó là hệ thống màn hình tinh thể lỏng được ghép nối liền mạch, trình chiếu trực tiếp hình ảnh độ phân giải cao thu được từ các camera gắn bên ngoài thân máy bay.
Nhà sản xuất cho biết việc loại bỏ cửa sổ giúp máy bay nhẹ hơn đáng kể, bề mặt thân mượt mà hơn, từ đó giảm lực cản không khí và tiết kiệm nhiên liệu. Hơn nữa, hành khách chẳng cần phải ghé sát đầu vào cửa sổ mà vẫn có thể ngắm toàn cảnh bầu trời ngay tại chỗ ngồi với góc nhìn rộng như của phi công.
4. Tầm nhìn xa nhất trên Trái Đất
Các nhà khoa học đã sử dụng thuật toán để xác định khoảng cách tầm nhìn dài nhất trên Trái Đất, tức khoảng cách tối đa giữa hai điểm trên mặt đất mà mắt người có thể quan sát thấy nhau.
Kỷ lục đó thuộc về góc nhìn từ đỉnh Pik Dankova ở Kyrgyzstan (nằm sát biên giới Trung Quốc) nhìn về hướng Nam: mắt người có thể nhìn thấu tới tận vùng sâu của dãy Côn Lôn tại Trung Quốc, với khoảng cách lên tới 530 km.
Thông thường, độ cao càng lớn và không khí càng trong lành thì tầm nhìn xa càng được mở rộng.
Đỉnh Pik Dankova cao khoảng 6.000 mét so với mực nước biển, ngay phía Nam của nó là vùng sa mạc lòng chảo Qaidam địa hình thấp, rồi tiếp đó lại là dãy Côn Lôn cũng cao trên 6.000 mét. Chính cấu trúc đặc biệt này cho phép hai dãy núi cao cách nhau hàng trăm cây số có thể nhìn thấy nhau.
Bài viết
1. Các công cụ thực thi tác vụ phổ biến (tiếng Anh)
Để thực thi các lệnh từ dòng lệnh, bạn có nhiều sự lựa chọn khác nhau: từ việc tự viết kịch bản Bash cho tới việc dùng các công cụ quản lý tác vụ chuyên dụng như make, just hay mise.
2. Hướng dẫn dùng script để tải file lên GitHub (tiếng Anh)
GitHub cho phép người dùng tải tệp đính kèm lên các Issue hay Pull Request, bài viết này sẽ hướng dẫn bạn cách thực hiện điều đó tự động thông qua script.
3. Sử dụng Canvas thay vì HTML (tiếng Anh)
Nhiều ứng dụng web phức tạp hiện nay không hề dùng các thẻ HTML chuẩn mà chuyển sang hiển thị toàn bộ giao diện bằng Canvas. Thực chất những gì người dùng nhìn thấy là một bức ảnh được vẽ liên tục. Bài viết phân tích những ưu nhược điểm của hướng đi này và khi nào thì nên áp dụng.
4. Máy chủ của tôi là một chiếc điện thoại (tiếng Anh)
Tác giả chia sẻ cách biến một chiếc điện thoại Android cũ thành máy chủ Linux thực thụ nhờ sự trợ giúp của Termux.
“(Chiếc Android cũ của tôi có) 8 nhân ARM, 8GB RAM, 128GB bộ nhớ trong, Wi-Fi 6, modem 5G cùng viên pin tích hợp. Tất cả gói gọn trong một con chip SoC mà tôi từng nghĩ là dư thừa hiệu năng và bỏ xó trong ngăn kéo. Tôi lại còn trả tiền mua nó từ trước rồi nữa chứ. Sau khi phủi bụi và vọc vạch một chút, tôi quyết định biến chiếc điện thoại này thành một máy chủ gia đình.”
5. Thuật toán điều khiển thang máy (tiếng Anh)
Bài viết giải thích nguyên lý đằng sau các thuật toán vận hành thang máy. Tuy không đi sâu vào mã nguồn nhưng bài viết kèm theo các minh họa trực quan giúp bạn hiểu được cái khó trong bài toán tối ưu thời gian chờ của người dùng.
Công cụ
Công cụ sandbox chính chủ do Docker phát hành. Nó sử dụng các container Docker làm môi trường cô lập cho các AI Agent thực thi code mà không ảnh hưởng đến hệ thống bên dưới.
2. CertMate
Hệ thống quản lý chứng chỉ SSL tự host, hỗ trợ đăng ký và gia hạn chứng chỉ tự động với tích hợp sẵn nhiều nhà cung cấp dịch vụ đám mây.
Công cụ cung cấp giao diện trực quan giúp bạn dễ dàng quản lý và theo dõi các tác vụ Cron.
4. trash-cli
Một công cụ dòng lệnh cho Linux bổ sung tính năng Thùng rác (Trash can), giúp giữ lại các tệp đã xóa để có thể khôi phục lại khi cần. Tham khảo thêm bài viết giới thiệu.
5. LeePanel
Bảng điều khiển quản lý máy chủ từ xa cài đặt ngay trên máy cá nhân. Mọi thao tác đều được thực thi qua kết nối SSH nên không cần phải cài thêm bất kỳ phần mềm nào trên máy chủ đích. (Chia sẻ bởi @gna1280072)
Công cụ chuyển đổi văn bản Markdown thành các thẻ chia sẻ dạng hình ảnh đẹp mắt. Cung cấp 16 chủ đề có sẵn, tự động ngắt trang, dàn trang và xuất hàng loạt ra file ảnh hoặc PDF. (Chia sẻ bởi @pangxiaobin)
7. Trình mô phỏng Nhật thực toàn phần 3D
Công cụ mô phỏng sự kiện nhật thực toàn phần ngày 12 tháng 8 năm 2026 trên bản đồ. Người dùng có thể tra cứu thời điểm bắt đầu, đỉnh điểm và kết thúc nhật thực tại bất kỳ tọa độ nào, cũng như quan sát khung cảnh bầu trời lúc đó. (Chia sẻ bởi @DophinL)
8. DBX
Công cụ quản lý cơ sở dữ liệu đa nền tảng, nhẹ nhàng, hỗ trợ hơn 79 loại cơ sở dữ liệu khác nhau và cho phép tích hợp AI cùng giao thức MCP. (Chia sẻ bởi @t8y2)
AI
Cloudflare vừa mã nguồn mở một công cụ AI nội bộ. Tuy cái tên có chứa từ “OS” nhưng thực chất đây lại là một ứng dụng chạy trực tiếp trên trình duyệt.
Nó đóng vai trò là một cổng AI nội bộ cho doanh nghiệp, giúp cung cấp các dịch vụ AI tập trung cho nhân viên bao gồm AI Agent, ứng dụng nội bộ, quản lý tri thức và quy trình tự động hóa.
2. Hương Âm Các
Công cụ chuyển đổi văn bản thành giọng nói tiếng địa phương trực tuyến, hiện hỗ trợ 16 loại tiếng địa phương cùng 63 giọng đọc khác nhau. (Chia sẻ bởi @ldbmcs)
3. chat.md
Một plugin dành cho VS Code giúp biến khung chat AI thành một file Markdown. Toàn bộ tin nhắn đầu vào của người dùng và phản hồi của AI đều được tự động lưu và hiển thị trực tiếp trong file này.
4. Parse
Trang web cho phép bạn trích xuất dữ liệu từ các website khác bằng câu lệnh ngôn ngữ tự nhiên và chuyển thành các đầu ra API. Dịch vụ cung cấp hạn ngạch miễn phí 5 request mỗi phút.
Tài nguyên
Bộ sưu tập mô hình 3D của 60 loài côn trùng. Bạn có thể xoay, phóng to thu nhỏ và nhấn vào các điểm chú thích để khám phá cấu tạo cơ thể, vòng đời cũng như vai trò sinh thái của từng loài. (Chia sẻ bởi @xr843)
2. Minh họa nguyên lý hệ thống phân tán (tiếng Trung)
Series bài viết sử dụng sơ đồ và giải thích trực quan để đi sâu vào các tư tưởng cốt lõi đằng sau hệ thống phân tán. (Chia sẻ bởi @lichuang)
3. Luyện huýt sáo (HowToWhistle)
Công cụ trực tuyến hỗ trợ luyện huýt sáo. Nó nhận diện độ cao âm thanh bạn huýt ra theo thời gian thực, hiển thị nốt nhạc hiện tại và độ lệch so với nốt mục tiêu. (Chia sẻ bởi @0647-cyber)
Hình ảnh
Một nhà sưu tập người Mỹ có sở thích đặc biệt là sưu tầm kẹp giấy. Những chiếc kẹp đủ hình dáng khi xếp lại cùng nhau mang đến một cảm giác đầy tính nghệ thuật.
Nhiều thứ khi để mộc mạc nguyên bản lại trông đẹp hơn hẳn lúc trang trí.
Các bức tượng điêu khắc thời Hy Lạp - La Mã ngày nay trông vô cùng tao nhã, nhưng thực ra ban đầu chúng đều được tô màu rực rỡ và có phần hơi sặc sỡ, lòe loẹt.
Bức hình trên là tượng Hoàng đế La Mã Augustus, lúc mới hoàn thiện nó vốn mang những màu sơn như vậy.
Trích đoạn
1. Hà Lan và Trung Quốc (tiếng Anh)
Tôi là người Hà Lan và từng sống ở Trung Quốc suốt 8 năm. Trong khoảng thời gian đó, các tài xế taxi lẫn đồng nghiệp thường hay hỏi tôi: “Hà Lan với Trung Quốc, bên nào tốt hơn?”
Bây giờ, khi đã trở về Hà Lan định cư, mọi người lại quay sang hỏi tôi: Có nhớ cuộc sống ở Trung Quốc không?
Cả hai câu hỏi này đều không dễ trả lời. Đó là hai lối sống hoàn toàn khác biệt và rất khó để đặt lên bàn cân so sánh.
Thời còn ở Thượng Hải, tôi từng có phần coi thường những công nghệ có phần cũ kỹ ở Hà Lan: thẻ ngân hàng, thư từ bằng giấy của chính quyền, hay hệ thống hạ tầng nghèo nhàu. Đến khi về Hà Lan rồi, tôi lại thực sự nhớ những chiếc xe điện sang trọng ở Trung Quốc cùng tính năng đổi pin tiện lợi. Dù vậy, hạ tầng dành cho xe đạp tại Hà Lan lại tuyệt vời đến kinh ngạc, và việc đạp xe vào những ngày nắng đẹp mang lại niềm vui khó tả.
Phần lớn người Hà Lan có mức sống khá giả hơn người Thượng Hải, nhưng trong nhà họ lại chẳng có điều hòa, họ lái những chiếc xe nhỏ hơn, cũ hơn và ít tiện nghi hơn. Giao thông công cộng nếu so sánh thì tệ hơn nhiều. Điện thoại nhỏ hơn, độ phân giải thấp hơn, tốc độ chậm hơn và TV cũng vậy. Các cửa hàng đóng cửa vào Chủ nhật, người dân vẫn quen dùng tiền mặt hoặc quẹt thẻ ngân hàng.
Có lần, tôi muốn gọi điện cho ngân hàng của mình ở Hà Lan. Tôi phải tốn rất nhiều công sức tìm kiếm trên website mới thấy số điện thoại, rồi lại phải chờ máy suốt 15 phút chỉ để hỏi một thắc mắc có thể giải đáp trong 10 giây. Trong khi ở Trung Quốc, ứng dụng ngân hàng tích hợp sẵn khung chat và bạn có thể kết nối ngay lập tức với nhân viên hỗ trợ.
Nhà vệ sinh công cộng ở Hà Lan cũng rất hiếm vì chi phí bảo trì cao và chính quyền không muốn chi trả cho khoản này. Dịch vụ bảo mẫu hay người giúp việc gia đình cũng ít hơn nhiều do giá cả đắt đỏ. Chúng tôi buộc phải tự nấu ăn ở nhà toàn bộ, ăn tiệm rất đắt, lựa chọn giao đồ ăn ít ỏi mà tốc độ giao hàng lại vô cùng chậm chạp.
Thế nhưng, người Hà Lan lại có nhiều thời gian rảnh rỗi hơn. Họ sống trong những ngôi nhà rộng rãi hơn với sân trước và sân sau ngợp bóng cỏ xanh. Do giá cả đắt đỏ (cả hàng hóa lẫn nhân công), thị trường đồ cũ ở Hà Lan phát triển rất mạnh: từ xe đạp, ô tô cho đến nội thất, mọi thứ đều được tái chế, sửa chữa để kéo dài tuổi thọ sử dụng hết mức có thể.
Ở Thượng Hải, chúng tôi mua đồ dùng cho em bé qua mạng, đọc các bài giới thiệu về những món đồ chơi mới nhất hay camera theo dõi trẻ em tích hợp AI. Còn tại Hà Lan, cha mẹ tôi vẫn giữ lại những món đồ chơi, nôi em bé và thìa ăn từ thời tôi còn nhỏ. Sau hơn 30 năm, con tôi bây giờ lại tiếp tục sử dụng chúng.
Nhìn chung, Hà Lan là một xã hội có quy mô nhỏ hơn và mức độ ứng dụng công nghệ thấp hơn. Quy mô nhỏ thể hiện ở chỗ tòa thị chính chỉ có duy nhất một cửa làm việc, trong khi Thượng Hải sở hữu hàng trăm trung tâm dịch vụ hành chính công với hàng chục quầy phục vụ ở mỗi trung tâm. Theo tôi biết, thị trấn nhỏ nơi tôi sống chỉ có đúng một cây ATM và một thư viện khiêm tốn.
Trong mắt tôi, Hà Lan là vùng đất của sự thong thả, nơi người dân sống một cuộc đời tiết kiệm, còn Trung Quốc lại là quốc gia của những chuyển mình gấp gáp, nhanh chóng và đầy sốt sắng, nơi mọi người cuống cuốc tranh thủ từng cơ hội cho riêng mình.
Quay trở lại câu hỏi ban đầu: Hà Lan hay Trung Quốc tốt hơn? Câu trả lời của tôi vẫn vậy: Mỗi quốc gia đều có cái hay và cái dở riêng, và hai cuộc sống đó là hai thế giới hoàn toàn riêng biệt.
Trích dẫn
1.
Thời gian tiết kiệm được nhờ AI không phải để dành cho việc nghỉ ngơi, mà nên dùng để phát triển thêm nhiều sản phẩm hơn nữa. Các bạn đang làm công việc thú vị nhất trên hành tinh này.
— Andrew Bosworth, CTO của Meta trả lời câu hỏi của nhân viên về việc liệu sự gia tăng năng suất từ AI có thể quy đổi thành nhiều ngày nghỉ hơn hay không.
2.
Một số người cố gắng mô tả việc chắt lọc (distillation) là một hành vi có hại, nhưng tôi tin rằng chúng ta cần phải bảo vệ nguyên tắc “được phép học hỏi từ bất kỳ điều gì có thể quan sát được”.
— Mark Zuckerberg, Nhà sáng lập Meta
3.
Có rất nhiều lý do để tự vận hành các mô hình lớn ở máy cục bộ (local), nhưng tiết kiệm tiền chắc chắn không nằm trong số đó.
Hiện tại, người dùng gói OpenCode Go trung bình chi 1,14 USD mỗi ngày để chạy DeepSeek Flash v4. Với cùng tính năng đó khi chạy trên máy cục bộ, bạn sẽ cần cấu hình máy kép DGX. Cho dù chi phí sử dụng hàng ngày có tăng gấp 10 lần thì bạn cũng mất tới 24 năm mới thu hồi được vốn đầu tư ban đầu.
— Dax Raad, Nhà sáng lập OpenCode
4.
Khả năng đón nhận một ý tưởng mà không nhất thiết phải chấp nhận nó là dấu hiệu của một tâm trí được giáo dục tốt.