What is deterministic LLM inference?Suy luận LLM tất định là gì?

Updated: November 1, 2026Cập nhật: 01/11/2026

Deterministic LLM inference means that a model, given the same input and settings, produces exactly the same output every time it runs: the same tokens, and underneath them the same numbers, down to the last bit. It is the basis for reproducible LLM APIs and for verifiable AI inference, where anyone can check which model produced an answer.Suy luận LLM tất định nghĩa là một model, với cùng đầu vào và cùng thiết lập, luôn cho ra đúng một kết quả mỗi lần chạy: cùng các token, và bên dưới là cùng các con số, đến từng bit. Đây là nền tảng cho API LLM tái lập được và cho suy luận AI kiểm chứng được, nơi ai cũng có thể kiểm tra model nào đã tạo ra một câu trả lời.

Why LLM outputs usually changeVì sao kết quả LLM thường thay đổi

Even with temperature set to 0, many serving setups return slightly different answers to the same prompt. Floating-point arithmetic is not associative: adding the same numbers in a different order can give a slightly different result. That order can change with the batch size, the hardware model, and driver or library versions. A tiny difference in one score can change which token is picked, and every token after it then follows a different path.Ngay cả khi đặt temperature bằng 0, nhiều hệ thống phục vụ vẫn trả về câu trả lời hơi khác nhau cho cùng một câu hỏi. Phép tính số thực dấu phẩy động không có tính kết hợp: cộng cùng các số theo thứ tự khác có thể cho kết quả hơi khác. Thứ tự đó có thể đổi theo kích thước batch, loại phần cứng, phiên bản driver hay thư viện. Một chênh lệch rất nhỏ ở một điểm số có thể đổi token được chọn, và mọi token sau đó đi theo một hướng khác.

Deterministic, reproducible and bit-exactTất định, tái lập được và chính xác từng bit

• Deterministic: the same setup gives the same output every time.Tất định: cùng thiết lập thì luôn cho cùng kết quả.
• Reproducible: someone else can re-run the same request later and get the same result.Tái lập được: người khác có thể chạy lại cùng yêu cầu về sau và nhận cùng kết quả.
• Bit-exact: identical at the level of bits, every logit and the sampling distribution, not only the final text. Cross-device bit-exact means this also holds across different hardware.Chính xác từng bit: giống hệt ở mức bit, từng logit và phân phối lấy mẫu, không chỉ văn bản cuối cùng. Chính xác từng bit giữa các thiết bị nghĩa là điều này đúng cả trên các phần cứng khác nhau.

Why it mattersVì sao điều này quan trọng

• Audit and compliance: show which model and build produced an answer, from which input.Kiểm toán và tuân thủ: chứng minh model và bản build nào tạo ra câu trả lời, từ đầu vào nào.
• Evaluation and debugging: a changed result means something really changed, not noise.Đánh giá và gỡ lỗi: kết quả thay đổi nghĩa là có điều gì đó thật sự thay đổi, không phải nhiễu.
• Simulation, games and replays: AI steps replay exactly, on any supported device.Mô phỏng, game và phát lại: các bước AI phát lại chính xác trên mọi thiết bị được hỗ trợ.
• Disputes: settled by comparing hashes instead of arguing about logs.Tranh chấp: giải quyết bằng cách so hash thay vì tranh luận về log.

How verifiable AI inference worksSuy luận AI kiểm chứng được hoạt động thế nào

Each answer comes with a signed receipt that commits to the model weights, the engine build, the input and the output, plus a digest of a per-token hash log. Anyone holding the receipt can check the signature and the hash chain, ask for a replay on a different engine build, or re-run the request on their own hardware with the open-source verifier. See Mỗi câu trả lời đi kèm một biên nhận có chữ ký, cam kết trọng số model, bản build engine, đầu vào và đầu ra, cùng một digest của log hash theo từng token. Ai giữ biên nhận đều có thể kiểm chữ ký và chuỗi hash, yêu cầu phát lại trên một bản build engine khác, hoặc chạy lại yêu cầu trên phần cứng của mình bằng công cụ kiểm chứng mã mở. Xem Verify a resultKiểm chứng một kết quả and the và phần Reproducible LLM APIAPI LLM tái lập được docs. trong tài liệu.

What Idemcore providesIdemcore cung cấp gì

• The same output bits on x86 and ARM CPUs, an Android phone and five NVIDIA GPU models (T4, A10, A10G, L40S and H100).Cùng các bit đầu ra trên CPU x86 và ARM, một điện thoại Android và năm mẫu GPU NVIDIA (T4, A10, A10G, L40S và H100).
• The same output at every batch size when serving many requests at once.Cùng kết quả ở mọi kích thước batch khi phục vụ nhiều yêu cầu cùng lúc.
• An OpenAI-compatible API with a signed receipt for every answer, and an open-source verifier (Apache-2.0).API tương thích OpenAI với biên nhận có chữ ký cho mọi câu trả lời, và công cụ kiểm chứng mã mở (Apache-2.0).

Limits today: decoding is greedy (temperature 0); throughput at high concurrency is below the fastest general-purpose engines (see the Giới hạn hiện tại: giải mã kiểu greedy (temperature 0); thông lượng khi tải đồng thời cao thấp hơn các engine đa dụng nhanh nhất (xem benchmarkbảng đo); and a receipt proves which model produced an answer, not that the answer is correct.); và một biên nhận chứng minh model nào tạo ra câu trả lời, không chứng minh câu trả lời đúng.

QuestionsCâu hỏi

Does temperature 0 make an LLM deterministic?Temperature 0 có làm LLM trở nên tất định không?

Not on its own. Temperature 0 removes random sampling, but the numbers that decide each token can still differ slightly between runs when batch size, hardware or software versions change, and one different token changes everything after it.Không tự nó làm được. Temperature 0 bỏ phần lấy mẫu ngẫu nhiên, nhưng các con số quyết định từng token vẫn có thể lệch nhẹ giữa các lần chạy khi kích thước batch, phần cứng hay phiên bản phần mềm thay đổi, và chỉ một token khác là mọi thứ phía sau đổi theo.

What is the difference between deterministic and bit-exact?Tất định và chính xác từng bit khác nhau thế nào?

Deterministic usually means the same setup gives the same answer every time. Bit-exact is stricter: every logit and the sampling distribution are identical at the level of bits, so the result also matches across different devices.Tất định thường nghĩa là cùng cấu hình thì cho cùng câu trả lời mỗi lần chạy. Chính xác từng bit chặt hơn: mọi logit và phân phối lấy mẫu giống hệt ở mức bit, nên kết quả còn khớp giữa các thiết bị khác nhau.

How can I verify an LLM answer someone else produced?Làm sao kiểm chứng câu trả lời LLM do người khác tạo ra?

With a signed receipt. It records which model and engine build produced the answer from which input. You can check the signature, recompute the hash chain, and re-run the request on your own hardware with the open-source verifier.Bằng một biên nhận có chữ ký. Biên nhận ghi lại model và bản build engine nào tạo ra câu trả lời, từ đầu vào nào. Bạn có thể kiểm chữ ký, tính lại chuỗi hash, và chạy lại yêu cầu trên phần cứng của mình bằng công cụ kiểm chứng mã mở.

Try the API with $2 of free creditDùng thử API với $2 tín dụng miễn phí · PricingBảng giá · API docsTài liệu API