Same bits.
Every device.Cùng từng bit.
Trên mọi thiết bị.

Verified resultsKết quả đã kiểm chứng

Every pair below was decoded on both devices and compared hash by hash. All matched, e.g. Qwen2.5-7B 8-bit: 512/512 positions identical between an x86 CPU and an NVIDIA A10.Mỗi cặp dưới đây được chạy trên cả hai thiết bị và so từng hash. Tất cả đều khớp, ví dụ Qwen2.5-7B 8 bit: 512/512 vị trí giống hệt giữa CPU x86 và NVIDIA A10.

gpt-oss-120b: spot check of 128 of 512 positions against the x86 CPU. 7B 8-bit on the phone: 64-position prefix.gpt-oss-120b: kiểm tra 128 trên 512 vị trí so với CPU x86. 7B 8 bit trên điện thoại: 64 vị trí đầu.

Measured Oct 2026 · results as of 2026-10-30Đo tháng 10/2026 · số liệu tính đến 30/10/2026

Speed, single stream (Qwen2.5-7B-Instruct)Tốc độ, một luồng (Qwen2.5-7B-Instruct)

Batch 1 decode on rented cloud GPUs. On the A10, Idemcore ran in a separate session from the baselines. A10 and A10G are different cloud SKUs, so compare within each GPU. Cloud GPU clocks vary between sessions. MoE: gpt-oss-20b at 72.1–72.2 tok/s on an L40S, gpt-oss-120b at 37.1–37.3 tok/s on an H100.Giải mã batch 1 trên GPU thuê. Trên A10, Idemcore chạy ở phiên khác với các engine so sánh. A10 và A10G là hai loại máy khác nhau, chỉ so trong cùng một GPU. Xung nhịp GPU đám mây thay đổi giữa các phiên. MoE: gpt-oss-20b đạt 72,1–72,2 token/giây trên L40S, gpt-oss-120b đạt 37,1–37,3 token/giây trên H100.

Measured Oct 2026 · results as of 2026-10-30Đo tháng 10/2026 · số liệu tính đến 30/10/2026

Batched serving, every stream bit-exact (Qwen2.5-7B 4-bit, A10G)Phục vụ theo batch, mọi luồng khớp từng bit (Qwen2.5-7B 4 bit, A10G)

Improved batched GPU kernel. At every batch size from 1 to 64, every stream matched a single-stream x86 CPU run hash for hash, including shuffled slot order and streams joining late. On par with vLLM AWQ at 8 streams; vLLM is faster from 16 streams on (1.12× at 16, about 1.46× at 32). p99 step time stays within 1% of p50 (within about 4% when streams join late). Our timings are teacher-forced GPU step times; vLLM's are client-side generation timings, so the comparison is indicative. One vLLM version (0.11.0) was used, with its batch-invariant mode not enabled. In the same tests, vLLM and llama.cpp were not bit-reproducible across batch compositions at default settings in our runs.Kernel GPU xử lý batch đã cải tiến. Ở mọi kích thước batch từ 1 đến 64, mọi luồng đều khớp từng hash với lần chạy một luồng trên CPU x86, kể cả khi xáo thứ tự slot và khi luồng vào sau. Ngang vLLM AWQ ở 8 luồng; từ 16 luồng trở lên vLLM nhanh hơn (1,12× ở 16, khoảng 1,46× ở 32). p99 thời gian mỗi bước cao hơn p50 dưới 1% (khoảng 4% khi luồng vào sau). Số của chúng tôi là thời gian bước trên GPU (teacher-forced), số của vLLM đo phía client khi sinh token, nên so sánh chỉ mang tính tham khảo. Chỉ dùng một phiên bản vLLM (0.11.0), không bật chế độ batch-invariant. Trong cùng thử nghiệm, vLLM và llama.cpp không tái lập được từng bit khi đổi thành phần batch, ở cấu hình mặc định, trong các lần chạy của chúng tôi.

Measured 2026-10-30Đo ngày 30/10/2026

Batched serving on an H100, every stream bit-exact (Qwen2.5-7B 4-bit, H100 80GB)Phục vụ theo batch trên H100, mọi luồng khớp từng bit (Qwen2.5-7B 4 bit, H100 80GB)

NVIDIA H100 80GB HBM3 (1980 MHz), current batched kernel, hashing on with every step verified on the host, 512 teacher-forced steps per stream. Every stream at every batch size matched the single-stream x86 CPU run, 0 mismatches. At one stream Idemcore is about 20% faster than vLLM AWQ, at 8 streams the two are on par, and at 32 streams vLLM is faster by about 1.5–1.9×. vLLM 0.11.0 ran in the same container (range over four runs; not run at 16 or 64 streams), measured end to end, so the comparison is indicative. In that container, vLLM's greedy output for one of 8 prompts changed between a solo run and the same prompt inside a batch in 3 of 4 comparisons.NVIDIA H100 80GB HBM3 (1980 MHz), kernel batch hiện tại, bật hash và kiểm tra mọi bước trên host, 512 bước teacher-forced mỗi luồng. Ở mọi kích thước batch, mọi luồng đều khớp lần chạy một luồng trên CPU x86, 0 chỗ lệch. Ở một luồng Idemcore nhanh hơn vLLM AWQ khoảng 20%, ở 8 luồng hai bên ngang nhau, còn ở 32 luồng vLLM nhanh hơn khoảng 1,5–1,9×. vLLM 0.11.0 chạy trong cùng container (khoảng giá trị qua bốn lần chạy; chưa chạy ở 16 và 64 luồng), đo đầu cuối, nên so sánh chỉ mang tính tham khảo. Trong container đó, kết quả greedy của vLLM cho 1 trong 8 prompt thay đổi giữa lần chạy riêng và khi cùng prompt nằm trong batch, ở 3 trên 4 lần so sánh.

Measured 2026-10-30Đo ngày 30/10/2026

Quality (perplexity vs the reference model)Chất lượng (perplexity so với model tham chiếu)

512-position WikiText-2 slice; gaps under about 1% should not be over-read. 7B reference: the bf16 checkpoint computed in fp32. The gpt-oss-120b gap is the main quality item we are working on.Đoạn WikiText-2 dài 512 vị trí; chênh dưới khoảng 1% không nên diễn giải quá mức. Tham chiếu 7B: checkpoint bf16 tính bằng fp32. Chênh lệch của gpt-oss-120b là hạng mục chất lượng chính chúng tôi đang cải thiện.

Measured Oct 2026 · results as of 2026-10-30Đo tháng 10/2026 · số liệu tính đến 30/10/2026

Verify it yourselfTự kiểm chứng

One command recomputes every published hash from the raw logs and re-checks every device pair. Python 3.8 or newer, standard library only, about 4 seconds on a laptop.Một lệnh tính lại mọi hash đã công bố từ log gốc và kiểm lại mọi cặp thiết bị. Python 3.8 trở lên, chỉ dùng thư viện chuẩn, khoảng 4 giây trên laptop.

GitHub: available at launchGitHub: có khi ra mắt The command below works once the verifier repository is public.Lệnh dưới đây chạy được khi kho mã công cụ kiểm chứng được công khai.

git clone https://github.com/idemcore/idemcore-verifier && cd idemcore-verifier && python3 -m idemcore_verify samples

[1/2] recompute published hashes (HASHES.tsv)
[2/2] re-check reference/candidate pairs (PAIRS.tsv)
checked 65 logs (448904 token rows) and 58 pairs
PASS: every published hash recomputes and every pair is bit-identical

python3 -m idemcore_verify compare samples/gpt-oss-20b/x86_64.log samples/gpt-oss-20b/nvidia_l40s.log

OK   samples/gpt-oss-20b/x86_64.log: 512 tokens, ALL 8ec348aaf3b4109c (recomputed 8ec348aaf3b4109c)
OK   samples/gpt-oss-20b/nvidia_l40s.log: 512 tokens, ALL 8ec348aaf3b4109c (recomputed 8ec348aaf3b4109c)
MATCH: 512/512 positions identical (mode exact; only-in-ref 0, only-in-cand 0)

MATCH means that at every position both logs carry the same hash of the full-vocabulary integer logits and the same hash of the sampling distribution, and that each log’s chained ALL digest recomputes. Here an x86-64 CPU and an NVIDIA L40S give ALL 8ec348aaf3b4109c for gpt-oss-20b. On the 128-position Qwen2.5-7B 4-bit workload the digest is 8d694e5c633851cc on the x86 CPU, the Galaxy Z Fold5 and every GPU batch size we ran. If anything differs, the verifier prints FAIL and the first position that diverges.MATCH nghĩa là ở mọi vị trí, hai log có cùng hash của toàn bộ logit số nguyên trên cả bộ từ vựng và cùng hash của phân phối lấy mẫu, và digest ALL nối chuỗi của mỗi log tính lại đúng. Ở đây CPU x86-64 và NVIDIA L40S cùng cho ALL 8ec348aaf3b4109c với gpt-oss-20b. Với tác vụ Qwen2.5-7B 4 bit dài 128 vị trí, digest là 8d694e5c633851cc trên CPU x86, Galaxy Z Fold5 và mọi kích thước batch GPU chúng tôi đã chạy. Nếu có gì khác, công cụ in FAIL và vị trí đầu tiên bị lệch.

What a match does not prove: the 64-bit hash is FNV-1a, which detects accidental differences but is not collision-resistant, and a match shows two runs agree, not which program produced them.Điều một lần khớp không chứng minh: hash 64 bit là FNV-1a, phát hiện được khác biệt ngẫu nhiên nhưng không chống va chạm, và một lần khớp cho thấy hai lần chạy giống nhau, chứ không cho biết chương trình nào tạo ra chúng.

Sample logs and output as of verifier v0.2.0, 2026-10-30Log mẫu và kết quả theo công cụ kiểm chứng v0.2.0, ngày 30/10/2026

Same 8 prompts, solo vs batched: what changedCùng 8 prompt, chạy riêng và chạy batch: điều gì thay đổi

We ran 8 prompts × 512 greedy tokens through common floating-point serving stacks under several schedules (solo repeats, batches of 8, shuffled order, mixed batches, staggered arrivals) and compared each prompt with its own first solo run.Chúng tôi chạy 8 prompt × 512 token greedy qua các stack phục vụ dấu phẩy động phổ biến với nhiều lịch chạy (lặp lại riêng lẻ, batch 8, xáo thứ tự, batch trộn, đến lệch giờ) và so mỗi prompt với lần chạy riêng đầu tiên của chính nó.

Prompts (of 8) whose greedy output changed in at least one scheduleSố prompt (trên 8) có kết quả greedy thay đổi ở ít nhất một lịch chạy

Idemcore was held to a stricter test: every per-token logits hash and sampling-distribution hash of every stream, at B = 1 to 64, with shuffled slots and staggered joins, against a single-stream x86 CPU log. vLLM token-identical repeats at B = 8 still differed in logprobs; llama.cpp solo repeats were bit-identical, batched runs changed nearly every logprob. A10G and A10, one version of each engine, default settings unless noted.Idemcore được kiểm nghiêm ngặt hơn: mọi hash logit theo token và hash phân phối lấy mẫu của mọi luồng, ở B = 1 đến 64, có xáo slot và luồng vào lệch giờ, so với log một luồng trên CPU x86. Với vLLM, các lần lặp B = 8 trùng token vẫn khác logprob; với llama.cpp, lặp lại riêng lẻ khớp từng bit, còn chạy batch làm đổi gần như mọi logprob. A10G và A10, mỗi engine một phiên bản, cấu hình mặc định trừ khi có ghi chú.

These counts describe these specific runs, not general divergence rates. vLLM’s batch-invariant mode is not available in vLLM 0.11.0, so we did not test it; batch-invariant float kernels address the same problem within one GPU family, and we did not measure them.Các con số này mô tả đúng những lần chạy này, không phải tỉ lệ lệch chung. Chế độ batch-invariant của vLLM chưa có trong vLLM 0.11.0 nên chúng tôi không thử; các kernel số thực batch-invariant giải quyết cùng vấn đề trong phạm vi một dòng GPU, và chúng tôi chưa đo chúng.

Related workCông trình liên quan

• Thinking Machines Lab, Thinking Machines Lab, “Defeating Nondeterminism in LLM Inference” (2025): explains why batch composition changes float results and builds batch-invariant kernels.: giải thích vì sao thành phần batch làm đổi kết quả số thực và xây kernel batch-invariant.
• Ong et al., “TOPLOC: A Locality Sensitive Hashing Scheme for Trustless Verifiable Inference” (2025): verifies inference with hashes that tolerate small numerical differences. Idemcore takes the other route: make the bits identical, then compare exact hashes.: kiểm chứng suy luận bằng hash chấp nhận sai khác số học nhỏ. Idemcore đi hướng khác: làm cho các bit giống hệt, rồi so hash chính xác.

Measured Oct 2026 · results as of 2026-10-30Đo tháng 10/2026 · số liệu tính đến 30/10/2026

What you can start with todayCó thể bắt đầu ngay

Coming soonSắp ra mắt

The kernel is licensed per customer and stays closed; the verifier is open, so you never have to trust us to check a result.Kernel được cấp phép theo từng khách hàng và giữ kín; công cụ kiểm chứng là mã mở, nên bạn không cần tin chúng tôi mới kiểm được kết quả.

PlansCác gói

The verifier is free. Every license starts with a pilot and a written agreement; the ranges below are our list ranges, and the final price is set in that agreement.Công cụ kiểm chứng miễn phí. Mọi giấy phép đều bắt đầu bằng thí điểm và thỏa thuận bằng văn bản; các khoảng giá dưới đây là khoảng giá niêm yết, giá cuối cùng được chốt trong thỏa thuận đó.

Pilots run in four steps: scope (week 1), integrate (weeks 2–6), measure (weeks 6–10), then decide. Prices in US dollars, excluding taxes.Thí điểm gồm bốn bước: xác định phạm vi (tuần 1), tích hợp (tuần 2–6), đo (tuần 6–10), rồi quyết định. Giá tính bằng đô la Mỹ, chưa gồm thuế.

Questions we getCâu hỏi thường gặp

I am evaluating Idemcore (https://idemcore.net). Read https://idemcore.net/agents.md and the results section of https://idemcore.net. Explain in plain terms what "bit-exact across devices" means, which models and hardware were measured and when, where Idemcore is slower than vLLM, and what the open verifier does and does not prove. Quote numbers only from those pages and say when something is not stated there.

Tôi đang tìm hiểu Idemcore (https://idemcore.net). Hãy đọc https://idemcore.net/agents.md và phần kết quả trên https://idemcore.net. Giải thích dễ hiểu "khớp từng bit giữa các thiết bị" nghĩa là gì, những model và phần cứng nào đã được đo và đo khi nào, Idemcore chậm hơn vLLM ở đâu, và công cụ kiểm chứng mở chứng minh được gì, không chứng minh được gì. Chỉ trích số liệu từ các trang đó và nói rõ khi thông tin không có ở đó.