Bit-exact inference on your own RTXSuy luận khớp từng bit trên chính card RTX của bạn
Decentralized inference networks need answers that a validator can check. Idemcore produces the same output, bit for bit, on every supported GPU, so a validator replays your answer and requires an exact match. Same prompt, same tokens; validators just compare hashes.Mạng suy luận phi tập trung cần câu trả lời mà validator kiểm được. Idemcore cho ra cùng một kết quả, đến từng bit, trên mọi GPU được hỗ trợ, nên validator phát lại câu trả lời của bạn và yêu cầu khớp chính xác. Cùng prompt, cùng token; validator chỉ cần so hash.
Which model fits which cardModel nào chạy trên card nào
| ModelModel | CardCard | Single userMột người dùng | Under loadKhi tải cao |
|---|---|---|---|
| Qwen2.5-7B-Instruct (4-bit) | 1× RTX 4090 24 GB | 163–164 tok/s, TTFT 7.5–8.9 ms163–164 token/s, TTFT 7,5–8,9 ms | 2,659 tok/s aggregate at 64 streams (73 per stream), context 10242.659 token/s tổng ở 64 luồng (73 mỗi luồng), ngữ cảnh 1024 |
| Qwen2.5-7B-Instruct (4-bit) | 1× RTX PRO 6000 96 GB | 226–232 tok/s, TTFT 6.6–7.2 ms226–232 token/s, TTFT 6,6–7,2 ms | 4,519 tok/s aggregate at 128 streams (58 per stream), context 40964.519 token/s tổng ở 128 luồng (58 mỗi luồng), ngữ cảnh 4096 |
| Qwen3.8-27B (mixed precision)Qwen3.8-27B (độ chính xác hỗn hợp) | 1× RTX 4090 24 GB | 36.2–36.4 tok/s, TTFT 56–62 ms, context 204836,2–36,4 token/s, TTFT 56–62 ms, ngữ cảnh 2048 | One stream fits in 24 GBVừa một luồng trong 24 GB |
| Qwen3.8-27B (mixed precision)Qwen3.8-27B (độ chính xác hỗn hợp) | 1× RTX PRO 6000 96 GB | 49.2–49.4 tok/s, TTFT 45–46 ms49,2–49,4 token/s, TTFT 45–46 ms | 745 tok/s aggregate at 64 streams745 token/s tổng ở 64 luồng |
| Qwen3.6-35B-A3B (MoE, 8-bit) | 1× RTX PRO 6000 96 GB | 124–126 tok/s, TTFT 24–26 ms124–126 token/s, TTFT 24–26 ms | 1,245 tok/s aggregate at 64 streams1.245 token/s tổng ở 64 luồng |
| Qwen3.6-35B-A3B (MoE, 8-bit) | 2× RTX 4090 (PCIe) | 122.4 tok/s122,4 token/s | 414 tok/s aggregate at 8 streams, 772 at 32414 token/s tổng ở 8 luồng, 772 ở 32 |
| Qwen3.6-35B-A3B (MoE, 8-bit) | 4× RTX 4090 (PCIe) | 118.2 tok/s118,2 token/s | 406 tok/s aggregate at 8 streams, 749 at 32406 token/s tổng ở 8 luồng, 749 ở 32 |
The same output bits also match on CPUs (Linux x86-64, Windows 11 ARM64 on Snapdragon X) and an Android phone (Galaxy Z Fold5).Cùng các bit đầu ra cũng khớp trên CPU (Linux x86-64, Windows 11 ARM64 trên Snapdragon X) và một điện thoại Android (Galaxy Z Fold5).
Output was bit-exact against the reference on every card listed: 7B at batch 1/8/32/64 (RTX 4090) and 1/8/32/64/128 (RTX PRO 6000); 27B and 35B on 3/3 test sets. Greedy decoding, warm process, measured 2026-11-04. RTX 4090 runs used a 300 W power limit set by the host (stock card is 450 W); RTX PRO 6000 at 600 W. Multi-4090 runs use PCIe, no NVLink. "Aggregate" is total decode tok/s across all streams; TTFT under load includes queueing.Kết quả khớp từng bit với bản tham chiếu trên mọi card trong bảng: 7B ở cỡ lô 1/8/32/64 (RTX 4090) và 1/8/32/64/128 (RTX PRO 6000); 27B và 35B trên 3/3 bộ thử. Giải mã greedy, tiến trình đã khởi động, đo ngày 04/11/2026. RTX 4090 chạy với giới hạn công suất 300 W do máy chủ đặt (card gốc 450 W); RTX PRO 6000 ở 600 W. Các lần chạy nhiều 4090 dùng PCIe, không NVLink. "Tổng" là tổng token/s giải mã của mọi luồng; TTFT khi tải cao gồm cả thời gian xếp hàng.
How it works for a networkCách hoạt động trong một mạng
- 1ServePhục vụYou run the Idemcore engine with the network's model on your card and answer requests as usual.Bạn chạy engine Idemcore với model của mạng trên card của mình và trả lời yêu cầu như bình thường.
- 2ReplayPhát lạiA validator re-runs any answer on its own supported hardware.Validator chạy lại bất kỳ câu trả lời nào trên phần cứng được hỗ trợ của họ.
- 3Exact matchKhớp chính xácHonest work matches bit for bit; anything else does not. The open verifier lets anyone check.Làm đúng thì khớp từng bit; sai thì không. Công cụ kiểm chứng mở cho phép ai cũng kiểm được.
How to get itCách sử dụng
Free for miners. Every miner in a subnet that holds an Idemcore subnet license can run the engine at no cost.Miễn phí cho miner. Mọi miner trong subnet có giấy phép subnet Idemcore đều chạy được engine mà không mất phí.
Why it goes through the subnet: the engine runs entirely on your own card, but bit-exact verification only works when the subnet’s validators also run the Idemcore core. So access follows the subnet license: once your subnet is licensed, you and every other miner in it can use Idemcore.Vì sao đi qua subnet: engine chạy hoàn toàn trên card của chính bạn, nhưng việc kiểm chứng khớp từng bit chỉ hoạt động khi validator của subnet cũng chạy lõi Idemcore. Vì vậy quyền dùng gắn với giấy phép subnet: khi subnet của bạn có giấy phép, bạn và mọi miner khác trong subnet đều dùng được Idemcore.
Your subnet doesn’t have a license yet? Ask the subnet owner to contact dev@idemcore.net.Subnet của bạn chưa có giấy phép? Hãy đề nghị chủ subnet liên hệ dev@idemcore.net.
For subnet owners: the network / subnet license is $60K per subnet per year, one flat price with unlimited miners and validators and 1 model included, plus a 60-day pilot at $15K.Dành cho chủ subnet: giấy phép mạng / subnet là $60K mỗi subnet mỗi năm, một mức giá cố định, không giới hạn miner và validator, gồm 1 model, kèm thí điểm 60 ngày $15K.
For subnet owners and validators: Dành cho chủ subnet và validator: Verifiable Compute Networks →Mạng tính toán kiểm chứng được →