Bonnes décisions
0 %
- Talos 1.183 %
- Claude Opus 5.580 %
- GPT-6.1 Sol74 %
- Claude Sonnet 5.572 %
Échelle : de 70 % à 83 %
Le plus juste des quatre
Sur Security-Bench 1.3, Knolt-Talos 1.1 a pris la bonne décision dans 83 % des cas et repéré 75 % des incidents. Claude Opus 5.5 : 80 % et 69 %. Il décide en 0,24 s, sur votre propre GPU.
Chaque couloir dure le temps médian réel d’une décision. Knolt décide 7 fois plus vite que le plus rapide des autres, Claude Opus 5.5.
Sur les incidents repér és, les modèles de pointe restent loin derrière Knolt. Ce n’est que sur les bonnes décisions qu’ils s’en approchent.
| Mesure | Knolt-Talos 1.1Knolt | Claude Opus 5.5Anthropic | GPT-6.1 SolOpenAI | Claude Sonnet 5.5Anthropic |
|---|---|---|---|---|
| Bonnes décisions sur les incidents | 83 % | 80 % | 74 % | 72 % |
| Incidents repérés | 75 % | 69 % | 54 % | 51 % |
| Alertes qui étaient réelles | 88 % | 85 % | 86 % | 86 % |
| Moments ordinaires laissés tranquilles | 91 % | 89 % | 92 % | 92 % |
| Qualité du classement (AUC) | 91 % | 87 % | 85 % | 84 % |
| Temps d’une décision | 0,24 s | 1,71 s | 2,81 s | 1,91 s |
| Tourne sur votre propre GPU | Oui | Non | Non | Non |
Security-Bench 1.3 : de vraies images de caméras de sécurité et des scènes de sécurité mises en scène, avec des incidents et des moments ordinaires ou trompeurs. Chaque modèle a reçu les mêmes images et la même question.
Chaque échelle va du peloton jusqu’au score de Knolt, pour bien voir les écarts.
Bonnes décisions
0 %
Échelle : de 70 % à 83 %
Le plus juste des quatre
Incidents repérés
0 %
Échelle : de 45 % à 75 %
Le plus d’incidents repérés
Qualité du classement (AUC)
0 %
Échelle : de 80 % à 91 %
Le plus près d’un classement parfait
Alertes réelles
0 %
Échelle : de 80 % à 88 %
Le plus d’alertes réelles
Security-Bench 1.3 est le test de Knolt sur une seule question : est-ce un incident de sécurité?
Il mêle de vraies images de caméras de sécurité, prises pendant des vols qualifiés et des moments ordinaires, et de courtes scènes mises en scène, filmées comme par une caméra de sécurité : de vrais incidents, et des moments qui ne font qu’y ressembler, comme une accolade ou des papiers échappés.
On compte les bonnes décisions, les incidents repérés, les alertes qui étaient réelles, les moments ordinaires laissés tranquilles, et l’AUC : à quel point chaque modèle classe chaque incident au-dessus de chaque moment ordinaire.