In unserem Test mit 45 Anfragen an eine erfundene Physiotherapie-Praxis hat Clef-flash von Cloudflare 43 Anfragen richtig zugeordnet, das größere Clef 42, Strands Decider 2B von Amazon 38 und Laya von Convai 33. Eine Schlüsselwortregel kam auf 32, aber nur, weil sie für die ersten 30 Anfragen geschrieben war: Von 15 neuen Anfragen ordnete sie 4 richtig ein. Jev konnten wir nicht selbst messen, weil OpenRouter es im EU-Datenbereich nicht anbietet. In veröffentlichten Vergleichen liegt Jev etwa gleichauf mit Clef. Für deutschsprachige Kundenanfragen ist ein offenes Entscheidungsmodell damit eine ernsthafte Alternative, solange Sie es mit Ihren eigenen Daten prüfen.
Stand: 6. November 2026. Laya ist seit dem 18. September verfügbar, Clef seit dem 1. Oktober, Jev seit dem 14. Oktober in Version 1.14. Alle verstehen dasselbe Format aus Zustand und typisierten Fragen. Was Entscheidungsmodelle von Sprachmodellen wie Claude unterscheidet und was sie kosten, steht in Jev vs. LLM. Hier geht es nur um die Frage, wie gut sie Anfragen sortieren.
Das Ergebnis auf einen Blick
| Modell | Richtig zugeordnet | Davon neue Anfragen |
|---|---|---|
| Clef-flash (Cloudflare) | 43 von 45 | 14 von 15 |
| Clef (Cloudflare) | 42 von 45 | 14 von 15 |
| Strands Decider 2B (Amazon) | 38 von 45 | 12 von 15 |
| Laya (Convai) | 33 von 45 | 11 von 15 |
| Schlüsselwortregel | 32 von 45 | 4 von 15 |
| Jev (TypeSafe) | nicht gemessen | in fremden Tests nah an Clef |
So haben wir getestet
Wir haben 30 Nachrichten an eine erfundene Praxis geschrieben: 24 auf Deutsch, je 3 auf Englisch und Russisch, mit Tippfehlern, Ironie, Lob und Werbung. Für jede Nachricht stand vorab fest, in welche von fünf Kategorien sie gehört: Termin, Abrechnung, Behandlung, Beschwerde oder Sonstiges. Dazu kam eine zweite Frage: Muss die Praxis noch heute reagieren?
Danach haben wir eine einfache Regel mit Schlüsselwörtern wie „Rechnung“ oder „Schmerz“ geschrieben, so wie man sie in zehn Minuten baut. Erst dann entstanden 15 weitere Nachrichten, die weder die Regel noch die Fragen beeinflusst haben. Diese zurückgehaltenen Anfragen sind der ehrlichere Teil des Tests.
Alle Modelle bekamen dieselben Fragen in diesem Format, ohne Feintuning und ohne Beispiele:
{
"state": "Super, schon wieder eine Absage von Ihrer Seite. Dritter Termin in Folge. Toller Service.",
"questions": {
"kategorie": {
"type": "choice",
"instructions": "Worum geht es in der Nachricht an die Physiotherapie-Praxis?",
"criteria": {
"termin": "Termin vereinbaren, verschieben oder absagen",
"abrechnung": "Rezept, Verordnung, Rechnung, Zuzahlung, Krankenkasse, Gebühren",
"behandlung": "Fragen zu Beschwerden, Übungen, Ablauf oder Wirkung einer Behandlung",
"beschwerde": "Unzufriedenheit, Kritik an Personal, Wartezeit oder Service",
"sonstiges": "Öffnungszeiten, Anfahrt, Bewerbungen, Lob, Werbung und alles andere"
}
},
"dringend": {
"type": "noul",
"instructions": "Muss die Praxis noch heute reagieren, etwa weil ein Termin heute betroffen ist, eine Frist heute endet oder akute Beschwerden nach einer Behandlung auftreten?"
}
}
}
Laya und Strands Decider liefen lokal auf einem Mac mit M4-Chip und 24 GB Speicher, Clef und Clef-flash über Cloudflare Workers AI, gemessen von unserem Rechner in Deutschland. Die Grenzen des Tests: 45 Anfragen sind wenig, wir haben sie selbst geschrieben, und jedes Modell lief einmal. Bei zwei Anfragen kann man über die richtige Antwort streiten, dazu unten mehr.
Warum die Schlüsselwortregel nur auf dem Papier gut war
Auf den 30 Anfragen, nach denen sie geschrieben war, lag die Regel mit 28 Treffern fast gleichauf mit Clef. Auf den 15 neuen Anfragen fiel sie auf 4. „Könnten Sie mich für Mittwoch früh eintragen?“ enthält kein Wort wie „Termin“, „Die Physio-Verschreibung von Dr. Klein liegt bei mir“ kein „Rezept“. Die Modelle ohne Training verloren dagegen kaum: Clef-flash kam auf 29 von 30 und 14 von 15.
Dasselbe gilt für Prompts und Fragen, die Sie mit einem Modell abstimmen. Prüfen Sie das Ergebnis immer an Anfragen, die beim Formulieren niemand gesehen hat. Sonst messen Sie, wie gut die Regel Ihre Beispiele kennt, und nicht, wie gut sie den Alltag trifft.
Wo die Modelle sich unterschieden
| Anfrage | Richtig | Daneben lagen |
|---|---|---|
| „Super, schon wieder eine Absage von Ihrer Seite. Dritter Termin in Folge. Toller Service.“ | Beschwerde | Laya und Strands: Termin |
| „Ich habe 25 Minuten im Wartezimmer gesessen und dann hieß es, mein Termin sei gar nicht eingetragen. Unmöglich.“ | Beschwerde | Laya: Termin, Konfidenz 1,00 |
| „Danke für die tolle Betreuung bei Frau Weber, mein Knie ist wieder top!“ | Sonstiges | Laya und Strands: Behandlung |
| „Since this morning my lower back is locked and I can’t stand up straight. Can someone see me today?“ | Termin | Laya und Strands: Behandlung |
| „Ich hab den Termin heute vergessen, sorry! Muss ich jetzt eine Ausfallgebühr zahlen?“ | Abrechnung (strittig) | Alle Modelle: Termin |
| Russisch: „Mir wurde das Geld für abgesagte Stunden immer noch nicht erstattet.“ | Abrechnung (strittig) | Alle Modelle: Beschwerde |
Die letzten beiden Fälle haben wir in der Wertung gelassen, obwohl man sie anders sehen kann. Wer die Fragen für den eigenen Betrieb formuliert, sollte solche Grenzfälle in die Beschreibung der Kategorien schreiben, etwa „Ausfallgebühr gehört zur Abrechnung“.
Clef-flash: die meisten Treffer und ehrliche Unsicherheit
Clef-flash ordnete 43 von 45 Anfragen richtig zu und lag nie mit hoher Sicherheit falsch. Beide Fehler kamen mit einer Konfidenz unter 0,65. Bei 9 Anfragen meldete das Modell weniger als 0,5. Mit dieser Schwelle würden 9 von 45 Anfragen bei einem Menschen landen, darunter einer der beiden Fehler. Alle 10 dringenden Anfragen wurden erkannt, dazu kamen 2 Fehlalarme.
Laut Cloudflare kostet Clef-flash auf Workers AI 0,038 US-Dollar pro Million Eingabetokens, Ausgaben werden nicht berechnet. Der Median lag bei 0,18 Sekunden pro Anfrage, Netzwerk eingeschlossen. Die Gewichte sind unter Apache 2.0 veröffentlicht, das Modell hat aber 9 Milliarden Parameter. Cloudflare hat es auf einer H200-Grafikkarte getestet, auf einem Bürorechner läuft es nicht.
Clef: größer, aber hier nicht besser
Das große Clef traf 42 von 45 und fand ebenfalls alle dringenden Anfragen. Es war mit 0,31 Sekunden im Median langsamer und lag einmal mit 0,86 Konfidenz daneben, bei der strittigen Ausfallgebühr. Mit 0,24 US-Dollar pro Million Eingabetokens ist es mehr als sechsmal so teuer wie Clef-flash. Für das Sortieren kurzer Kundennachrichten bringt die größere Variante in unserem Test keinen Vorteil.
Strands Decider 2B: läuft auf dem Mac, stolpert über Ironie
Das Modell von AWS Strands Labs ordnete 38 von 45 Anfragen richtig zu. Es hielt die ironische Beschwerde für einen Terminwunsch und das Lob für eine Behandlungsfrage. Bei der Dringlichkeit war es vorsichtig: Mit der Schwelle 0,5 erkannte es nur 4 von 10 dringenden Anfragen, mit 0,4 schon 7, beide Male ohne Fehlalarm. Die Schwelle muss hier also auf eigenen Daten eingestellt werden.
Strands Decider ist unter Apache 2.0 veröffentlicht und braucht keinen Grafikserver. Unsere Anfragen kosteten auf dem M4 im Median 0,96 Sekunden. Wir haben die Variante --device mps genutzt; laut Hersteller ist MLX 1,4- bis 1,6-mal schneller. Die Daten verlassen dabei Ihren Rechner nicht.
Laya: schnell, aber auf Deutsch oft sicher falsch
Laya kam auf 33 von 45. Für deutsche und russische Texte wählte der eingebaute Router das mehrsprachige Modell mit 322 Millionen Parametern. Schwerer als die Trefferzahl wiegt die Art der Fehler: Dreimal lag Laya mit einer Konfidenz von mindestens 0,8 falsch, die Beschwerde über das Wartezimmer stufte es mit 1,00 als Terminanfrage ein. Solche Fehler fängt keine Schwelle ab.
Das deckt sich mit den Angaben von Convai: Ohne Feintuning erreichen die Laya-Modelle auf dem Typed-Decisions-Benchmark 0,342 bis 0,362. Eine eigens auf diese Aufgaben trainierte Fassung kommt auf 0,766 und damit über die 0,727, die Convai für Jev zitiert. Laya ist also eher ein Ausgangspunkt für ein eigenes Modell als eine fertige Lösung. Mit rund 0,1 Sekunden pro Anfrage auf dem Mac war es dafür mit Abstand das schnellste der getesteten Modelle.
Und Jev?
Jev ist geschlossen und läuft über die API von TypeSafe, die auch OpenRouter weiterreicht. Unser OpenRouter-Konto lässt nur den EU-Datenbereich zu, und dort lehnte OpenRouter am 6. November die Anfrage ab: Für Jev gibt es in dieser Region keinen Anbieter. Wer Daten nur in der EU verarbeiten will, muss das vor dem Einsatz direkt mit TypeSafe klären. TypeSafe nennt in der Dokumentation einen Auftragsverarbeitungsvertrag und Zero Data Retention für Enterprise-Kunden.
Für die Qualität bleiben fremde Messungen. Im Typed-Decisions-Benchmark kommt Jev 1.13 laut Convai auf 0,727, in einem unabhängigen Lauf vom 16. Oktober nach demselben Verfahren erreichten Clef 0,728 und Clef-flash 0,710. In der eigenen Tabelle von Cloudflare liegt Jev bei einer Aufgabe zu Werkzeugaufrufen vorn (80,97 gegenüber 72,37 für Clef) und bei Bankanfragen hinten (79,74 gegenüber 94,20). Jev und Clef liegen also nah beieinander, der Unterschied liegt eher beim Betrieb: Jev kostet 0,042 US-Dollar pro Million Eingabetokens und ist geschlossen, Clef-flash ist offen und etwas günstiger.
Welches Modell für welchen Fall
| Ausgangslage | Kandidat |
|---|---|
| Hohe Trefferquote ohne eigenes Training, Cloud ist in Ordnung | Clef-flash |
| Sie nutzen bereits Jev | Clef-flash parallel testen, es versteht laut Cloudflare die Jev-API |
| Daten dürfen das Haus nicht verlassen, kein Grafikserver | Strands Decider 2B mit eigener Schwelle |
| Viele Beispiele vorhanden, eigenes Modell gewünscht | Laya nach Feintuning |
| Die Kategorien lassen sich an festen Wörtern erkennen | Zuerst eine Regel, siehe Automatisierung ohne KI |
So wiederholen Sie den Test mit Ihren Daten
Nehmen Sie 50 bis 100 echte, anonymisierte Anfragen und notieren Sie vor dem Test, wohin jede gehört. Legen Sie weitere 20 Anfragen zur Seite, die Sie erst nach dem Formulieren der Fragen ansehen. Schreiben Sie Grenzfälle wie die Ausfallgebühr in die Beschreibung der Kategorien. Zählen Sie getrennt, wie oft ein Modell mit hoher Sicherheit falschliegt, denn diese Fehler landen ungeprüft beim falschen Team. Stellen Sie die Schwelle für „unsicher, bitte an einen Menschen“ auf diesen Daten ein und messen Sie die Antwortzeit aus Ihrer eigenen Infrastruktur.
Häufige Fragen
Ist Laya besser als Jev?
Nach Angaben von Convai ja, aber nur nach Feintuning: 0,766 gegenüber 0,727. Ohne Feintuning lag Laya in unserem Test hinter Clef und Strands Decider. Jev selbst konnten wir nicht messen.
Kann Clef Jev ersetzen?
Cloudflare gibt an, dass Clef die Jev-API versteht. In veröffentlichten Tests liegen beide nah beieinander, in unserem Test war Clef-flash das stärkste Modell. Ob das für Ihre Anfragen gilt, zeigt nur ein Vergleich mit Ihren Daten.
Welches Entscheidungsmodell läuft lokal auf einem Mac?
Laya und Strands Decider 2B liefen in unserem Test auf einem Mac mit M4-Chip. Clef-flash ist mit 9 Milliarden Parametern dafür zu groß.
Verstehen Entscheidungsmodelle deutsche Anfragen?
Clef und Clef-flash ordneten in unserem Test alle eindeutigen deutschen Anfragen richtig zu. Laya machte gerade bei deutscher Ironie und Kritik sichere Fehler. Testen Sie die Sprache Ihrer Kunden deshalb gezielt.
Was kostet Clef-flash?
Auf Workers AI 0,038 US-Dollar pro Million Eingabetokens, Ausgaben sind kostenlos. In unserer Rechnung für 100.000 Anfragen im Monat sind das 2,28 US-Dollar.
Wenn Sie wissen möchten, wie ein Entscheidungsmodell mit Ihren Kundenanfragen zurechtkommt, sprechen Sie mit uns über KI-Automatisierung mit LindenTech. Bringen Sie 30 bis 50 anonymisierte Anfragen mit und notieren Sie zu jeder, wohin sie gehört und was eine falsche Zuordnung kostet.