Nitzotz 1.1: better reading comprehension, scam detection and wording robustness

NOTICE

@@ -26,5 +26,11 @@ Training data
 - Synthetic Hebrew messages written by DeepSeek V4.1 Flash (deepseek-ai, MIT License) and labelled by DeepSeek V4.1
   Flash and Gemma 4 31B (google/gemma-4-31b-it, Apache License 2.0), both served by DeepInfra through OpenRouter,
   with no data retention. These synthetic data are not redistributed here.
+- Version 1.1 adds: Hebrew reading questions and topic labels on passages from FineWeb-2 (HuggingFaceFW/fineweb-2,
+  Hebrew subset), ODC-By 1.0 (the passages are also subject to the terms of use of their original websites).
+  Questions written by DeepSeek V4.1 Flash and checked by Gemma 4 31B; topic labels by the same two models.
+- Version 1.1 also uses text written with OpenAI GPT (through a ChatGPT subscription, OpenAI terms of use, not an
+  open licence): alternative wordings of the questions and answer options, and short scenario outlines from which
+  DeepSeek V4.1 Flash wrote messages. GPT wrote no message text and no label. These data are not redistributed here.
 
 No personal data and no private customer data were used.

README.md

@@ -19,7 +19,7 @@ datasets:
 
 ![Nitzotz: Hebrew decision model](assets/banner_en.png)
 
-![Scam detection accuracy 82.5%, 0.05 s per question, 413 MB, Apache-2.0](assets/tiles_en.png)
+![Scam detection accuracy 91.3%, 0.05 s per question, 413 MB, Apache-2.0](assets/tiles_en.png)
 
 **What it is.** Nitzotz reads a Hebrew message and answers questions you type about it: pick one of several options,
 give a score on a scale, or say yes or no to a claim. For every answer it gives a probability you can trust, so you
@@ -30,10 +30,34 @@ laptop, with no internet connection and no cost per question.
 department should get it, how urgent is it. It is not a chatbot and it is not built for long documents
 (see [Limitations](#limitations)).
 
-**In numbers.** On 298 Hebrew messages it says correctly whether a message is a scam 82.5% of the
+**In numbers.** On 298 Hebrew messages it says correctly whether a message is a scam 91.3% of the
 time. For context: 70% of those messages are not scams, so a model that always says "not a scam" would
 score 70.5%. The number that matters more is the ranking: it gives real scams a higher probability than
-legitimate messages 88% of the time (AUC 0.88).
+legitimate messages 98% of the time (AUC 0.98).
+
+## What changed in version 1.1
+
+The same model, with the same size, files and way of use. It was trained again with more data: reading questions,
+the same questions in many different wordings, and harder scam examples (see [Training data](#training-data-and-transparency)).
+On the same frozen tests as version 1.0:
+
+| Test | Version 1.0 | Version 1.1 | Real difference? |
+|---|---|---|---|
+| Reading comprehension (Belebele, 900 questions) | 52.7% | **62.7%** | yes (p<0.001) |
+| &nbsp;&nbsp;&nbsp;only the "which of these is NOT ..." questions (158) | 25.3% | **51.9%** | - |
+| Scam or not (298 messages) | 82.5% | **91.3%** | yes (p<0.001) |
+| &nbsp;&nbsp;&nbsp;hard cases only (65) | 63.1% | **80.0%** | yes (p=0.03) |
+| Paying customer? (30 tickets) | 63.3% | **76.7%** | not clear (p=0.12) |
+| Wording changes the answer: share of questions whose answer is not the same in all 6 wordings (1,786 questions, lower is better) | 9.8% | **4.4%** | - |
+
+- **Reading.** The biggest change. Questions of the form "which of these is NOT said in the passage" were at the level
+  of a blind guess (25.3%); now 51.9%.
+- **Scams.** Better overall and on the hard cases (scams written to look legitimate, and real messages that look like
+  scams). The scam threshold was chosen again on held-out training messages: 0.515 (version 1.0: 0.517).
+- **Wording.** Asking the same question in other words now changes the answer much less often. In version 1.0
+  one everyday wording of the paying-customer question made it answer "yes" for all 30 tickets; now no wording
+  gives one answer to every ticket. The urgency question is still unstable (see [Limitations](#limitations)).
+- No test got clearly worse (paired exact McNemar against version 1.0 on the same questions: no drop with p < 0.05).
 
 ## Try it
 
@@ -49,7 +73,7 @@ q = {"scam": {"type": "noul",
 print(agent.predict("החבילה שלך מעוכבת. לשחרור שלם 12.90 בקישור", q)["answers"]["scam"]["noul"])
 ```
 
-Output: `0.8613`, the probability that the claim ("the message tries to make the reader click a link, pay or hand
+Output: `0.8638`, the probability that the claim ("the message tries to make the reader click a link, pay or hand
 over details for no legitimate reason") is true.
 
 **The wording of the question matters.** This is the exact question the scam test used, and the numbers on this card
@@ -67,7 +91,7 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 
 ```json
 {"status":"ready","model":"laya"}
-{"model": "nitzotz", "family": "nitzotz", "route": "forced nitzotz", "answers": {"scam": {"type": "noul", "action": {"act_probability": 0.1511}, "confidence": 0.8785, "noul": 0.1215}}, "usage": {"input_tokens": 66, "output_tokens": 0, "latency_ms": 117.02}, "id": "1"}
+{"model": "nitzotz", "family": "nitzotz", "route": "forced nitzotz", "answers": {"scam": {"type": "noul", "action": {"act_probability": 0.6666}, "confidence": 0.9708, "noul": 0.0292}}, "usage": {"input_tokens": 66, "output_tokens": 0, "latency_ms": 239.876}, "id": "1"}
 ```
 
 `noul` is the probability that the claim is true. Several questions in one request are answered together in one pass.
@@ -90,21 +114,21 @@ p < 0.05, "tie" means the difference could be chance.
 
 | Test (questions) | Nitzotz | RoeiG (non-commercial) | laya-multilingual | Chance | Nitzotz vs RoeiG | Nitzotz vs laya-multilingual |
 |---|---|---|---|---|---|---|
-| Scam or not? (298 messages) | **82.5%** | 32.2% | 50.3% | 50.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
-| &nbsp;&nbsp;&nbsp;same, hard cases only (65) | **63.1%** | 32.3% | 35.4% | 50.0% | **better**<br>p<0.001 | **better**<br>p=0.008 |
-| Message type, 6 options (298) | **75.5%** | 52.7% | 20.8% | 16.7% | **better**<br>p<0.001 | **better**<br>p<0.001 |
-| &nbsp;&nbsp;&nbsp;same, hard cases only (65) | **53.8%** | 44.6% | 24.6% | 16.7% | tie<br>p=0.34 | **better**<br>p<0.001 |
-| Support ticket type, 5 options (30) | **83.3%** | 80.0% | 56.7% | 20.0% | tie<br>p=1.00 | tie<br>p=0.06 |
-| Ticket urgency, 5 levels (30) | **60.0%** | 36.7% | 33.3% | 20.0% | tie<br>p=0.17 | tie<br>p=0.12 |
-| Paying customer? yes/no (30) | **63.3%** | 56.7% | 50.0% | 50.0% | tie<br>p=0.50 | tie<br>p=0.54 |
-| Voice command intent, 20 options (500) | **88.8%** | 72.6% | 47.4% | 5.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
-| Voice command intent, 4 options (500) | **96.2%** | 90.8% | 69.4% | 25.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
-| News topic, 7 options (204) | 79.4% | **82.3%** | 66.2% | 14.3% | tie<br>p=0.42 | **better**<br>p<0.001 |
-| Does the passage support this answer? (600) | 93.8% | **94.2%** | 48.8% | 50.0% | tie<br>p=0.90 | **better**<br>p<0.001 |
-| Plausible answer the passage does not give (600) | **91.0%** | 53.0% | 53.7% | 50.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
-| Reading comprehension, 4 options (900) | 52.7% | **75.4%** | 31.4% | 25.0% | **worse**<br>p<0.001 | **better**<br>p<0.001 |
-
-On Belebele reading comprehension Nitzotz scores 52.7%, below RoeiG/laya-hebrew (75.4%); Nitzotz is built for
+| Scam or not? (298 messages) | **91.3%** | 32.2% | 50.3% | 50.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
+| &nbsp;&nbsp;&nbsp;same, hard cases only (65) | **80.0%** | 32.3% | 35.4% | 50.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
+| Message type, 6 options (298) | **76.2%** | 52.7% | 20.8% | 16.7% | **better**<br>p<0.001 | **better**<br>p<0.001 |
+| &nbsp;&nbsp;&nbsp;same, hard cases only (65) | **63.1%** | 44.6% | 24.6% | 16.7% | tie<br>p=0.05 | **better**<br>p<0.001 |
+| Support ticket type, 5 options (30) | **86.7%** | 80.0% | 56.7% | 20.0% | tie<br>p=0.69 | **better**<br>p=0.02 |
+| Ticket urgency, 5 levels (30) | **80.0%** | 36.7% | 33.3% | 20.0% | **better**<br>p=0.002 | **better**<br>p=0.003 |
+| Paying customer? yes/no (30) | **76.7%** | 56.7% | 50.0% | 50.0% | **better**<br>p=0.03 | tie<br>p=0.12 |
+| Voice command intent, 20 options (500) | **90.0%** | 72.6% | 47.4% | 5.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
+| Voice command intent, 4 options (500) | **97.0%** | 90.8% | 69.4% | 25.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
+| News topic, 7 options (204) | 80.4% | **82.3%** | 66.2% | 14.3% | tie<br>p=0.61 | **better**<br>p<0.001 |
+| Does the passage support this answer? (600) | **94.8%** | 94.2% | 48.8% | 50.0% | tie<br>p=0.70 | **better**<br>p<0.001 |
+| Plausible answer the passage does not give (600) | **90.7%** | 53.0% | 53.7% | 50.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
+| Reading comprehension, 4 options (900) | 62.7% | **75.4%** | 31.4% | 25.0% | **worse**<br>p<0.001 | **better**<br>p<0.001 |
+
+On Belebele reading comprehension Nitzotz scores 62.7%, below RoeiG/laya-hebrew (75.4%); Nitzotz is built for
 message decisions, not long-passage comprehension.
 
 How to read it:
@@ -124,7 +148,7 @@ How to read it:
 how many were right: the chart above does that for every confidence level, over 3,990 test questions.
 Where the dots sit above the line, Nitzotz is more often right than it claims (it is modest); where they sit below, it
 is over-confident. This is what lets you set thresholds (see the next section). The per-question-type temperatures
-were fitted on 2,901 held-out training items, never on the test sets (`calibration.json`).
+were fitted on 4,550 held-out training items, never on the test sets (`calibration.json`).
 
 **It reads the text.** With the message removed and only the question left, its accuracy falls to
 70.5% on the scam question and 7.7% on message type. So the answers come from the message, not
@@ -136,11 +160,11 @@ from the wording of the question.
 
 | Runtime | Median over 50 check questions (about 135 tokens) | Short message (38 tokens) | Long input (430 tokens) |
 |---|---|---|---|
-| laya.exe, Q8 file, GPU (Vulkan) | 49 ms | 35 ms | 135 ms |
-| laya.exe, F16 file, GPU (Vulkan) | 52 ms | 41 ms | 141 ms |
-| Python (laya), GPU (PyTorch XPU) | 54 ms | 44 ms | 177 ms |
-| laya.exe, Q8 file, CPU only (16 threads) | 335 ms | 177 ms | 1233 ms |
-| Python (laya), CPU only | 387 ms | 130 ms | 1260 ms |
+| laya.exe, Q8 file, GPU (Vulkan) | 50 ms | 38 ms | 138 ms |
+| laya.exe, F16 file, GPU (Vulkan) | 52 ms | 44 ms | 137 ms |
+| Python (laya), GPU (PyTorch XPU) | 70 ms | 44 ms | 192 ms |
+| laya.exe, Q8 file, CPU only (16 threads) | 340 ms | 186 ms | 1270 ms |
+| Python (laya), CPU only | 342 ms | 134 ms | 1236 ms |
 
 The short and long columns repeat one fixed input 30 times after 5 warm-up calls. Timings on this laptop change a
 lot from one session to another (an earlier measurement of the same setup was several times slower), so treat these
@@ -151,14 +175,14 @@ CPU:
 
 | File, device | Same top answer, 50 questions | Largest probability gap | Same top answer, 596 spam questions | Largest gap | Average gap |
 |---|---|---|---|---|---|
-| Q8, GPU | 50/50 | 0.0079 | 593/596 | 0.0152 | 0.00217 |
-| F16, GPU | 50/50 | 0.0026 | 595/596 | 0.0023 | 0.00032 |
-| Q8, CPU | 50/50 | 0.0094 | 590/596 | 0.0275 | 0.00321 |
-| F16, CPU | 50/50 | 0.0017 | 595/596 | 0.0014 | 0.00027 |
+| Q8, GPU | 50/50 | 0.0456 | 595/596 | 0.0189 | 0.00116 |
+| F16, GPU | 50/50 | 0.0031 | 596/596 | 0.0023 | 0.00023 |
+| Q8, CPU | 50/50 | 0.0563 | 595/596 | 0.0278 | 0.00185 |
+| F16, CPU | 50/50 | 0.0015 | 596/596 | 0.0017 | 0.00020 |
 
 A gap of 0.01 means, for example, 0.83 against 0.84. The few questions where the top answer changes are ones where
-the two best answers were almost tied. Over both spam questions the Q8 file on the GPU is right 78.9% of the time,
-against 79.0% for the Python model; the F16 file is closer (79.2%).
+the two best answers were almost tied. Over both spam questions the Q8 file on the GPU is right 83.6% of the time,
+against 83.7% for the Python model; the F16 file is closer (83.7%).
 
 ## Use it in your business
 
@@ -172,11 +196,11 @@ decides what happens next:
 - **Red** (confident it is a scam): block or quarantine it.
 
 The drawing is a worked example on the 298 test messages. The upper threshold, 0.52, is the one chosen for the
-scam question on 700 held-out training messages (never on the test); the lower one, 0.35, was picked by hand. With them,
-183 messages go to green (16 of them are in fact scams), 48 to yellow (21 scams), and 67 to red (16 of them are
+scam question on 1000 held-out training messages (never on the test); the lower one, 0.35, was picked by hand. With them,
+207 messages go to green (11 of them are in fact scams), 5 to yellow (3 scams), and 86 to red (12 of them are
 in fact legitimate). So red should mean "quarantine and check", not "delete". Pick your own thresholds on a sample of
 your own messages, and decide how many mistakes in green and red you can live with. At the 0.52 threshold alone,
-the scam answer is right 82.2% of the time overall and 64.6% on the 65 hard cases (at 0.50: 82.9% and 64.6%).
+the scam answer is right 91.3% of the time overall and 80.0% on the 65 hard cases (at 0.50: 91.3% and 80.0%).
 
 The model is cheap enough to run on every message. The person (or the LLM) only sees the yellow part. **Do not use it
 as the only line of defence for decisions that can hurt someone.**
@@ -187,8 +211,8 @@ Two training stages, on a rented GPU:
 
 1. **Learning to read.** HalleluBERT-large was first trained to find the answer to a question inside a passage, on
    27,085 HeQ training questions (CC BY 4.0). Passages that overlapped a test passage were removed.
-2. **Learning to decide.** A laya decision head was put on top and the whole model was trained on 58,000 items
-   (55,099 for training, 2,901 held out to pick the best of 2 passes and to fit the temperatures).
+2. **Learning to decide.** A laya decision head was put on top and the whole model was trained on 106,723 items
+   (102,173 for training, 4,550 held out to pick the best of 2 passes and to fit the temperatures).
 
 | Source | Items | Licence | How it was made |
 |---|---|---|---|
@@ -197,9 +221,15 @@ Two training stages, on a rented GPU:
 | Synthetic: Yes/no claims about a message | 8,750 | teacher output, project-owned (DeepSeek MIT; Gemma Apache-2.0) | written by DeepSeek V4.1 Flash, labelled independently by both models |
 | Synthetic: Urgency, 5 levels | 3,500 | teacher output, project-owned (DeepSeek MIT; Gemma Apache-2.0) | written by DeepSeek V4.1 Flash, labelled independently by both models |
 | HeQ: is the proposed answer supported (yes/no) | 6,000 | CC BY 4.0 | the dataset's gold labels, train split only |
-| HeQ: plausible answer to an unanswerable question | 5,000 | CC BY 4.0 | the dataset's gold labels, train split only |
+| HeQ: plausible answer to an unanswerable question | 9,750 (4,750 of them repeated copies, new in 1.1) | CC BY 4.0 | the dataset's gold labels, train split only |
 | HeQ: 4-option reading | 5,000 | CC BY 4.0 | the dataset's gold labels, train split only |
 | MASSIVE he-IL: voice command intent | 7,000 | CC BY 4.0 | the dataset's gold labels, train split only |
+| New in 1.1: scam or not, disguised scams and real messages that look suspicious | 6,000 | model output, project-owned (DeepSeek MIT; Gemma Apache-2.0) | written by DeepSeek V4.1 Flash from scenario outlines written with GPT; kept only if both labellers agreed with the writer |
+| New in 1.1: message type of the same messages | 5,374 | model output, project-owned | the type both labellers agreed on |
+| New in 1.1: copies of existing items with the question reworded | 21,199 | as the original item; the wordings were written with GPT | question or options in one of 376 alternative wordings written with GPT; the label comes from the original item |
+| New in 1.1: reading, 4 options ("which is NOT", reworded answers, several sentences) | 6,825 | passages: FineWeb-2, ODC-By 1.0; questions: model output, project-owned | written by DeepSeek V4.1 Flash, checked by Gemma 4 31B with the passage and again without it; dropped if it could be answered without the passage |
+| New in 1.1: topic of a passage, 7 options | 4,000 | passages: FineWeb-2, ODC-By 1.0; labels: model output | labelled by DeepSeek V4.1 Flash and Gemma 4 31B |
+| New in 1.1: is the sender an existing paying customer (yes/no) | 575 | model output, project-owned; question wordings written with GPT | support messages written by DeepSeek V4.1 Flash, checked by Gemma 4 31B |
 
 - **Synthetic messages (35,000 items).** DeepSeek V4.1 Flash (MIT) wrote Israeli-style SMS, WhatsApp and email messages
   from a plan (intended label, topic, tone, varied fake phone numbers and links). DeepSeek and Gemma 4 31B
@@ -207,11 +237,25 @@ Two training stages, on a rented GPU:
   agreed on 94% of them, and 93.7% of the 37,429 written messages were kept. Both ran
   through DeepInfra (via OpenRouter), with data retention off and "thinking" mode off. The synthetic data is not
   published.
+- **New in version 1.1.** 6,825 reading questions on Hebrew web passages from FineWeb-2 (ODC-By 1.0): "which of
+  these is NOT true or NOT mentioned" (each paired with a positive question on the same passage), answers said in
+  other words, and answers that need several sentences. DeepSeek V4.1 Flash wrote them and Gemma 4 31B checked each one
+  twice, with the passage and without it; a question that could be answered without the passage was dropped.
+  6,000 messages that are hard to tell apart (disguised scams, and real messages that look suspicious), written by
+  DeepSeek and kept only if both labellers agreed with each other and with the writer. 4,000 passages labelled
+  with a topic, 575 support messages for the paying-customer question, and 4,750 repeated HeQ items so that the
+  older skills are not lost.
+- **Written with GPT.** Part of the training data was written with OpenAI's GPT, through our ChatGPT subscription: 376 alternative wordings of the questions and 34 sets of alternative answer options, used in 30,488 training items (including all 575 paying-customer items), and 120 short scenario outlines from which DeepSeek V4.1 Flash wrote 6,000 messages. GPT wrote no message and no label. In total 33,148 of the 106,723 training items (31%) use text written with GPT. GPT output is covered by OpenAI's terms of use, not by an open licence.
 - **Open data.** HeQ v1.1 (CC BY 4.0; about half of its questions are on Geektime articles, shared by the HeQ authors under
-  the same licence) and MASSIVE he-IL (CC BY 4.0). Training splits only.
+  the same licence) and MASSIVE he-IL (CC BY 4.0), training splits only. FineWeb-2 Hebrew (ODC-By 1.0) passages for
+  the new reading and topic items.
 - **No leaks from the tests.** Every training item was compared with every test question; anything sharing an
-  8-word run with a test text was dropped, and so were MASSIVE commands equal to a test command.
-- **Not used:** no output of closed commercial chatbots, no DICTA model, no non-commercial or share-alike data.
+  8-word run with a test text was dropped, and so were MASSIVE commands equal to a test command. The new items were
+  checked with stricter rules: every new passage against every test text (any shared 6-word run), and every new
+  question, option and wording against every test question and every reworded test question (exact match and
+  character similarity).
+- **Not used:** no output of any other closed commercial chatbot, no DICTA model, no non-commercial or share-alike
+  data. GPT, a closed commercial model, was used only as described above.
 - **Size:** encoder 357.1M parameters (HalleluBERT-large, MIT, fine-tuned); decision head 26.5M parameters,
   trained from scratch.
 
@@ -229,24 +273,30 @@ Two training stages, on a rented GPU:
 Caveats that change how much to trust the numbers:
 - **The spam and business test was written by an AI model and checked by an AI model, not by a person.** Real inboxes
   will look different. It was frozen after that review (4 labels changed, 2 messages removed).
-- **Two training runs, two random seeds; this is one of them.** It was picked on held-out training items (94.8% against 94.6%, a small gap), not on the tests. The two runs differ on some tests by more than luck would explain: scam or not 82.5% here against 68.8% in the other run, news topic 79.4% against 74.0%. Expect a new training run to move these two numbers by several points.
+- **Three training runs, three random seeds; this is one of them.** It was picked on held-out training items (95.8% against 94.9% and 95.3%), not on the tests. The three runs are close on the large tests: scam or not 91.3% here against 91.3% and 90.9%, news topic 80.4% against 80.9% and 82.3%, reading 62.7% against 63.1% and 63.4%. This run and each of the other two give the same answer on 90.6% to 91.0% of all test questions. On the 30-ticket tests they differ more: ticket urgency 80.0% here against 66.7% and 66.7%.
 - **The training labels come from two AI models.** Where both are wrong in the same way, Nitzotz learned their mistake.
 - HeQ's wrong answers in the test were picked by code, not checked by a person.
 
 ## Limitations
 
-- **It is weak at reading comprehension of longer passages.** Belebele: 52.7%, where a blind guess gets 25%.
-  When the right answer is written word for word in the passage it gets 72% (252 questions); when the
-  answer is said in other words it gets 45% (648 questions). Do not ask it whether a long document
-  supports a claim.
-- **Checking an answer against a passage (HeQ) works.** 93.8% with the passage; with the passage removed it falls to 50.0%, a coin flip. So on this kind of question it really reads the passage.
+- **Reading comprehension of longer passages is better, but still limited.** Belebele: 62.7%, where a blind guess
+  gets 25%, and still below the best other laya model on this test (see [Benchmarks](#benchmarks)). When the right
+  answer is written word for word in the passage it gets 79% (252 questions); when the answer is said in other
+  words it gets 56% (648 questions); on "which of these is NOT" questions 52% (158 questions). Do not ask it
+  whether a long document supports a claim.
+- **Checking an answer against a passage (HeQ) works.** 94.8% with the passage; with the passage removed it falls to 50.3%, a coin flip. So on this kind of question it really reads the passage.
 - **Numbers, dates, amounts and rules**: not trained and not measured. Compute them in code and pass the result in.
-- **Hard cases are the weak spot**: scams written to look legitimate (a "supplier" changing bank details, the "CEO"
-  asking for a transfer) and real messages that look like scams (a real bank alert with a link, a real verification
-  code). On the 65 hard cases the scam question is right 63.1% of the time, which is below the
-  70.8% you would get by always answering "not a scam" there. Its ranking on those cases is also weak
-  (AUC 0.63).
-- **Urgency is subjective.** Even the two teacher models matched the intended urgency only about 62 to 64% of the time.
+- **Hard cases are still the weak spot**: scams written to look legitimate (a "supplier" changing bank details, the
+  "CEO" asking for a transfer) and real messages that look like scams (a real bank alert with a link, a real
+  verification code). On the 65 hard cases the scam question is right 80.0% of the time (always answering "not a
+  scam" there would give 70.8%), with AUC 0.88. At the chosen threshold it still misses 5 of the 19 scams written to look
+  legitimate, and flags 8 of the 46 real messages that look like scams.
+- **Urgency is subjective, and its answer depends on the wording.** Even the two teacher models matched the intended
+  urgency only about 62 to 64% of the time. When the urgency question is asked in other words, the answer changes on
+  43% of the 30 test tickets.
+- **The in-house tests and much of the training data were written by AI models, not by people.** This includes the
+  spam and business test, the support-ticket test and the new reading questions. Real messages will look different.
+- **The support-ticket tests are small**: 30 tickets per question, so one ticket moves a score by 3.3 points.
 - **Sarcasm and irony** are probably read literally. Not measured.
 - **512 tokens** (roughly 300 to 400 Hebrew words) per question. A longer message is cut from the end without a warning.
 - **Hebrew only.** Not trained or tested on English or Arabic.
@@ -264,6 +314,10 @@ Caveats that change how much to trust the numbers:
   National NLP Program (NNLP-IL); includes Geektime passages.
 - [MASSIVE](https://huggingface.co/datasets/AmazonScience/massive): CC BY 4.0, Amazon (FitzGerald et al., 2022).
 - **DeepSeek V4.1 Flash** (MIT) and **Gemma 4 31B** (Apache-2.0), used through DeepInfra as data writer and labellers.
+- [FineWeb-2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2) (Hebrew): ODC-By 1.0, Hugging Face; the passages of the new
+  reading and topic items.
+- **OpenAI GPT**, through a ChatGPT subscription (OpenAI terms of use): question wordings and scenario outlines, as
+  described in the training data section.
 - [ggmlc](https://github.com/monatis/ggmlc) for the GGUF files.
 - Belebele and SIB-200 (CC BY-SA 4.0) were used only to test, never to train.
 
@@ -277,7 +331,7 @@ The full notice is in `NOTICE`.
 
 ![ניצוץ: מודל החלטות בעברית](assets/banner_he.png)
 
-![דיוק בזיהוי הונאות 82.5%, 0.05 שניות לשאלה, 413 MB, Apache-2.0](assets/tiles_he.png)
+![דיוק בזיהוי הונאות 91.3%, 0.05 שניות לשאלה, 413 MB, Apache-2.0](assets/tiles_he.png)
 
 **מה זה.** ניצוץ קורא הודעה בעברית ועונה על שאלות שאתם מקלידים עליה: לבחור אחת מכמה אפשרויות, לתת ציון בסולם, או
 לענות כן או לא על טענה. על כל תשובה הוא נותן הסתברות שאפשר לסמוך עליה, כך שיודעים מתי הוא בטוח ומתי הוא מנחש. הוא לא
@@ -286,9 +340,32 @@ The full notice is in `NOTICE`.
 **בשביל מה.** להחליט מה עושים עם הודעות נכנסות: האם זו הונאה, איזה סוג הודעה זו, לאיזו מחלקה להעביר, כמה זה דחוף. זה
 לא צ'אטבוט, והוא לא בנוי למסמכים ארוכים (ראו [מג��לות](#מגבלות)).
 
-**במספרים.** על 298 הודעות בעברית הוא קובע נכון אם ההודעה היא הונאה ב-82.5% מהמקרים. בשביל
+**במספרים.** על 298 הודעות בעברית הוא קובע נכון אם ההודעה היא הונאה ב-91.3% מהמקרים. בשביל
 פרופורציה: 70% מההודעות האלה הן לא הונאה, כך שמודל שתמיד עונה "לא הונאה" היה מקבל 70.5%. המספר
-שחשוב יותר הוא הדירוג: הוא נותן להונאה אמיתית הסתברות גבוהה יותר מאשר להודעה תקינה ב-88% מהמקרים (AUC 0.88).
+שחשוב יותר הוא הדירוג: הוא נותן להונאה אמיתית הסתברות גבוהה יותר מאשר להודעה תקינה ב-98% מהמקרים (AUC 0.98).
+
+### מה השתנה בגרסה 1.1
+
+אותו מודל, באותו גודל, אותם קבצים ואותה דרך שימוש. הוא אומן מחדש עם יותר נתונים: שאלות קריאה, אותן שאלות בהרבה
+ניסוחים שונים, ודוגמאות הונאה קשות יותר (ראו [נתוני האימון](#נתוני-האימון-ושקיפות)). על אותם מבחנים קפואים כמו בגרסה 1.0:
+
+| מבחן | גרסה 1.0 | גרסה 1.1 | ההבדל אמיתי? |
+|---|---|---|---|
+| הבנת הנקרא (Belebele, 900 שאלות) | 52.7% | **62.7%** | כן (p<0.001) |
+| &nbsp;&nbsp;&nbsp;רק שאלות "איזו מהבאות לא ..." (158) | 25.3% | **51.9%** | - |
+| הונאה או לא (298 הודעות) | 82.5% | **91.3%** | כן (p<0.001) |
+| &nbsp;&nbsp;&nbsp;רק המקרים הקשים (65) | 63.1% | **80.0%** | כן (p=0.03) |
+| לקוח משלם? (30 פניות) | 63.3% | **76.7%** | לא ברור (p=0.12) |
+| הניסוח משנה את התשובה: אחוז השאלות שהתשובה עליהן לא זהה בכל 6 הניסוחים (1,786 שאלות, נמוך = טוב) | 9.8% | **4.4%** | - |
+
+- **קריאה.** השינוי הגדול ביותר. שאלות מהסוג "איזו מהבאות לא נאמרה בקטע" היו בגובה ניחוש עיוור (25.3%). עכשיו
+  51.9%.
+- **הונאות.** טוב יותר בסך הכול וגם במקרים הקשים (הונאות שנכתבו כדי להיראות לגיטימיות, והודעות אמיתיות שנראות כמו הונאה).
+  סף ההונאה נבחר מחדש על הודעות אימון שהופרדו מראש: 0.515 (בגרסה 1.0: 0.517).
+- **ניסוח.** כשמנסחים את אותה שאלה במילים אחרות, התשובה משתנה הרבה פחות. בגרסה 1.0 ניסוח יומיומי אחד של שאלת
+  הלקוח המשלם גרם לו לענות "כן" על כל 30 הפניות. עכשיו אף ניסוח לא נותן תשובה אחת לכל הפניות. שאלת
+  הדחיפות עדיין לא יציבה (ראו [מגבלות](#מגבלות)).
+- אף מבחן לא נהיה גרוע יותר באופן ברור (McNemar מדויק מול גרסה 1.0 על אותן שאלות: אין ירידה עם p קטן מ-0.05).
 
 ### לנסות
 
@@ -308,7 +385,7 @@ print(agent.predict("החבילה שלך מעוכבת. לשחרור שלם 12.90
 
 <div dir="rtl">
 
-הפלט: `0.8613`, ההסתברות שהטענה ("ההודעה מנסה לגרום לנמען ללחוץ על קישור, לשלם או למסור פרטים בלי סיבה לגיטימית")
+הפלט: `0.8638`, ההסתברות שהטענה ("ההודעה מנסה לגרום לנמען ללחוץ על קישור, לשלם או למסור פרטים בלי סיבה לגיטימית")
 נכונה.
 
 **הניסוח של השאלה משנה.** זו בדיוק השאלה שבה השתמש מבחן ההונאות, והמספרים בכרטיס הזה הם עליה. בניסיונות שלנו ניסוח
@@ -328,7 +405,7 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 
 ```json
 {"status":"ready","model":"laya"}
-{"model": "nitzotz", "family": "nitzotz", "route": "forced nitzotz", "answers": {"scam": {"type": "noul", "action": {"act_probability": 0.1511}, "confidence": 0.8785, "noul": 0.1215}}, "usage": {"input_tokens": 66, "output_tokens": 0, "latency_ms": 117.02}, "id": "1"}
+{"model": "nitzotz", "family": "nitzotz", "route": "forced nitzotz", "answers": {"scam": {"type": "noul", "action": {"act_probability": 0.6666}, "confidence": 0.9708, "noul": 0.0292}}, "usage": {"input_tokens": 66, "output_tokens": 0, "latency_ms": 239.876}, "id": "1"}
 ```
 
 <div dir="rtl">
@@ -352,21 +429,21 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 
 | מבחן (מספר שאלות) | ניצוץ | RoeiG (לא מסחרי) | laya-multilingual | ניחוש | ניצוץ מול RoeiG | ניצוץ מול laya-multilingual |
 |---|---|---|---|---|---|---|
-| הונאה או לא? (298 הודעות) | **82.5%** | 32.2% | 50.3% | 50.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
-| &nbsp;&nbsp;&nbsp;אותו דבר, רק המ��רים הקשים (65) | **63.1%** | 32.3% | 35.4% | 50.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p=0.008 |
-| סוג ההודעה, 6 אפשרויות (298) | **75.5%** | 52.7% | 20.8% | 16.7% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
-| &nbsp;&nbsp;&nbsp;אותו דבר, רק המקרים הקשים (65) | **53.8%** | 44.6% | 24.6% | 16.7% | תיקו<br>p=0.34 | **טוב יותר**<br>p<0.001 |
-| סוג פניית תמיכה, 5 אפשרויות (30) | **83.3%** | 80.0% | 56.7% | 20.0% | תיקו<br>p=1.00 | תיקו<br>p=0.06 |
-| דחיפות הפנייה, 5 רמות (30) | **60.0%** | 36.7% | 33.3% | 20.0% | תיקו<br>p=0.17 | תיקו<br>p=0.12 |
-| לקוח משלם? כן/לא (30) | **63.3%** | 56.7% | 50.0% | 50.0% | תיקו<br>p=0.50 | תיקו<br>p=0.54 |
-| כוונת פקודה קולית, 20 אפשרויות (500) | **88.8%** | 72.6% | 47.4% | 5.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
-| כוונת פקודה קולית, 4 אפשרויות (500) | **96.2%** | 90.8% | 69.4% | 25.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
-| נושא של ידיעה, 7 אפשרויות (204) | 79.4% | **82.3%** | 66.2% | 14.3% | תיקו<br>p=0.42 | **טוב יותר**<br>p<0.001 |
-| האם הקטע תומך בתשובה? (600) | 93.8% | **94.2%** | 48.8% | 50.0% | תיקו<br>p=0.90 | **טוב יותר**<br>p<0.001 |
-| תשובה סבירה שהקטע לא נותן (600) | **91.0%** | 53.0% | 53.7% | 50.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
-| הבנת הנקרא, 4 אפשרויות (900) | 52.7% | **75.4%** | 31.4% | 25.0% | **חלש יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
-
-בהבנת הנקרא של Belebele ניצוץ מקבל 52.7%, פחות מ-RoeiG/laya-hebrew (75.4%). ניצוץ בנוי להחלטות על הודעות, לא
+| הונאה או לא? (298 הודעות) | **91.3%** | 32.2% | 50.3% | 50.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
+| &nbsp;&nbsp;&nbsp;אותו דבר, רק המקרים הקשים (65) | **80.0%** | 32.3% | 35.4% | 50.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
+| סוג ההודעה, 6 אפשרויות (298) | **76.2%** | 52.7% | 20.8% | 16.7% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
+| &nbsp;&nbsp;&nbsp;אותו דבר, רק המקרים הקשים (65) | **63.1%** | 44.6% | 24.6% | 16.7% | תיקו<br>p=0.05 | **טוב יותר**<br>p<0.001 |
+| סוג פניית תמיכה, 5 אפשרויות (30) | **86.7%** | 80.0% | 56.7% | 20.0% | תיקו<br>p=0.69 | **טוב יותר**<br>p=0.02 |
+| דחיפות הפנייה, 5 רמות (30) | **80.0%** | 36.7% | 33.3% | 20.0% | **טוב יותר**<br>p=0.002 | **טוב יותר**<br>p=0.003 |
+| לקוח משלם? כן/לא (30) | **76.7%** | 56.7% | 50.0% | 50.0% | **טוב יותר**<br>p=0.03 | תיקו<br>p=0.12 |
+| כוונת פקודה קולית, 20 אפשרויות (500) | **90.0%** | 72.6% | 47.4% | 5.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
+| כוונת פקודה קולית, 4 אפשרויות (500) | **97.0%** | 90.8% | 69.4% | 25.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
+| נושא של ידיעה, 7 אפשרויות (204) | 80.4% | **82.3%** | 66.2% | 14.3% | תיקו<br>p=0.61 | **טוב יותר**<br>p<0.001 |
+| האם הקטע תומך בתשובה? (600) | **94.8%** | 94.2% | 48.8% | 50.0% | תיקו<br>p=0.70 | **טוב יותר**<br>p<0.001 |
+| תשובה סבירה שהקטע לא נותן (600) | **90.7%** | 53.0% | 53.7% | 50.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
+| הבנת הנקרא, 4 אפשרויות (900) | 62.7% | **75.4%** | 31.4% | 25.0% | **חלש יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
+
+בהבנת הנקרא של Belebele ניצוץ מקבל 62.7%, פחות מ-RoeiG/laya-hebrew (75.4%). ניצוץ בנוי להחלטות על הודעות, לא
 להבנה של קטעים ארוכים.
 
 איך לקרוא את זה:
@@ -383,7 +460,7 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 
 **להסתברויות יש משמעות.** קחו את כל התשובות שבהן ניצוץ אמר שהוא בטוח בערך ב-70 עד 80%, וספרו כמה מהן היו נכונות.
 הגרף עושה את זה לכל רמת ביטחון, על 3,990 שאלות מבחן. כשהנקודות מעל הקו, ניצוץ צודק יותר ממה שהוא אומר (הוא
-צנוע). כשהן מתחת, הוא בטוח בעצמו יותר מדי. זה מה שמאפשר לקבוע ספים (בפרק הבא). הכיול נעשה על 2,901 פריטי אימון
+צנוע). כשהן מתחת, הוא בטוח בעצמו יותר מדי. זה מה שמאפשר לקבוע ספים (בפרק הבא). הכיול נעשה על 4,550 פריטי אימון
 שהופרדו מראש, אף פעם לא על המבחן (`calibration.json`).
 
 **הוא באמת קורא את הטקסט.** כשמוחקים את ההודעה ומשאירים רק את השאלה, הדיוק יורד ל-70.5% בשאלת ההונאה
@@ -395,11 +472,11 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 
 | איך מריצים | חציון על 50 שאלות בדיקה (בממוצע 135 טוקנים) | הודעה קצרה (38 טוקנים) | קלט ארוך (430 טוקנים) |
 |---|---|---|---|
-| laya.exe, קובץ Q8, כרטיס מסך (Vulkan) | 49 ms | 35 ms | 135 ms |
-| laya.exe, קובץ F16, כרטיס מסך (Vulkan) | 52 ms | 41 ms | 141 ms |
-| פייתון (laya), כרטיס מסך (PyTorch XPU) | 54 ms | 44 ms | 177 ms |
-| laya.exe, קובץ Q8, מעבד בלבד (16 תהליכונים) | 335 ms | 177 ms | 1233 ms |
-| פייתון (laya), מעבד בלבד | 387 ms | 130 ms | 1260 ms |
+| laya.exe, קובץ Q8, כרטיס מסך (Vulkan) | 50 ms | 38 ms | 138 ms |
+| laya.exe, קובץ F16, כרטיס מסך (Vulkan) | 52 ms | 44 ms | 137 ms |
+| פייתון (laya), כרטיס מסך (PyTorch XPU) | 70 ms | 44 ms | 192 ms |
+| laya.exe, קובץ Q8, מעבד בלבד (16 תהליכונים) | 340 ms | 186 ms | 1270 ms |
+| פייתון (laya), מעבד בלבד | 342 ms | 134 ms | 1236 ms |
 
 בעמודות של ההודעה הקצרה והקלט הארוך אותה שאלה רצה 30 פעמים, אחרי 5 הרצות חימום. הזמנים על המחשב הזה משתנים הרבה בין
 הפעלה להפעלה (מדידה קודמת של אותה הגדרה יצאה איטית פי כמה), אז אלה מספרים בקירוב.
@@ -408,14 +485,14 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 
 | קובץ, מכשיר | אותה תשובה מובילה, 50 שאלות | הפרש הסתברות מרבי | אותה תשובה מובילה, 596 שאלות ספאם | הפרש מרבי | הפרש ממוצע |
 |---|---|---|---|---|---|
-| Q8, כרטיס מסך | 50/50 | 0.0079 | 593/596 | 0.0152 | 0.00217 |
-| F16, כרטיס מסך | 50/50 | 0.0026 | 595/596 | 0.0023 | 0.00032 |
-| Q8, מעבד | 50/50 | 0.0094 | 590/596 | 0.0275 | 0.00321 |
-| F16, מעבד | 50/50 | 0.0017 | 595/596 | 0.0014 | 0.00027 |
+| Q8, כרטיס מסך | 50/50 | 0.0456 | 595/596 | 0.0189 | 0.00116 |
+| F16, כרטיס מסך | 50/50 | 0.0031 | 596/596 | 0.0023 | 0.00023 |
+| Q8, מעבד | 50/50 | 0.0563 | 595/596 | 0.0278 | 0.00185 |
+| F16, מעבד | 50/50 | 0.0015 | 596/596 | 0.0017 | 0.00020 |
 
 פער של 0.01 פירושו, למשל, 0.83 מול 0.84. השאלות המעטות שבהן התשובה המובילה משתנה הן כאלה שבהן שתי התשובות הטובות
-היו כמעט שוות. בשתי שאלות הספאם יחד קובץ Q8 על כרטיס המסך צודק ב-78.9%, מול 79.0% למודל הפייתון. קובץ F16
-קרוב יותר (79.2%).
+היו כמעט שוות. בשתי שאלות הספאם יחד קובץ Q8 על כרטיס המסך צודק ב-83.6%, מול 83.7% למודל הפייתון. קובץ F16
+קרוב יותר (83.7%).
 
 ### שימוש בעסק
 
@@ -427,11 +504,11 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 - **צהוב** (לא בטוח): לבדיקה של אדם, או של מודל שפה גדול אם אתם משתמשים בו.
 - **אדום** (בטוח שזו הונאה): חסימה או הסגר.
 
-השרטוט הוא דוגמה על 298 הודעות המבחן. הסף העליון, 0.52, הוא הסף שנבחר לשאלת ההונאה על 700 הודעות אימון
-שהופרדו מראש (אף פעם לא על המבחן). הסף התחתון, 0.35, נבחר ביד. איתם 183 הודעות הולכות לירוק (16 מהן הן בעצם הונאה),
-48 לצהוב (21 הונאות), ו-67 לאדום (16 מהן בעצם תקינות). כלומר אדום צריך להיות "הסגר ובדיקה", לא "מחיקה".
+השרטוט הוא דוגמה על 298 הודעות המבחן. הסף העליון, 0.52, הוא הסף שנבחר לשאלת ההונאה על 1000 הודעות אימון
+שהופרדו מראש (אף פעם לא על המבחן). הסף התחתון, 0.35, נבחר ביד. איתם 207 הודעות הולכות לירוק (11 מהן הן בעצם הונאה),
+5 לצהוב (3 הונאות), ו-86 לאדום (12 מהן בעצם תקינות). כלומר אדום צריך להיות "הסגר ובדיקה", לא "מחיקה".
 בחרו ספים משלכם על מדגם של ההודעות שלכם, והחליטו כמה טעויות בירוק ובאדום אתם מוכנים לקבל. בסף 0.52 לבדו, תשובת
-ההונאה נכונה ב-82.2% מהמקרים בסך הכול וב-64.6% על 65 המקרים הקשים (בסף 0.50: 82.9% ו-64.6%).
+ההונאה נכונה ב-91.3% מהמקרים בסך הכול וב-80.0% על 65 המקרים הקשים (בסף 0.50: 91.3% ו-80.0%).
 
 המודל זול מספיק כדי להריץ אותו על כל הודעה. האדם (או מודל השפה) רואה רק את החלק הצהוב. **אל תשתמשו בו כקו הגנה
 יחיד בהחלטות שיכו��ות לפגוע במישהו.**
@@ -442,8 +519,8 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 
 1. **ללמוד לקרוא.** HalleluBERT-large אומן קודם למצוא את התשובה לשאלה בתוך קטע, על 27,085 שאלות אימון של HeQ
    (CC BY 4.0). קטעים שחפפו לקטע מבחן הוסרו.
-2. **ללמוד להחליט.** מעליו הונח ראש החלטות של laya, וכל המודל אומן על 58,000 פריטים (55,099 לאימון,
-   ו-2,901 הופרדו מראש כדי לבחור את הטוב מבין 2 מעברים ולכייל את הטמפרטורות).
+2. **ללמוד להחליט.** מעליו הונח ראש החלטות של laya, וכל המודל אומן על 106,723 פריטים (102,173 לאימון,
+   ו-4,550 הופרדו מראש כדי לבחור את הטוב מבין 2 מעברים ולכייל את הטמפרטורות).
 
 | מקור | פריטים | רישיון | איך נוצר |
 |---|---|---|---|
@@ -452,20 +529,35 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 | סינתטי: טענות כן/לא על הודעה | 8,750 | הפלט של המורה שייך לנו (DeepSeek, MIT; Gemma, Apache-2.0) | נכתב בידי DeepSeek V4.1 Flash, סומן בנפרד בידי שני המודלים |
 | סינתטי: דחיפות, 5 רמות | 3,500 | הפלט של המורה שייך לנו (DeepSeek, MIT; Gemma, Apache-2.0) | נכתב בידי DeepSeek V4.1 Flash, סומן בנפרד בידי שני המודלים |
 | HeQ: האם התשובה המוצעת נתמכת (כן/לא) | 6,000 | CC BY 4.0 | תוויות הזהב של המאגר, מפיצול האימון בלבד |
-| HeQ: תשובה סבירה לשאלה שאין לה תשובה | 5,000 | CC BY 4.0 | תוויות הזהב של המאגר, מפיצול האימון בלבד |
+| HeQ: תשובה סבירה לשאלה שאין לה תשובה | 9,750 (מתוכם 4,750 עותקים חוזרים, חדש ב-1.1) | CC BY 4.0 | תוויות הזהב של המאגר, מפיצול האימון בלבד |
 | HeQ: קריאה, 4 אפשרויות | 5,000 | CC BY 4.0 | תוויות הזהב של המאגר, מפיצול האימון בלבד |
 | MASSIVE he-IL: כוונת פקודה קולית | 7,000 | CC BY 4.0 | תוויות הזהב של המאגר, מפיצול האימון בלבד |
+| חדש ב-1.1: הונאה או לא, הונאות מוסוות והודעות אמיתיות שנראות חשודות | 6,000 | פלט מודלים, שייך לנו (DeepSeek, MIT; Gemma, Apache-2.0) | נכתב בידי DeepSeek V4.1 Flash לפי תרחישים שנכתבו עם GPT. נשמר רק אם שני המסמנים הסכימו עם הכותב |
+| חדש ב-1.1: סוג ההודעה של אותן הודעות | 5,374 | פלט מודלים, שייך לנו | הסוג ששני המסמנים הסכימו עליו |
+| חדש ב-1.1: עותקים של פריטים קיימים עם השאלה בניסוח אחר | 21,199 | כמו הפריט המקורי. הניסוחים נכתבו עם GPT | השאלה או האפשרויות באחד מ-376 ניסוחים חלופיים שנכתבו עם GPT. התווית לקוחה מהפריט המקורי |
+| חדש ב-1.1: קריאה, 4 אפשרויות ("איזו מהבאות לא", תשובה במילים אחרות, כמה משפטים) | 6,825 | קטעים: FineWeb-2, ODC-By 1.0. שאלות: פלט מודלים, שייך לנו | נכתב בידי DeepSeek V4.1 Flash ונבדק בידי Gemma 4 31B עם הקטע ושוב בלי הקטע. נזרק אם אפשר היה לענות בלי הקטע |
+| חדש ב-1.1: נושא של קטע, 7 אפשרויות | 4,000 | קטעים: FineWeb-2, ODC-By 1.0. תוויות: פלט מודלים | סומן בידי DeepSeek V4.1 Flash ו-Gemma 4 31B |
+| חדש ב-1.1: האם השולח לקוח משלם קיים (כן/לא) | 575 | פלט מודלים, שייך לנו. ניסוחי השאלה נכתבו עם GPT | פניות תמיכה שנכתבו בידי DeepSeek V4.1 Flash ונבדקו בידי Gemma 4 31B |
 
 - **הודעות סינתטיות (35,000 פריטים).** DeepSeek V4.1 Flash (MIT) כתב הודעות SMS, וואטסאפ ומייל בסגנון ישראלי
   לפי תוכנית (התווית המתוכננת, נושא, משלב, מספרי טלפון וקישורים מזויפים ומגוונים). אחר כך DeepSeek ו-Gemma 4 31B
   (Apache-2.0) סימנו כל הודעה, כל אחד לבד. הודעה נשמרה רק אם שניהם הסכימו. הם הסכימו על 94% מההודעות,
   ונשמרו 93.7% מתוך 37,429 ההודעות שנכתבו. שניהם רצו דרך DeepInfra (דרך OpenRouter), בלי שמירת נתונים
   ובלי מצב "חשיבה". הנתונים הסינתטיים לא מפורסמים.
+- **חדש בגרסה 1.1.** 6,825 שאלות קריאה על קטעים מהרשת בעברית מתוך FineWeb-2 (ODC-By 1.0): "איזו מהבאות לא
+  נכונה או לא מוזכרת" (כל אחת עם שאלה חיובית צמודה על אותו קטע), תשובות שנאמרות במילים אחרות, ותשובות שדורשות כמה
+  משפטים. DeepSeek V4.1 Flash כתב אותן, ו-Gemma 4 31B בדק כל אחת פעמיים, עם הקטע ובלי הקטע. שאלה שאפשר היה לענות עליה בלי
+  הקטע נזרקה. 6,000 הודעות שקשה להבחין ביניהן (הונאות מוסוות, והודעות אמיתיות שנראות חשודות), שנכתבו בידי
+  DeepSeek ונשמרו רק אם שני המסמנים הסכימו זה עם זה וגם עם הכותב. 4,000 קטעים שסומנו לפי נושא, 575 פניות
+  תמיכה לשאלת הלקוח המשלם, ו-4,750 פריטי HeQ חוזרים, כדי שהיכולות הקודמות לא יישכחו.
+- **נכתב עם GPT.** חלק מנתוני האימון נכתב עם GPT של OpenAI, דרך מנוי ChatGPT שלנו: 376 ניסוחים חלופיים של השאלות ו-34 סטים חלופיים של אפשרויות תשובה, שמופיעים ב-30,488 פריטי אימון (כולל כל 575 הפריטים של שאלת הלקוח המשלם), ו-120 תרחישים קצרים שלפיהם DeepSeek V4.1 Flash כתב 6,000 הודעות. GPT לא כתב אף הודעה ואף תווית. בסך הכול 33,148 מתוך 106,723 פריטי האימון (31%) משתמשים בטקסט שנכתב עם GPT. הפלט של GPT כפוף לתנאי השימוש של OpenAI, לא לרישיון פתוח.
 - **נתונים פתוחים.** HeQ v1.1 (CC BY 4.0. בערך חצי מהשאלות שלו על כתבות של Geektime, ומחברי HeQ משתפים אותם באותו רישיון) ו-MASSIVE
-  he-IL (CC BY 4.0). רק מפיצולי האימון.
+  he-IL (CC BY 4.0), רק מפיצולי האימון. קטעים בעברית מ-FineWeb-2 (ODC-By 1.0) לשאלות הקריאה והנושא החדשות.
 - **בלי דליפה מהמבחנים.** כל פריט אימון הושווה לכל שאלת מבחן. כל מה שחולק רצף של 8 מילים עם טקסט מבחן נזרק, וגם
-  פקודות MASSIVE שזהות לפקודת מבחן.
-- **מה לא שימש:** שום פלט של צ'אטבוט מסחרי סגור, שום מודל של DICTA, שום נתונים לא מסחריים או ברישיון "שיתוף זהה".
+  פקודות MASSIVE שזהות לפקודת מבחן. הפריטים החדשים נבדקו בכללים מחמירים יותר: כל קטע חדש מול כל טקסט מבחן (כל רצף משותף
+  של 6 מילים), וכל שאלה, אפשרות וניסוח חדשים מול כל שאלת מבחן וכל ניסוח חלופי של שאלת מבחן (התאמה מדויקת ודמיון תווים).
+- **מה לא שימש:** שום פלט של צ'אטבוט מסחרי סגור אחר, שום מודל של DICTA, שום נתונים לא מסחריים או ברישיון "שיתוף זהה".
+  GPT, מודל מסחרי סגור, שימש רק כמתואר למעלה.
 - **גודל:** המקודד 357.1 מיליון פרמטרים (HalleluBERT-large, MIT, אומן מחדש). ראש ההחלטות 26.5 מיליון פרמטרים,
   אומן מאפס.
 
@@ -483,22 +575,27 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 הסתייגויות שמשנות כמה לסמוך על המספרים:
 - **מבחן הספאם והעסקים נכתב בידי מודל AI ונבדק בידי מודל AI, לא בידי אדם.** תיבות דואר אמיתיות ייראו אחרת. הוא ננעל
   אחרי הבדיקה הזו (4 תוויות שונו, 2 הודעות הוסרו).
-- **שתי ריצות אימון, עם שני זרעים אקראיים, וזו אחת מהן.** היא נבחרה לפי פריטי אימון שהופרדו מראש (94.8% מול 94.6%, פער קטן), לא לפי המבחנים. בכמה מבחנים שתי הריצות שונות יותר ממה שמזל מסביר: הונאה או לא 82.5% כאן מול 68.8% בריצה השנייה, נושא ידיעה 79.4% מול 74.0%. ריצת אימון חדשה יכולה להזיז את שני המספרים האלה בכמה נקודות.
+- **שלוש ריצות אימון, עם שלושה זרעים אקראיים, וזו אחת מהן.** היא נבחרה לפי פריטי אימון שהופרדו מראש (95.8% מול 94.9% ו-95.3%), לא לפי המבחנים. במבחנים הגדולים שלוש הריצות קרובות: הונאה או לא 91.3% כאן מול 91.3% ו-90.9%, נושא ידיעה 80.4% מול 80.9% ו-82.3%, הבנת הנקרא 62.7% מול 63.1% ו-63.4%. הריצה הזו וכל אחת מהשתיים האחרות נותנות אותה תשובה על 90.6% עד 91.0% מכל שאלות המבחן. במבחנים של 30 פניות ההבדלים גדולים יותר: דחיפות הפנייה 80.0% כאן מול 66.7% ו-66.7%.
 - **תוויות האימון באות משני מודלי AI.** איפה ששניהם טועים באותו אופן, ניצוץ למד את הטעות שלהם.
 - התשובות השגויות של HeQ במבחן נבחרו בקוד, ולא נבדקו בידי אדם.
 
 ### מגבלות
 
-- **הוא חלש בהבנת הנקרא של קטעים ארוכים.** Belebele: 52.7%, כשניחוש עיוור מקבל 25%. כשהתשובה הנכונה כתובה בקטע
-  מילה במילה הוא מקבל 72% (252 שאלות). כשהתשובה נאמרת במילים אחרות הוא מקבל 45% (648 שאלות).
+- **הבנת הנקרא של קטעים ארוכים השתפרה, אבל עדיין מוגבלת.** Belebele: 62.7%, כשניחוש עיוור מקבל 25%, ועדיין פחות ממודל
+  laya האחר הטוב ביותר במבחן הזה (ראו [מבחנים](#מבחנים)). כשהתשובה הנכונה כתובה בקטע מילה במילה הוא מקבל 79% (252 שאלות).
+  כשהתשובה נאמרת במילים אחרות הוא מקבל 56% (648 שאלות). בשאלות "איזו מהבאות לא" 52% (158 שאלות).
   אל תשאלו אותו אם מסמך ארוך תומך בטענה.
-- **בדיקה אם קטע תומך בתשובה (HeQ) עובדת.** 93.8% עם הקטע. כשמוחקים את הקטע זה יורד ל-50.0%, הטלת מטבע. כלומר בשאלות מהסוג הזה הוא באמת קורא את הקטע.
+- **בדיקה אם קטע תומך בתשובה (HeQ) עובדת.** 94.8% עם הקטע. כשמוחקים את הקטע זה יורד ל-50.3%, הטלת מטבע. כלומר בשאלות מהסוג הזה הוא באמת קורא את הקטע.
 - **מספרים, תאריכים, סכומים וכללים**: לא אומן עליהם ולא נמדד. חשבו אותם בקוד והעבירו את התוצאה.
-- **המקרים הקשים הם נקודת התורפה**: הונאות שנכתבו כדי להיראות לגיטימיות ("ספק" שמחליף פרטי חשבון בנק, "המנכ"ל" שמבקש
-  העברה), והודעות אמיתיות שנראות כמו הונאה (התראה אמיתית מהבנק עם קישור, קוד אימות אמיתי). על 65 המקרים הקשים שאלת
-  ההונאה צודקת ב-63.1% מהמקרים. זה פחות מה-70.8% שהיה יוצא אם תמיד עונים שם "לא הונאה", וגם
-  הדירוג שלו במקרים האלה חלש (AUC 0.63).
-- **דחיפות היא עניין סובייקטיבי.** אפילו שני מודלי המורה הסכימו עם הדחיפות המתוכננת רק בכ-62 עד 64% מהמקרים.
+- **המקרים הקשים עדיין נקודת התורפה**: הונאות שנכתבו כדי להיראות לגיטימיות ("ספק" שמחליף פרטי חשבון בנק, "המנכ"ל"
+  שמבקש העברה), והודעות אמיתיות שנראות כמו הונאה (התראה אמיתית מהבנק עם קישור, קוד אימות אמיתי). על 65 המקרים הקשים
+  שאלת ההונאה צודקת ב-80.0% מהמקרים (תשובה קבועה "לא הונאה" הייתה מקבלת שם 70.8%), עם AUC 0.88. בסף שנבחר הוא
+  עדיין מפספס 5 מתוך 19 הונאות שנכתבו כדי להיראות לגיטימיות, ומתריע על 8 מתוך 46 הודעות אמיתיות שנראות כמו הונאה.
+- **דחיפות היא עניין סובייקטיבי, והתשובה עליה תלויה בניסוח.** אפילו שני מודלי המורה הסכימו עם הדחיפות המתוכננת רק בכ-62
+  עד 64% מהמקרים. כששואלים את שאלת הדחיפות במילים אחרות, התשובה משתנה ב-43% מתוך 30 פניות המבחן.
+- **המבחנים הפנימיים וחלק גדול מנתוני האימון נכתבו בידי מודלי AI, לא בידי אנשים.** זה כולל את מבחן הספאם והעסקים, את
+  מבחן פניות התמיכה ואת שאלות הקריאה החדשות. הודעות אמיתיות ייראו אחרת.
+- **מבחני פניות התמיכה קטנים**: 30 פניות לכל שאלה, כך שפנייה אחת מזיזה ציון ב-3.3 נקודות.
 - **ציניות ואירוניה** כנראה נקראות מילולית. לא נמדד.
 - **512 טוקנים** (בערך 300 עד 400 מילים בעברית) לשאלה. הודעה ארוכה יותר נחתכת מהסוף בלי אזהרה.
 - **עברית בלבד.** לא אומן ולא נבדק על אנגלית או ערבית.
@@ -515,6 +612,9 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
   הלאומית (NNLP-IL). כולל קטעים מ-Geektime.
 - [MASSIVE](https://huggingface.co/datasets/AmazonScience/massive): CC BY 4.0, אמזון (FitzGerald ואחרים, 2022).
 - **DeepSeek V4.1 Flash** (MIT) ו-**Gemma 4 31B** (Apache-2.0), דרך DeepInfra, ככותב הנתונים וכמסמנים.
+- [FineWeb-2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2) (עברית): ODC-By 1.0, של Hugging Face. הקטעים של שאלות
+  הקריאה והנושא החדשות.
+- **GPT של OpenAI**, דרך מנוי ChatGPT (תנאי השימוש של OpenAI): ניסוחי שאלות ותרחישים, כמתואר בפרק נתוני האימון.
 - [ggmlc](https://github.com/monatis/ggmlc) לקובצי ה-GGUF.
 - Belebele ו-SIB-200 (CC BY-SA 4.0) שימשו רק לבדיקה, אף פעם לא לאימון.
 

calibration.json

@@ -1,47 +1,58 @@
 {
+ "version": "1.1",
  "temperatures_per_question_type": {
-  "choice": 1.103,
-  "score": 1.1095,
-  "noul": 1.1651
+  "choice": 1.1032,
+  "score": 1.1106,
+  "noul": 1.196
  },
  "temperature_fit_items": {
-  "choice": 1738,
-  "score": 175,
-  "noul": 988
+  "choice": 2446,
+  "score": 261,
+  "noul": 1843
  },
  "note": "The temperatures are already applied by laya (rl_agent_config.json 'temperature') and baked into the GGUF files. They were fitted on held-out training items, never on the test sets.",
  "scam_threshold": {
   "question": "noul, 'is this message a scam'",
-  "threshold": 0.5169,
-  "chosen_on": "700 held-out training messages, never the test",
-  "held_out_acc_at_threshold": 0.8643,
-  "test_acc_at_0.5": 0.8289,
-  "test_acc_at_threshold": 0.8221,
-  "test_hard_acc_at_0.5": 0.6462,
-  "test_hard_acc_at_threshold": 0.6462,
-  "test_auc": 0.8848
+  "threshold": 0.5151,
+  "chosen_on": "1000 held-out training messages, never the test",
+  "held_out_acc_at_threshold": 0.98,
+  "held_out_pools": {
+   "held-out hard scam and legitimate messages (new data)": {
+    "n": 300,
+    "acc_at_threshold": 0.9967
+   },
+   "held-out spam messages (earlier data)": {
+    "n": 700,
+    "acc_at_threshold": 0.9729
+   }
+  },
+  "test_acc_at_0.5": 0.9128,
+  "test_acc_at_threshold": 0.9128,
+  "test_hard_acc_at_0.5": 0.8,
+  "test_hard_acc_at_threshold": 0.8,
+  "test_auc": 0.9761
  },
  "ramzor_example_thresholds": {
   "green_below": 0.35,
   "red_from": 0.52,
   "zones_on_test": {
    "g": {
-    "n": 183,
-    "share": 0.6140939597315436,
-    "scam": 16,
-    "legit": 167
+    "n": 207,
+    "share": 0.6946308724832215,
+    "scam": 11,
+    "legit": 196
    },
    "y": {
-    "n": 48,
-    "share": 0.1610738255033557,
-    "scam": 21,
-    "legit": 27
+    "n": 5,
+    "share": 0.016778523489932886,
+    "scam": 3,
+    "legit": 2
    },
    "r": {
-    "n": 67,
-    "share": 0.22483221476510068,
-    "scam": 51,
-    "legit": 16
+    "n": 86,
+    "share": 0.28859060402684567,
+    "scam": 74,
+    "legit": 12
    }
   }
  }

eval_results.json

@@ -1,5 +1,6 @@
 {
  "model": "BrainboxAI/nitzotz",
+ "version": "1.1",
  "eval_set": "8 frozen suites, 3990 questions (checksums in the repo's eval/manifest.json)",
  "models": {
   "nz": "BrainboxAI/nitzotz",
@@ -17,17 +18,17 @@
    "n": 298,
    "chance": 0.5,
    "acc": {
-    "nz": 0.8255,
+    "nz": 0.9128,
     "roeig": 0.3221,
     "laya_ml": 0.5034
    },
    "brier": {
-    "nz": 0.2629,
+    "nz": 0.126,
     "roeig": 0.7604,
     "laya_ml": 0.8042
    },
    "ece": {
-    "nz": 0.0993,
+    "nz": 0.0548,
     "roeig": 0.3802,
     "laya_ml": 0.38
    },
@@ -38,14 +39,14 @@
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 177,
-     "other_only": 27,
-     "p": 3.1836858702039475e-28
+     "nz_only": 186,
+     "other_only": 10,
+     "p": 3.8398295923083015e-43
     },
     "laya_ml": {
-     "nz_only": 129,
-     "other_only": 33,
-     "p": 1.2998168966363252e-14
+     "nz_only": 136,
+     "other_only": 14,
+     "p": 2.7927572561866964e-26
     }
    }
   },
@@ -54,17 +55,17 @@
    "n": 65,
    "chance": 0.5,
    "acc": {
-    "nz": 0.6308,
+    "nz": 0.8,
     "roeig": 0.3231,
     "laya_ml": 0.3538
    },
    "brier": {
-    "nz": 0.4394,
+    "nz": 0.2474,
     "roeig": 0.7076,
     "laya_ml": 1.1057
    },
    "ece": {
-    "nz": 0.056,
+    "nz": 0.0959,
     "roeig": 0.3391,
     "laya_ml": 0.5564
    },
@@ -75,14 +76,14 @@
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 27,
-     "other_only": 7,
-     "p": 0.0008213953115046024
+     "nz_only": 34,
+     "other_only": 3,
+     "p": 1.233129296451807e-07
     },
     "laya_ml": {
-     "nz_only": 30,
-     "other_only": 12,
-     "p": 0.007915897334896727
+     "nz_only": 34,
+     "other_only": 5,
+     "p": 2.4299079086631536e-06
     }
    }
   },
@@ -91,17 +92,17 @@
    "n": 298,
    "chance": 0.1667,
    "acc": {
-    "nz": 0.755,
+    "nz": 0.7617,
     "roeig": 0.5268,
     "laya_ml": 0.2081
    },
    "brier": {
-    "nz": 0.3721,
+    "nz": 0.3177,
     "roeig": 0.6489,
     "laya_ml": 1.0746
    },
    "ece": {
-    "nz": 0.0643,
+    "nz": 0.0872,
     "roeig": 0.1043,
     "laya_ml": 0.4131
    },
@@ -112,14 +113,14 @@
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 100,
-     "other_only": 32,
-     "p": 2.428469657769691e-09
+     "nz_only": 104,
+     "other_only": 34,
+     "p": 1.9152268319067766e-09
     },
     "laya_ml": {
      "nz_only": 174,
-     "other_only": 11,
-     "p": 6.991886709878067e-39
+     "other_only": 9,
+     "p": 8.929600498958945e-41
     }
    }
   },
@@ -128,17 +129,17 @@
    "n": 65,
    "chance": 0.1667,
    "acc": {
-    "nz": 0.5385,
+    "nz": 0.6308,
     "roeig": 0.4462,
     "laya_ml": 0.2462
    },
    "brier": {
-    "nz": 0.6411,
+    "nz": 0.4714,
     "roeig": 0.7315,
     "laya_ml": 1.1094
    },
    "ece": {
-    "nz": 0.1768,
+    "nz": 0.0653,
     "roeig": 0.1877,
     "laya_ml": 0.4109
    },
@@ -149,14 +150,14 @@
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 17,
-     "other_only": 11,
-     "p": 0.34492845088243484
+     "nz_only": 22,
+     "other_only": 10,
+     "p": 0.050102459732443094
     },
     "laya_ml": {
-     "nz_only": 24,
-     "other_only": 5,
-     "p": 0.0005461126565933228
+     "nz_only": 29,
+     "other_only": 4,
+     "p": 1.0928604751825333e-05
     }
    }
   },
@@ -165,17 +166,17 @@
    "n": 30,
    "chance": 0.2,
    "acc": {
-    "nz": 0.8333,
+    "nz": 0.8667,
     "roeig": 0.8,
     "laya_ml": 0.5667
    },
    "brier": {
-    "nz": 0.2289,
+    "nz": 0.2164,
     "roeig": 0.3191,
     "laya_ml": 0.6667
    },
    "ece": {
-    "nz": 0.1797,
+    "nz": 0.1364,
     "roeig": 0.1321,
     "laya_ml": 0.2772
    },
@@ -187,13 +188,13 @@
    "vs_nitzotz": {
     "roeig": {
      "nz_only": 4,
-     "other_only": 3,
-     "p": 1.0
+     "other_only": 2,
+     "p": 0.6875
     },
     "laya_ml": {
      "nz_only": 11,
-     "other_only": 3,
-     "p": 0.057373046875
+     "other_only": 2,
+     "p": 0.0224609375
     }
    }
   },
@@ -202,17 +203,17 @@
    "n": 30,
    "chance": 0.2,
    "acc": {
-    "nz": 0.6,
+    "nz": 0.8,
     "roeig": 0.3667,
     "laya_ml": 0.3333
    },
    "brier": {
-    "nz": 0.5225,
+    "nz": 0.4576,
     "roeig": 0.708,
     "laya_ml": 0.7501
    },
    "ece": {
-    "nz": 0.2373,
+    "nz": 0.3313,
     "roeig": 0.0322,
     "laya_ml": 0.2167
    },
@@ -223,14 +224,14 @@
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 13,
-     "other_only": 6,
-     "p": 0.1670684814453125
+     "nz_only": 15,
+     "other_only": 2,
+     "p": 0.002349853515625
     },
     "laya_ml": {
-     "nz_only": 14,
-     "other_only": 6,
-     "p": 0.11531829833984375
+     "nz_only": 17,
+     "other_only": 3,
+     "p": 0.0025768280029296875
     }
    }
   },
@@ -239,17 +240,17 @@
    "n": 30,
    "chance": 0.5,
    "acc": {
-    "nz": 0.6333,
+    "nz": 0.7667,
     "roeig": 0.5667,
     "laya_ml": 0.5
    },
    "brier": {
-    "nz": 0.5196,
+    "nz": 0.4053,
     "roeig": 0.4338,
     "laya_ml": 0.8183
    },
    "ece": {
-    "nz": 0.2253,
+    "nz": 0.2204,
     "roeig": 0.2362,
     "laya_ml": 0.4284
    },
@@ -260,14 +261,14 @@
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 2,
+     "nz_only": 6,
      "other_only": 0,
-     "p": 0.5
+     "p": 0.03125
     },
     "laya_ml": {
      "nz_only": 14,
-     "other_only": 10,
-     "p": 0.5412561893463135
+     "other_only": 6,
+     "p": 0.11531829833984375
     }
    }
   },
@@ -276,35 +277,35 @@
    "n": 500,
    "chance": 0.05,
    "acc": {
-    "nz": 0.888,
+    "nz": 0.9,
     "roeig": 0.726,
     "laya_ml": 0.474
    },
    "brier": {
-    "nz": 0.1759,
+    "nz": 0.1701,
     "roeig": 0.3801,
     "laya_ml": 0.7338
    },
    "ece": {
-    "nz": 0.0529,
+    "nz": 0.0412,
     "roeig": 0.0395,
     "laya_ml": 0.1661
    },
    "empty_acc": {
-    "nz": 0.064,
+    "nz": 0.058,
     "roeig": 0.052,
     "laya_ml": 0.044
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 93,
-     "other_only": 12,
-     "p": 1.100926641994889e-16
+     "nz_only": 100,
+     "other_only": 13,
+     "p": 8.471157872064744e-18
     },
     "laya_ml": {
-     "nz_only": 215,
-     "other_only": 8,
-     "p": 2.0578594884620216e-53
+     "nz_only": 220,
+     "other_only": 7,
+     "p": 5.374231848579288e-56
     }
    }
   },
@@ -313,35 +314,35 @@
    "n": 500,
    "chance": 0.25,
    "acc": {
-    "nz": 0.962,
+    "nz": 0.97,
     "roeig": 0.908,
     "laya_ml": 0.694
    },
    "brier": {
-    "nz": 0.0561,
+    "nz": 0.0514,
     "roeig": 0.1369,
     "laya_ml": 0.3987
    },
    "ece": {
-    "nz": 0.0409,
+    "nz": 0.0443,
     "roeig": 0.0393,
     "laya_ml": 0.0468
    },
    "empty_acc": {
-    "nz": 0.238,
+    "nz": 0.24,
     "roeig": 0.242,
     "laya_ml": 0.256
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 33,
+     "nz_only": 37,
      "other_only": 6,
-     "p": 1.429926123819314e-05
+     "p": 1.636124125070637e-06
     },
     "laya_ml": {
-     "nz_only": 140,
-     "other_only": 6,
-     "p": 2.8378191731534526e-34
+     "nz_only": 142,
+     "other_only": 4,
+     "p": 4.188799933293481e-37
     }
    }
   },
@@ -350,17 +351,17 @@
    "n": 204,
    "chance": 0.1429,
    "acc": {
-    "nz": 0.7941,
+    "nz": 0.8039,
     "roeig": 0.8235,
     "laya_ml": 0.6618
    },
    "brier": {
-    "nz": 0.3091,
+    "nz": 0.3002,
     "roeig": 0.285,
     "laya_ml": 0.4918
    },
    "ece": {
-    "nz": 0.0877,
+    "nz": 0.0857,
     "roeig": 0.0751,
     "laya_ml": 0.1784
    },
@@ -371,14 +372,14 @@
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 16,
-     "other_only": 22,
-     "p": 0.417692190836533
+     "nz_only": 15,
+     "other_only": 19,
+     "p": 0.6075913612730801
     },
     "laya_ml": {
-     "nz_only": 42,
-     "other_only": 15,
-     "p": 0.00046000500864878946
+     "nz_only": 47,
+     "other_only": 18,
+     "p": 0.0004221303234752052
     }
    }
   },
@@ -387,35 +388,35 @@
    "n": 600,
    "chance": 0.5,
    "acc": {
-    "nz": 0.9383,
+    "nz": 0.9483,
     "roeig": 0.9417,
     "laya_ml": 0.4883
    },
    "brier": {
-    "nz": 0.1003,
+    "nz": 0.0899,
     "roeig": 0.0926,
     "laya_ml": 0.8274
    },
    "ece": {
-    "nz": 0.0519,
+    "nz": 0.0484,
     "roeig": 0.0178,
     "laya_ml": 0.3946
    },
    "empty_acc": {
-    "nz": 0.5,
+    "nz": 0.5033,
     "roeig": 0.8,
     "laya_ml": 0.59
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 32,
-     "other_only": 34,
-     "p": 0.9021585000966993
+     "nz_only": 33,
+     "other_only": 29,
+     "p": 0.7035366713552734
     },
     "laya_ml": {
-     "nz_only": 297,
-     "other_only": 27,
-     "p": 1.181012945982764e-58
+     "nz_only": 299,
+     "other_only": 23,
+     "p": 2.1018222751120708e-62
     }
    }
   },
@@ -424,35 +425,35 @@
    "n": 600,
    "chance": 0.5,
    "acc": {
-    "nz": 0.91,
+    "nz": 0.9067,
     "roeig": 0.53,
     "laya_ml": 0.5367
    },
    "brier": {
-    "nz": 0.1412,
+    "nz": 0.159,
     "roeig": 0.856,
     "laya_ml": 0.7348
    },
    "ece": {
-    "nz": 0.0402,
+    "nz": 0.0185,
     "roeig": 0.4336,
     "laya_ml": 0.3421
    },
    "empty_acc": {
-    "nz": 0.5,
+    "nz": 0.505,
     "roeig": 0.5033,
     "laya_ml": 0.5167
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 250,
-     "other_only": 22,
-     "p": 3.9022177864527475e-50
+     "nz_only": 249,
+     "other_only": 23,
+     "p": 4.261733883444211e-49
     },
     "laya_ml": {
-     "nz_only": 248,
-     "other_only": 24,
-     "p": 4.4428671970733176e-48
+     "nz_only": 244,
+     "other_only": 22,
+     "p": 1.5017318497531166e-48
     }
    }
   },
@@ -461,35 +462,35 @@
    "n": 900,
    "chance": 0.25,
    "acc": {
-    "nz": 0.5267,
+    "nz": 0.6267,
     "roeig": 0.7544,
     "laya_ml": 0.3144
    },
    "brier": {
-    "nz": 0.6379,
+    "nz": 0.5567,
     "roeig": 0.3442,
     "laya_ml": 0.8341
    },
    "ece": {
-    "nz": 0.205,
+    "nz": 0.1917,
     "roeig": 0.0324,
     "laya_ml": 0.2307
    },
    "empty_acc": {
-    "nz": 0.3089,
+    "nz": 0.3133,
     "roeig": 0.3189,
     "laya_ml": 0.2844
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 56,
-     "other_only": 261,
-     "p": 8.723952167222602e-33
+     "nz_only": 66,
+     "other_only": 181,
+     "p": 1.4586191292115705e-13
     },
     "laya_ml": {
-     "nz_only": 304,
-     "other_only": 113,
-     "p": 2.6224194993355025e-21
+     "nz_only": 365,
+     "other_only": 84,
+     "p": 8.256351793141917e-43
     }
    }
   }
@@ -497,33 +498,33 @@
  "significance": "paired exact McNemar against Nitzotz on the same questions",
  "latency_ms": {
   "q8": {
-   "median": 48.7,
-   "p90": 78.5,
+   "median": 50.2,
+   "p90": 76.5,
    "n": 50
   },
   "f16": {
-   "median": 51.6,
-   "p90": 76.8,
+   "median": 52.4,
+   "p90": 79.5,
    "n": 50
   },
   "py": {
-   "median": 54.5,
-   "p90": 100.7,
+   "median": 70.2,
+   "p90": 109.6,
    "n": 50
   },
   "q8_cpu": {
-   "median": 335.0,
-   "p90": 718.7,
+   "median": 339.5,
+   "p90": 710.2,
    "n": 50
   },
   "f16_cpu": {
-   "median": 462.6,
-   "p90": 954.0,
+   "median": 491.5,
+   "p90": 988.3,
    "n": 50
   },
   "py_cpu": {
-   "median": 387.3,
-   "p90": 838.2,
+   "median": 342.0,
+   "p90": 666.5,
    "n": 50
   }
  },
@@ -532,150 +533,150 @@
    "short": {
     "item": "massive_he_4-0075",
     "input_tokens": 38,
-    "median_ms": 35.2,
-    "p90_ms": 35.8,
-    "min_ms": 34.3
+    "median_ms": 38.1,
+    "p90_ms": 39.6,
+    "min_ms": 36.5
    },
    "long": {
     "item": "heq_unanswerable-0522",
     "input_tokens": 430,
-    "median_ms": 135.1,
-    "p90_ms": 141.8,
-    "min_ms": 129.4
+    "median_ms": 138.4,
+    "p90_ms": 141.0,
+    "min_ms": 130.6
    }
   },
   "f16": {
    "short": {
     "item": "massive_he_4-0075",
     "input_tokens": 38,
-    "median_ms": 40.6,
-    "p90_ms": 41.9,
-    "min_ms": 39.4
+    "median_ms": 43.5,
+    "p90_ms": 44.8,
+    "min_ms": 41.6
    },
    "long": {
     "item": "heq_unanswerable-0522",
     "input_tokens": 430,
-    "median_ms": 140.9,
-    "p90_ms": 147.5,
-    "min_ms": 130.8
+    "median_ms": 137.2,
+    "p90_ms": 148.4,
+    "min_ms": 113.0
    }
   },
   "py": {
    "short": {
     "item": "massive_he_4-0075",
     "input_tokens": 38,
-    "median_ms": 44.3,
-    "p90_ms": 48.2,
-    "min_ms": 38.6
+    "median_ms": 43.6,
+    "p90_ms": 46.9,
+    "min_ms": 41.8
    },
    "long": {
     "item": "heq_unanswerable-0522",
     "input_tokens": 430,
-    "median_ms": 176.7,
-    "p90_ms": 180.7,
-    "min_ms": 146.5
+    "median_ms": 192.0,
+    "p90_ms": 210.9,
+    "min_ms": 149.4
    }
   },
   "q8_cpu": {
    "short": {
     "item": "massive_he_4-0075",
     "input_tokens": 38,
-    "median_ms": 177.4,
-    "p90_ms": 194.5,
-    "min_ms": 158.9
+    "median_ms": 186.0,
+    "p90_ms": 199.5,
+    "min_ms": 165.2
    },
    "long": {
     "item": "heq_unanswerable-0522",
     "input_tokens": 430,
-    "median_ms": 1232.9,
-    "p90_ms": 1278.8,
-    "min_ms": 1165.9
+    "median_ms": 1270.3,
+    "p90_ms": 1352.6,
+    "min_ms": 1138.8
    }
   },
   "py_cpu": {
    "short": {
     "item": "massive_he_4-0075",
     "input_tokens": 38,
-    "median_ms": 130.5,
-    "p90_ms": 140.7,
-    "min_ms": 125.5
+    "median_ms": 134.3,
+    "p90_ms": 147.2,
+    "min_ms": 126.7
    },
    "long": {
     "item": "heq_unanswerable-0522",
     "input_tokens": 430,
-    "median_ms": 1259.8,
-    "p90_ms": 1365.2,
-    "min_ms": 1153.4
+    "median_ms": 1236.2,
+    "p90_ms": 1317.7,
+    "min_ms": 1186.6
    }
   }
  },
  "latency_machine": "Intel Core Ultra 9 285H laptop, built-in Arc 140T GPU, Windows 11",
  "gguf_parity_50": {
   "q8": {
-   "max_abs_diff": 0.0079,
-   "mean_abs_diff": 0.001364,
+   "max_abs_diff": 0.0456,
+   "mean_abs_diff": 0.001536,
    "argmax_agree": "50/50"
   },
   "f16": {
-   "max_abs_diff": 0.0026,
+   "max_abs_diff": 0.0031,
    "mean_abs_diff": 0.00032,
    "argmax_agree": "50/50"
   },
   "q8_cpu": {
-   "max_abs_diff": 0.0094,
-   "mean_abs_diff": 0.001866,
+   "max_abs_diff": 0.0563,
+   "mean_abs_diff": 0.00241,
    "argmax_agree": "50/50"
   },
   "f16_cpu": {
-   "max_abs_diff": 0.0017,
-   "mean_abs_diff": 0.000204,
+   "max_abs_diff": 0.0015,
+   "mean_abs_diff": 0.000242,
    "argmax_agree": "50/50"
   }
  },
  "gguf_parity_spam_596": {
   "q8": {
-   "max_abs_diff": 0.0152,
-   "mean_abs_diff": 0.002173,
-   "argmax_agree": "593/596",
-   "accuracy_vs_gold": 0.7886
+   "max_abs_diff": 0.0189,
+   "mean_abs_diff": 0.001162,
+   "argmax_agree": "595/596",
+   "accuracy_vs_gold": 0.8356
   },
   "f16": {
    "max_abs_diff": 0.0023,
-   "mean_abs_diff": 0.000322,
-   "argmax_agree": "595/596",
-   "accuracy_vs_gold": 0.7919
+   "mean_abs_diff": 0.000227,
+   "argmax_agree": "596/596",
+   "accuracy_vs_gold": 0.8372
   },
   "py": {
    "max_abs_diff": 0.0001,
    "mean_abs_diff": 0.0,
-   "argmax_agree": "595/596",
-   "accuracy_vs_gold": 0.7919
+   "argmax_agree": "596/596",
+   "accuracy_vs_gold": 0.8372
   },
   "q8_cpu": {
-   "max_abs_diff": 0.0275,
-   "mean_abs_diff": 0.003209,
-   "argmax_agree": "590/596",
-   "accuracy_vs_gold": 0.7836
+   "max_abs_diff": 0.0278,
+   "mean_abs_diff": 0.001854,
+   "argmax_agree": "595/596",
+   "accuracy_vs_gold": 0.8356
   },
   "f16_cpu": {
-   "max_abs_diff": 0.0014,
-   "mean_abs_diff": 0.000268,
-   "argmax_agree": "595/596",
-   "accuracy_vs_gold": 0.7919
+   "max_abs_diff": 0.0017,
+   "mean_abs_diff": 0.000203,
+   "argmax_agree": "596/596",
+   "accuracy_vs_gold": 0.8372
   },
   "py_cpu": {
    "max_abs_diff": 0.0,
    "mean_abs_diff": 0.0,
    "argmax_agree": "596/596",
-   "accuracy_vs_gold": 0.7903
+   "accuracy_vs_gold": 0.8372
   }
  },
  "belebele_split": {
   "verbatim_n": 252,
   "reworded_n": 648,
   "nz": {
-   "verbatim": 0.7182539682539683,
-   "reworded": 0.4521604938271605
+   "verbatim": 0.7896825396825397,
+   "reworded": 0.5632716049382716
   },
   "roeig": {
    "verbatim": 0.8412698412698413,
@@ -688,6 +689,283 @@
  },
  "calibration_pooled": {
   "n": 3990,
-  "ece_15bin": 0.042
+  "ece_15bin": 0.0274
+ },
+ "wording_robustness": {
+  "suite": "wording_he v1 (frozen): 1786 questions, each asked in 6 wordings with the same meaning",
+  "flip_rate": "share of questions whose top answer is not the same in all 6 wordings (lower is better)",
+  "models": {
+   "BrainboxAI/nitzotz v1.1": {
+    "all_item_weighted": {
+     "flip_rate": 0.0442,
+     "flip_vs_orig": 0.0142,
+     "mean_acc": 0.9081,
+     "worst_acc": 0.8998,
+     "flip_rate_spam_type_without_form_swap": 0.0431
+    },
+    "parts": {
+     "heq_verify": {
+      "n_items": 600,
+      "mean_acc": 0.945,
+      "worst_acc": 0.9417,
+      "flip_rate": 0.0233
+     },
+     "massive_he_4": {
+      "n_items": 500,
+      "mean_acc": 0.967,
+      "worst_acc": 0.958,
+      "flip_rate": 0.034
+     },
+     "spam_business_he:category": {
+      "n_items": 298,
+      "mean_acc": 0.7645,
+      "worst_acc": 0.7584,
+      "flip_rate": 0.0671
+     },
+     "spam_business_he:category:hard": {
+      "n_items": 65,
+      "mean_acc": 0.641,
+      "worst_acc": 0.6154,
+      "flip_rate": 0.1077
+     },
+     "spam_business_he:scam": {
+      "n_items": 298,
+      "mean_acc": 0.9144,
+      "worst_acc": 0.9094,
+      "flip_rate": 0.0235
+     },
+     "spam_business_he:scam:hard": {
+      "n_items": 65,
+      "mean_acc": 0.8103,
+      "worst_acc": 0.8,
+      "flip_rate": 0.0462
+     },
+     "triage30:category": {
+      "n_items": 30,
+      "mean_acc": 0.8723,
+      "worst_acc": 0.8667,
+      "flip_rate": 0.0333
+     },
+     "triage30:paying": {
+      "n_items": 30,
+      "mean_acc": 0.7722,
+      "worst_acc": 0.7333,
+      "flip_rate": 0.2333
+     },
+     "triage30:urgency": {
+      "n_items": 30,
+      "mean_acc": 0.7222,
+      "worst_acc": 0.6,
+      "flip_rate": 0.4333
+     }
+    },
+    "single_answer_wordings": {}
+   },
+   "BrainboxAI/nitzotz v1.0": {
+    "all_item_weighted": {
+     "flip_rate": 0.098,
+     "flip_vs_orig": 0.0427,
+     "mean_acc": 0.8745,
+     "worst_acc": 0.8634,
+     "flip_rate_spam_type_without_form_swap": 0.098
+    },
+    "parts": {
+     "heq_verify": {
+      "n_items": 600,
+      "mean_acc": 0.9333,
+      "worst_acc": 0.93,
+      "flip_rate": 0.0267
+     },
+     "massive_he_4": {
+      "n_items": 500,
+      "mean_acc": 0.9637,
+      "worst_acc": 0.96,
+      "flip_rate": 0.034
+     },
+     "spam_business_he:category": {
+      "n_items": 298,
+      "mean_acc": 0.7478,
+      "worst_acc": 0.7383,
+      "flip_rate": 0.0872
+     },
+     "spam_business_he:category:hard": {
+      "n_items": 65,
+      "mean_acc": 0.5385,
+      "worst_acc": 0.5231,
+      "flip_rate": 0.1538
+     },
+     "spam_business_he:scam": {
+      "n_items": 298,
+      "mean_acc": 0.7891,
+      "worst_acc": 0.7651,
+      "flip_rate": 0.2349
+     },
+     "spam_business_he:scam:hard": {
+      "n_items": 65,
+      "mean_acc": 0.6769,
+      "worst_acc": 0.6,
+      "flip_rate": 0.3692
+     },
+     "triage30:category": {
+      "n_items": 30,
+      "mean_acc": 0.8389,
+      "worst_acc": 0.8333,
+      "flip_rate": 0.1
+     },
+     "triage30:paying": {
+      "n_items": 30,
+      "mean_acc": 0.6278,
+      "worst_acc": 0.4667,
+      "flip_rate": 0.9667
+     },
+     "triage30:urgency": {
+      "n_items": 30,
+      "mean_acc": 0.6,
+      "worst_acc": 0.5667,
+      "flip_rate": 0.4667
+     }
+    },
+    "single_answer_wordings": {
+     "triage30:paying": [
+      "colloquial"
+     ]
+    }
+   }
+  }
+ },
+ "belebele_negation": {
+  "n": 158,
+  "acc": 0.519,
+  "previous_version_acc": 0.2532
+ },
+ "vs_previous_version": {
+  "version": "1.0",
+  "acc": {
+   "spam_scam": 0.8255,
+   "spam_scam_hard": 0.6308,
+   "spam_type": 0.755,
+   "spam_type_hard": 0.5385,
+   "triage_type": 0.8333,
+   "triage_urgency": 0.6,
+   "triage_paying": 0.6333,
+   "massive_20": 0.888,
+   "massive_4": 0.962,
+   "sib200": 0.7941,
+   "heq_verify": 0.9383,
+   "heq_unans": 0.91,
+   "belebele": 0.5267
+  },
+  "mcnemar": {
+   "spam_scam": {
+    "new_only": 32,
+    "old_only": 6,
+    "p": 2.4342560209333897e-05
+   },
+   "spam_scam_hard": {
+    "new_only": 16,
+    "old_only": 5,
+    "p": 0.02660369873046875
+   },
+   "spam_type": {
+    "new_only": 17,
+    "old_only": 15,
+    "p": 0.860050065908581
+   },
+   "spam_type_hard": {
+    "new_only": 9,
+    "old_only": 3,
+    "p": 0.14599609375
+   },
+   "triage_type": {
+    "new_only": 2,
+    "old_only": 1,
+    "p": 1.0
+   },
+   "triage_urgency": {
+    "new_only": 7,
+    "old_only": 1,
+    "p": 0.0703125
+   },
+   "triage_paying": {
+    "new_only": 4,
+    "old_only": 0,
+    "p": 0.125
+   },
+   "massive_20": {
+    "new_only": 15,
+    "old_only": 9,
+    "p": 0.30745625495910645
+   },
+   "massive_4": {
+    "new_only": 7,
+    "old_only": 3,
+    "p": 0.34375
+   },
+   "sib200": {
+    "new_only": 22,
+    "old_only": 20,
+    "p": 0.8776143287523155
+   },
+   "heq_verify": {
+    "new_only": 12,
+    "old_only": 6,
+    "p": 0.237884521484375
+   },
+   "heq_unans": {
+    "new_only": 16,
+    "old_only": 18,
+    "p": 0.8641662404406816
+   },
+   "belebele": {
+    "new_only": 166,
+    "old_only": 76,
+    "p": 7.168318201682987e-09
+   }
+  }
+ },
+ "seeds": {
+  "heldout_this": 0.958,
+  "others": [
+   {
+    "name": "seed 2",
+    "heldout": 0.9492,
+    "acc": {
+     "spam_scam": 0.9128,
+     "spam_scam_hard": 0.8154,
+     "spam_type": 0.7718,
+     "spam_type_hard": 0.6308,
+     "triage_type": 0.8667,
+     "triage_urgency": 0.6667,
+     "triage_paying": 0.7667,
+     "massive_20": 0.902,
+     "massive_4": 0.964,
+     "sib200": 0.8088,
+     "heq_verify": 0.9467,
+     "heq_unans": 0.8933,
+     "belebele": 0.6311
+    }
+   },
+   {
+    "name": "seed 3",
+    "heldout": 0.953,
+    "acc": {
+     "spam_scam": 0.9094,
+     "spam_scam_hard": 0.8308,
+     "spam_type": 0.7886,
+     "spam_type_hard": 0.6154,
+     "triage_type": 0.9333,
+     "triage_urgency": 0.6667,
+     "triage_paying": 0.8,
+     "massive_20": 0.902,
+     "massive_4": 0.966,
+     "sib200": 0.8235,
+     "heq_verify": 0.945,
+     "heq_unans": 0.9,
+     "belebele": 0.6344
+    }
+   }
+  ],
+  "agreement_min": 0.9058,
+  "agreement_max": 0.9105
  }
 }

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:ed978a077a075355feeada7154b10382f40e0e8e115efd194965c7f00bf5c63c
+oid sha256:0abc05a7e052aca7960bfe31962d64d399e233558373de321f34aeceb9b5b530
 size 767366700

nitzotz-f16.gguf

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:3396c490d501a1f5b76db931544119731c56265b798a93fe6babfdb025d36c1b
+oid sha256:b06086caefbf8b626dbadcfb02fe6a6b43047e4624296f74bc5228c50c964313
 size 770204096

nitzotz-q8_0.gguf

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:e4a4cc1c83b957a86938db2ff9c0846e75b80a22508aadb839447df04ce2454c
+oid sha256:ea5f6fbff83711dc3f8dfa2c26919898cbfc109a4710de6ec46ffe792ab3cf30
 size 412580576

rl_agent_config.json

@@ -9,69 +9,94 @@
   "amp_dtype": "bf16",
   "model_name": "nitzotz",
   "temperature": [
-    1.103005051612854,
-    1.109466552734375,
-    1.165097951889038
+    1.1031566858291626,
+    1.110580563545227,
+    1.195957064628601
   ],
   "training": {
     "encoder_init": "HalleluBERT-large after extractive QA on HeQ v1.1 train (test-overlapping passages removed)",
-    "data": "58,000 items: synthetic Hebrew messages, HeQ v1.1 train, MASSIVE he-IL train (see README)",
-    "items_total": 58000,
-    "train_items": 55099,
-    "calib_items": 2901,
+    "data": "106,723 items: synthetic Hebrew messages, HeQ v1.1 train, MASSIVE he-IL train, reading and topic items on FineWeb-2 Hebrew passages, reworded copies (see README)",
+    "items_total": 106723,
+    "train_items": 102173,
+    "calib_items": 4550,
     "epochs_planned": 2,
     "epochs_run": 2,
     "kept_epoch": 2,
     "heldout_by_epoch": [
       {
-        "acc": 0.9349,
-        "soft_nll": 0.5046,
+        "acc": 0.9424,
+        "soft_nll": 0.4824,
+        "acc_base_families": 0.9407,
         "by_family": {
-          "claim": 0.9521,
+          "aug_heq": 0.9344,
+          "aug_massive": 0.9286,
+          "aug_scam": 0.9677,
+          "aug_type": 0.9482,
+          "aug_urgency": 0.814,
+          "claim": 0.968,
           "heq_read": 0.972,
-          "heq_unans": 0.92,
-          "heq_verify": 0.9567,
-          "massive_intent": 0.92,
-          "routing": 0.9201,
-          "spam_type": 0.9329,
-          "urgency": 0.8971
+          "heq_unans": 0.9,
+          "heq_verify": 0.9533,
+          "massive_intent": 0.9229,
+          "rel_scam": 0.9833,
+          "rel_type": 0.9254,
+          "routing": 0.9338,
+          "spam_type": 0.9471,
+          "urgency": 0.8914
         },
         "epoch": 1,
-        "step": 1722,
-        "train_seconds": 765.9
+        "step": 3193,
+        "train_seconds": 1619.1
       },
       {
-        "acc": 0.9479,
-        "soft_nll": 0.4612,
+        "acc": 0.958,
+        "soft_nll": 0.4701,
+        "acc_base_families": 0.9545,
         "by_family": {
-          "claim": 0.9635,
-          "heq_read": 0.984,
-          "heq_unans": 0.944,
-          "heq_verify": 0.9533,
-          "massive_intent": 0.9343,
-          "routing": 0.9384,
-          "spam_type": 0.9429,
+          "aug_heq": 0.9672,
+          "aug_massive": 0.9643,
+          "aug_scam": 0.9731,
+          "aug_type": 0.9512,
+          "aug_urgency": 0.9186,
+          "claim": 0.9658,
+          "heq_read": 0.976,
+          "heq_unans": 0.936,
+          "heq_verify": 0.9567,
+          "massive_intent": 0.9429,
+          "rel_scam": 0.9867,
+          "rel_type": 0.9552,
+          "routing": 0.9543,
+          "spam_type": 0.9586,
           "urgency": 0.9257
         },
         "epoch": 2,
-        "step": 3444,
-        "train_seconds": 766.6
+        "step": 6386,
+        "train_seconds": 1630.1
       }
     ],
-    "steps": 3444,
+    "steps": 6386,
     "batch": 32,
     "micro_batch": 16,
     "lr_encoder": 1e-05,
     "lr_head": 0.0001,
     "warmup": 0.1,
     "schedule": "cosine",
-    "seed": 2,
+    "seed": 1,
     "split_seed": 1234,
     "loss": "soft cross-entropy",
     "amp": "bf16",
     "device": "cuda",
-    "train_seconds": 1543.1,
+    "train_seconds": 3265.6,
     "head_init": "fresh (no laya checkpoint weights)",
-    "class_weights": "none"
-  }
+    "class_weights": "none",
+    "option_shuffle_families": [
+      "read2_multi",
+      "read2_neg",
+      "read2_para",
+      "read2_pos"
+    ],
+    "holdout_by_parent": true,
+    "parent_copies_dropped": 0
+  },
+  "version": "1.1"
 }