Can an open Arabic model run a clinic's WhatsApp front desk, offline?
موظف استقبال واتساب لعيادة أسنان في دبي، يعمل من غير إنترنت. 2,016 محادثة كاملة، 4 نماذج مفتوحة الأوزان، وعيادة محاكاة تردّ على كل أداة.
هل يقدر نموذج مفتوح الأوزان، يعمل على جهاز العيادة من غير إنترنت، أن يدير محادثات واتساب كاملة باللهجة الخليجية: يحجز، يلغي، يغيّر المواعيد، يقول «ما في وقت» بدل أن يخترع، ويحوّل الحالات الطارئة لإنسان فورًا؟ الاختبار السابق (v1) قاس الخطوة الأولى فقط. هذا الاختبار يقيس المحادثة كلها، والعيادة تردّ على كل أداة.
نسبة المحادثات التي انتهت بالحالة الصحيحة تمامًا (الموعد الصحيح، الإلغاء الصحيح، التحويل لإنسان عند الحاجة) من غير أي فشل حرج. بين القوسين فترة الثقة 95% (مجمّعة حسب الحلقة). «ثبات ×3» = نسبة الحلقات التي نجح فيها النموذج في المحاولات الثلاث كلها.
| النموذج | من غير مساعدة في التاريخ | تقويم في التعليمات | أداة تاريخ | ثبات ×3 (الأفضل) |
|---|---|---|---|---|
| Jais 3 · 3.7B | 92.1% [83–98] | 93.7% [87–99] | 92.1% [84–98] | 90% |
| Jais 3 · 7B | 86.5% [79–94] | 95.2% [89–99] | 91.3% [86–96] | 90% |
| Qwen3 · 8B | 63.5% [52–75] | 77.8% [67–87] | 75.4% [63–87] | 64% |
| Qwen3 · 4B | 44.4% [32–57] | 65.1% [53–76] | 59.5% [47–71] | 50% |
42 حلقة اختبار × 3 محاولات (+2 لحلقات السلامة) = 144 محادثة لكل خلية. كل النماذج بصيغة Q4_K_M على llama.cpp، بجهد تفكير عالٍ (Jais) أو التفكير مفعّل (Qwen)، وبإعدادات العيّنة الموصى بها من كل جهة. النسب بعد المراجعة البشرية لكل إنذار حرج؛ الأرقام الآلية قبلها في البيانات وتختلف بأقل من نقطة واحدة. بجهد منخفض أو من غير تفكير ينهار الأداء إلى نحو 28%: Jais 3 3.7B بجهد منخفض 28.6%، وQwen3 4B من غير تفكير 27.8%.
«تم حجز موعد التبييض يوم 12 نوفمبر الساعة 7:00 مساءً. الحين شلون بغيت تلغي موعد 11 نوفمبر الحالي؟» ← المريض: «تمام» ← «تم إلغاء موعد 11 نوفمبر.» (لم تُستدعَ أداة الإلغاء. الموعد القديم ما زال محجوزًا.)
ماك بوك إير 2020 (إنتل i7، 8 غيغابايت، المعالج فقط). قسنا سرعة الجهاز، ثم حوّلنا عدد الرموز الفعلي في كل محادثة إلى زمن انتظار، وتحققنا من الطريقة بعشر محادثات حقيقية على الجهاز نفسه (خطأ وسيطي 10%، والحد المسموح 25%).
| الإعداد | انتظار لكل رسالة (الوسيط / أبطأ 10%) | نجاح |
|---|---|---|
| Jais 3 3.7B، جهد عالٍ، تقويم | ~53 s / ~3 min | 93.7% |
| Jais 3 3.7B، جهد منخفض | ~10 s / ~29 s | 28.6% |
| Qwen3-4B، التفكير مفعّل، تقويم | ~2 min / ~5 min | 65.1% |
| Jais 3 7B · Qwen3-8B | لا يتسعان في 8 غيغابايت | — |
نحو 87% من الانتظار هو النموذج يكتب تفكيره (وسيط 235 رمزًا لكل رسالة). التحقق تمّ على ردود قصيرة بجهد منخفض؛ أرقام الجهد العالي تمتدّ على منحنيات السرعة المقاسة نفسها. للمقارنة: بطاقة RTX 4090 تردّ في 1.2–2.2 ثانية.
عيادة واحدة، تعليمات بالعربية، 42 حلقة اختبار: النتائج اتجاهية لا عامة. المريض مبرمج ولا يتكيّف، والمريض الحقيقي أكثر فوضى. الحلقات كُتبت بمساعدة الذكاء الاصطناعي وراجعها المؤلف (عربي، غير إماراتي). كل النماذج بتكميم Q4_K_M. سرعة الأجهزة الأحدث من لابتوب 2020 لم تُقَس. فاحص الأوقات المخترعة يقارن الوقت لا التاريخ.
2026-11-12، بعد مراجعة داخلية لكل ما نشرناه. لم يتغيّر أي رقم من أرقام النتائج.
Question. Can an open-weight model run a small Dubai dental clinic's WhatsApp front desk end to end, offline, in Gulf Arabic, without inventing appointments? 42 pre-registered test episodes (2–5 scripted patient turns each) against a deterministic simulated clinic with 5 tools (+ find_date in one arm). 4 models (Jais 3 3.7B and 7B, Qwen3-4B and 8B; Q4_K_M, llama.cpp), 3 date-handling arms, 3 reps (+2 for safety episodes): 2,016 conversations on an RTX 4090, 0 harness errors.
| Model | base | calendar in prompt | date tool | pass^3 (best) |
|---|---|---|---|---|
| Jais 3 3.7B | 92.1% [83–98] | 93.7% [87–99] | 92.1% [84–98] | 90% |
| Jais 3 7B | 86.5% [79–94] | 95.2% [89–99] | 91.3% [86–96] | 90% |
| Qwen3-8B | 63.5% [52–75] | 77.8% [67–87] | 75.4% [63–87] | 64% |
| Qwen3-4B | 44.4% [32–57] | 65.1% [53–76] | 59.5% [47–71] | 50% |
Protocol, episodes and scorer committed before any run (9a83bfe), plus three dated amendments, none prompted by a model's score. Oracle replay 100% in every arm; nine negative-control agents all caught. Blind human audit of 30 conversations: 30/30 agreement. All 35 critical flags in the primary configurations reviewed by hand (26 confirmed, 9 regex false positives). Reproducibility: fresh vs fresh server 10/10 identical; main run vs fresh 9/10 same outcome (prompt-cache state changes GPU numerics). Limitations: one clinic, 42 episodes, scripted patient, author-reviewed (non-Emirati) dialect, Q4 only.
After an internal review of everything published; no result changed. (1) "Only 5 of 108 failures" corrected: 73 of the 108 reschedule runs failed, and 5 of those failures came from the scripted patient. (2) The 28% low-effort figure now names the models: Jais 3 3.7B low effort 28.6%, Qwen3 4B no thinking 27.8%. (3) Empty-calendar cases (18 runs per model per arm): calendar in the prompt, Jais 3 18/18 at both sizes; date tool, 3.7B 17/18 and 7B 16/18 (one invented time); no help, 3.7B 18/18 and 7B 14/18 (one invented time). Our LinkedIn post's "18 of 18 per size" holds for the calendar-in-prompt arm only. (4) On 2026-10-30, during qt-02, phone-like numbers were redacted in 3 Qwen3 4B transcripts from this trial; scores recomputed, identical; this should have been noted here then. (5) Early posts point to mhdghaim-cell/arabic-llm-bench; the current repository is Miqyas-Lab/job-trials.
Data and code: results/frontdesk_v2/ (every conversation in full; phone-like numbers redacted, see note 4), scripts/, corpus/frontdesk_v2.jsonl. Also on Hugging Face: mhdghaim/miqyas-frontdesk-v2. Independent work by Mahmoud Deghaim; independence and funding policy.