تجربة عمل #1 2,016 محادثة · 4 نماذج التشغيل 2026-10-25 بروتوكول 9a83bfe مسجّل مسبقًا
مقياس · Miqyasمقياس · Miqyas

هل يقدر نموذج عربي مفتوح يدير استقبال عيادة على واتساب، من غير إنترنت؟

Can an open Arabic model run a clinic's WhatsApp front desk, offline?

موظف استقبال واتساب لعيادة أسنان في دبي، يعمل من غير إنترنت. 2,016 محادثة كاملة، 4 نماذج مفتوحة الأوزان، وعيادة محاكاة تردّ على كل أداة.

السؤال

هل يقدر نموذج مفتوح الأوزان، يعمل على جهاز العيادة من غير إنترنت، أن يدير محادثات واتساب كاملة باللهجة الخليجية: يحجز، يلغي، يغيّر المواعيد، يقول «ما في وقت» بدل أن يخترع، ويحوّل الحالات الطارئة لإنسان فورًا؟ الاختبار السابق (v1) قاس الخطوة الأولى فقط. هذا الاختبار يقيس المحادثة كلها، والعيادة تردّ على كل أداة.

النتيجة: محادثات صحيحة من أولها لآخرها

نسبة المحادثات التي انتهت بالحالة الصحيحة تمامًا (الموعد الصحيح، الإلغاء الصحيح، التحويل لإنسان عند الحاجة) من غير أي فشل حرج. بين القوسين فترة الثقة 95% (مجمّعة حسب الحلقة). «ثبات ×3» = نسبة الحلقات التي نجح فيها النموذج في المحاولات الثلاث كلها.

النموذجمن غير مساعدة في التاريختقويم في التعليماتأداة تاريخثبات ×3 (الأفضل)
Jais 3 · 3.7B92.1% [83–98]93.7% [87–99]92.1% [84–98]90%
Jais 3 · 7B86.5% [79–94]95.2% [89–99]91.3% [86–96]90%
Qwen3 · 8B63.5% [52–75]77.8% [67–87]75.4% [63–87]64%
Qwen3 · 4B44.4% [32–57]65.1% [53–76]59.5% [47–71]50%

42 حلقة اختبار × 3 محاولات (+2 لحلقات السلامة) = 144 محادثة لكل خلية. كل النماذج بصيغة Q4_K_M على llama.cpp، بجهد تفكير عالٍ (Jais) أو التفكير مفعّل (Qwen)، وبإعدادات العيّنة الموصى بها من كل جهة. النسب بعد المراجعة البشرية لكل إنذار حرج؛ الأرقام الآلية قبلها في البيانات وتختلف بأقل من نقطة واحدة. بجهد منخفض أو من غير تفكير ينهار الأداء إلى نحو 28%: Jais 3 3.7B بجهد منخفض 28.6%، وQwen3 4B من غير تفكير 27.8%.

السلامة

أين تفشل النماذج

  1. تغيير الموعد يكسر الجميع. النموذج يحجز الجديد ويترك القديم (حجز مزدوج)، أو لا يبحث عن موعد المريض أصلًا، أو يقول «تم الإلغاء» من غير أن يلغي. نجح Jais 3 3.7B في 10 من 27، و7B في 15 من 27، وQwen3-8B في 8، وQwen3-4B في 2. فشلت 73 من 108 محاولة لتغيير الموعد، و5 فقط من هذه الإخفاقات سببها أن المريض المبرمج لم يجب على سؤال تأكيد إضافي.
    «تم حجز موعد التبييض يوم 12 نوفمبر الساعة 7:00 مساءً. الحين شلون بغيت تلغي موعد 11 نوفمبر الحالي؟» ← المريض: «تمام» ← «تم إلغاء موعد 11 نوفمبر.» (لم تُستدعَ أداة الإلغاء. الموعد القديم ما زال محجوزًا.)
  2. «قالها ولم يفعلها». ادعاءات «تم الحجز» أو «تم الإلغاء» من غير استدعاء الأداة. نادرة عند Jais، وموجودة عند الجميع.
  3. تحويل الوقت. الأداة تعطي 19:00 والنموذج يكتب للمريض «6:00». خطأ متكرر عند Qwen3-8B، ونادر عند Jais 3 7B.

على لابتوب العيادة

ماك بوك إير 2020 (إنتل i7، 8 غيغابايت، المعالج فقط). قسنا سرعة الجهاز، ثم حوّلنا عدد الرموز الفعلي في كل محادثة إلى زمن انتظار، وتحققنا من الطريقة بعشر محادثات حقيقية على الجهاز نفسه (خطأ وسيطي 10%، والحد المسموح 25%).

الإعدادانتظار لكل رسالة (الوسيط / أبطأ 10%)نجاح
Jais 3 3.7B، جهد عالٍ، تقويم~53 s / ~3 min93.7%
Jais 3 3.7B، جهد منخفض~10 s / ~29 s28.6%
Qwen3-4B، التفكير مفعّل، تقويم~2 min / ~5 min65.1%
Jais 3 7B · Qwen3-8Bلا يتسعان في 8 غيغابايت—

نحو 87% من الانتظار هو النموذج يكتب تفكيره (وسيط 235 رمزًا لكل رسالة). التحقق تمّ على ردود قصيرة بجهد منخفض؛ أرقام الجهد العالي تمتدّ على منحنيات السرعة المقاسة نفسها. للمقارنة: بطاقة RTX 4090 تردّ في 1.2–2.2 ثانية.

الحكم: ماذا يفعل صاحب العيادة؟

النموذج
بإشراف بشريJais 3 (3.7B أو 7B) بجهد تفكير عالٍ وتقويم 14 يومًا في التعليمات، للحجز والاستفسار وتحويل الطوارئ: 94–95% من المحادثات صحيحة من أولها لآخرها، وكل حالة طارئة وصلت لموظف في الوقت.
المنافس
لا يُنشرQwen3 (4B و8B): 65–78%، دون المعيار، وفاتته حالة طارئة قلّل منها المريض.
المهمة
لا يُنشرتغيير المواعيد من غير موظف، بأي نموذج: كل النماذج تحجز الموعد الجديد وتنسى إلغاء القديم، أو تقول «تم الإلغاء» من غير أن تلغي. حوّل تغيير المواعيد لموظف، أو أعطِ النموذج أداة تغيير واحدة.
الجهاز
لا يُنشرعلى لابتوب ماك بوك إير 2020 (إنتل، 8 غيغابايت): الإعداد الذي ينجح يحتاج نحو دقيقة لكل رد، والإعداد السريع ينجح في 29% فقط. نماذج 7B و8B لا تتسع في الذاكرة أصلًا. تحتاج العيادة جهازًا أحدث؛ كم أحدث؟ لم نقسه بعد.
التاريخ
الحل الرخيص يكفي: تقويم مكتوب في التعليمات كان جيدًا مثل أداة التاريخ أو أفضل. لا حاجة لبرمجة إضافية.

الفرضيات المسجّلة مسبقًا

كيف تحقّقنا

القيود

عيادة واحدة، تعليمات بالعربية، 42 حلقة اختبار: النتائج اتجاهية لا عامة. المريض مبرمج ولا يتكيّف، والمريض الحقيقي أكثر فوضى. الحلقات كُتبت بمساعدة الذكاء الاصطناعي وراجعها المؤلف (عربي، غير إماراتي). كل النماذج بتكميم Q4_K_M. سرعة الأجهزة الأحدث من لابتوب 2020 لم تُقَس. فاحص الأوقات المخترعة يقارن الوقت لا التاريخ.

ملاحظات وتصويبات مؤرخة

2026-11-12، بعد مراجعة داخلية لكل ما نشرناه. لم يتغيّر أي رقم من أرقام النتائج.

English technical summary

Question. Can an open-weight model run a small Dubai dental clinic's WhatsApp front desk end to end, offline, in Gulf Arabic, without inventing appointments? 42 pre-registered test episodes (2–5 scripted patient turns each) against a deterministic simulated clinic with 5 tools (+ find_date in one arm). 4 models (Jais 3 3.7B and 7B, Qwen3-4B and 8B; Q4_K_M, llama.cpp), 3 date-handling arms, 3 reps (+2 for safety episodes): 2,016 conversations on an RTX 4090, 0 harness errors.

Episode success (state-based, after human review of critical flags; 95% CI clustered by episode)

Modelbasecalendar in promptdate toolpass^3 (best)
Jais 3 3.7B92.1% [83–98]93.7% [87–99]92.1% [84–98]90%
Jais 3 7B86.5% [79–94]95.2% [89–99]91.3% [86–96]90%
Qwen3-8B63.5% [52–75]77.8% [67–87]75.4% [63–87]64%
Qwen3-4B44.4% [32–57]65.1% [53–76]59.5% [47–71]50%

Findings

  • Jais 3 beats Qwen3 at matched and double size in every arm (paired CIs exclude zero; 3.7B vs Qwen3-8B: +16 to +29 pts). Jais 3 3.7B ≈ 7B.
  • Every emergency reached a human in time for both Jais models in all arms (25/25 per cell); in 4 of the 6 cells, 1–2 of 25 were labelled "complaint" rather than "emergency" (counted as failures under the pre-registered rule). Qwen missed a downplayed emergency 5 times.
  • Rescheduling is the weak spot for every model: double bookings (new slot booked, old one left), skipped lookups, and "cancelled" claims with no tool call.
  • H1 (date tool beats no help, Jais) not supported; a 14-day calendar in the prompt was at least as good as the tool for every model. H2 met on the point estimate (93.7%, CI lower bound 86.5%). H3 (zero critical failures) not met for 3.7B (one false cancellation claim in 144), met for 7B.
  • Laptop (2020 Intel MacBook Air, 8 GB, CPU): the configuration that works waits ~53 s per message (p90 ~3 min); low effort is ~10 s but 29% success; 7B/8B don't fit in memory. The speed model was validated on 10 real conversations (median absolute error 10%).

Validity

Protocol, episodes and scorer committed before any run (9a83bfe), plus three dated amendments, none prompted by a model's score. Oracle replay 100% in every arm; nine negative-control agents all caught. Blind human audit of 30 conversations: 30/30 agreement. All 35 critical flags in the primary configurations reviewed by hand (26 confirmed, 9 regex false positives). Reproducibility: fresh vs fresh server 10/10 identical; main run vs fresh 9/10 same outcome (prompt-cache state changes GPU numerics). Limitations: one clinic, 42 episodes, scripted patient, author-reviewed (non-Emirati) dialect, Q4 only.

Dated notes (2026-11-12)

After an internal review of everything published; no result changed. (1) "Only 5 of 108 failures" corrected: 73 of the 108 reschedule runs failed, and 5 of those failures came from the scripted patient. (2) The 28% low-effort figure now names the models: Jais 3 3.7B low effort 28.6%, Qwen3 4B no thinking 27.8%. (3) Empty-calendar cases (18 runs per model per arm): calendar in the prompt, Jais 3 18/18 at both sizes; date tool, 3.7B 17/18 and 7B 16/18 (one invented time); no help, 3.7B 18/18 and 7B 14/18 (one invented time). Our LinkedIn post's "18 of 18 per size" holds for the calendar-in-prompt arm only. (4) On 2026-10-30, during qt-02, phone-like numbers were redacted in 3 Qwen3 4B transcripts from this trial; scores recomputed, identical; this should have been noted here then. (5) Early posts point to mhdghaim-cell/arabic-llm-bench; the current repository is Miqyas-Lab/job-trials.

Data and code: results/frontdesk_v2/ (every conversation in full; phone-like numbers redacted, see note 4), scripts/, corpus/frontdesk_v2.jsonl. Also on Hugging Face: mhdghaim/miqyas-frontdesk-v2. Independent work by Mahmoud Deghaim; independence and funding policy.