كم رمزًا تحتاج العربية مقارنة بالإنجليزية للمعنى نفسه؟ الجواب: يعتمد على المقسّم، من «لا ضريبة» إلى ٦٦٪ زيادة.
لا توجد «ضريبة رموز» واحدة للعربية. على ٢٬٠٠٩ جملة متوازية من FLORES+، تحتاج الجملة العربية الفصحى من ٠٫٩٧× (ALLaM) إلى ١٫٦٦× (Llama 3.2) عدد الرموز التي تحتاجها الجملة الإنجليزية نفسها. المقسّمات المصمّمة للعربية (ALLaM، Jais، Jais 2، Jais 3) تكاد تلغي الفرق. المقسّمات العامة (o200k، Gemma 3، Qwen3، Llama 3.2) تضيف ٣٨–٦٦٪، وMistral Tekken بينهما (+٢٥٪). Fanar نموذج عربي بمقسّم عامّ الطابع (+٤٥٪)، وJais 3 0.9B يستخدم مقسّمًا أصغر خاصًا به (+١٧٪). واللهجات لا تدفع ضريبة إضافية: الخليجية والعراقية والمصرية مثل الفصحى (±٣٪)، والشامية أرخص قليلًا (حتى −٦٪)، والمغربية وحدها أغلى باطّراد (+٣ إلى +١١٪ بحسب المقسّم).
نسبة الرموز (عربي ÷ إنجليزي) لكل مقسّم، مرتّبة من الأكفأ. ١٫٠٠ يعني أن العربية لا تكلّف أكثر من الإنجليزية. الشريط الرمادي الصغير هو فترة الثقة ٩٥٪ (ضيّقة جدًا لأن العيّنة كبيرة).
النسبة نفسها لكل لهجة في FLORES+. النجدية والعراقية والمصرية ضمن ±٣٪ من الفصحى عند كل المقسّمات، والشامية أرخص بـ١ إلى ٦٪، والمغربية أغلى بـ٣ إلى ١١٪. الرقم الأحمر في كل صف هو أرخص لهجة لذلك المقسّم.
الرقم يقيس تكلفة الإدخال والإخراج فقط: كم رمزًا تدفع ثمنه وكم رمزًا ينتظره المستخدم، لا جودة الفهم ولا دقة الإجابة. لنموذج بمقسّم عامّ الطابع، المحادثة العربية تكلّف نحو ١٫٤ إلى ١٫٧ ضعف المحادثة الإنجليزية في نافذة السياق والزمن والسعر لكل رمز. لنموذج بمقسّم عربي، لا فرق يُذكر. راجع الحاسبة لتحويل ذلك إلى أرقام لحجم عملك.
مجموعة من ٢٠ رسالة واتساب بالخليجي مع نسخة فصحى ونسخة إنجليزية لكل منها، صيغت بمساعدة الذكاء الاصطناعي وراجعها متحدث خليجي. على كل المقسّمات، الخليجي كلّف مثل الفصحى أو أقل (النسبة خليجي ÷ فصحى بين ٠٫٨٧ و٠٫٩٨). عيّنة صغيرة وغير مستقلّة المصدر؛ تُنشر كإشارة لا كنتيجة. التفاصيل والفترات في results/w4/summary.md.
FLORES+ نص إخباري وموسوعي مترجم؛ المحادثة اليومية والنص التقني قد يعطيان نسبًا مختلفة. النسبة لا تقارن أسعار الخدمات السحابية مباشرة لأن السعر لكل رمز يختلف بين المزوّدين. «رموز لكل كلمة» في ملف البيانات مرجعية فقط: الكلمة العربية تحمل سوابق ولواحق فلا تُقارن بالكلمة الإنجليزية واحدة بواحدة. المقسّمات المقيّدة (Gemma 3، ALLaM، Jais 2، Fanar) قيست محليًا بعد قبول شروطها ولا يمكن تحميلها في المتصفح، لذلك لا تظهر في الأداة.
السكربت scripts/token_tax.py، النتائج لكل جملة في results/w4/per_sentence.csv، والملخص في results/w4/summary.md. يحتاج التشغيل إلى تنزيل FLORES+ من Hugging Face وقبول شروط المقسّمات المقيّدة. البيئة المسجّلة: Python 3.9، transformers 4.57.6، tiktoken 0.14.0.
English summary. On 2,009 parallel FLORES+ sentences, an MSA sentence costs between 0.97× (ALLaM) and 1.66× (Llama 3.2) the tokens of its English counterpart. Arabic-first tokenizers (ALLaM, Jais, Jais 2, Jais 3) nearly erase the gap; general-purpose tokenizers (Qwen3, Llama 3.2, Gemma 3, OpenAI o200k) add 38–66%; Fanar is an Arabic model with a general-purpose-level cost (+45%). Mistral Tekken sits between (+25%); Jais 3 0.9B ships its own smaller tokenizer (+17%). Gulf, Iraqi and Egyptian cost the same as MSA (±3%), Levantine slightly less (up to −6%), Moroccan consistently more (+3% to +11% depending on the tokenizer). Metric: total Arabic tokens ÷ total English tokens on identical sentences, special tokens excluded, 95% bootstrap CI over sentences (2,000 resamples). Raw data: data/tokenizers.json, results/w4/. Corpus license CC BY-SA 4.0; code MIT.