التقييم عبر الإنترنت مقابل التقييم دون اتصال لنماذج LLM: أيهما تحتاج؟ (ومتى؟)

التقييم عبر الإنترنت مقابل التقييم دون اتصال لنماذج LLM: أيهما تحتاج؟ (ومتى؟)

التقييم عبر الإنترنت مقابل التقييم دون اتصال لنماذج LLM قرار واحد لا قراران، وقد أثبتت مجموعة اختبارات promptfoo لدينا ذلك يوم الثلاثاء الماضي: إعادة كتابة واحدة لموجّه النظام، و47 حالة اختبار، وهبوط الأمانة (faithfulness) من 0.91 إلى 0.74 في نحو 90 ثانية من زمن CI. التقط فحص دون الاتصال ذلك التراجع قبل الدمج؛ أما مراقبة الإنتاج فكانت ستلقاه لاحقًا في هيئة تذكرة دعم فني. دون الاتصال مقابل عبر الإنترنت، الحكم واحد: مسار مختلفان، ومهمتان مختلفتان.

يشغّل التقييم دون اتصال لنماذج LLM نموذجك ضد مجموعة بيانات ثابتة قبل النشر، ليثبت أن التغيير لم يكسر الجودة المقاسة. أما التقييم عبر الإنترنت فيُسجّل درجات لحركة المرور الحية في الإنتاج بعد الإطلاق، كاشفًا ما لم تتضمنه مجموعة البيانات قط. تحتاج معظم الفرق إلى كليهما بترتيب محدد: دون الاتصال يحرس النشر، وعبر الإنترنت يلتقط الانحراف.

أبرز النقاط الرئيسية

• يعمل التقييم دون اتصال ضد مجموعة بيانات ثابتة قبل النشر؛ بينما يقيّم التقييم عبر الإنترنت الحركة الحية بعد الإطلاق.
• تحتاج معظم الفرق إلى كليهما: دون الاتصال يحرس عمليات النشر، وعبر الإنترنت يلتقط ما فات مجموعة البيانات.
• يلتقط دون الاتصال تراجعات الموجّهات وكسور التنسيق؛ ويلتقط عبر الإنترنت الانحراف وزمن الاستجابة تحت الضغط وغرائب التكامل.
• اربط تقييمات دون الاتصال كبوابة دمج في CI؛ وبثّ درجات عبر الإنترنت من تتبّعات الإنتاج إلى مجموعة التقييم لديك.

كيف يختلف التقييم عبر الإنترنت عن التقييم دون اتصال فعليًا؟ (9 أبعاد)

يختلف الوضعان على تسعة محاور، لكن المحور الحاسم هو مصدر البيانات: يقيّم التقييم دون اتصال مجموعة بيانات ثابتة مُدارة بالإصدارات قبل النشر، بينما يقيّم التقييم عبر الإنترنت الحركة الحية بعد الإطلاق. وكل الفروق الأخرى، من التكلفة وزمن الاستجابة إلى المخاطر والحوكمة، تتفرع من هذا الانقسام.

يؤطر مركز التعلم في Label Studio الوضعين بوصفهما متكاملين لا متنافسين، ونحن نتفق مع ذلك. ويضيف الجدول أدناه مقاييس خاصة بنماذج LLM لا تغطيها نسختهم العامة للتعلم الآلي.

قراءتنا للأمر: عمود دون الاتصال يجيب عن سؤال «هل كسر هذا التغيير شيئًا؟»، وعمود عبر الإنترنت يجيب عن «هل ينحرف الإنتاج عما اختبرناه؟». وصف أنواع المقاييس هو أشد موطن يفترق فيه الوضعان؛ ويفصّل دليل مقاييس تقييم LLM كلًّا منها.

ماذا يلتقط كل وضع، وما الذي يسقط من كليهما؟

يختص كل وضع بفئة إخفاقات خاصة لا يراها الآخر. يلتقط دون الاتصال التغييرات التي أجريتها أنت؛ ويلتقط عبر الإنترنت التغييرات التي أجراها العالم من حولك. أما الإخفاقات المكلفة، تلك التي تنجو من الشبكتين، فتحتاج إلى مراجع بشري. هذا التصنيف خلاصة قراءتنا لما يبلغ عنه كل وضع، وليس معيارًا منشورًا.

ربع «دون الاتصال فقط» هو المكان الذي تبرر فيه بوابات CI كلفتها: موجّه معاد كتابته يخفض الامتثال للتنسيق من 99% إلى 91% بهدوء، فيمرّ خفيًّا في مراجعة الكود ويظهر جليًّا في مجموعة من 47 حالة. وربع «عبر الإنترنت فقط» أخبث: المستخدمون الحقيقيون يصيغون أسئلة لم ترد قط في مجموعتك الذهبية، وواجهات برمجة التطبيقات التابعة لأطراف ثالثة تنفد مهلتها في أوقات لا تصل إليها بيئة الاختبار أبدًا، وسيُطعم أحدهم روبوت الدردشة لديك موجّهًا من 40,000 محرف لمجرد رؤية ما سيحدث. ولهذا الجانب، يغطي دليلنا في تقييم الوكلاء في الإنتاج تسجيل الدرجات للمسارات متعددة الخطوات، لا للمخرجات الفردية فحسب.

الصف الأخير هو الذي تتخطاه الفرق، وهو الذي يحرقها. الإخفاقات التي تكلّفك المستخدمين هي التي لا يلتقطها أي وضع بمفرده. وهي تحتاج إلى بشر في الحلقة.

كيف تربط تقييمات دون الاتصال ببوابة CI؟ (الإعداد الذي لا يُظهره أحد)

أضف مُشغّل تقييم كفحص حالة إلزامي على كل طلب سحب يمسّ موجّهًا أو نموذجًا أو إعداد استرجاع. حدّد عتبة، وامنع الدمج دونها. توثّق promptfoo نمط CI هذا بعينه، وهو الذي نشغّله.

خطوة GitHub Actions

نسخة مختصرة من البوابة التي نشغّلها اليوم:

name: llm-eval-gate

on:
  pull_request:
    paths: ["prompts/**", "evals/**", "src/rag/**"]

jobs:
  faithfulness-gate:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-node@v4
        with:
          node-version: 22
      - name: Run offline evals, fail the PR on regression
        run: npx promptfoo@latest eval --config evals/support-agent.yaml
        env:
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}  # LLM-as-judge

يصرّح إعداد YAML بحالات الاختبار والتوكيدات؛ ويخرج أمر eval برمز غير صفري حين تهبط المجموعة دون العتبة، فيعلّم GitHub الفحص الإلزامي كفاشل، ويتحول زر الدمج إلى اللون الرمادي. ومرشّح paths مهم: إصلاح ملف README لا ينبغي أن يحرق رموز المحكّم.

ماذا تلتقط البوابة فعليًا

تُسجّل النسخة الحية درجات سلسلة RAG لوكيل الدعم لدينا مقابل 47 حالة ذهبية عند كل طلب سحب يمسّ الموجّهات. يستغرق التشغيل الكامل نحو 90 ثانية من زمن CI، ويُمنع الدمج تلقائيًا إذا هبطت الأمانة دون 0.82. وفي ثلاثة أشهر، التقطت تراجعين كانا سيصلان إلى الإنتاج لولاها: إعادة كتابة لموجّه النظام دفعت الأمانة من 0.91 إلى 0.74، وتغيير في المسترجِع ضاعف طول السياق وجرّ ملاءمة الإجابة إلى ما دون العتبة. لم يبدُ أي منهما خطرًا في المراجعة.

بوابة أمانة في CI تكلّف 90 ثانية لكل طلب سحب. وتراجع أمانة في الإنتاج يكلّفك تذكرة دعم فني وتراجعًا عن الإصدار.

قارنّا بين المُشغّلات التي يمكنك توصيلها بهذا النمط، promptfoo وDeepEval وغيرهما، في جولة أدوات تقييم LLM لدينا.

أي الأدوات تشغّل أي وضع؟ (مصفوفة الأدوات والأوضاع)

لا توجد أداة واحدة تملك المسارين بإتقان. promptfoo وDeepEval مُشغّلان يميلان إلى دون الاتصال ويمكنهما تقييم بيانات الإنتاج المصدّرة وفق جدول زمني؛ وLangfuse وLangSmith مخزنا تتبعات يميلان إلى عبر الإنترنت ويثبّتان مسجّلات «LLM كحكم» على التتبعات المبتلعة. والمصفوفة قراءتنا لتوثيق كل مزود: اجتهاد لا نصّ مقدس.

اختر promptfoo أو DeepEval إذا كانت حاجتك الأولى بوابة دمج تمنع الموجّهات السيئة في CI. واختر Langfuse أو LangSmith إذا كانت حاجتك الأولى تسجيل درجات الحركة الحية، وتدخل مقارنتنا بين Langfuse وLangSmith في عمق هذا الخيار. ويبقى OpenAI Evals الاستثناء: مُشغّل دون اتصال بأسلوب السجلّ بلا جانب إنتاج.

promptfoo تحرس طلبات السحب لديك. Langfuse تُقيّم تتبعات إنتاجك. لا تُغني إحداهما عن الأخرى.

كيف تحوّل حلقة التغذية الراجعة إخفاقات عبر الإنترنت إلى اختبارات دون اتصال؟

خذ عينات من تتبعات الإنتاج منخفضة الدرجات، وسها، وأودعها في مجموعة التقييم دون الاتصال. عندئذ تنمو مجموعة اختبارات التراجع مع كل مفاجأة يرميها الإنتاج، ويُحرس النشر التالي على المجموعة الموسعة. إطار «العجلة الدوّارة» من وضعنا؛ وهو الجزء الذي لا تبنيه معظم الفرق.

الدورة كما نشغّلها:

1. تُعلّم مسجّلات عبر الإنترنت التتبعات التي تهبط دون درجة محكّم 0.7.
2. نأخذ 20 إلى 30 تتبّعًا معلّمًا بالأسبوع.
3. يضع بشر وسمًا لكل منها: المخرج المتوقع وفئة الإخفاق.
4. تنضم الحالات الموسومة إلى مجموعة التقييم دون الاتصال أمثلةً ذهبية جديدة.
5. يعمل طلب السحب التالي ضد المجموعة الموسعة، وتبدأ الدورة من جديد.

تبدأ العينات من طبقة مراقبة LLM لديك، لأن التتبعات هي المادة الخام. وبشأن الإيقاع: الأسبوعي يغلب الشهري، لأن الانحراف يتراكم. نحن نسم 10 إلى 15 حالة أسبوعيًا، وتصبح المجموعة «كبيرة بما يكفي» حين تتوقف الوسوم الجديدة عن تحريك نسبة النجاح، أي نحو 150 إلى 250 حالة لوكيل دعم ضيق النطاق. والحدود بين الوضعين تزداد ضبابية: تفيد Deepchecks بأن مهندسي Union.ai يجدولون تقييماتهم «دون الاتصال» كل بضع دقائق، محوّلين إياها فعليًا إلى فحوص شبه آنية.

مجموعة تقييمك ليست أثرًا ثابتًا. إنها تنمو كل أسبوع يفاجئك فيه الإنتاج.

متى تحتاج إلى كليهما؟ (التقييم عبر الإنترنت مقابل دون اتصال بحسب المرحلة)

تحتاج إلى كليهما من أسبوع الإطلاق فصاعدًا، لكن التوازن يتغير بحسب المرحلة: يتحمل دون الاتصال وحده عمل ما قبل النشر، ويضيف أسبوع الإطلاق التسجيل الظلي أو تسجيل الكناري، وتستند حالة الاستقرار إلى مراقبة عبر الإنترنت مع إعادات تشغيل دورية دون اتصال، وينبغي أن ينتهي تنبيه الانحراف باختبار دون اتصال معادِ الإنتاج ومجموعة تقييم أكبر.

ما قبل النشر أرخص موضع للتشدد: دمج ممنوع يكلّف دقائق؛ وإصدار سيئ يكلّف الثقة. وأسبوع الإطلاق هو الذي تقصّر فيه الفرق الاستثمار، مع أن التسجيل الظلي على شريحة صغيرة من الحركة قليل الكلفة ويكشف ما إذا كانت المجموعة الذهبية قد كذبت. وحالة الاستقرار هي التي يتسلل فيها التراخي، فضع إعادة التقييم على التقويم.

ماذا عن قانون الذكاء الاصطناعي الأوروبي؟

تدخل التزامات المخاطر العالية في قانون الذكاء الاصطناعي الأوروبي حيّز التنفيذ تدريجيًا حتى أغسطس 2026، مع الجدول الزمني الكامل للمواعيد النهائية المنشور على EUR-Lex، وينطبق نمط الامتثال انطباقًا نظيفًا على الوضعين. أدلة موثقة دون الاتصال تُظهر أن النظام حقق أهداف الجودة قبل الإصدار؛ ومراقبة مستمرة عبر الإنترنت تُظهر أنه يواصل تحقيقها بعده. وقراءتنا أن مسار التدقيق يحتاج إلى كلا الأثرين، لأن سجلات دون الاتصال وحدها لا تثبت أن النظام بقي ممتثلًا، ولوحات المعلومات وحدها لا تثبت أنه أُطلق ممتثلًا. وهذا اجتهاد لا مشورة قانونية؛ وتُفصّل ركيزة خط أنابيب تقييم LLM لدينا مجموعة المتطلبات كاملة.

التقييم دون اتصال هو دليلك. والتقييم عبر الإنترنت هو نظام إنذارك المبكر. والجهات التنظيمية تريد كليهما.

عن الكاتب: مرت باتور شريك مؤسس في Techsy.io، حيث يشحن الفريق وكلاء ذكاء اصطناعي وأنظمة أتمتة وخطوط أنابيب صوتية وخطوط SDR لعملاء B2B. ويكتب عن حزمة أدوات LLM التي يستخدمها فريق Techsy فعليًا في الإنتاج. تواصل معه على LinkedIn.

الأسئلة الشائعة

ما التقييم دون اتصال لنماذج LLM؟

يشغّل التقييم دون اتصال نموذجًا أو موجّهًا ضد مجموعة بيانات ثابتة مُدارة بالإصدارات قبل النشر. تشمل الفحوص النموذجية أمانة المخرجات للسياق المسترجع، وملاءمة الإجابة، والامتثال للتنسيق، ودرجات المعايير القياسية. ولأن مجموعة البيانات لا تتغير أثناء التشغيل، تكون النتائج قابلة للتكرار والمقارنة، وهذا بالضبط سبب صلاحية مجموعات دون الاتصال كبوابات دمج في CI.

ما التقييم عبر الإنترنت لنماذج LLM؟

يُسجّل التقييم عبر الإنترنت درجات لحركة المرور الحية في الإنتاج بعد الإطلاق. يُقيّم مسجّل «LLM كحكم» التتبعات المأخوذة بالعينات من حيث الهلوسة أو النبرة أو صحة استدعاء الأدوات، وتتدفق الدرجات إلى لوحة معلومات. ويمتص أيضًا إشارات لا تراها اختبارات دون الاتصال: زمن الاستجابة تحت الضغط، وملاحظات المستخدمين، ومدى اختلاف الاستعلامات الحقيقية عن مجموعتك الذهبية.

متى أستخدم التقييم دون الاتصال مقابل التقييم عبر الإنترنت لنماذج LLM؟

استخدم التقييم دون الاتصال لحراسة عمليات النشر: كل تغيير في الموجّهات أو النماذج أو الاسترجاع ينبغي أن يجتاز المجموعة قبل الدمج. واستخدم التقييم عبر الإنترنت لمراقبة ما يُشحن. ترتّب معظم الفرق كليهما بدل اختيار واحد: دون الاتصال أولًا، وعبر الإنترنت من أسبوع الإطلاق فصاعدًا، مع تدفق إخفاقات الإنتاج عائدة إلى مجموعة دون الاتصال.

ما مثال على التقييم عبر الإنترنت مقابل التقييم دون الاتصال؟

مثال دون الاتصال: تشغّل مجموعة promptfoo عدد 200 سؤال دعم ذهبي عند كل طلب سحب وتمنع الدمج إذا هبطت الأمانة دون 0.82. مثال عبر الإنترنت: تُقيّم Langfuse نسبة 10% من التتبعات الحية بفحص هلوسة «LLM كحكم» وتنبّه حين ينزلق المتوسط الأسبوعي. المعيار نفسه، ومصدر البيانات مختلف.

كيف يدخل العنصر البشري في تقييم LLM؟

يُغلق البشر الفجوة التي لا يغطيها أي وضع: الحالات الحدّية الجديدة، وأحكام الجودة الذاتية، وانحراف نبرة العلامة التجارية. والإيقاع العملي هو وسم 10 إلى 20 تتبّعًا منخفض الدرجات بالأسبوع وإيداع الحالات الموسومة في مجموعة التقييم دون الاتصال. طابور المراجعة مُدخل لخط الأنابيب، لا مشروع جانبي.

كيف تعمل تقييمات Langfuse للتسجيل عبر الإنترنت؟

تبتلع Langfuse التتبعات من تطبيقك، ثم تُلحق مقيّمات «LLM كحكم» تُسجّل درجة لكل تتبّع مقابل معيار: هلوسة أو ملاءمة أو سُمّية أو موجّه مخصص. وتستقر الدرجات على لوحة معلومات مرتبطة بالجلسات والمستخدمين. وتصدّر الفرق التتبعات منخفضة الدرجات باستمرار إلى مجموعة بيانات دون الاتصال لاختبارات التراجع. وتقارن جولة منصات المراقبة لدينا مخازن التتبعات التي تغذّي هذا النمط.

كيف أضيف تقييمات دون الاتصال إلى خط أنابيب CI/CD؟

أضف مُشغّل تقييم كفحص حالة إلزامي على طلبات السحب التي تمسّ الموجّهات أو النماذج أو إعداد الاسترجاع. يعمل كل من promptfoo وDeepEval بلا واجهة رسومية ويخرجان برمز غير صفري عند فشل التوكيد، ما يمنع الدمج تلقائيًا. وبوابة YAML الواردة آنفًا في هذا المقال قالب جاهز؛ ابدأ بـ 30 إلى 50 حالة.

هل يتطلب قانون الذكاء الاصطناعي الأوروبي التقييم دون الاتصال أم عبر الإنترنت؟

عمليًا، كليهما. يتوقع القانون للأنظمة عالية المخاطر أدلة موثقة على تحقيق أهداف الجودة قبل الإصدار، أي آثار دون الاتصال، إضافة إلى مراقبة مستمرة بعد النشر، أي قياسات عن بُعد عبر الإنترنت. وتمتد مواعيده النهائية المتدرجة حتى أغسطس 2026 وفق EUR-Lex. وهذه قراءتنا لنمط الامتثال، لا مشورة قانونية.

هل يمكن تشغيل «LLM كحكم» في الوضعين دون الاتصال وعبر الإنترنت؟

نعم، وينبغي، لأن المعيار قابل للنقل. في دون الاتصال، يُقيّم المحكّم كل مخرج من مجموعة التقييم دفعة واحدة أثناء CI. وفي عبر الإنترنت، يُقيّم موجّه المحكّم نفسه التتبعات المأخوذة بالعينات في الإنتاج شبه الآني. والحفاظ على معيار واحد في كلا الوضعين هو ما يجعل خط أساسك دون الاتصال قابلًا للمقارنة بإشارة انحرافك عبر الإنترنت.

ما المقاييس التي تختلف بين التقييم دون الاتصال والتقييم عبر الإنترنت؟

تقيس مقاييس دون الاتصال جودة المخرجات مقابل الحقيقة الأرضية: الأمانة، وملاءمة الإجابة، والامتثال للتنسيق، ودرجات المعايير القياسية. وتضيف مقاييس عبر الإنترنت إشارات تشغيلية وسلوكية: زمن الاستجابة عند المئين 95، ومعدل الأخطاء، ومعدل الهلوسة على الحركة الحية، ودرجة الانحراف، ورضا المستخدمين. قائمة دون الاتصال تسأل «هل هو جيد؟» وقائمة عبر الإنترنت تسأل «هل ما يزال جيدًا؟».

الخلاصة

• التقييم دون الاتصال والتقييم عبر الإنترنت مساران متكاملان لا خيار أحدهما: أحدهما يحرس ما تشحنه، والآخر يراقب ما شحنته.
• ابدأ ببوابة CI هذا الأسبوع، وأضف تسجيل درجات التتبعات عبر الإنترنت عند الإطلاق، واربط حلقة التغذية الراجعة قبل أن تتقادم مجموعة تقييمك.
• الحلقة هي النظام. مجموعة البيانات الذهبية الثابتة تتعفن؛ والنامية تتضاعف.

إذا أردت عينًا ثانية على خط أنابيب التقييم لديك، احصل على استشارة مجانية.