نموذج تسلسلات أسوأ بصراحة
نموذج لغوي مبنيّ على آلية مختلفة تمامًا — أقرب إلى كيمياء تنتشر على سطح منه إلى رياضيات الانتباه التي يستعملها كل شيء آخر. أداؤه أسوأ من المحوّل، وصفحته الأولى تقول ذلك. وليس أسوأ قليلًا: أربع مراتب عشرية في الحيرة (PPL)، المقياس المعتاد، في مقابل المحوّل التوليدي المدرَّب مسبقًا 2 (GPT-2) بوصفه خط الأساس، ومطبوعٌ على هذه الصفحة لا في حاشية. يُنشَر بوصفه سجل أبحاث لأن إخفاقًا موثّقًا له قيمة وإخفاقًا محذوفًا لا قيمة له.
حيرة تدريب تبلغ 450,000 في مقابل 20 لـGPT-2 ليست إخفاقًا قريبًا. إنها أربع مراتب عشرية، ولا يغيّر ذلك أي قدر من التأطير.
القيمة هي سلّم التجارب E0–E26 وإخفاقاته موثّقة بالتعليق: أي الأفكار المعمارية انهارت، وكيف، وماذا قالت التشخيصات. النتيجة السلبية بسبب موثّق مساهمة. أما النتيجة السلبية التي تُحذَف بصمت فهدر للعمل.
ما هذا، في دقيقة واحدة
كل ذكاء اصطناعي يتعامل مع اللغة تقريبًا مبنيّ على الفكرة نفسها: دع كل كلمة تنظر إلى كل كلمة أخرى. وهي تعمل. ولا أحد يعرف كم من ذلك لأنها أفضل فكرة متاحة، وكم منه لأنها الفكرة التي جرّبها الجميع.
ينزع Cell AI ذلك ويضع مكانه شيئًا آخر: مادّتان كيميائيتان تنتشران وتتفاعلان على سطح، كما تتكوّن الخطوط على حيوان، مع تغيّر الوصلات أثناء القراءة لا بعدها. ثم دُرِّب بالحجم الكامل وقيس. فخرج أسوأ من GPT-2 بأربع مراتب عشرية. هذا هو عنوان هذه الصفحة، لا سطرٌ في ملحق.
الباحثون الذين يريدون معرفة ما يحدث في الطريق الذي لم يسلكه أحد. والعلماء الذين ينمذجون الأنظمة الحيّة أصلًا، لأن الآلية تحته هي نفسها التي تصنع الأنماط في الكيمياء والعلامات على الحيوانات. والمعلّمون، لأن البحث المنشور نجاحات كله تقريبًا، ووصفٌ دقيق لإخفاق أندر وأنفع.
الديناميكا التي تحت المعمارية
هذا نظام تفاعل وانتشار من طراز Gray–Scott — صنف الديناميكا نفسه الذي تقوم عليه نواة CellularPDE. مادتان كيميائيتان تنتشران بمعدّلين مختلفين وتتفاعلان؛ ومعدّلا التغذية والقتل يقرّران هل تحصل على بقع أم خطوط أم خلايا تنقسم أم لا شيء إطلاقًا. ورهان المعمارية أن حقلًا ذاتي التنظيم كهذا يستطيع حمل الحوسبة. راقبه واحكم على معقولية ذلك بنفسك.
CellularPDE — نواة التفاعل والانتشار
انقر أو اسحب على الحقل لحقن المادة B وإرباك النمط.
حالة الأقسام
N = 4 أقسام للحقل، كما في نواة CellularPDE. والارتفاع هو متوسط تنشيط كل قسم؛ والتسريب λ = 0.01 يربطها ببعضها.
Gray–Scott بـDa=1.0, Db=0.5، لابلاسي بتسع نقاط، وأويلر صريح. هذه هي الركيزة الديناميكية، لا النموذج المدرَّب — فالنموذج المدرَّب 125.8M معامل ولا يتّسع له تبويب متصفح.
CellularPDE . أما المعمارية نفسها فبلغة PyTorch.
ما الذي يحلّ محلّ الانتباه
CellularPDE
N = 4 أقسام من حالة بأبعاد D = 256، وتسريب λ = 0.01، وحدود تفاعل سينية — نظام تفاعل وانتشار متقطّع يقف حيث كان سيقف الانتباه الذاتي.
MetaplasticityLayer
تعلّم هيبي على طراز بينينستوك–كوبر–مونرو (BCM)، بـα = 0.1 وβ = 0.01، يُطبَّق أثناء المرور الأمامي لا بعده. وهذه أجرأ فكرة في المعمارية، ومصدر مشكلة تجويع التدرّج الموثّقة فيها.
SpectralPDE & SparseHebbian
يخفض SpectralPDE التعقيد من O(D²) إلى O(D log D). ويضغط SparseHebbian التحديثات من 65,536 وزنًا إلى 1,024. وتشغّل MultiScalePartitions تيّارين سريعًا وبطيئًا؛ ويستخدم AnnealedRouter جدولة Gumbel-Softmax.
الحزمة الكاملة
تضمين cl100k_base → CellularPDE → MetaplasticityLayer → MemoryFormation → ResonanceSystem → CrystalLattice (K = 3) → اقتران Kuramoto اختياري → توجيه MultiModalModel → logits. ومرحلة الرنين تقرن الأطوار بتحويل فورييه السريع (FFT).
من E0 إلى E26، والإخفاقات موثّقة بالتعليق
برنامج البحث المعماري هو الأثر الحقيقي هنا. سبع وعشرون تجربة، كل واحدة بما جُرِّب فيها وما أخفق، بما فيها تلك التي تراجعت إلى الوراء.
| الملاحظة | الحصيلة |
|---|---|
| PerFreqResonance | مشكلات موثّقة، ولم يفِ بالغرض |
| التوجيه | انهار إلى انحلال في الأصناف في بعض الإعدادات |
| E26 vs E25 | انحدار — كانت التجربة الأحدث أسوأ |
| ResonanceSystem | مساهمة تدرّج ضئيلة |
| التوليد (v1) | يفتقر إلى أخذ عيّنات انحداري ذاتي سليم |
| v3 Cell-Fungal Harmonic | تأمّلي، غير مدمج |
الفجوة، بصراحة
تجربة في بناء ذكاء اصطناعي بطريقة مختلفة تمامًا
كل ذكاء اصطناعي تقريبًا اليوم مبني على الفكرة الأساسية نفسها. وCell AI محاولة بحجم كامل لفكرة أخرى، مستعارة من كيفية تشكّل الأنماط في الطبيعة — منشورة بإخفاقاتها كما هي.
باحثون ينظرون إلى ما بعد المقاربة الحالية
التقدّم يحتاج إلى من يجرّب الطريق الذي لم يُسلَك ويكتب ما حدث. وهذه هي تلك المحاولة، بالحجم الكامل، والطرق المسدودة مسجَّلة لا مُسقَطة بصمت.
علماء ينمذجون الأنظمة الحيّة
الآلية التي تحته هي نفسها التي تنتج الخطوط على الحيوانات والأنماط في الكيمياء. فإن كان هذا هو عالمك، فالنموذج يتكلّم لغتك.
مدرّسون يريدون إخفاقًا صادقًا
البحث المنشور في أغلبه الساحق عن أشياء نجحت. وهذا سرد دقيق لشيء لم ينجح، وهو أنفع للتعلّم بكثير من قصة نجاح أخرى.
إلى أين ذهبت هذه الأفكار بدلًا من ذلك
Cell AI هو خطّ البحث الذي لم يتقارب. أما أشقّاؤه فأبلوا أحسن: صار Cypha بنية عاملة من المبادئ الأولى، وصار عمل الذاكرة طويلة السياق ذاكرةً تنبّؤية موحّدة بالتجزئة (UHPM).