VOL94: LLM Currency Language - Tokens Explained 🚀
إيه هي الـ Tokens في عالم الـ LLMs وإزاي بقت العملة اللي بنقيس بيها الاستخدام والتكلفة؟
لا تنسوا أهلنا من صالح الدعاء,اللهم إنّا استودعناك اياهم، اللهم كُن عوناً لهم، اللهم انصرهم واحفظهم. 🇵🇸 🇸🇩
أهلًا وسهلا بكم في العدد الرابع والتسعين من النشرة الأسبوعية لاقرأ-تِك 🚀
سواء كنت مهندس برمجيات مبتدئ أو محترف، فنشرتنا هتساعدك على مواكبة أحدث تطورات عالم البرمجة بمواضيع جديدة كل أسبوع، هتلاقى كمان محتوى عملي بيشمل أفضل الممارسات، ونصائح مفيدة، وترشيحات لمقالات مختارة من اقرأ-تِك.
🌟 مواضيع النشرة لهذا الأسبوع 🌟
ورقة وقلم : LLM Tokens Summary for Developers 🚀
AI في سطور: Claude Code SourceCode Leakage - A Break-down 🔥
مقال الأسبوع: Platform Channels in Flutter 💎
LLM Currency Language - Tokens Explained 🚀
المقدمة
لما بنستخدم ونشتغل مع ال LLMs بنلاقي دايمًا تكرار لاستخدام كلمة Tokens سواء في الاشتراك مقابل عدد من ال Tokens سواء في ال Context window وغيرها، في ورقة النهارده هنعرف يعني ايه Tokens في عالم ال LLMs، أهميتها و ليه مع الوقت مبقتش بس لغة ال LLMs بس كمان عُملتها!
ما هي ال Token؟
الـ token هو أصغر وحدة بيانات بيستخدمها ال LLM Model علشان يفهم المعلومات ويعالجها. الوحدات دي ممكن تكون:
كلمة كاملة
جزء من كلمة
حرف أو حتى رمز
الفكرة الأساسية إن النموذج مش بيتعامل مع النص أو البيانات بشكلها الطبيعي زي ما إحنا بنشوفها، لكنه بيكسرها لوحدات صغيرة جدًا (tokens) علشان يقدر يدرب ال Model على القيم الرياضية المقابلة ليها.
ليه الـ Tokens مهمة؟
ال LLMs مبنية بالأساس على فكرة ال tokens و من غير tokens النموذج مش هيعرف يقرأ ولا يفهم ولا يرد. فأي بيانات بتدخل للنموذج بيتعملها Tokenization كمثال
كلمة زي: “Awesome” ممكن تتقسم لـ:
“Awe”
“some”
أو تتقسم بطريقة مختلفة علي حسب النظام المستخدم و كل token بيبقى ليه ID معين ، والنموذج بيتعامل مع الأرقام دي بدل الكلمات نفسها.دا مش بس مع الكلمات أو النصوص أي نوع بيانات ممكن يتحول لـ tokens فالصور ممكن تتقسم لأجزاء صغيرة من الصورة (patches) والصوت ممكن نقسمه لموجات أو تمثيل رقمي للموجات وكذلك الفيديو بيتقسم لمقاطع أو Frames.
بمعنى تاني أي حاجة بتدخل للنموذج أو بتطلع منه لازم تتحول لـ tokens عشان يقدر يتعامل معاها. وبالتأكيد ال Tokens بيتعملها Embedding زي ما شرحنا قبل كدا في ورقة Vector Databases For Beginners
استخدام ال Tokens في ال Models
كل نماذج ال LLMs بتمر بمرحلتين:
التدريب Training
الاستنتاج/الاستدلال Inference
و في المرحلتين بنحتاج ال Tokens
استخدام ال Tokens وقت التدريب (Training)
Claude Code SourceCode Leakage 🔥
ببساطة، شركة Anthropic حصل عندها غلطة كبيرة جدًا، وده خلّى جزء ضخم من الكود الداخلي ل Claude Code يتسرّب للعلن.
إيه اللي حصل؟
أثناء Version update عادي للبرنامج، حصل خطأ بشري خلّى ملف SourceMap حجمه 57MB يتضاف بالغلط لل npm package.
الملف ده كان فيه لينك لأرشيف ضخم فيه حوالي 500 ألف سطر كود وقرابة 2000 ملف.
الكود اتنشر بسرعة على GitHub وبقى من أكتر الحاجات اللي الناس حمّلتها في وقت قياسي.
الشركة ملحقتش تلم الموضوع وابتدينا في موجة “المسألة القانونية” فأحدهم عمل rewrite للكود من Typescript ل لغة Python وأعطاه اسم جديد claw-code ودا حاليًا أسرع repo يعدي ال 50K Stars على Github
أحدهم اخر تطوع وغير ال code عشان يشتغل مع اي LLM Model زي Gemini, Deepseek واسم المشروع open-claude
الكود بالفعل كان فيه TODOs كثيرة فيها تفاصيل عن ال Upcoming features منهم زي تنفيذ أوامر بشكل متوازي (Parallel Execution) وغيرها
إحنا اتعلمنا إيه فعليًا؟
القيمة الأكبر بقت في الـSystem مش الـModel
قبل كده المنافسة كانت: مين عنده أقوى موديل (GPT / Claude / Gemini)
دلوقتي من اللي اتكشف في طريقة بناء ال Codebase إن الفرق الحقيقي في:
إدارة الأدوات (Tools)
الـAgent loop
الـPrompt architecture
بمعني أصح مفروض نكون System-centric أكثر من Model-centric لأن ال Models بالفعل قوية ولكن مش بنطلع منها أحسن أداء بسبب إننا مش بنحطها في system يُضبط أدائها
دا معناه إنك ممكن تاخد موديل عادي + System كويس = أداء أعلى من موديل قوي لوحده
ودا هيأثر علي الصناعة:
بالنسبة للشركات الكبيرة زي Google, OpenAI هي بقى عندها Insight قوي عن أداء أكبر المنافسين في السوق.
بالنسبة للمبرمجين و ال ICs ولأي حد بيطّور AI Agents فبقي عنده Blueprint قوية يقدر ينتهجها ويسّرع ويحسّن بيها مشاريعه.
المثير للسخرية وللتعّلم في نفس الوقت إن Anthropic من أكثر الشركات اللي بتركز و بتسوق لأهمية ال AI Security, لكن سرعة ال Process مع وجود ال AI كشريك أساسي في التطوير بتخلي في مجال واسع للأخطاء فبلاش نتهاون في إن CI/CD Process في مشاريعنا يكون فيه safeguards قوية.
Platform Channels in Flutter 💎
المقدمة
تفتكر نقدر نتحكم في كل إمكانيات الموبايل باستخدام Flutter بس؟ 🤔
طب لو اشتغلت على بروجكت واتطلب منك Feature محتاجة توصل لحاجات من الـ platform زي الكاميرا أو تربط بسينسور معين هتعمل ايه؟
وقتها هتكتشف إن Flutter لوحده مش بيديك Access مباشر لكل حاجة في Android وiOS.
تخيل إنك تقدر تستخدم كل إمكانيات الموبايل من غير ما تسيب Flutter… ده بالظبط اللي بتقدمه Platform Channels 🚀
في المقال ده هنعرف إيه هي Platform Channels، إمتى نستخدمها، و ازاي بتشغل👀
هنتكلم النهاردة عن:
يعني إيه Platform Channels
Platform Channel Architecture
إزاي Platform Channels بتشتغل
أنواع Platform Channels
إمتى نستخدمها
طريقة نقل البيانات (Codecs)
Platform Embedder
الخاتمة
1 - ما هي Platform Channels؟ 🤔
ي مرة كنت محتاجة أعمل ميزة live tracking، وكان المطلوب نبعت الـ location كل ثانية للسيرفر.
المشكلة إننا كنا محتاجين نبعت data بسرعة، و JSON وقتها كان بطيء نسبيًا.
فاضطريت أستخدم حاجة اسمها FlatBuffers، وهي طريقة لنقل البيانات زي JSON، بس أسرع بكتير وبتستخدم مساحة أقل ، لكن المشكلة إن Flutter ماكانش بيدعمها بشكل مباشر.
هنا ظهر الحل 👇 استخدمت حاجة اسمها Method Channel، واللي سمحتلي أبعت البيانات من Dart للـ Native، وأرجّع النتيجة تاني بسهولة.
خلينا نسأل نفسنا الاول سؤال غريب شوية : هو مخنا بيشتغل لوحده ؟
المخ دايمًا بيتعامل مع العالم الخارجي عن طريق الحواس: العين، الأذن، اللمس…
لكن هو نفسه مش بيشوف ولا بيسمع بشكل مباشر، لازم يكون فيه وسيط ينقل له المعلومات.
💡 وده بالظبط نفس فكرة Platform Channels:
Flutter لوحده مش شايف العالم الخارجي… مايعرفش يتعامل مباشرة مع الكاميرا أو الـ GPS أو أي حاجة في الجهاز.
لازم يكون فيه قناة توصله بالـ Native.
يعني ايه Platform Channels ؟
هي ببساطة الجسر اللي بيربط بين عالم Flutter وعالم الـ Native ، Android & iOS وبيسمح إنهم يتواصلوا مع بعض بسلاسة.
من خلالها تقدر:
توصل لأي حاجة في Android أو iOS
تستخدم SDKs Flutter مش بيدعمها
تنفّذ عمليات تقيلة باستخدام Native Code بشكل أسرع
بفضل الله أصبح متاح حالياَ دعمنا من خلال الرعاة والشراكات وفعلنا الـ Sponsorship, بنرحب بجميع الشراكات مع المؤسسات والشركات وأصحاب الأعمال لبناء مجتمع عربي يشجع على القراءة والتعلم ومشاركة التجارب والخبرات العملية في هندسة البرمجيات.
دورك كشريك أو راعي هيكون محوري في دعم المحتوى وتوسيع نطاق تأثيره. فانضم لرحلتنا وكن جزءًا من صناعة مستقبل التكنولوجيا في المنطقة 🚀
شركاء النجاح:
تقدروا تشوفوا التفاصيل كاملة من هنا والـ Analytics بتاعتنا من خلال اقرأ-تِك والنشرة الأسبوعية 👇
رؤيتنا هي إثراء المحتوى التقني العربي وجعل التعلم من خلال القراءة أمتع، وذلك من خلال إثراء المحتوى التقني باللغة العربية وتشجيع المبرمجين على القراءة بلغتهم الأم والتفكير أيضًا بها.
لذلك اتحنا الفرصة أمام الجميع للمساهمة ومساعدتنا في نشر واثراء المحتوى التقني باللغة العربية, من خلال كتابة المقالات التقنية في مختلف مجالات هندسة البرمجيات.
وجب التنويه أنه لن يتم نشر كافة الأعمال التي تصل إلينا، وإنما سيتم الانتقاء منها ما يحقق هدفنا بإثراء المحتوى التقني العربي، ولذلك قد تُطلب بعض التعديلات من الكاتب قبل النشر.
لمعرفة المزيد بخصوص :
💬 المعايير العامة لكتابة ونشر المقالات
⚡️ كيفية الإرسال
🔥 التزامات اقرأ-تِك تجاه الكتاب
يمكنكم قراءة كافة التفاصيل من هنا 👇
