إنتقل إلى المحتوى الرئيسي

الفصل 3: فضاءات التضمين والتمثيلات

ما هي التضمينات؟​

تمثيلات المتجهات الكثيفة التي تلتقط المعنى الدلالي:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('all-MiniLM-L6-v2')
embeddings = model.encode([
"Machine learning is fascinating",
"AI and ML are interesting topics",
"I like pizza"
])

# First two are similar, third is different

التشابه الدلالي​

similarity(A,B)=A⋅B∣∣A∣∣×∣∣B∣∣\text{similarity}(A, B) = \frac{A \cdot B}{||A|| \times ||B||}
from sklearn.metrics.pairwise import cosine_similarity
similarity = cosine_similarity([embeddings[0]], [embeddings[1]])
# High similarity for related sentences

التطبيقات​

التطبيقكيف تساعد التضمينات
البحثالعثور على المستندات المتشابهة دلاليًا
التجميعتجميع المحتوى المتعلق
RAGاسترجاع السياق الملائم
التصنيفمتجهات الميزات لتعلم الآلة

النقاط الرئيسية​

تلميح
  1. تلتقط التضمينات المعنى الدلالي في المتجهات
  2. يقيس التشابه الكوني التشابه الدلالي
  3. ضروري لـ RAG والبحث الدلالي