الفصل 1: إدارة GPU/TPU

دليل اختيار GPU

نوع GPU	VRAM	حالة الاستخدام	التكلفة ($/ساعة)
NVIDIA T4	16GB	الاستدلال، التدريب الصغير	$0.35
NVIDIA V100	32GB	التدريب المتوسط	$2.50
NVIDIA A100	80GB	تدريب النماذج الكبيرة	$4.00
NVIDIA H100	80GB	تدريب LLM	$8.00+

تحسين ذاكرة GPU

import torch

# تمكين التحقق من النقاط الحرجة
model.gradient_checkpointing_enable()

# التدريب بدقة مختلطة
from torch.cuda.amp import autocast, GradScaler

scaler = GradScaler()
with autocast():
    outputs = model(inputs)
    loss = criterion(outputs, targets)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

# الانتباه الفعال للذاكرة
from torch.nn.functional import scaled_dot_product_attention
# يستخدم Flash Attention عند توفره

النقاط الرئيسية

ملخص

1. مطابقة GPU مع عبء العمل - لا تفرط في التخصيص
2. استخدام الدقة المختلطة لتحقيق تسريع 2x وتوفير في الذاكرة
3. مراقبة استخدام GPU لتحديد الاختناقات
4. النظر في مثيلات السبوت لتوفير 60-90% في التكلفة

---

التالي: الفصل 2: التدريب الموزع