多模态 SOC 模型训练
v3.0Sentinel-2 卫星影像 + 20 维环境协变量 | ResNet50 + Cross-Attention | 分位数回归
测试集 R²
0.749原始空间
测试集 R² (log1p)
0.81log1p 空间
测试集 RMSE
9.02g/kg
测试集 MAE
6.38g/kg
训练集:3,944
验证集:494
测试集:494
最佳 Epoch:112
早停:137
参数量:13.8M
训练曲线
最佳 Epoch 112（早停 137）
前 10 Epoch 线性 Warmup
预测 vs 实测n = 494
1:1
R² = 0.749 | RMSE = 9.02模型架构~13.8M params (5.2M trainable)
类型ResNet50 + Cross-Attention (Pre-Norm)
输入Sentinel-2 影像 + 20 个环境协变量
图像ResNet50 → 64 spatial tokens (8×8)
融合4 layers, 8 heads, FFN=1024
池化查询token均值池化
输出头Linear(512→256) → GELU → Linear(256→128) → GELU → Linear(128→3)
输出Q10 / Q50 / Q90 (log1p space)
损失Quantile Loss (Pinball Loss)
训练配置
数据集3,944 / 494 / 494 (train / val / test)
Batch Size64
Learning Rate3e-4 + Cosine Annealing
Warmup10 epoch 线性
Dropout0.15
Weight Decay0.02
数据增强高斯噪声 σ=0.05
OptimizerAdamW
Epochs最大 200，早停于 137
Patience25
目标变换log1p(SOC)
设备MPS (Apple Silicon)
20 个环境协变量
地形
DEM
Slope
Aspect
TWI
Curvature
气候
Temperature
Precipitation
Evaporation
植被
NDVI_mean
NDVI_range
土壤
Clay
Sand
pH
Silt
Nitrogen
其他
LandUse
Lat
Lon
Clay/Sand
Aridity