淘先锋技术网

首页 1 2 3 4 5 6 7

transformer对于大数据的适配能力比CNN要强很多,原因在于:
1.Dynamic比static好:transformer的参数是随着输入变化的,不像CNN是fixed住的;动态参数提取特征的能力会更强,所以很多CNN也在朝Dynamic的方向发展,比如Dynamic cov,Dynamic relu;
2.attention机制更关注不同feature之间的相对关系,对于绝对的value值并不敏感(对于形变和噪声不敏感),所以相对于CNN具有更好的普适性;而CNN更关注对于局部的描述(类似于传统算法中的特征点提取);
3.transformer单层就可以融合全部的信息做决策,而CNN是通过多层不断下采样获取更大感受野来融合更广范围的信息;(在此过程中也会损失掉分辨率);