淘先锋技术网

首页 1 2 3 4 5 6 7

tensor在内存的储存,分为两个部分(也就是说一个tensor占用了两个内存位置),一个内存储存了这个tensor的形状size、步长stride、数据的索引等信息,我们把这一部分称之为头信息区(Tensor);另一个内存储的就是真正的数据,我们称为存储区 (Storage)。

类似TCP IP,地址头,及存储空间。C语言的结构体也可以实现这种。

1)storage().data_ptr()

(Pdb) xx= batch_T.storage().data_ptr()
(Pdb) p xx
2506820080832
(Pdb)  batch_T[0,0].storage().data_ptr()
2506820080832
(Pdb)  batch_T[0,1].storage().data_ptr()
2506820080832
(Pdb)  batch_T[0,2].storage().data_ptr()
2506820080832

可见不同元素的头位置是一样的,

2)storage_offset()可以得到偏移

(Pdb)  batch_T[0,0,0].storage_offset()
0
(Pdb)  batch_T[0,2,0].storage_offset()
4
(Pdb)  batch_T[0,4,0].storage_offset()
8
(Pdb)  batch_T[0,4,0].dtype
torch.float64

(Pdb)  batch_T[0,4,0]
tensor(-0.0550, dtype=torch.float64)

这个可以得到偏移,但是实际内存地址还是不知道。每个都会带个类型?