淘先锋技术网

首页 1 2 3 4 5 6 7

1.chucksize太小了。

2.注意数值类型,一看你就是交易数据。数值类型会极大影响速度。

3.必要时可以直接numpy,pandas本身依赖于numpy。

4.大数据尽量矢量化操作

百万级别数据其实一次读完都可以。