• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

HDF5可以执行“值映射”吗?

hdf5 来源:Sebastien Diot 6次浏览

如果我有一个64位整数的32^3数组,但它只包含十几个不同的值,您能告诉HDF5使用“内部映射”来节省内存和/或磁盘空间吗?我的意思是数组通常会以64位整数访问,但是每个值都会在内部作为一个字节(?)索引存储在一个64位整数表中,可能会节省大约7/8的内存和/或磁盘空间。如果这是可能的,它实际上是节省内存,磁盘空间还是两者兼而有之?HDF5可以执行“值映射”吗?

===========解决方案如下:

我不认为HDF5提供了开箱即用的功能,但没有理由不能实现例程来将数据写入HDF5文件并以您的方式重新读取似乎想要。我想你可以将你的查找表和你的数组写入不同的数据集。

这是可能的,但不是我有任何证据表明,HDF的压缩设施将充分压缩整型数据集,您可以节省一定量的空间。

然后,对于我使用的HDF5文件(10 GB),我不打算尝试设计自己的编码方案来节省如此适量的空间,因为32768元素的64位数组可能会能够免除。当然,您可以将2097152位的数据集转换为131072中的一个,但是磁盘空间(即使是RAM)现在还没那么严密。

我开始形成,你要使用HDF5的印象,或许,智能手机:-)


版权声明:本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系管理员进行删除。
喜欢 (0)