• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

Numpy – 创建重叠的3D子阵列作为具有高效内存的向量

python 来源:Zehan 5次浏览

我试图创建一个列表,其中每个子数组需要被展平的大小相同的所有重叠子阵列的列表(基于分片的分割)作为一维矢量),所以我可以利用sklearn.neighbours.BallTree中的球树。例如,如果给定一个100x100x100的图像,如果我将它分解为5x5x5重叠的补丁(子阵列),那么我将拥有96x96x96 = 884,736个图像。Numpy – 创建重叠的3D子阵列作为具有高效内存的向量

但是我还没有找到任何方式这样做没有numpy分配更多的内存为每个flattened/vectorized子阵列。这似乎是因为每个子阵列在内存中不是连续的。

例如对于100x100x100的图像,如果我想将每个5x5x5补丁作为一维向量(长度为125),numpy决定在内存中为所有884,736个分配一个全新的阵列,然后它变得相当大,特别是如果我想要处理超过一个100x100x100的图像!

我会欢迎在Python/numpy中克服这种内存挑战的任何解决方案。我正在考虑创建一个numpy.ndarray对象的子类,该对象在更大的图像中存储指向修补程序位置的指针,但仅在调用时才将数据作为一维numpy数组返回(并在不使用时再次删除它)但是我还没有得到足够的关于子类化ndarray对象的细节。如果唯一的解决方案是用C/C++来实现所有的东西,我会非常失望。我很感激可以提供的任何帮助,谢谢!


===========解决方案如下:

根据你的问题,你可能已经意识到所有这些。然而,我发布这个“答案”作为更多的讨论是什么问题,因为很多人可能不知道他们……

如果你不是,但你可以做一个96x96x96x5x5x5数组,来自100x100x100图像,充当5x5x5移动窗口而不分配任何额外的内存。

但是,因为每个维度只能有一个步幅,所以无法在不复制副本的情况下将其重构为96x96x96x125阵列。

无论如何,这里有一个例子(基本上采取straight from one of my previous answers):

import numpy as np 

def rolling_window_lastaxis(a, window): 
    """Directly taken from Erik Rigtorp's post to numpy-discussion. 
    <http://www.mail-archive.com/[email protected]/msg29450.html>""" 
    if window < 1: 
     raise ValueError, "`window` must be at least 1." 
    if window > a.shape[-1]: 
     raise ValueError, "`window` is too long." 
    shape = a.shape[:-1] + (a.shape[-1] - window + 1, window) 
    strides = a.strides + (a.strides[-1],) 
    return np.lib.stride_tricks.as_strided(a, shape=shape, strides=strides) 

def rolling_window(a, window): 
    """Takes a numpy array *a* and a sequence of (or single) *window* lengths 
    and returns a view of *a* that represents a moving window.""" 
    if not hasattr(window, '__iter__'): 
     return rolling_window_lastaxis(a, window) 
    for i, win in enumerate(window): 
     if win > 1: 
      a = a.swapaxes(i, -1) 
      a = rolling_window_lastaxis(a, win) 
      a = a.swapaxes(-2, i) 
    return a 

x = np.zeros((100,100,100), dtype=np.uint8) 
y = rolling_window(x, (5,5,5)) 
print 'Now *y* will be a 96x96x96x5x5x5 array...' 
print y.shape 
print 'Representing a "rolling window" into *x*...' 
y[0,0,0,...] = 1 
y[1,1,0,...] = 2 
print x[:10,:10,0] # Note that *x* and *y* share the same memory! 

这产生了:

Now *y* will be a 96x96x96x5x5x5 array... 
(96, 96, 96, 5, 5, 5) 
Representing a "rolling window" into *x*... 
[[1 1 1 1 1 0 0 0 0 0] 
[1 2 2 2 2 2 0 0 0 0] 
[1 2 2 2 2 2 0 0 0 0] 
[1 2 2 2 2 2 0 0 0 0] 
[1 2 2 2 2 2 0 0 0 0] 
[0 2 2 2 2 2 0 0 0 0] 
[0 0 0 0 0 0 0 0 0 0] 
[0 0 0 0 0 0 0 0 0 0] 
[0 0 0 0 0 0 0 0 0 0] 
[0 0 0 0 0 0 0 0 0 0]] 

然而,正如你已经注意到,我们不能这样来重塑96x96x96x125而不创建副本。 y.shape = (96,96,96,-1)将引发错误,并且z = y.reshape((96,96,96,-1))将起作用,但会返回副本。

(相关文件是在numpy.reshape,如果这样还是很迷惑,基本上reshape将避免可能的复制时,如果它不是返回副本,而设置shape属性时,复制是不可能会引发错误。)

但是,即使您构建更高效的阵列容器,sklearn.neighbors.BallTree几乎肯定会制作临时中间副本。

你提到你正在做图像分割。为什么不研究一个更有效的算法,而不是你似乎正在尝试的相当“蛮力”? (或者如果这不可行,请给我们更多的细节,为什么……也许有人会有更好的主意?)


版权声明:本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系管理员进行删除。
喜欢 (0)