• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

如何处理NULLS:C#,Microsoft SDS 1.3和NetCDF文件

c/c++ 来源:Peter 7次浏览

我在写一个使用Microsoft Scientific Data Set读取NetCDF文件的C#程序。如何处理NULLS:C#,Microsoft SDS 1.3和NetCDF文件

using System; 
using System.IO; 
using sds = Microsoft.Research.Science.Data; 
using Microsoft.Research.Science.Data.Imperative; 


namespace NetCDFConsoleApp 
{ 
    class Program 
    { 
     static void Main(string[] args) 
     { 
      // Gets dataset from file. 
      var dataset = sds.DataSet.Open("E:\\Temp\\test.nc?openMode=readOnly"); 

      // Get the starting DateTime from the meta data.       
      string dt = (string)dataset.Metadata["START_DATE"]; 

      //load dataset into array 
      Single[,,] dataValues = dataset.GetData<float[,,]>("ACPR"); 

      //Get DateTime from Metadata fields. 
      DateTime dt2 = DateTime.ParseExact(dt, "yyyy-MM-dd_HH:mm:ss", null); 

      // Latitude grid ranges from = 0 to 215; East Cape is ~ 125-144 
      for (int iLatitude = 137; iLatitude < 138; iLatitude++) 
      { 
       //Longitude ranges from 0 to 165; East Cape is ~ 125-150 
       for (int iLongitude = 133; iLongitude < 134; iLongitude++) 
       { 
        //There is normally 85 hours worth of data in a file. But not always... 
        for (int iTime = 0; iTime < 65; iTime++) 
        { 
         // Get each data point 
         float? thisValue = dataValues[iTime,iLatitude,iLongitude]; 

         //Burp it out to the Console. Increment the datetime while im at it. 
         Console.WriteLine(dt.ToString() + ',' + dt2.ToString() + ',' + iTime.ToString() + ',' + dt2.AddHours(iTime)); 
        }     
       } 
      } 

      Console.ReadLine();   

     }   
    } 
} 

这些文件包含地图网格(X,Y)上的预测降雨量数据。每个网格参考应该有85小时的数据。

E:\temp>sds list test.nc 
[2] ACPR of type Single (Time:85) (south_north:213) (west_east:165) 
[1] Times of type SByte (Time:85) (DateStrLen:19) 

但是偶尔他们可能会少一些(说60-70小时)。当这种情况发生时,我的C#程序在导入数据时失败。

var dataset = sds.DataSet.Open("test.nc?openMode=readOnly"); 
Single[,,] dataValues = dataset.GetData<Single[,,]>("ACPR"); 

我可以用命令行重现错误。

在这里,我可以成功地提取网格XY:125,130小时60-65。我在这个文件中的最后一个值是Time = 69。

E:\temp>sds data test.nc ACPR[60:65,125:125,130:130] 
[2] ACPR of type Single (Time:85) (south_north:213) (west_east:165) 
       Name = ACPR 
     description = ACCUMULATED TOTAL GRID SCALE PRECIPITATION 
     MemoryOrder = XY 
     coordinates = XLONG XLAT XTIME 
      stagger = 
      FieldType = 104 
       units = mm 

[60,125,130] 13.4926 
[61,125,130] 15.24556 
[62,125,130] 16.3638 
[63,125,130] 17.39618 
[64,125,130] 20.00507 
[65,125,130] 23.57192 

如果我尝试阅读过去的小时数69,我得到以下错误。

E:\temp>sds data test.nc ACPR[60:70,125:125,130:130] 
[2] ACPR of type Single (Time:85) (south_north:213) (west_east:165) 
       Name = ACPR 
     description = ACCUMULATED TOTAL GRID SCALE PRECIPITATION 
     MemoryOrder = XY 
     coordinates = XLONG XLAT XTIME 
      stagger = 
      FieldType = 104 
       units = mm 

Unhandled Exception: System.AccessViolationException: Attempted to read or write protected memory. This is often an indication that other memory is corrupt. 
    at nc_get_vara_float(Int32 , Int32 , UInt64* , UInt64* , Single*) 
    at NetCDFInterop.NetCDF.nc_get_vara_float(Int32 ncid, Int32 varid, IntPtr[] start, IntPtr[] count, Single[] data) 
    at Microsoft.Research.Science.Data.NetCDF4.NetCdfVariable`1.ReadData(Int32[] origin, Int32[] shape) 
    at sdsutil.Program.PrintData(Variable v, String range, String format) 
    at sdsutil.Program.DoData(String uri, String[] args) 
    at sdsutil.Program.Main(String[] args) 

E:\temp> 

如果该文件包含了完整的85小时内,我可以请求时间0-100,它仍然给了我85个值没有错误。

我相信那个问题是NULL /丢失的数据。有什么方法可以在导入变量不为空的数据时指定?或者使用一些try/catch?

Single[,,] dataValues = dataset.GetData<Single[,,]>("ACPR")>> where it's not blank thanks. ; 

编辑:我开始怀疑文件形成不正确。使用SDS浏览器一个好文件的元数据与这样的糟糕的外观;

Good file

Bad file

然而,命令行显示元数据作为两个相同的。

E:\temp>sds good.nc 
[2] ACPR of type Single (Time:85) (south_north:213) (west_east:165) 
[1] Times of type SByte (Time:85) (DateStrLen:19) 

E:\temp>sds bad.nc 
[2] ACPR of type Single (Time:85) (south_north:213) (west_east:165) 
[1] Times of type SByte (Time:85) (DateStrLen:19) 

E:\temp> 


===========解决方案如下:

彼得,

由于误差在READDATA(的Int32 []原点,的Int32 []形状)(您指出相同);我看到两种可能的解决方案:

在深入研究解决方案之前,您需要确定缺失数据是否可以视为0.0或需要将其视为缺失。如果缺失与0.0不同,那么如果null不可接受,潜在缺失可以编码为-1.0。对于缺失的数据提出-1.0的值,假定负的降雨量值是不可能的。

如果结果dataValues包含空值,您可能需要做的所有操作都是用浮点数替换浮点数?在该行:

float thisValue = dataValues[iTime,iLatitude,iLongitude]; 

是:

float? thisValue = dataValues[iTime,iLatitude,iLongitude]; 

如果你是家庭免费提供float?那么这是一个快乐的解决方案。 (您仍然需要决定如何处理空值。)

否则可能的解决方案1)

后,调用Single[,,] dataValues = dataset.GetData<Single[,,]>("ACPR");确保该阵列,dataValues的最后一个索引的大小,是85潜在的GetData(..)不填充所有85场,尤其是如果第一行数据包含少于85个字段。然后,如果需要,用0或-1.0手动替换空值。

然后,当您检索数据,你处理空值,0或-1.0适当:

float? thisValue = dataValues[iTime,iLatitude,iLongitude]; 
// determine what to do with a null/0.0/-1.0 as a thisValue[..] value, 
// .. potentially continue with the next iteration 

可能的解决方法2)

如果您拥有Single[,,] dataValues = dataset.GetData<Single[,,]>("ACPR");中的GetData(..)方法,那么你确保它提供全部85个值和缺失值的工作是否为零/ 0/-1.0。然后,当您检索数据时,您会适当地处理零值,0或-1.0。

干杯,

阿维


版权声明:本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系管理员进行删除。
喜欢 (0)