How can I reconstruct an array?

I have a series of arrays that contain irregular fragments of xy data, the remaining space in the array is padded with nans. I want to reconstruct a single, 2D, structured, non-plaid, non-uniform mesh from these fragments but can't think of an efficient algorithm to do it. An example of the kind of fragments is given below: Any help is appreciated!

x1 = [ 0.2686 0.2686 NaN NaN NaN NaN NaN NaN
    0.2686 0.2686 NaN NaN NaN NaN NaN NaN
    0.2686 0.2686 NaN NaN NaN NaN NaN NaN
    0.2686 0.2686 NaN NaN NaN NaN NaN NaN
    0.2686 0.2686 NaN NaN NaN NaN NaN NaN
    0.2687 0.2687 NaN NaN NaN NaN NaN NaN
    0.2687 0.2687 NaN NaN NaN NaN NaN NaN
    0.2687 0.2687 NaN NaN NaN NaN NaN NaN
    0.2688 0.2688 0.2688 NaN NaN NaN NaN NaN
    0.2688 0.2688 0.2688 NaN NaN NaN NaN NaN
    0.2688 0.2688 0.2688 0.2688 NaN NaN NaN NaN
    0.2689 0.2689 0.2689 0.2689 NaN NaN NaN NaN
    0.2690 0.2690 0.2690 0.2690 0.2690 NaN NaN NaN
    0.2691 0.2691 0.2691 0.2691 0.2691 0.2691 NaN NaN
    0.2691 0.2691 0.2691 0.2691 0.2691 0.2691 0.2691 0.2691
    0.2693 0.2693 0.2693 0.2693 0.2693 0.2693 0.2693 0.2693 ];

x2 = [ NaN NaN NaN 0.2686 0.2686 0.2686 0.2686 0.2686
       NaN NaN NaN 0.2686 0.2686 0.2686 0.2686 0.2686
       NaN NaN NaN 0.2686 0.2686 0.2686 0.2686 0.2686
       NaN NaN NaN 0.2686 0.2686 0.2686 0.2686 0.2686
       NaN NaN NaN 0.2686 0.2686 0.2686 0.2686 0.2686
       NaN NaN NaN 0.2687 0.2687 0.2687 0.2687 0.2687
       NaN NaN NaN 0.2687 0.2687 0.2687 0.2687 0.2687
       NaN NaN NaN 0.2687 0.2687 0.2687 0.2687 0.2687
       NaN NaN NaN NaN 0.2688 0.2688 0.2688 0.2688
       NaN NaN NaN NaN 0.2688 0.2688 0.2688 0.2688
       NaN NaN NaN NaN NaN 0.2688 0.2688 0.2688
       NaN NaN NaN NaN NaN 0.2689 0.2689 0.2689
       NaN NaN NaN NaN NaN NaN 0.2690 0.2690
       NaN NaN NaN NaN NaN NaN NaN 0.2691
       NaN NaN NaN NaN NaN NaN NaN NaN
       NaN NaN NaN NaN NaN NaN NaN NaN ];

x3 = [ NaN 0.2686 NaN
       NaN 0.2686 NaN
       NaN 0.2686 NaN
       NaN 0.2686 NaN
       NaN 0.2686 NaN
       NaN 0.2687 NaN
       NaN 0.2687 NaN
       NaN 0.2687 NaN
       NaN 0.2688 NaN
       NaN 0.2688 NaN
       NaN 0.2688 NaN
       NaN 0.2689 NaN
       NaN 0.2690 NaN
       NaN 0.2691 NaN
       NaN NaN NaN ];

The "holes" are not necessarily at the edge of the array and I have about 10 pieces I want to put together.

Thanks again! James

[Daniel Shub]

Please edit to include the inefficient algorithm so we can understand what you want.