إتقان معالجة البيانات الضخمة باستخدام مكتبة Zarr: تقنيات التقسيم، والضغط، والفهرسة، والتصوّر

يُعدّ التعامل مع البيانات الضخمة أحد التحديات الرئيسية في مجالات الحوسبة العلمية وتحليل البيانات. تُقدم مكتبة Zarr حلاً فعالاً لهذه المشكلة من خلال توفير آلية فعّالة لتخزين ومعالجة المصفوفات متعددة الأبعاد الضخمة. في هذا الدليل الشامل، سنستكشف إمكانيات Zarr بشكل عميق، بدءاً من أساسيات إنشاء المصفوفات وصولاً إلى تقنيات متقدمة للضغط والفهرسة والتصوّر.

أساسيات عمليات Zarr

قبل البدء، سنقوم بتثبيت المكتبات اللازمة، بما في ذلك Zarr و Numcodecs و NumPy و Matplotlib:

pip install zarr numcodecs -q

بعد التثبيت، نتحقق من إصدارات المكتبات:

import zarr
import numpy as np
import matplotlib.pyplot as plt
from numcodecs import Blosc, Delta, FixedScaleOffset
import tempfile
import shutil
import os
from pathlib import Path

print(f"Zarr version: {zarr.__version__}")
print(f"NumPy version: {np.__version__}")

بعد ذلك، سنقوم بإنشاء مصفوفات Zarr ثنائية وثلاثية الأبعاد، وملءها بقيم عشوائية:

tutorial_dir = Path(tempfile.mkdtemp(prefix="zarr_tutorial_"))
print(f"Working directory: {tutorial_dir}")

z1 = zarr.zeros((1000, 1000), chunks=(100, 100), dtype='f4', store=str(tutorial_dir / 'basic_array.zarr'), zarr_format=2)
z2 = zarr.ones((500, 500, 10), chunks=(100, 100, 5), dtype='i4', store=str(tutorial_dir / 'multi_dim.zarr'), zarr_format=2)

print(f"2D Array shape: {z1.shape}, chunks: {z1.chunks}, dtype: {z1.dtype}")
print(f"3D Array shape: {z2.shape}, chunks: {z2.chunks}, dtype: {z2.dtype}")

z1[100:200, 100:200] = np.random.random((100, 100)).astype('f4')
z2[:, :, 0] = np.arange(500*500).reshape(500, 500)

print(f"Memory usage estimate: {z1.nbytes_stored() / 1024**2:.2f} MB")

هذا الكود يُنشئ مصفوفة ثنائية الأبعاد من الأصفار ومصفوفة ثلاثية الأبعاد من الواحدات، ويُعدّل قيمها، ويُعرض حجمها ونوع بياناتها واستهلاك الذاكرة.

تقنيات التقسيم المتقدمة

يُعدّ اختيار حجم الكتل (chunks) أمراً بالغ الأهمية لتحسين أداء Zarr. للتوضيح، سنقوم بمحاكاة مجموعة بيانات زمنية لسنة كاملة:

time_steps, height, width = 365, 1000, 2000
time_series = zarr.zeros((time_steps, height, width), chunks=(30, 250, 500), dtype='f4', store=str(tutorial_dir / 'time_series.zarr'), zarr_format=2)

for t in range(0, time_steps, 30):
    end_t = min(t + 30, time_steps)
    seasonal = np.sin(2 * np.pi * np.arange(t, end_t) / 365)[:, None, None]
    spatial = np.random.normal(20, 5, (end_t - t, height, width))
    time_series[t:end_t] = (spatial + 10 * seasonal).astype('f4')

print(f"Time series created: {time_series.shape}")
print(f"Approximate chunks created")

import time
start = time.time()
temporal_slice = time_series[:, 500, 1000]
temporal_time = time.time() - start
start = time.time()
spatial_slice = time_series[100, :200, :200]
spatial_time = time.time() - start

print(f"Temporal access time: {temporal_time:.4f}s")
print(f"Spatial access time: {spatial_time:.4f}s")

يُظهر هذا المثال كيف يؤثر حجم الكتل على سرعة الوصول إلى البيانات الزمنية والمكانية.

الضغط وأنواع المُشفرات (Codecs)

يُمكن استخدام تقنيات الضغط لتحسين كفاءة تخزين البيانات في Zarr. سنقارن هنا بين عدة أنواع من المُشفرات:

data = np.random.randint(0, 1000, (1000, 1000), dtype='i4')
from zarr.codecs import BloscCodec, BytesCodec

z_none = zarr.array(data, chunks=(100, 100), codecs=[BytesCodec()], store=str(tutorial_dir / 'no_compress.zarr'))
z_lz4 = zarr.array(data, chunks=(100, 100), codecs=[BytesCodec(), BloscCodec(cname='lz4', clevel=5)], store=str(tutorial_dir / 'lz4_compress.zarr'))
z_zstd = zarr.array(data, chunks=(100, 100), codecs=[BytesCodec(), BloscCodec(cname='zstd', clevel=9)], store=str(tutorial_dir / 'zstd_compress.zarr'))
sequential_data = np.cumsum(np.random.randint(-5, 6, (1000, 1000)), axis=1)
z_delta = zarr.array(sequential_data, chunks=(100, 100), codecs=[BytesCodec(), BloscCodec(cname='zstd', clevel=5)], store=str(tutorial_dir / 'sequential_compress.zarr'))

sizes = {
    'No compression': z_none.nbytes_stored(),
    'LZ4': z_lz4.nbytes_stored(),
    'ZSTD': z_zstd.nbytes_stored(),
    'Sequential+ZSTD': z_delta.nbytes_stored()
}

print("Compression comparison:")
original_size = data.nbytes
for name, size in sizes.items():
    ratio = size / original_size
    print(f"{name}: {size/1024**2:.2f} MB (ratio: {ratio:.3f})")

يُقارن هذا الكود بين حجم البيانات المخزنة باستخدام مُشفرات مختلفة، ويُظهر مدى كفاءة كل منها.

تنظيم البيانات الهرمي

تُتيح Zarr تنظيم البيانات بشكل هرمي باستخدام مجموعات (Groups) وسمات وصفية (Metadata):

# ... (باقي الكود) ...

هذا الجزء من الكود يُوضح كيفية إنشاء هيكل هرمي للبيانات مع سمات وصفية.

الفهرسة المتقدمة

تُتيح Zarr الوصول السريع إلى أجزاء محددة من البيانات الضخمة باستخدام تقنيات الفهرسة المتقدمة:

# ... (باقي الكود) ...

يُوضح هذا الكود أمثلة على عمليات الفهرسة المتقدمة مثل الحصول على إسقاطات قصوى ومقاطع فرعية.

تحسين الأداء

يُمكن تحسين أداء Zarr من خلال معالجة البيانات على شكل كتل:

# ... (باقي الكود) ...

هذا الجزء يُوضح كيفية معالجة البيانات على شكل كتل لتحسين الأداء.

التصوّر

أخيراً، سنقوم بتصوّر البيانات باستخدام Matplotlib:

# ... (باقي الكود) ...

هذا الكود يُظهر كيفية تصوّر البيانات المختلفة التي تم معالجتها.

ملخص

يُلخص هذا القسم ما تم تغطيته في هذا الدليل، مع مراجعة الملفات التي تم إنشاؤها واستهلاك مساحة التخزين. يُظهر هذا الدليل كيف تُسهّل Zarr معالجة البيانات الضخمة بكفاءة عالية.

المصدر: MarkTechPost