استخراج البيانات من واجهات برمجة التطبيقات (APIs) لخطوط نقل البيانات باستخدام بايثون

برزت واجهات برمجة التطبيقات (APIs) كعناصر أساسية في بنية البيانات الحديثة. إنها القنوات التي تتواصل من خلالها التطبيقات وتتبادل المعلومات، مما يجعلها موردًا لا يقدر بثمن لبناء خطوط أنابيب بيانات قوية وديناميكية. تعد القدرة على استخلاص البيانات بفعالية من واجهات برمجة التطبيقات باستخدام لغة متعددة الاستخدامات مثل بايثون مهارة أساسية لأي مهندس بيانات أو عالم بيانات أو محلل. ستتعمق هذه المقالة في تعقيدات هذه العملية، وتقدم دليلاً شاملاً حول كيفية تسخير قوة واجهات برمجة التطبيقات لتغذية خطوط أنابيب البيانات الخاصة بك.

💡

هل تريد أداة رائعة لاختبار واجهات برمجة التطبيقات (API Testing) تولد توثيقًا جميلًا لواجهات برمجة التطبيقات؟

هل تريد منصة متكاملة وشاملة لفريق المطورين لديك للعمل معًا بأقصى إنتاجية؟

يلبي Apidog جميع متطلباتك، ويحل محل Postman بسعر معقول أكثر بكثير!

button

دور واجهات برمجة التطبيقات في خطوط أنابيب البيانات

في جوهرها، خط أنابيب البيانات عبارة عن سلسلة من العمليات الآلية التي تنقل البيانات من مصدر إلى وجهة. المرحلة الأولية والأكثر أهمية في هذا الخط هي استخلاص البيانات. بينما يمكن الحصول على البيانات من قواعد البيانات أو الملفات أو منصات البث، تقدم واجهات برمجة التطبيقات ميزة فريدة: الوصول إلى البيانات في الوقت الفعلي والديناميكية والتي غالبًا ما تكون خاصة من مجموعة واسعة من خدمات وتطبيقات الويب.

سواء كان الأمر يتعلق بجلب البيانات المالية من واجهة برمجة تطبيقات سوق الأوراق المالية، أو جمع اتجاهات وسائل التواصل الاجتماعي من واجهة برمجة تطبيقات منصة ما، أو الوصول إلى معلومات العملاء من واجهة برمجة تطبيقات نظام إدارة علاقات العملاء (CRM)، فإن القدرة على استرداد هذه المعلومات برمجيًا أمر أساسي. أصبحت بايثون، بفضل نظامها البيئي الغني بالمكتبات وبنيتها البسيطة، اللغة الفعلية لهذه المهمة. تسمح بساطتها بالتطوير السريع، بينما توفر مكتباتها القوية الأدوات اللازمة للتعامل مع تعقيدات تفاعلات واجهة برمجة التطبيقات.

إجراء أول استدعاء لواجهة برمجة تطبيقات باستخدام بايثون

تبدأ رحلة استخلاص بيانات واجهة برمجة التطبيقات بطلب HTTP بسيط. تعد مكتبة requests في بايثون المعيار الذهبي لهذا الغرض. إنها تجرد تعقيدات إجراء طلبات HTTP، وتوفر واجهة بسيطة وأنيقة.

للبدء، ستحتاج أولاً إلى تثبيت المكتبة:Python

pip install requests

بمجرد التثبيت، يمكنك إجراء طلب GET إلى نقطة نهاية واجهة برمجة تطبيقات. نقطة النهاية هي ببساطة عنوان URL محدد يوفر مجموعة من البيانات. لهذا المثال، دعنا نستخدم JSONPlaceholder API، وهي واجهة برمجة تطبيقات REST مجانية عبر الإنترنت يمكنك استخدامها للاختبار والنماذج الأولية.Python

import requests

response = requests.get('https://jsonplaceholder.typicode.com/posts/1')

# Check if the request was successful
if response.status_code == 200:
    data = response.json()
    print(data)
else:
    print(f"Failed to retrieve data: {response.status_code}")

في هذا المقتطف، يرسل requests.get() طلب GET إلى عنوان URL المحدد. يحتوي الكائن response على استجابة الخادم لطلبنا. يخبرنا السمة status_code ما إذا كان الطلب ناجحًا. يشير رمز الحالة 200 إلى النجاح. ثم تقوم طريقة response.json() بتحليل محتوى JSON للاستجابة إلى قاموس بايثون، مما يجعل التعامل معه سهلاً.

التعامل مع تنسيقات البيانات المختلفة

بينما يعد JSON (JavaScript Object Notation) تنسيق البيانات الأكثر شيوعًا لواجهات برمجة التطبيقات، قد تواجه تنسيقات أخرى، مثل XML (Extensible Markup Language). يمكن لمكتبة requests التعامل مع أنواع محتوى مختلفة. بالنسبة لـ XML، قد تحتاج إلى استخدام مكتبة مثل xml.etree.ElementTree لتحليل البيانات.Python

import requests
import xml.etree.ElementTree as ET

response = requests.get('URL_TO_XML_API')

if response.status_code == 200:
    root = ET.fromstring(response.content)
    # Now you can traverse the XML tree
    for child in root:
        print(child.tag, child.attrib)
else:
    print(f"Failed to retrieve data: {response.status_code}")

المفتاح هو فحص رأس Content-Type للاستجابة لفهم تنسيق البيانات التي تتلقاها واستخدام مكتبة التحليل المناسبة.

التنقل في متاهة مصادقة واجهة برمجة التطبيقات

تتطلب معظم واجهات برمجة التطبيقات شكلاً من أشكال المصادقة لتحديد المستخدم والتحكم في الوصول إلى البيانات. هذا أمر بالغ الأهمية للأمان ولتتبع استخدام واجهة برمجة التطبيقات. هناك العديد من طرق المصادقة الشائعة:

مفاتيح واجهة برمجة التطبيقات (API Keys)

هذا هو أحد أبسط أشكال المصادقة. يوفر لك مزود واجهة برمجة التطبيقات مفتاحًا فريدًا يجب عليك تضمينه في طلباتك. عادةً ما يتم تمرير هذا المفتاح كمعامل استعلام في عنوان URL أو في رؤوس الطلب.Python

import requests

api_key = 'YOUR_API_KEY'
headers = {'Authorization': f'Bearer {api_key}'}

response = requests.get('https://api.example.com/data', headers=headers)

OAuth

OAuth (Open Authorization) هو معيار مصادقة أكثر أمانًا وتعقيدًا. يسمح للمستخدمين بمنح تطبيقات الطرف الثالث وصولاً محدودًا إلى مواردهم دون مشاركة بيانات اعتمادهم.¹ تتضمن العملية عادةً مصافحة متعددة الخطوات حيث يحصل التطبيق على رمز وصول، والذي يستخدم بعد ذلك لإجراء طلبات مصادقة. يمكن لمكتبات مثل requests-oauthlib تبسيط هذه العملية.

المصادقة الأساسية (Basic Authentication)

تتضمن هذه الطريقة إرسال اسم مستخدم وكلمة مرور مع كل طلب. عادةً ما يتم تشفير بيانات الاعتماد Base64 وإرسالها في رأس Authorization. تحتوي مكتبة requests على طريقة ملائمة للتعامل مع هذا:Python

from requests.auth import HTTPBasicAuth

response = requests.get('https://api.example.com/data', auth=HTTPBasicAuth('your_username', 'your_password'))

فن التعامل مع حدود المعدل (Rate Limiting)

لمنع إساءة الاستخدام وضمان الاستخدام العادل، تفرض معظم واجهات برمجة التطبيقات حدودًا للمعدل، والتي تقيد عدد الطلبات التي يمكن للمستخدم إجراؤها في فترة زمنية معينة. يؤدي تجاوز هذا الحد عادةً إلى رمز حالة 429 Too Many Requests. يجب أن يتعامل نص استخلاص البيانات القوي مع هذه الحدود بأناقة.

إحدى الاستراتيجيات الشائعة هي دمج فترة انتظار في التعليمات البرمجية الخاصة بك. مكتبة time في بايثون هي صديقك هنا.Python

import requests
import time

for i in range(100):
    response = requests.get('https://api.example.com/data')
    if response.status_code == 200:
        # Process the data
        pass
    elif response.status_code == 429:
        print("Rate limit exceeded. Waiting...")
        retry_after = int(response.headers.get('Retry-After', 10)) # Check for a 'Retry-After' header
        time.sleep(retry_after)
    else:
        print(f"An error occurred: {response.status_code}")
        break

تحاول هذه الحلقة البسيطة إجراء طلبات. إذا وصلت إلى حد المعدل، فإنها تتحقق من رأس Retry-After (الذي توفره بعض واجهات برمجة التطبيقات للإشارة إلى المدة التي يجب انتظارها) ثم توقف التنفيذ مؤقتًا قبل المحاولة مرة أخرى.

التغلب على الترقيم (Pagination): القصة التي لا تنتهي

عندما تعيد نقطة نهاية واجهة برمجة تطبيقات مجموعة بيانات كبيرة، غالبًا ما يتم "ترقيمها"، مما يعني أن البيانات مقسمة عبر صفحات متعددة. يجب أن يكون النص البرمجي الخاص بك قادرًا على التنقل عبر هذه الصفحات لاستخلاص جميع البيانات. هناك العديد من استراتيجيات الترقيم الشائعة:

الترقيم المعتمد على الإزاحة (Offset-Based Pagination)

هذه إحدى الطرق الأكثر شيوعًا. ستحتوي واجهة برمجة التطبيقات على معلمات مثل offset (أو page) و limit (أو per_page). تقوم بزيادة رقم offset أو page في كل طلب لاحق للحصول على الجزء التالي من البيانات.Python

import requests

base_url = 'https://api.example.com/data'
page = 1
all_data = []

while True:
    params = {'page': page, 'per_page': 100}
    response = requests.get(base_url, params=params)
    if response.status_code == 200:
        data = response.json()
        if not data: # No more data
            break
        all_data.extend(data)
        page += 1
    else:
        print(f"Failed to retrieve data: {response.status_code}")
        break

الترقيم المعتمد على المؤشر (Cursor-Based Pagination)

تستخدم هذه الطريقة "مؤشرًا"، وهو مؤشر إلى عنصر محدد في مجموعة البيانات. ستتضمن كل استجابة لواجهة برمجة التطبيقات حقلاً مثل next_cursor أو ما شابه. يمكنك استخدام هذا المؤشر في طلبك التالي للحصول على المجموعة اللاحقة من البيانات. هذه الطريقة بشكل عام أكثر كفاءة لمجموعات البيانات الكبيرة جدًا.Python

import requests

base_url = 'https://api.example.com/data'
next_cursor = None
all_data = []

while True:
    params = {'cursor': next_cursor} if next_cursor else {}
    response = requests.get(base_url, params=params)
    if response.status_code == 200:
        data = response.json()
        all_data.extend(data['results'])
        next_cursor = data.get('next_cursor')
        if not next_cursor:
            break
    else:
        print(f"Failed to retrieve data: {response.status_code}")
        break

هيكلة وتخزين البيانات المستخرجة

بمجرد استخلاص البيانات بنجاح من واجهة برمجة التطبيقات، فإن الخطوة التالية هي هيكلتها وتخزينها بطريقة مناسبة لخط أنابيب البيانات الخاص بك. غالبًا ما تكون بيانات JSON أو XML الخام متداخلة وغير مثالية للتحليل المباشر أو التحميل في قاعدة بيانات علائقية.

تعد مكتبة pandas أداة لا غنى عنها لهذه المهمة. إنها توفر DataFrame، وهو هيكل بيانات ثنائي الأبعاد مع تسميات مثالي للبيانات الجدولية.Python

import pandas as pd

# Assuming 'all_data' is a list of dictionaries from the API
df = pd.DataFrame(all_data)

يمكنك بعد ذلك إجراء تحويلات مختلفة على DataFrame، مثل تحديد أعمدة معينة، وإعادة تسمية الأعمدة، والتعامل مع القيم المفقودة.

للتخزين الأولي، لديك عدة خيارات:

CSV (Comma-Separated Values): تنسيق بسيط ومدعوم على نطاق واسع. df.to_csv('data.csv', index=False)
JSON: مفيد إذا كنت ترغب في الحفاظ على الهيكل المتداخل للبيانات الأصلية. df.to_json('data.json', orient='records')
Parquet: تنسيق تخزين عمودي فعال للغاية لأعباء العمل التحليلية. غالبًا ما يكون هذا خيارًا مفضلاً لبحيرات البيانات. df.to_parquet('data.parquet')
قاعدة بيانات: للتخزين الأكثر هيكلة وطويل الأجل، يمكنك تحميل البيانات مباشرة إلى قاعدة بيانات SQL أو NoSQL باستخدام مكتبات مثل SQLAlchemy أو pymongo.

أتمتة عملية الاستخلاص

خط أنابيب البيانات ليس أمرًا يحدث لمرة واحدة. ستحتاج غالبًا إلى استخلاص البيانات من واجهات برمجة التطبيقات على جدول زمني منتظم (على سبيل المثال، يوميًا، كل ساعة). هنا يأتي دور الأتمتة.

يمكنك جدولة تشغيل نصوص بايثون البرمجية الخاصة بك على فترات زمنية محددة باستخدام أدوات مثل:

Cron: مجدول مهام يعتمد على الوقت في أنظمة التشغيل الشبيهة بيونكس.
Windows Task Scheduler: مكافئ Cron لنظام التشغيل Windows.
Airflow: منصة قوية لتأليف وجدولة ومراقبة سير العمل برمجيًا. Airflow هو خيار شائع لبناء خطوط أنابيب بيانات معقدة.
المجدولات المستندة إلى السحابة: خدمات مثل AWS Lambda مع CloudWatch Events أو Google Cloud Functions مع Cloud Scheduler تسمح لك بتشغيل نصوصك البرمجية في بيئة بدون خادم.

خاتمة: بناء عملية استخلاص مرنة

يعد استخلاص البيانات من واجهات برمجة التطبيقات مهارة أساسية لبناء خطوط أنابيب البيانات الحديثة. بينما أساسيات إجراء طلب واجهة برمجة تطبيقات واضحة، يتطلب بناء عملية استخلاص مرنة وجاهزة للإنتاج دراسة متأنية للمصادقة، حدود المعدل، الترقيم، ومعالجة الأخطاء. من خلال الاستفادة من قوة بايثون ونظامها البيئي الغني بالمكتبات، يمكنك الاستفادة بفعالية من المحيط الواسع من البيانات المتاحة عبر واجهات برمجة التطبيقات وبناء خطوط أنابيب بيانات قوية وموثوقة. الرحلة من requests.get() بسيط إلى نص برمجي لاستخلاص البيانات مؤتمت ومجدول بالكامل هي شهادة على قوة ومرونة بايثون في عالم هندسة البيانات.

💡

button