파이썬에서 aiohttp에 대한 초보자 가이드

웹 API와 상호작용하기 위해 Python을 사용할 때, 특히 여러 요청을 처리할 때 지연을 경험했을 것입니다. 파일을 다운로드하든, 데이터를 스크래핑하든, API에 요청을 하든, 각 작업이 끝나는 것을 기다리는 것은 작업 속도를 상당히 느리게 할 수 있습니다. 여기서 비동기 프로그래밍이 등장하여 문제를 해결해 주며, Python 생태계에서 이를 위한 최고의 도구 중 하나가 aiohttp 라이브러리입니다.

비동기 프로그래밍이 익숙하지 않다면 걱정하지 마세요! 간단한 용어로 설명하고 aiohttp가 웹 요청을 효율적이고 빠르게 처리하는 데 어떻게 도움을 줄 수 있는지 설명하겠습니다.

더 깊이 들어가기 전에 모든 개발자가 다루는 문제인 API 테스트에 대해 이야기해 봅시다. 그리고 여러분이 대부분의 팀처럼 Postman을 사용하고 있다면요.

이해합니다. Postman은 익숙한 도구입니다. 그러나 솔직히 말해, 매년 점점 덜 매력적이 되고 있다는 것을 모두가 느끼지 않았나요? 하지만 여러분은 팀으로 일하고 있고 개발 프로세스를 원활하게 유지하기 위해 협업 도구가 필요합니다. 그렇다면 어떻게 하시겠습니까? 매달 무려 49달러를 주고 Postman Enterprise에 투자하셔야죠.

하지만 여기서 중요한 사실은: 그렇게 할 필요가 없다는 것입니다.

맞습니다, 제대로 읽으셨습니다. API 테스트와 팀 협업을 더 많은 비용을 들이지 않고 더 효율적으로 관리할 수 있는 방법이 있습니다. 더 나은 대안을 살펴보겠습니다!

APIDog: Postman 유료 버전에서 모든 것을 얻으실 수 있지만 더 저렴한 가격으로
맞습니다, APIDog는 Postman 유료 버전에서 제공되는 모든 기능을 훨씬 저렴한 가격에 제공합니다. 이전으로의 마이그레이션이 매우 간단하여 몇 번의 버튼 클릭만으로 APIDog가 모든 작업을 처리해줍니다.

APIDog는 확실히 시도해 볼 가치가 있습니다. 하지만 여러분이 정말로 Postman을 더 좋고 저렴한 것으로 대체하고 싶어하는 개발 팀의 기술 리드라면, APIDog를 확인해 보세요!

button

aiohttp란 무엇인가요?

aiohttp는 비동기 HTTP 클라이언트 및 서버를 작성할 수 있는 인기 있는 Python 라이브러리입니다. Python의 requests 라이브러리와 비슷하지만 비동기 프로그래밍의 힘을 장착했습니다.

Python의 asyncio 프레임워크 위에 구축되었으므로, 각 요청이 완료될 때까지 기다리지 않고도 많은 요청을 동시에 처리할 수 있습니다.

커피숍에 있다고 상상해 보세요. 각 주문이 하나씩 완료될 때까지 기다리는 대신, 여러 바리스타가 동시에 여러분의 주문을 준비하기 시작합니다.

aiohttp와 함께라면 마치 팀 바리스타와 함께 작업하는 것과 같아, 모두가 동시에 커피를 내리고 (또는 이 경우 데이터를 가져오고) 있습니다. 결과는? 덜 기다리면서 더 빠른 결과를 얻을 수 있습니다.

왜 aiohttp에 관심을 가져야 하나요?

Python 초보자든, 데이터 과학자든, 웹 스크래퍼든, 심지어 경험이 많은 개발자든, 왜 aiohttp가 중요해야 하는지에 대해 이야기해 봅시다.

성능: aiohttp를 사용하는 주된 이유는 성능입니다. 여러 API 호출이나 웹사이트에 요청을 해야 한다면, aiohttp는 이를 동시에 처리할 수 있습니다.
일일이 처리하는 대신, 동시에 수십 또는 수백 개의 요청을 실행할 수 있습니다.
확장성: 웹 스크래핑이나 여러 API 호출은 동기 프로그래밍을 사용할 경우 느리고 차단되는 과정이 될 수 있습니다. 그러나 aiohttp를 사용하면 더 적은 시간에 더 많은 작업을 관리할 수 있습니다. 즉, 애플리케이션이 더 많은 수요나 대량의 데이터 세트를 처리할 수 있다는 것을 의미합니다.
대기 시간 단축: 전통적인 동기 프로그램은 하나의 작업이 끝난 후에야 다음 작업을 시작할 수 있습니다.
비동기 코드를 사용하면 작업이 대기할 필요가 없습니다. 여러 URL에서 동시에 데이터를 다운로드할 수 있어 전체 실행 시간을 대폭 줄일 수 있습니다.
효율적인 자원 사용: 비동기 프로그래밍, 특히 aiohttp는 시스템 자원을 보다 효율적으로 사용합니다.
응답을 기다리느라 전체 스레드나 프로세스를 차단하는 대신, aiohttp는 I/O 작업이 완료될 때까지 다른 작업을 실행할 수 있게 해줍니다.

aiohttp는 어떻게 작동하나요?

aiohttp가 실제로 어떻게 작동하는지 살펴보겠습니다.
먼저, 비동기 프로그래밍이 실제로 무엇을 의미하는지 명확히 해봅시다. 동기 프로그램에서는 다음 작업이 시작되기 전에 각 작업이 완료되어야 합니다.

웹 서버의 응답을 기다리고 있다면, 응답이 도착할 때까지 전체 프로그램이 중단됩니다. 비동기 프로그래밍은 응답을 기다리는 동안 다른 작업을 계속 실행할 수 있게 해줍니다.

aiohttp는 이 비동기 모델을 활용하여 여러 HTTP 요청을 동시에 발신하고, 그 응답이 들어오는 대로 처리할 수 있게 해줍니다. 이를 간단하게 보여주는 예제를 살펴보겠습니다:

aiohttp로 웹 요청 만드는 방법: 기초

이 다이어그램(그림 2)은 동기 흐름(다음 작업을 시작하기 전에 하나의 작업이 완료됨)과 비동기 흐름(여러 작업이 동시에 실행됨)을 비교합니다.
파란색 상자는 동기 작업을 나타내고, 초록색 상자는 비동기 작업을 나타냅니다.
화살표는 동기 및 비동기 프로세스의 흐름을 나타냅니다.

이벤트 루프 시각화 (Python의 비동기 모델 내 루프 메커니즘)

이 다이어그램(그림 3)은 Python의 비동기 프로그래밍 모델에서 이벤트 루프 메커니즘을 설명합니다.
노드는 작업 시작, I/O 작업 대기, 콜백 실행 등 다양한 단계를 나타냅니다.
단방향 화살표는 작업이 어떻게 시작되고, I/O 작업을 기다리며, 이벤트 루프가 콜백을 처리하고 작업을 재시작하는지를 보여줍니다.

aiohttp에서 동시 URL 가져오기

사용 사례 다이어그램(그림 4)은 aiohttp가 여러 URL 요청을 동시에 처리하는 방법을 시각적으로 보여줍니다. 각 "URL 가져오기" 과정은 동시에 처리되며 중앙 처리 노드로 전달됩니다.

이 다이어그램은 aiohttp가 웹 스크래핑 또는 API 요청 시 여러 URL을 동시에 가져오는 방법을 보여줍니다.

워크플로우 다이어그램

워크플로우 다이어그램은 데이터를 가져오고, 처리하고, 정리하고, 저장하는 단계를 보여주는 기본 데이터 파이프라인을 시각화합니다.

예제: aiohttp로 비동기 요청 만들기

import aiohttp
import asyncio

async def fetch_url(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = [
        "https://jsonplaceholder.typicode.com/posts/1",
        "https://jsonplaceholder.typicode.com/posts/2",
        "https://jsonplaceholder.typicode.com/posts/3",
    ]
    
    async with aiohttp.ClientSession() as session:
        tasks = [fetch_url(session, url) for url in urls]
        responses = await asyncio.gather(*tasks)
        
        for i, response in enumerate(responses):
            print(f"응답 {i+1}: {response[:60]}...")  # 각 응답의 처음 60자를 출력합니다.

이벤트 루프 실행
asyncio.run(main())

동기적으로 콘텐츠 다운로드하기
먼저, requests 라이브러리를 사용하여 이를 동기적으로 시도해 보겠습니다. 다음과 같이 설치할 수 있습니다:

pip.python3.7 -m pip install requests

requests를 사용하여 온라인 리소스를 다운로드하는 것은 간단합니다.

import requestsresponse = requests.get("https://www.python.org/dev/peps/pep-8010/")print(response.content)

PEP 8010의 HTML 콘텐츠를 출력합니다. 이를 파일로 저장하려면:

filename = "sync_pep_8010.html"with open(filename, "wb") as pep_file:pep_file.write(content.encode('utf-8'))

파일 sync_pep_8010.html이 생성됩니다.

aiohttp의 실제 사용 사례

1. 웹 스크래핑
웹사이트에서 여러 페이지를 스크래핑 할 경우, 각 페이지가 로드되기를 기다리는 것은 매우 느린 과정이 될 수 있습니다. aiohttp를 사용하면 여러 페이지를 동시에 스크래핑할 수 있어 프로세스 속도를 크게 향상시킬 수 있습니다. 각 페이지가 순서대로 로드되는 것을 기다리는 대신 수백 개의 페이지를 한 번에 가져오는 것을 상상해 보세요.
2. API 요청
API 작업 시, 특히 속도 제한이 있거나 응답이 느린 경우, aiohttp를 사용하여 여러 요청을 동시에 보낼 수 있습니다. 예를 들어, 여러 도시의 날씨 데이터를 요청하는 API를 쿼리할 경우, aiohttp가 결과를 더 빠르게 수집하는 데 도움을 줄 수 있습니다.
3. 데이터 수집
주식 시장 데이터, 소셜 미디어 피드 또는 뉴스 웹사이트 등 작업할 때, aiohttp는 HTTP 요청을 동시에 처리하는 데 있어 게임 체인저가 될 수 있습니다. 데이터를 더 빠르고 효율적으로 수집할 수 있습니다.

다음은 Python의 aiohttp 라이브러리를 사용한 세 가지 실제 예시로, 단계와 샘플 코드가 포함되어 있습니다:

1. 비동기 HTTP 요청 만들기

이 예제는 aiohttp를 사용하여 여러 비동기 HTTP 요청을 만드는 방법을 보여줍니다.

단계:

필요한 모듈 불러오기
URL을 가져오기 위한 비동기 함수 정의하기
가져올 URL 목록 만들기
비동기 이벤트 루프 설정하기
각 URL에 대해 비동기 함수를 동시에 실행하기

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = [
        'https://api.github.com',
        'https://api.github.com/events',
        'https://api.github.com/repos/python/cpython'
    ]
    
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, url) for url in urls]
        responses = await asyncio.gather(*tasks)
        
        for url, response in zip(urls, responses):
            print(f"URL: {url}\n응답 길이: {len(response)}\n")

asyncio.run(main())

2. 간단한 API 서버 만들기

이 예제는 aiohttp를 사용하여 기본 API 서버를 만드는 방법을 보여줍니다.

단계:

필요한 모듈 불러오기
라우트 핸들러 정의하기
애플리케이션 생성 후 라우트 추가하기
애플리케이션 실행하기

from aiohttp import web

async def handle_root(request):
    return web.json_response({"message": "API에 오신 것을 환영합니다"})

async def handle_users(request):
    users = [
        {"id": 1, "name": "Alice"},
        {"id": 2, "name": "Bob"},
        {"id": 3, "name": "Charlie"}
    ]
    return web.json_response(users)

app = web.Application()
app.add_routes([
    web.get('/', handle_root),
    web.get('/users', handle_users)
])

if __name__ == '__main__':
    web.run_app(app)

3. 웹소켓 채팅 서버

이 예제는 aiohttp를 사용하여 간단한 웹소켓 기반 채팅 서버를 만드는 방법을 보여줍니다.

단계:

필요한 모듈 불러오기
활성 웹소켓을 저장할 집합 생성하기
웹소켓 핸들러 정의하기
애플리케이션 생성 후 라우트 추가하기
애플리케이션 실행하기

import aiohttp
from aiohttp import web
import asyncio

active_websockets = set()

async def websocket_handler(request):
    ws = web.WebSocketResponse()
    await ws.prepare(request)
    
    active_websockets.add(ws)
    
    try:
        async for msg in ws:
            if msg.type == aiohttp.WSMsgType.TEXT:
                for client in active_websockets:
                    if client != ws:
                        await client.send_str(f"사용자{id(ws)}: {msg.data}")
            elif msg.type == aiohttp.WSMsgType.ERROR:
                print(f"웹소켓 연결이 예외 {ws.exception()}와 함께 닫혔습니다.")
    finally:
        active_websockets.remove(ws)
    
    return ws

app = web.Application()
app.add_routes([web.get('/ws', websocket_handler)])

if __name__ == '__main__':
    web.run_app(app)

이 웹소켓 서버를 테스트하려면 웹소켓 클라이언트를 사용하거나 서버에 연결하기 위한 JavaScript가 포함된 간단한 HTML 페이지를 만들 수 있습니다.

이러한 예제는 aiohttp의 다양한 측면을 보여주며, 비동기 요청을 만드는 것부터 웹 서버 작성 및 웹소켓 처리까지 다양한 기능을 제공합니다. 이 강력한 라이브러리를 사용하여 더 복잡한 애플리케이션을 구축하기 위한 튼튼한 기초를 제공합니다.

마무리

오늘날 데이터 중심의 세상에서 속도는 중요하며, 동시에 많은 작업을 처리할 수 있는 능력은 여러분에게 장점을 줄 수 있습니다. 웹 스크래핑, API 요청 또는 여러 HTTP 요청을 다뤄야 한다면 aiohttp는 Python 도구 세트에서 필수적인 도구입니다.

비동기로 전환함으로써 시간 절약뿐만 아니라 코드의 효율성과 확장성을 높일 수 있습니다.
따라서 Python 웹 요청을 한 단계 끌어올리고 싶다면 aiohttp를 사용해 보세요.

I/O 작업이 많은 애플리케이션을 다루는 개발자들 사이에서 왜 이렇게 인기가 있는지 금방 알게 될 것입니다.

이 페이지가 도움이 되셨나요? 여러분에게 매우 유익한 자료가 되었기를 바랍니다!
모든 것에 행운을 빕니다!

button