🧊 우선순위 큐로 요청 제어하기

우선순위 큐로 요청 제어하기

분야	작성자	작성일
BE	김민수	24년 12월 03일

개요

가격 상승, 하락률 순위에 대한 API를 요청하여 데이터를 수집하기 위한 작업을 만들었다. 해당 작업은 일정 시간 간격으로 주가 서버의 API를 통해, 20개의 랭킹의 데이터를 받은 후 각 종목에 대한 라이브 데이터를 수집하기 위해 20개의 요청을 추가로 진행하게 된다. 추가적으로 데이터 요청이 실패하면 재 요청하도록해서 데이터가 수집되지 못하는 문제를 막도록 했다.

async getDecreaseRankStocks(count = 5) {
    try {
      if (count === 0) return;
      const result = await this.getFluctuationRankApiStocks(false);
      const liveResult = await this.getFluctuationRankApiLive(result);
      await this.datasource.transaction(async (manager) => {
        await this.saveFluctuationRankStocks(result, manager);
        await this.saveLiveData(liveResult, manager);
        this.logger.info('decrease rank stocks updated');
      });
    } catch (error) {
      this.logger.warn(error);
      await new Promise((resolve) =>
        setTimeout(() => resolve(this.getDecreaseRankStocks(--count)), 2000),
      );
    }
  }

하지만 이렇게 작성했을 때 다음과 같이 500 에러가 수없이 많이 반복이 되었다. 그 이유는 1개의 계좌에서 허용된 요청의 수(초 당 20개)를 초과했기 때문이다.

이때 하루 당 위와 같은 에러가 어느 정도 발생하는지 측정해 보았다.

놀랍게도 1만 개 이상의 요청이 실패가 되었다.

원인

요청 수 제어를 실패한 원인은 현재 요청을 제어하기 위한 로직이 실제로는 제어가 잘 안되기 때문이었다. 기존에 진행한 요청 제어 로직은 크게 2가지였다. 우선 첫 번째는 로직은 다음과 같다.

해당 로직은 스케줄러가 일정 시간이 도달하면 api 요청을 진행하는 로직으로 매우 간단하다. 따라서 1분 주기로 업데이트하는 데이터(변동률 순위, 그와 연관된 라이브 데이터 등)에 쓰이게 된다. 특정 시간에 도달하여 시작하게 된다면 초 당 20개의 요청을 진행하게 된다. 하지만 위 방식의 문제점으로는 각 로직마다 동기화게 제대로 이루어지지 않다는 것이다. 즉 변동률 데이터를 요청하는 와중에 다른 데이터가 동시에 요청되어 허용되는 요청 수를 초과하게 되는 것이다.

두 번째 로직은 그래프 데이터와 같이 한번에 많은 요청을 제어하기 위해 사용한 로직이다. 현재 가지고 있는 계좌의 수만큼 task chunk를 나누어서 setTimeout을 걸어서 일정 시간이 지난 후 요청을 실행하도록 했다. 하지만 이것도 요청을 제어하기 힘들었다. 해당 로직의 문제는 첫번째 로직과 같이 다른 요청과 겹치게 될 때 요청이 초과될 수 있는 문제가 있고, setTimeout의 오차가 많이 쌓여 예측하기 어려운 문제가 있었다. 더 큰 문제로 너무 많은 setTimout을 쌓아놓았기 때문에 서버의 메모리가 터지는 문제가 발생하였다. 결국 제한된 요청 수를 잘 제어하기 위해서 새로운 로직을 만들 수 밖에 없었다.

우선순위 큐를 사용하자

해당 문제를 해결하기 위해서 이를 잘 관리할 수 있는 중간 지점이 필요했고, 우선순위 큐를 중간 지점으로 두어 요청 수를 제어할 수 있도록 했다. 개선된 구조는 다음과 같이 생산자 - 큐 - 소비자 형태의 구조를 갖도록 했다.

생산자

우선 생산자는 주기적으로 큐에게 요청 task를 삽입하도록 한다. 큐에 들어가는 것은 다음과 같다.

요청 url - 주가 API에 요청할 url
쿼리 - 요청에 필요한 쿼리
TR_ID - 거래 번호
callback - 요청이 완료된 데이터를 처리하는 함수