AUTHENTICATION · BILLING · WORKERS
하나의 게이트웨이로 모델을 연결합니다
인증된 게이트웨이를 생성하고, 크레딧과 자체 API 키 사용(bring-your-own-key) 방식을 이해한 뒤 첫 Python 요청을 보냅니다. 같은 게이트웨이에는 최소 구성의 TypeScript Worker도 연결합니다.
AI Gateway로 보호하는AI 애플리케이션
AI 애플리케이션을 프로덕션 수준으로 만드는 법
예산을 정해 비용을 통제하고, 속도 제한으로 악용을 막고, 프롬프트와 응답에 가드레일을 적용합니다. 요청 로그를 확인하고 모델 간 폴백을 구성합니다.
- VIDEOS
- 13
- DURATION
- 1H 2M
- CHAPTERS
- 07
- PILLAR
- 프로덕션 AX 엔지니어링
첫 모델 호출은 시작에 불과합니다.
AI Gateway로 AI 애플리케이션의 비용, 사용량, 안정성을 관리합니다.
AI 애플리케이션을 프로덕션 환경에서 운영하려면 사용량과 지출, 장애를 함께 관리해야 합니다. 이를 위해 비용을 추적하고, 사용자별 예산과 속도 제한을 설정하고, 가드레일을 적용하고, 요청 로그를 확인하는 법을 배웁니다. 요청이 실패할 때는 재시도와 모델 폴백으로 대응하도록 구성합니다.
먼저 인증된 게이트웨이를 만들고 Python 요청이 동작하는 것을 확인하는 데서 시작합니다. 여기에 로그, 캐싱, 속도 제한, 사용자 예산, 재시도, 폴백을 더한 뒤 콘텐츠 정책과 모델 라우팅까지 구성합니다. 설정을 바꿀 때마다 그 결과를 응답과 게이트웨이 로그에서 직접 확인합니다.
강의를 마치면 재사용할 수 있는 요청 예제와 최소 구성의 TypeScript Worker가 완성되고, 그 바탕이 되는 게이트웨이 설정도 이해하게 됩니다. 마지막으로 같은 구성을 이미지 생성과 모델 제공업체의 웹 검색까지 확장합니다.
더 좋은 프롬프트가 아닌,
더 나은 방식을 배웁니다
LOGS · CACHING · RATE LIMITS · BUDGETS
사용량을 파악하고 비용을 관리합니다
요청을 사용자 레이블별로 추적해 토큰, 지연 시간, 예상 비용을 확인하고, 반복되는 응답은 캐싱합니다. 이어서 속도 제한과 사용자별 지출 예산을 구성하고, 각 기능의 한계도 함께 살펴봅니다.
TIMEOUTS · RETRIES · FALLBACKS
느린 호출과 모델 장애에 대응합니다
타임아웃과 횟수가 제한된 재시도를 설정한 뒤, 기본 모델에 일부러 장애를 일으켜 폴백 모델이 요청을 대신 처리하는지 확인합니다. 게이트웨이 설정과 클라이언트 설정이 함께 적용될 때 어떻게 동작하는지도 배웁니다.
GUARDRAILS · DLP · LOGGING
프롬프트와 응답을 검사합니다
Guardrails에서 플래그 지정과 차단이 어떻게 다른지 비교합니다. 가상의 민감 데이터로 입력 프롬프트와 생성된 응답 모두에 DLP 검사를 구성하고, 로그에 어떤 정보가 남는지 검토합니다.
DYNAMIC ROUTES · TRAFFIC SPLITS · AUTO ROUTER
요청마다 사용할 모델을 선택합니다
사용자 메타데이터에 따라 요청을 라우팅하고, 모델 간 트래픽을 분할하고, 이전 라우트 버전을 복원합니다. 또 답변 품질, 지연 시간, 예상 비용을 기준으로 Auto Router가 선택한 모델을 비교합니다.
IMAGE GENERATION · WEB SEARCH
텍스트를 넘어 이미지 생성과 웹 검색까지 다룹니다
Python으로 이미지를 생성해 저장한 뒤, 모델 제공업체가 관리하는 웹 검색 요청을 보내 출처 주석을 확인합니다. 마지막으로 두 요청을 게이트웨이 로그에서 모두 찾아봅니다.
이런 분들에게
추천합니다
실제 제품에 AI를 추가하려는 개발자
모델 API를 호출할 수 있고, 기능 규모가 커지면서 사용량, 비용, 장애를 파악하고 싶은 분.
여러 사용자에게 서비스를 제공하는 빌더
요청을 사용자별로 구분하고, 사용자 예산을 적용하고, 트래픽 유형에 맞는 모델로 라우팅해야 하는 분.
AI 서비스에 Cloudflare를 활용해 보려는 엔지니어
작은 실전 예제로 게이트웨이 정책, 모델 라우팅, Workers 연동을 직접 다뤄 보고 싶은 분.
상세 커리큘럼
첫 게이트웨이 요청에서 시작해 속도 제한, 예산, 가드레일, 모델 라우팅까지 다룹니다. 각 기능은 Python 예제와 TypeScript Worker로 직접 실습합니다.
전체 커리큘럼과 강의를 미리 확인하세요.
니꼬쌤이 가르칩니다
더이상 소개가 필요없는 검증된 강의력의 일타강사
- Since 2017. 강의 경력 9년 +
- 노마드코더 누적 수강생 30만 +
- 유튜브 누적 조회수 5천만 +
매순간 바뀌는 AI 기술을 그 누구보다 빠르게, 정확하게, 재밌게!
오로지 실전과 진짜 성과물 중심으로 강의합니다.
강의 하나를 사는 대신,
1년의 AX를
이 강의는 AX School 멤버십 전용 강의이며, 개별 강의로는 판매하지 않습니다.
ONE MEMBERSHIP. CONTINUOUS LEARNING.
AX School
- AI 변화에 맞춰 계속 업데이트되는 실전 중심 강의
- 검증된 아키텍처를 바로 적용할 수 있는 프로덕션 레디 보일러플레이트
- 니꼬쌤 큐레이션 리포트 · 심화 빌드 챌린지 · AX 커뮤니티 포함
FAQ
강의를 단독으로 구매할 수 있나요?
- 아니요. 본 강의는 AX School 멤버십에 포함된 강의이며, 단독 구매는 불가합니다.
- AX School 멤버십에 가입하시면 본 강의를 포함한 28개 이상의 신규 강의와 각종 보일러플레이트를 1년 동안 자유롭게 이용하실 수 있습니다.
- AX School에 대한 자세한 안내는 이 페이지(클릭)에서 확인하실 수 있습니다.
강의는 어떤 방식으로 진행되나요?
- 강의는 인증된 게이트웨이와 동작하는 Python 요청에서 시작해, 기능을 추가할 때마다 응답과 게이트웨이 로그에서 결과를 확인하는 방식으로 진행됩니다.
- 특히 이번 강의에서는 요청 로그와 사용자별 비용을 확인하고, 캐싱·속도 제한·사용자별 지출 예산으로 사용량과 비용을 관리합니다.
- 단순히 비용을 관리하는 데서 그치지 않고, 타임아웃·재시도·모델 폴백으로 장애에 대응하고, Guardrails와 DLP로 프롬프트와 응답을 검사하며, 사용자 메타데이터·트래픽 분할·Auto Router로 모델 라우팅을 구성합니다.
- 이를 통해 AI 애플리케이션의 비용, 사용량, 안정성을 관리하는 방법을 익힐 수 있습니다.
이 강의의 선수 조건은 무엇인가요?
- Python 스크립트를 실행하고 API 요청을 보낼 수 있다면 수강이 가능합니다.
- Worker 강의는 TypeScript 기초 지식이 있으면 더 수월합니다.
코딩을 잘 모르는 초보자도 들을 수 있나요?
- AX School의 모든 강의는 기초 코딩 실력과 기본적인 프로그래밍 용어를 이해하는 분을 대상으로 합니다.
- 숙련된 개발자가 아니어도 참여할 수 있지만, 코딩을 처음 시작하는 분들을 위한 프로그래밍 기초 수업은 아닙니다.
- 기초부터 시작하고 싶다면 노마드코더 로드맵의 AI 기초 Track 또는 웹 개발 입문 Track을 병행 수강하는 것을 권장합니다.
별도의 AI 구독이 필수인가요?
- 실습에는 Cloudflare 계정이 필요합니다.
- 모델은 게이트웨이 크레딧을 충전하거나 모델 제공업체 API 키를 연결해 사용하므로, 사용료가 별도로 부과될 수 있습니다.
수강 중 에러나 질문이 생기면 어떻게 하나요?
- (1) 강의와 관련한 각종 질문은 언제든 강의 내 댓글, 이슈 기능을 통해 직접 문의하실 수 있습니다.
- (2) 멤버십 전용 커뮤니티를 통해서도 질문을 남기실 수 있으며, 이 경우 다른 수강생들과 도움과 피드백을 주고 받을 수 있습니다.
구매한 강의는 언제까지 볼 수 있나요?
- 본 강의는 AX School 멤버십 유효 기간인 1년 동안 언제든지 무제한 반복 수강이 가능합니다.
- 멤버십 기간 종료 후에도, 실시간 업데이트는 종료되지만 핵심 강의와 학습 자료는 계속 소장하여 복습하실 수 있으니 안심하고 학습에 집중해 주세요!
본 강의 외에, 원하는 강좌나 주제를 직접 제안할 수 있나요?
- 네 물론입니다. AX School 멤버라면 누구나 배우고 싶은 주제를 제안할 수 있고, 요청이 많은 주제는 우선적으로 다룰 예정입니다.
- 다만 모든 제안이 강의로 제작되는 것은 아니며, 수강생들의 수요와 AI 기술 흐름 등을 검토해 결정합니다.
강의는 자주 업데이트되나요?
- 네. 특히 실습에 영향이 있는 변경 사항은 강의에 가급적 빠르게 반영할 예정입니다.
- 설치와 구현 과정에서 막히는 부분은 언제든 강의 댓글로 질문할 수 있습니다.