정부를 위한 AI 챗봇 지침서
AI 기반 어시스턴트 구축, 보호 및 관리 방법
정부 기관의 기술 리더들을 만나보면, 그들이 가장 먼저 도입한 생성형 AI(GenAI) 도구는 AI 챗봇이라고 말하는 경우가 많습니다. 실제로 2025년 1월 현재, 연방 정부 내 문서화된 생성형 활용 사례의 80%는 챗봇 및 AI 기반 가상 비서와 관련된 것입니다. 대부분의 기관은 내부 직원용 챗봇부터 시작하여 기술에 대한 편안함과 결과에 대한 만족도를 확인한 후 외부 고객용 챗봇을 만들었습니다.
이제 주 정부 및 지방 정부 기관에서는 첫 번째 AI 기반 챗봇을 구현하기 위해 열심입니다. 한편, 내부적으로 배포를 완료한 연방 기관들은 외부 챗봇 출시를 계획하고 있습니다.
이러한 AI 챗봇은 기존에 수년간 사용되던 챗봇과는 차이가 있습니다. 기존의 (규칙 기반) 챗봇은 정해진 스크립트를 따르므로 간단한 작업에는 유용하지만, '스크립트 외' 질문에는 제대로 응답하지 못합니다. AI(대화형) 챗봇은 자연어 처리(NLP), 머신 러닝(ML) 및 대규모 언어 모델(LLM)을 활용하여 의도를 파악하고, 맥락을 이해하며, 데이터를 통합함으로써 학습 및 개선을 통해 복잡한 질의에 대한 포괄적인 답변을 제공할 수 있습니다.
AI 챗봇은 인적 자원 없이도 빠르고 일관성 있으며 규정을 준수하는 응답을 제공할 수 있습니다. 그러나 구축, 보안 및 관리하기가 어려울 수 있습니다. 챗봇을 구축하기 위해서는 빠른 성공과 필요한 경험을 제공할 수 있는 사용 사례를 먼저 찾고, 디자인을 최적화하며, 적절한 LLM을 선택하고, 적절히 큐레이팅된 데이터 소스와 해당 모델을 성공적으로 통합해야 합니다.
또한 챗봇을 공격 및 악성 행위로부터 보호해야 합니다. 동시에 효과적인 거버넌스를 구축하여 모델이 부정확하거나 부적절한 응답을 제공하지 않도록 해야 합니다. 이는 잘못된 의사 결정, 사기 조장, 규제 준수 위험, 그리고 궁극적으로 사용자 신뢰 저하로 이어질 수 있습니다.
이러한 어려움에도 불구하고, 연방, 주 및 지방 정부 기관이 AI 챗봇 도입을 추진하고 있다는 점은 분명합니다. 다음 네 가지 모범 사례를 따르면 이러한 AI 기반 서비스의 가치를 극대화하고 잠재적으로 심각한 위험도 최소화할 수 있습니다.
1. 적절한 사용 사례 찾기
AI 챗봇을 만드는 일도 다른 애플리케이션과 동일한 원칙에서 시작합니다. 문제를 정확히 파악하고, 사용자 중심으로 설계하며, 피드백을 바탕으로 지속적으로 개선해 나가는 것입니다. 첫 번째 AI 챗봇을 배포할 때에는 자주 묻는 질문에 대한 답변처럼 명확하게 정의된, 반복적으로 제기되는 문제를 정확히 해결하는 데 집중하는 것이 좋습니다. 첫 번째 프로젝트를 계획할 때부터 외부와 내부 사용을 모두 고려하세요. 그리고 문제 해결에 가장 적합한 방법을 결정하는 사용자 상호작용의 첫 번째 단계인 분류를 위해 챗봇을 사용하는 것을 고려해 보세요.
시간이 지남에 따라, 더 복잡한 문제들을 지원하기 위해 추가적인 기능들을 통합할 수 있습니다. 예를 들어 번역 기능을 통합하고 음성 및 텍스트를 모두 지원하고 여러 시스템에 연결할 수 있습니다.
외부 사용 사례
외부 고객 또는 시민 대상 챗봇은 다양한 기능을 수행할 수 있습니다. 다음은 몇 가지 예입니다.
미국 이민국은 이민 서비스, 그린 카드, 여권 등과 관련된 공개 요청을 지원하는 챗봇, "EMMA"를 구현했습니다.
애틀랜타시는 비상 상황이 아니어도 24시간 내내 지원을 받을 수 있도록 311 서비스를 개선했습니다. 주민들은 언제든지 포트홀을 신고하거나 폐기물 수거 일정을 문의할 수 있습니다.
사우스캐롤라이나주는 사용자들이 자주 묻는 질문에 대한 답을 찾고, 세금 납부, 수도 요금 관리 등에 대한 도움을 받을 수 있도록 "Bradley"라는 별명으로 불리는 새로운 AI 기반의 "상주 비서"를 출시할 계획입니다.
외부 챗봇은 익명 문의를 지원하거나 개인 맞춤형 정보를 제공하도록 설계할 수 있습니다. 도시 웹사이트의 챗봇은 주택 건설 허가 또는 예정된 행사에 대한 일반 정보를 익명으로 제공할 수 있습니다. 그리고 노동, 세금 또는 차량 관련 기관 웹사이트는 개인의 특정 청구, 세금 신고 또는 차량 정보에 대한 맞춤형 응답을 제공할 수 있을 것입니다.
내부 사용 사례
제가 이야기를 나눈 대부분의 공공 부문 IT 리더들은 내부 직원용 챗봇에 집중하고 있었습니다. 내부 챗봇은 검색 증강 생성(RAG)을 사용하여 내부 데이터를 활용합니다. 동료에게 의존하지 않고도 정보를 신속하게 찾고 잠재적으로 복잡한 프로세스를 탐색하도록 지원할 수 있습니다.
외부 챗봇과 마찬가지로, 이러한 내부 도구도 개인 맞춤 응답이나 일반적인 정보를 제공하도록 구축할 수 있습니다. 대표적인 예를 들어보면 다음과 같습니다.
HR 챗봇은 총무청(GSA)이 2015년에 출시한 "Mrs. Landingham" Slackbot처럼 직원들에게 온보딩 과정을 안내할 수 있습니다. HR 챗봇은 또한 각 개인에게 맞춤화된 복리후생, 보상 및 휴가에 대한 정보를 제공할 수도 있습니다.
IT 챗봇은 기술 지원을 제공하여, 직원들이 비밀번호 재설정 요청 또는 새 소프트웨어 설치와 같은 일반적인 지원 티켓 문제를 해결하는 데 도움을 줄 수 있습니다.
사례 관리 챗봇은 사례 담당자 와 복지 심사관이 규칙을 신속하게 검색하고, 사례 이력을 요약하며, 내부 시스템에서 특정 정보를 추출하는 데 도움을 줄 수 있습니다.
챗봇은 자주 묻는 질문을 처리하고 사람에게 문제를 에스컬레이션해야 하는지 여부를 판단하는 분류에 탁월합니다. 적절하게 설계된 챗봇은 고객 서비스 센터의 생산성을 향상시키고, 사용자 응답 시간을 크게 단축할 수 있습니다. 특히 챗봇이 IT 서비스 데스크나 다른 핵심 기능을 지원하는 경우, 응답 시간 단축은 매우 중요합니다. 그러면 인간 상담원은 보다 복잡하고 미묘한 차이가 있으며, 일상적이지 않은 문제에 집중할 수 있습니다.
2. 기반 기술 조합
조직에서 외부 또는 내부 챗봇을 구축하려는 경우 모델, 데이터 세트 및 데이터 검색 방법과 같은 동일한 기본 요소가 필요합니다.
LLM
대부분의 공공 기관은 자체적으로 모델을 구축하는 데 드는 비용과 시간 부담 때문에 기존 LLM을 선택합니다. OpenAI의 ChatGPT와 같은 상용 LLM이나 Meta의 Llama와 같은 오픈 소스 LLM을 선택할 수 있습니다.
다양한 모델을 평가할 때에는 기능, 보안 및 비용을 고려하세요. 예를 들어 단순한 텍스트 외에도 텍스트, 이미지, 오디오를 조합한 멀티모달 입력 및 출력을 처리할 수 있는 챗봇이 필요할 수도 있습니다. 보안을 극 대화하기 위해 오픈 소스 모델을 선택하여 자체 제어 환경에서 모델을 호스팅할 수도 있습니다. 오픈 소스 모델은 또한 구독료와 상용 공급업체의 잠재적으로 비싼 토큰당 가격 책정을 피할 수 있게 해줍니다.
데이터 세트
챗봇이 특정 지식을 기반으로 작동하게 하려면, LLM이 참조할 데이터 세트가 필요합니다. 사용 사례에 따라, 주 전체 차량 등록 정보, 담당 기관의 인사 정책, 또는 카운티의 중요 기록이 담긴 문서 보관소 등의 데이터가 필요할 수 있습니다. 챗봇을 지원하려면 LLM이 이전 입력을 기억하도록 구조화된 벡터 데이터베이스에 데이터가 저장되어야 합니다.
RAG
마지막으로, 챗봇이 사용자에게 관련 정보를 제공할 수 있도록 LLM을 해당 데이터 소스와 통합하는 방법이 필요합니다. RAG는 해당 데이터 소스의 정보를 사용하여 사용자 프롬프트를 개선하고 LLM을 쿼리합니다. LLM은 일반 학습 데이터에 의존하는 대신, 새로운 컨텍스트를 활용하여 답변을 생성합니다.
3. 신중한 설계
챗봇이 성공적으로 도입되도록 하려면 챗봇 인터페이스, 플랫폼 지원 및 다른 콘텐츠와의 관계를 신중하게 설계하는 것이 중요합니다. 사 용자 연구를 먼저 시작한 다음, 챗봇이 다룰 특정 주제 또는 특정 유형의 질의응답 모델과 같이 챗봇의 범위를 제한하여 정의하세요. 데이터와 피드백을 수집하여 봇의 성능과 기술 자료를 지속적으로 개선해야 합니다.
유용성과 포용성을 극대화하기 위해 웹사이트, 모바일 애플리케이션, 문자 메시지 플랫폼을 포함한 다양한 채널에서 챗봇을 배포해 보세요. 여러 언어를 지원(영어와 스페인어가 공통 우선 순위)하여 접근성을 높이는 것도 필요합니다.
챗봇 콘텐츠는 다른 웹사이트/FAQ 콘텐츠와 함께 연동되어야 한다는 점도 잊지 마세요. 챗봇은 인간과의 상호작용과 유사한 방식으로 정보를 제공하는 도구이며, 다른 정보 제공 방식을 대체하는 수단은 아닙니다.
4. 보안 및 거버넌스 강화
챗봇을 설계하고 구축하는 것은 여정의 일부일 뿐입니다. 또한 챗봇을 안전하게 보호하고 관리할 수 있는 효과적인 방법이 필요하며, 챗봇을 통해 주고받는 데이터도 제어해야 합니다.
입력 제어
AI 시스템의 조작을 방지하기 위해 사용자 프롬프트에 안전 장치를 설정하는 것이 중요합니다. 특히 팀은 모델을 보호하고 주요 위협에 대한 프롬프트를 모니터링해야 합니다.
프롬프트 삽입 및 탈옥: 사용자는 악성 코드를 입력하여 챗봇의 규칙을 재정의하거나 모델을 속여 안전 설정을 우회하려고 시도할 수 있습니다.
부적절한 프롬프트: 일부 사용자는 의도적으로 편파적 발언이나 노골적인 콘텐츠를 입력하여 모델이 부적절한 자료를 사용하게 할 수 있습니다. 그렇게 하면 컴퓨팅 자원이 낭비될 뿐만 아니라, 챗봇이 마찬가지로 부적절한 내용으로 응답할 경우 조직의 평판에 궁극적으로 해를 끼칠 수 있습니다.
출력 모니터링
부정확한 응답을 포함하여 문제가 될 수 있는 결과물에 대해서도 대비해야 합니다. 예를 들어, 소규모 사업주를 위한 뉴욕시의 MyCity 챗봇에 설치류가 갉아먹은 치즈를 식당에서 제공해도 되는지 물어본 적이 있습니다. 그 결과, 식당에서 설치류로 인한 피해 정도를 평가하고 고객에게 알리기만 한다면 치즈를 계속 제공해도 괜찮다는 명백히 잘못된 답변이 나왔습니다.
또한 챗봇은 기관의 평판을 손상시키고 대중의 신뢰를 저해하는 부적절하고 편향된 응답을 제공할 수 있습니다. 2025년의 널리 알려진 사례에서, xAI의 Grok은 반유대주의적 발언을 게시한 적이 있습니다.
AI 방화벽은 입력과 출력을 보호하고, 프롬프트 삽입, 모델 포이즈닝, 과도한 사용, 그리고 기존 보안 솔루션으로는 해결할 수 없는 다른 위협들을 차단하는 데 도움을 줍니다. 방화벽은 네트워크 에지, 즉 사용자와 모델 사이에서 악성 입력이 모델에 도달하는 것을 막고, 부적절하거나 규제를 준수하지 않는 출력이 사용자에게 전달되는 것을 차단합니다. 이 방화벽은 해당 정부 기관이 설정한 정책에 따라 전적으로 통제될 수 있습니다.
구축, 보안 및 관리 시작
Cloudflare는 단일 통합 플랫폼에서 AI 챗봇 배포 프로세스를 간소화하는 데 도움이 되는 다양한 도구를 제공합니다. 예를 들어 Cloudflare를 사용하면 팀에서 인프라를 관리할 필요 없이 벡터 데이터베이스, 송신료 없는 글로벌 객체 스토리지 및 RAG 패턴 지원 서비스를 통해 챗봇용 백엔드를 구축할 수 있습니다.
그런 다음 Cloudflare의 글로벌 네트워크에서 AI 기반 챗봇을 구축 및 배포할 수 있습니다. AI Gateway 서비스를 통해 개발자는 여러 LLM을 챗봇에 통합하고, AI 애플리케이션 트래픽에 대한 단일 제어판과 관찰 가능성을 확보할 수 있습니다. Cloudflare의 글로벌 네트워크에 통합된 인라인 Firewall for AI 서비스를 구현하면 프롬프트와 출력을 모두 보호하는 데 도움이 됩니다.
챗봇이 즉각적인 서비스에 대한 사용자 기대를 충족시키고 정부 효율성을 높이려는 최근의 추세에 부합하는 데 기여할 수 있다는 점은 분명합니다. 그럼에도 불구하고, 목표 달성을 위해서는 시간을 들여 챗봇을 신중하게 설계하고 충분한 보안 및 거버넌스를 구현하는 것이 중요합니다.
이 글은 오늘날의 기술 의사 결정자에 영향을 주는 최신 동향 및 주제에 대한 시리즈 중 일부입니다.
작성자
Dan Kent — @danielkent1
Cloudflare 공공 부문 필드 CTO
핵심 사항
이 글을 읽고 나면 다음을 이해할 수 있습니다.
조직에 가장 적합한 챗봇 활용 사례를 식별하는 방법
선택하고 통합해야 하는 핵심 기술
챗봇 보안을 강화하고 관리하는 전략
관련 자료
이 주제에 관해 자세히 알아보세요.
안전한 AI 관행 보장: 확장 가능한 AI 전략 수립 방법에 대한 CISO 가이드에서 보안을 유지하면서 챗봇과 같은 AI 서비스 구현을 지원하는 방법에 대해 자세히 알아보세요.