Gemma 4로 구현하는 온디바이스 에이전트 AI 완전 가이드

Gemma 4, 엣지 AI의 새 기준을 세우다

Gemma 4가 Apache 2.0 라이선스로 공개되면서 온디바이스 인공지능(AI) 개발의 지형이 크게 바뀌었어요. 단순한 챗봇 수준을 넘어 멀티스텝 플래닝(multi-step planning), 자율 행동(autonomous action), 오프라인 코드 생성, 오디오·비주얼 처리까지 별도 파인튜닝 없이 지원해요. 140개 이상의 언어를 지원하며, 구글 AI 엣지(Google AI Edge) 생태계와 긴밀히 연동돼 모바일부터 IoT 디바이스까지 즉시 배포할 수 있어요. 이 글에서는 Gemma 4의 핵심 에이전트 기능, LiteRT-LM 런타임의 성능 특성, 그리고 플랫폼별 배포 전략을 코드 수준까지 살펴볼게요.

Gemma 4 에이전트 스킬(Agent Skills)의 핵심 기능

Google AI Edge Gallery에 탑재된 Agent Skills는 Gemma 4 기반의 멀티스텝 자율 워크플로우를 완전히 온디바이스에서 실행하는 첫 번째 공개 사례예요. 개발자가 직접 구성할 수 있는 스킬의 범위는 생각보다 넓어요.

• 지식 베이스 확장: Wikipedia 같은 외부 소스를 쿼리하는 스킬을 연결하면 훈련 데이터 너머의 실시간 정보를 에이전트가 참조할 수 있어요.
• 인터랙티브 콘텐츠 생성: 음성 입력으로 수면 시간·감정 데이터를 받아 자동으로 그래프와 플래시카드를 생성하는 시각화 파이프라인을 빌드할 수 있어요.
• 외부 모델 통합: 텍스트-음성 변환(TTS), 이미지 생성, 음악 합성 모델과 연동해 멀티모달 파이프라인을 구성할 수 있어요.
• 엔드-투-엔드 워크플로우: 여러 앱을 오가지 않고 대화만으로 복잡한 작업을 처리하는 앱을 구축할 수 있어요.

Agent Skills 직접 시작하기

Google AI Edge Gallery 앱에서 Gemma 4 E2B·E4B 모델을 즉시 실험할 수 있어요. 앱 내 스킬 편집기로 커스텀 스킬을 작성하고 GitHub 리포지터리에 공유하는 것도 지원해요. CLI 툴 역시 툴 콜링(tool calling)을 지원하기 때문에 터미널 기반 에이전트 파이프라인도 빠르게 프로토타이핑할 수 있어요.

LiteRT-LM으로 디바이스 전반에 Gemma 4 배포하기

LiteRT-LM(라이트RT-LM)은 XNNPack과 ML Drift 위에 GenAI 특화 레이어를 추가한 고성능 런타임이에요. Gemma 4의 128K 컨텍스트 윈도우를 처리하기 위해 최신 GPU 최적화 기법을 내장하고 있으며, 에이전트 유스케이스에서 요구되는 긴 컨텍스트를 안정적으로 다뤄요.

주요 특징을 정리하면 다음과 같아요:

• 초저 메모리 풋프린트: 2-bit/4-bit 가중치 양자화와 메모리 맵(memory-mapped) 임베딩을 활용해 일부 디바이스에서 Gemma 4 E2B를 1.5GB 미만 메모리로 실행할 수 있어요.
• 구조화된 출력(Structured Output): 툴 콜링 스크립트와 AI 앱에서 예측 가능한 출력을 보장해 프로덕션 안정성을 높여요.
• 동적 컨텍스트 길이: CPU·GPU 모두에서 128K 컨텍스트 윈도우를 유연하게 활용할 수 있어요.

Raspberry Pi 5에서의 실측 성능

IoT 및 엣지 환경에서도 Gemma 4는 실용적인 수치를 보여줘요. Raspberry Pi 5에서 Gemma 4 E2B 기준으로 프리필(prefill) 처리량 133 토큰/초, 디코드(decode) 처리량 7.6 토큰/초를 기록했어요. 스마트홈 컨트롤러, 음성 어시스턴트, 로보틱스 애플리케이션을 완전 오프라인으로 구동하기에 충분한 수치예요.

아래는 LiteRT-LM Python 바인딩을 이용해 간단한 추론 파이프라인을 구성하는 예시예요:

from litert_lm import LlmInference

# 모델 경로에서 직접 인스턴스 생성
model = LlmInference.create_from_model_path("gemma4-e2b.task")

# 비동기 스트리밍 응답 처리
def on_result(partial_result: str, done: bool):
    print(partial_result, end="", flush=True)
    if done:
        print()

model.generate_response_async(
    "Raspberry Pi 온도 센서 데이터를 분석하고 이상값을 탐지하는 스크립트를 작성해줘",
    on_result,
)

지원 플랫폼 및 배포 전략

Gemma 4는 다음 환경에서 즉시 배포 가능해요:

• 모바일: Android(AICore 포함 시스템 전역 접근), iOS에서 CPU/GPU 모두 지원
• 데스크탑·웹: Windows, Linux, macOS(Metal), WebGPU 기반 브라우저 실행
• IoT·엣지: Raspberry Pi 및 Linux 환경용 Python 패키지·CLI 툴 제공

Android AICore를 통해 앱 내에 모델을 번들링하지 않고도 시스템에 내장된 최적화 버전의 Gemma 4를 활용할 수 있어요. 이는 APK 크기를 줄이고 업데이트 주기를 OS와 분리하는 데 유리해요. 웹 환경에서는 WebGPU를 통한 네이티브 브라우저 실행을 지원하기 때문에 서버리스 AI 앱 구성도 가능해졌어요.

마무리

Gemma 4는 단순한 오픈 LLM이 아니라 에이전트 AI를 엣지까지 확장하는 실질적인 인프라예요. LiteRT-LM의 초저 메모리 운용과 멀티플랫폼 지원 덕분에 모바일부터 IoT까지 단일 모델 전략이 현실이 됐어요. 앞으로 더 많은 에이전트 스킬과 외부 모델 통합 사례가 쌓이면서 온디바이스 AI 생태계가 빠르게 성숙할 것으로 기대돼요.