본문 바로가기

전체 글71

LLM 에이전트 디버깅, Langfuse·Phoenix·MLflow를 직접 써봤다 LLM 에이전트 디버깅은 최종 답변만 읽는 것으로 끝나지 않는다. 답변이 이상할때 모델 탓부터 하기 쉽지만, 실제 원인은 검색 결과 0건, 잘못 전달된 프롬프트,도구 호출 실패, 예상보다 큰 컨텍스트처럼 중간 단계에 숨어 있는 경우가 많다. 최종답변과 일반 애플리케이션 로그만 보면 이 과정을 한눈에 연결하기 어렵다.그래서 Langfuse, Arize Phoenix, MLflow Tracing을 로컬에 직접 설치하고 같은RAG 실패 시나리오를 기록해 봤다. Langfuse 사용법을 익히는 데서 그치지 않고,로컬 Codex CLI와 Claude Code도 같은 질문으로 실행해 trace 하나에 묶었다.먼저 결론부터 말하면 다음과 같다.LLM 전용 trace, 평가, prompt 운영을 한 제품에서 다루려면 .. 후기 2026. 8. 13.
Anthropic은 프롬프트를 어떻게 작성하는가 프롬프트를 잘 쓰면 AI의 성능이 극적으로 달라진다는 건 안다. 그런데 "잘 쓴 프롬프트"가 실제로 어떻게 생겼는지 본 사람은 드물다. 대부분 블로그에서 보는 건 간단한 예시뿐이다.Claude Code를 포함한 Anthropic의 프로덕션 도구들이 내부적으로 어떤 프롬프트 패턴을 사용하는지 분석해봤다. 단순한 "역할을 부여하라", "구체적으로 써라" 수준이 아니었다. 모델이 실패할 수 있는 경로를 미리 예측하고 차단하는 정교한 기법들이 있었다.원칙 1: 구조 순서 — 역할 → 제약 → 능력 → 프로세스 → 예시프롬프트의 섹션 순서가 정해져 있다. 역할(Role) → 제약(Constraints) → 능력(Capabilities) → 프로세스(Process) → 예시(Examples) 순이다.핵심은 제약을 .. 카테고리 없음 2026. 4. 1.
Anthropic이 알려주는 Claude Code 제대로 쓰는 법 Claude Code를 설치하고 "이거 만들어줘"라고 하면 뭔가 만들어준다. 그런데 결과물이 들쭉날쭉하다. 어떨 때는 완벽하고 어떨 때는 엉망이다. 뭐가 다른 걸까.Anthropic이 공식 베스트 프랙티스를 공개했다. Claude Code를 만든 팀이 내부에서 어떻게 쓰는지, 어떤 패턴이 효과적인지 정리한 문서다. 핵심은 단순하다. 컨텍스트 관리와 4단계 워크플로우다.핵심 원칙: 컨텍스트 윈도우Anthropic 문서에서 가장 먼저 강조하는 게 있다. 대부분의 베스트 프랙티스는 하나의 제약에서 나온다. 컨텍스트 윈도우가 빠르게 차고, 차면 성능이 떨어진다는 것이다.Claude Code는 파일을 읽고, 명령어를 실행하고, 그 결과를 컨텍스트에 쌓는다. 대화가 길어질수록 컨텍스트가 커진다. 어느 순간 컨텍스트.. 카테고리 없음 2026. 4. 1.
CLAUDE.md는 어디로 가는 걸까 — mitmproxy로 Claude Code의 속을 열어봤다 Claude Code를 쓰다 보면 자연스럽게 CLAUDE.md를 만들게 된다. "커밋 메시지는 한글로 써줘", "print() 대신 logger 써줘" 같은 규칙을 적어두면 Claude가 알아서 따른다.그런데 한 번쯤 이런 의문이 들지 않았나. 이 파일을 Claude가 직접 읽는 건가? 아니면 누군가 대신 전달하는 건가? 결론부터 말하면, Claude AI는 파일시스템에 직접 접근하지 않는다. 중간에서 이 파일을 읽어 API 요청에 끼워 넣는 존재가 있다. 바로 하네스(Harness)다.궁금해서 직접 mitmproxy로 API 요청을 가로채봤다. 생각보다 많은 것이 보였다.하네스란 무엇인가하네스(Harness)는 원래 말에게 씌우는 마구를 뜻한다. 소프트웨어에서는 강력한 무언가를 제어하고 활용하기 위한 .. 카테고리 없음 2026. 3. 17.
Full GC가 500번 돌았는데 메모리가 안 줄었다 - JVM 메모리 누수 트러블슈팅 운영 중인 서비스가 느려졌다. 사용자들이 화면이 멈춘다고 했고, 서버 로그를 보니 OOM(OutOfMemoryError)이 찍혀 있었다. 힙 메모리가 16GB나 되는데 왜 터졌을까.GC 로그를 분석해보니 원인이 보였다. Full GC가 500번 가까이 돌았는데 메모리 회수량이 0이었다. 15.7GB가 GC로 치울 수 없는 상태였다. 코드를 뜯어보니 JPA 사용 방식에 문제가 있었다.증상서비스 응답이 느려지더니 결국 응답이 없었다. 서버를 재시작하면 잠깐 괜찮다가 또 같은 증상이 반복됐다.서버 로그를 확인했다.java.lang.OutOfMemoryError: Java heap space힙 메모리는 16GB로 설정되어 있었다. 평소에는 300~400MB만 사용하던 서비스였다. 뭔가 메모리를 비정상적으로 잡아.. 카테고리 없음 2026. 3. 8.

티스토리툴바