큰 채팅방은 순식간에 험악해지고, 새벽 2시에 사람이 모든 메시지를 읽을 수는 없습니다. 이 감지기는 메시지가 올라오는 즉시 괴롭힘, 혐오, 위협을 점수화하고, 기준을 넘는 메시지를 표시합니다.
관리자는 쏟아지는 원본 대신 메시지 맥락과 권장 조치가 담긴 알림을 받습니다. 상습 위반자는 기록되어, 한 번씩 스쳐 지나가던 아슬아슬한 메시지들의 패턴이 눈에 보입니다.
작동 방식
Used at step 01 to kick off the pipeline.
Write
Used at step 01 to kick off the pipeline.
WebFetch
Used at step 01 to kick off the pipeline.
WebSearch
Used at step 01 to kick off the pipeline.
각 메시지의 독성, 괴롭힘, 위협 수준을 설정된 임계값 기준으로 평가합니다.
pending
기준을 초과한 메시지를 플래그 처리하고, 맥락과 권장 조치를 포함해モデ레이터에게 알림을 보냅니다.
pending
문제를 일으킨 계정과 반복되는 패턴을 로그하여,モデ레이터가 재발하는 계정을 쉽게 파악할 수 있도록 합니다.
pending
샘플 출력
json
// Sample output
// (generated when the pipeline finishes)
Score this message for toxicity from 0 to 1 across harassment, hate, and threats; return JSON with reasons.
Unlock the rest
The full agent definition, install snippet, and starter task are gated for community members.
Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.