Stora chattgrupper blir toxiska fort, och mänskliga moderatorer kan inte läsa varje meddelande klockan två på natten. Den här detektorn bedömer varje inlägg för trakasserier, hat och hot i samma stund det landar, och flaggar sedan de som korsar din gräns.
Stora chattgrupper blir toxiska fort, och mänskliga moderatorer kan inte läsa varje meddelande klockan två på natten. Den här detektorn bedömer varje inlägg för trakasserier, hat och hot i samma stund det landar, och flaggar sedan de som korsar din gräns.
Moderatorer får ett larm med meddelandets kontext och en föreslagen åtgärd i stället för en rå brandslang. Återkommande överträdare loggas, så att ett mönster av gränsfallsmeddelanden blir synligt snarare än att slinka förbi ett i taget.
Så kör den
Used at step 01 to kick off the pipeline.
Write
Used at step 01 to kick off the pipeline.
WebFetch
Used at step 01 to kick off the pipeline.
WebSearch
Used at step 01 to kick off the pipeline.
Bedöm varje meddelande för toxicitet, trakasserier och hot mot dina tröskelvärden.
pending
Flagga meddelanden över gränsen och notifiera moderatorer med kontexten och en föreslagen åtgärd.
pending
Logga överträdare och återkommande mönster så att moderatorer kan upptäcka problemkonton som återkommer.
pending
Exempel på output
json
// Sample output
// (generated when the pipeline finishes)
Score this message for toxicity from 0 to 1 across harassment, hate, and threats; return JSON with reasons.
Unlock the rest
The full agent definition, install snippet, and starter task are gated for community members.
Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.