Лучший способ — сразу обозначить правила в первом сообщении темы и вежливо, но строго предупреждать нарушителей. Если не помогает — жалоба модераторам через специальную кнопку.
Важно не кормить троллей. Я просто игнорирую оффтоп и ставлю нарушителей в игнор через личные настройки. Опыт борьбы с флудом в больших сообществах хорошо описан вот здесь: https://fitness-gym.org.ua.