checkbox groupだと、難しいかもですね。CSSやJavaScriptでごにょごにょするやり方もありますが、XPagesであればCheckboxGroupの代わりに、repeat(コンテナコントロールの"繰り返し")を使用してみるのはどうでしょうか?
下の例は、<xp:br>をインデックスの値が5の倍数の前にレンダリングするようにしています。
<xp:repeat id="repeat1" rows="30" indexVar="index" var="rowValue">
<xp:this.value><![CDATA[#{javascript:
//サンプルのデータ
[
{"text":"radio00","id":"00"},
{"text":"radio01","id":"01"},
{"text":"radio02","id":"02"},
{"text":"radio03","id":"03"},
{"text":"radio04","id":"04"},
{"text":"radio05","id":"05"},
{"text":"radio06","id":"06"},
{"text":"radio07","id":"07"},
{"text":"radio08","id":"08"},
{"text":"radio09","id":"09"},
{"text":"radio10","id":"10"},
{"text":"radio11","id":"11"},
{"text":"radio12","id":"12"},
{"text":"radio13","id":"13"},
{"text":"radio14","id":"14"}
]}]]></xp:this.value>
<xp:radio text="#{javascript: rowValue.text}" id="radio1"
selectedValue="#{javascript: rowValue.id}">
</xp:radio>
<xp:br rendered="#{javascript:((index+1) % 5 === 0)}" />
</xp:repeat>