Para calcular o nível do encontro, pegue o CR (Challenge Rating - Nível de Desafio) do monstro mais forte. Para cada vez que a quantidade de monstros com esse CR dobrar, você aumenta em mais 2 o Nível do Encontro. Por exemplo: Se você tem 1 Monstro com CR 5, o nível do encontro é 5. Se forem 2 monstros com CR 5, o nível do encontro é 7. Se forem 4, o nível de encontro é 9. Se forem 8, o nível do encontro é 11.
Para criaturas de CR menor do que o da criatura de maior CR, você precisa agrupá-las separadamente, até que eles formem um Nível de Encontro equivalente ao CR da criatura mais forte. Caso elas não alcancem o CR da criatura mais forte, aí você adiciona apenas +1 no Nível de Encontro (é meio complicadinho, mas se você pensar bem, tem lógica). De qualquer forma, não é um cálculo exato. Tem que usar muito bom senso...
Para medir o Nível do Grupo, é só fazer a média entre os níveis dos personagens... Mas se você quiser medir de forma mais apurada, use as mesmas regras para monstros, para saber qual é o "Nível de Encontro" da Party. A grosso modo, um personagem de Nv. X é uma criatura de CR X.