JPA Hibernan muchos a muchos en cascada

Estoy usando JPA 2.0 e hibernar. Tengo una clase de Usuario y una clase de Grupo de la siguiente manera:

public class User implements Serializable {
    @Id
    @Column(name="USER_ID")
    private String userId;

    @ManyToMany
    @JoinTable(name = "USER_GROUP",
               joinColumns = {
                   @JoinColumn(name = "GROUP_ID")
               },
               inverseJoinColumns = {
                   @JoinColumn(name = "USER_ID")
               }
    )
    private Set<Group> groupList;

    //get set methods
}

public class Group
{
    @Id
    @Column(name="GROUP_ID")
    private String groupId;

    @ManyToMany(mappedBy="groupList")
    private Set<User> memberList;
    //get set methods
}

Y luego, creo un usuario y un grupo y luego le asigno al usuario al grupo.

Lo que quiero es que cuando elimine el grupo, el grupo se eliminará (por supuesto) y toda la relación usuario-grupo que tenga el grupo se eliminará automáticamente de la tabla USER_GROUP join, pero el usuario en sí no se eliminará de la tabla USER.

Con el código que tengo arriba, solo la fila en la tabla de GRUPO se eliminará cuando elimine un grupo y el usuario todavía tendrá una entrada en el grupo eliminado en la tabla de unión USER_GROUP.

Si pongo cascade en la clase User así:

@ManyToMany(cascade=CascadeType.ALL)
@JoinTable(name = "USER_GROUP",
joinColumns =
{
    @JoinColumn(name = "GROUP_ID")
},
inverseJoinColumns =
{
    @JoinColumn(name = "USER_ID")
})
private Set<Group> groupList;

Cuando borre el grupo, el usuario será eliminado también!

¿hay alguna manera de lograr lo que quiero?