listado de objetos de ManyToManyField

Estoy tratando de imprimir una lista de todas las Conferencias y para cada conferencia, imprimir sus 3 Oradores.

En mi plantilla tengo:

{% if conferences %}
        <ul>
        {% for conference in conferences %}
                <li>{{ conference.date }}</li>
                {% for speakers in conference.speakers %}
                        <li>{{ conference.speakers }}</li>
                {% endfor %}
        {% endfor %}
        </ul>
{% else %}
<p>No Conferences</p>
{% endif %}

En mi views.py archivo que tengo:

from django.shortcuts import render_to_response
from youthconf.conference.models import Conference

def manageconf(request):
        conferences = Conference.objects.all().order_by('-date')[:5]
        return render_to_response('conference/manageconf.html', {'conferences': conferences})

Hay un modelo llamado conferencia. que tiene una clase llamada Conferencias con un ManyToManyField nombrado oradores

Obtengo el error:

Caught an exception while rendering: 'ManyRelatedManager' object is not iterable

Con esta línea: {% for speakers in conference.speakers %}