¿Por qué la impresión a salida estándar es tan lenta? ¿Se puede acelerar?

Siempre me ha sorprendido/frustrado con el tiempo que se tarda en simplemente la salida a la terminal con una instrucción de impresión. Después de un registro reciente dolorosamente lento, decidí investigarlo y me sorprendió bastante encontrar que casi todo el tiempo dedicado está esperando que el terminal procese los resultados.

¿Se puede acelerar la escritura a stdout de alguna manera?

Escribí un script ('print_timer.py ' al final de esta pregunta) para comparar el tiempo al escribir líneas de 100k a stdout, a archivo, y con stdout redirigido a /dev/null. Aquí está el resultado del tiempo:

$ python print_timer.py
this is a test
this is a test
<snipped 99997 lines>
this is a test
-----
timing summary (100k lines each)
-----
print                         :11.950 s
write to file (+ fsync)       : 0.122 s
print with stdout = /dev/null : 0.050 s

Wow. Para asegurarme de que python no está haciendo algo detrás de escena como reconocer que reasigné stdout a /dev/null o algo así, hice la redirección fuera del script...

$ python print_timer.py > /dev/null
-----
timing summary (100k lines each)
-----
print                         : 0.053 s
write to file (+fsync)        : 0.108 s
print with stdout = /dev/null : 0.045 s

Así que no es un truco de python, es solo el terminal. Siempre supe que el dumping de salida a /dev/null aceleró las cosas, pero nunca pensé que era que importante!

Me sorprende lo lento que es el tty. ¿Cómo puede sea que escribir en el disco físico es mucho más rápido que escribir en la "pantalla" (presumiblemente un op all-RAM), y es efectivamente tan rápido como simplemente tirar a la basura con /dev/null?

Este enlace habla de cómo el terminal bloqueará E/S para que pueda "analizar [la entrada], actualizar su búfer de fotogramas, comunicarse con el servidor X para desplazarse por la ventana y así sucesivamente"... pero no lo entiendo del todo. ¿Qué puede tardar tanto?

Espero que no haya salida (¿falta una implementación de tty más rápida? pero me imagino que preguntaría de todos modos.

ACTUALIZACIÓN: después de leer algunos comentarios, me pregunté cuánto impacto tiene el tamaño de mi pantalla en el tiempo de impresión, y tiene algún significado. Los números realmente lentos de arriba son con mi terminal Gnome hinchado a 1920x1200. Si lo reduzco muy pequeño me pongo...

-----
timing summary (100k lines each)
-----
print                         : 2.920 s
write to file (+fsync)        : 0.121 s
print with stdout = /dev/null : 0.048 s

Eso es ciertamente mejor (~4x), pero no cambia mi pregunta. Solo añade a mi pregunta ya que no entiendo por qué la representación de la pantalla del terminal debería ralentizar la escritura de una aplicación en stdout. ¿Por qué mi programa tiene que esperar a que continúe el renderizado de la pantalla?

¿No se crean todas las aplicaciones de terminal/tty iguales? Todavía tengo que experimentar. Realmente me parece que un terminal debería ser capaz de almacenar en búfer todos los datos entrantes, analizarlos/renderizarlos de forma invisible, y solo renderizar el fragmento más reciente que es visible en la configuración de pantalla actual a una velocidad de fotogramas razonable. Así que si puedo escribir+fsync al disco en ~0.1 segundos, un terminal debería ser capaz de completar la misma operación en algo de ese orden (con tal vez algunas actualizaciones de pantalla mientras lo hacía).

Todavía espero que haya una configuración tty que se pueda cambiar desde el lado de la aplicación para mejorar este comportamiento para el programador. Si esto es estrictamente un problema de aplicación de terminal, entonces esto tal vez ni siquiera pertenece a StackOverflow?

¿Qué me estoy perdiendo?

Aquí está el programa python utilizado para generar tiempo:

import time, sys, tty
import os

lineCount = 100000
line = "this is a test"
summary = ""

cmd = "print"
startTime_s = time.time()
for x in range(lineCount):
    print line
t = time.time() - startTime_s
summary += "%-30s:%6.3f s\n" % (cmd, t)

#Add a newline to match line outputs above...
line += "\n"

cmd = "write to file (+fsync)"
fp = file("out.txt", "w")
startTime_s = time.time()
for x in range(lineCount):
    fp.write(line)
os.fsync(fp.fileno())
t = time.time() - startTime_s
summary += "%-30s:%6.3f s\n" % (cmd, t)

cmd = "print with stdout = /dev/null"
sys.stdout = file(os.devnull, "w")
startTime_s = time.time()
for x in range(lineCount):
    fp.write(line)
t = time.time() - startTime_s
summary += "%-30s:%6.3f s\n" % (cmd, t)

print >> sys.stderr, "-----"
print >> sys.stderr, "timing summary (100k lines each)"
print >> sys.stderr, "-----"
print >> sys.stderr, summary