¿Django escala? [cerrado]

Estamos haciendo pruebas de carga ahora. Creemos que podemos admitir 240 solicitudes simultáneas (una tasa sostenida de 120 visitas por segundo 24x7) sin ninguna degradación significativa en el rendimiento del servidor. Eso sería 432.000 visitas por hora. Los tiempos de respuesta no son pequeños (nuestras transacciones son grandes), pero no hay degradación de nuestro rendimiento de referencia a medida que aumenta la carga.

Estamos usando Apache front-ending Django y MySQL. El sistema operativo es Red Hat Enterprise Linux (RHEL). 64 bits. Nosotros usamos mod_wsgi en modo demonio para Django. No hemos hecho ninguna optimización de caché o base de datos que no sea aceptar los valores predeterminados.

Todos estamos en una máquina virtual en una Dell de 64 bits con (creo) 32 Gb de RAM.

Dado que el rendimiento es casi el mismo para 20 o 200 usuarios simultáneos, no necesitamos gastar grandes cantidades de tiempo "retocando". En su lugar, simplemente necesitamos mantener nuestro rendimiento base a través de mejoras de rendimiento SSL ordinarias, diseño e implementación de bases de datos ordinarias (indexación, etc.).), mejoras ordinarias de rendimiento del firewall, etc.

Lo que sí medimos es nuestras computadoras portátiles de prueba de carga que luchan bajo la carga de trabajo demencial de 15 procesos que ejecutan 16 subprocesos simultáneos de solicitudes.

No estoy seguro del número de visitas diarias, pero aquí hay algunos ejemplos de sitios grandes de Django:

• disqus.com ( talk from djangocon )
• bitbucket.org (escribir)
• lanyrd.com ( source)
• support.mozilla.com (código fuente)
• addons.mozilla.org ( código fuente) (talk from djangocon )
• theonion.com (escribir up )
• El guardian.co.uk el sistema de comentarios utiliza Django (source)
• instagram
• pinterest
• rdio

Aquí hay un enlace a la lista de sitios Django de alto tráfico en Quora.

¿Cuál es el sitio "más grande" que se ha construido en Django hoy en día? (Mido el tamaño principalmente por el tráfico de usuarios)

En los EE.UU., Mahalo. Me han dicho que manejan aproximadamente 10 millones de únicos al mes.

En el extranjero, la red Globo (una red de sitios de noticias, deportes y entretenimiento en Brasil); Alexa los clasifica en el top 100 a nivel mundial (alrededor del 80 en la actualidad).

Otros usuarios notables de Django incluyen PBS, National Geographic, Discovery, NASA (en realidad un número de diferentes divisiones dentro de la NASA), y la Biblioteca del Congreso.

¿Puede Django tratar con 100k usuarios diariamente, cada uno visitando el sitio durante un par de horas?

Sí but pero solo si has escrito bien tu aplicación, y si tienes suficiente hardware. Django no es una bala mágica.

¿Podría un sitio como StackOverflow ejecutarse en Django?

Sí (pero véase más arriba).

Tecnología-sabio, fácilmente: véase soclone para un intento. En cuanto al tráfico, compite con pegs StackOverflow a menos de 1 millón de unidades por mes. Puedo nombrar al menos una docena de sitios de Django con más tráfico que ESO.

Haciendo de abogado del diablo un poco:

Usted debe comprobar el DjangoCon 2008 Keynote, entregado por Cal Henderson, titulado "Why I hate Django" donde más o menos va sobre todo Django le falta que es posible que desee hacer en un sitio web de alto tráfico. Al final del día tienes que tomar todo esto con una mente abierta, porque es perfectamente posible escribir aplicaciones Django esa escala, pero pensé que era una buena presentación y relevante para su pregunta.

Escalar aplicaciones Web no se trata de frameworks web o lenguajes, se trata de su arquitectura. Se trata de cómo manejar la caché de su navegador, la caché de su base de datos, cómo utiliza proveedores de persistencia no estándar (como CouchDB), cuán sintonizada está su base de datos y muchas otras cosas...

El sitio más grande de django que conozco es el Washington Post, lo que sin duda indicaría que puede escalar bien.

Las buenas decisiones de diseño probablemente tienen un mayor impacto en el rendimiento que cualquier otra cosa. Twitter se cita a menudo como un sitio que encarna los problemas de rendimiento con otro marco web basado en lenguaje interpretado dinámico, Ruby on Rails, pero los ingenieros de Twitter han declarado que el marco no es tanto un problema como algunos del diseño de la base de datos las decisiones que tomaron desde el principio.

Django funciona muy bien con memcached y proporciona algunas clases para administrar la caché, que es donde resolvería la mayoría de sus problemas de rendimiento. Lo que usted entrega en el cable es casi más importante que su backend en realidad - el uso de una herramienta como yslow es fundamental para una aplicación web de alto rendimiento. Siempre puede lanzar más hardware en su backend, pero no puede cambiar el ancho de banda de sus usuarios.

Estuve en la conferencia EuroDjangoCon la otra semana, y este fue el tema de un par de charlas - incluyendo de los fundadores de lo que fue el sitio más grande con sede en Django, Pownce (diapositivas de one talk aquí). El mensaje principal es que no es Django el que tiene que preocuparse, sino cosas como el almacenamiento en caché adecuado, el equilibrio de carga, la optimización de la base de datos, etc.

Django en realidad tiene ganchos para la mayoría de esas cosas - el almacenamiento en caché, en particular, se hace muy fácil.

Estoy seguro de que estás buscando una respuesta más sólida, pero la validación objetiva más obvia que puedo pensar es que Google empuja Django para su uso con su Motor de aplicaciones marco. Si alguien conoce y se ocupa de la escalabilidad de forma regular, es Google. Por lo que he leído, el factor más limitante parece ser la base de datos de back-end, que es la razón por la que Google utiliza su propia...

Creo que también podríamos agregar la Aplicación del año de Apple para 2011, Instagram, a la lista que usa django intensivamente.

Hoy en día utilizamos muchas aplicaciones web y sitios para nuestras necesidades. La mayoría de ellos son muy útiles. Te mostraré algunos de ellos utilizados por python o django.

Washington Post

El sitio web del Washington Post es una fuente de noticias en línea muy popular para acompañar a su diario. Su enorme cantidad de vistas y tráfico puede ser fácilmente manejado por el marco web de Django. Washington Post - 52.2 million unique visitors (March, 2015)

NASA

Sitio web oficial de la Administración Nacional de Aeronáutica y del Espacio es el lugar para encontrar noticias, fotos y videos sobre su exploración espacial en curso. Este sitio web de Django puede manejar fácilmente grandes cantidades de visitas y tráfico. 2 million visitors monthly

El Guardián

The Guardian es un sitio web británico de noticias y medios propiedad de The Guardian Media Group. Contiene casi todo el contenido de los periódicos The Guardian y The Observer. Esta enorme información es manejada por Django. The Guardian (commenting system) - 41,6 million unique visitors (October, 2014)

YouTube

Todos conocemos YouTube como el lugar para subir videos de gatos y falla. Como uno de los sitios web más populares que existen, nos proporciona interminables horas de entretenimiento en video. El lenguaje de programación Python lo potencia y las características que amamos.

DropBox

DropBox inició la revolución del almacenamiento de documentos en línea que se ha convertido en parte de la vida cotidiana. Ahora almacenamos casi todo en la nube. Dropbox nos permite almacenar, sincronizar y compartir casi cualquier cosa con el poder de Python.

Mono de la encuesta

Survey Monkey es la mayor empresa de encuestas en línea. Pueden manejar más de un millón de respuestas cada día en su sitio web Python reescrito.

Quora

Quora es el lugar número uno en línea para hacer una pregunta y recibir respuestas de una comunidad de individuos. En su sitio web Python los resultados relevantes son respondidos, editados y organizados por estos miembros de la comunidad.

Bitly

Una mayoría del código para los servicios de acortamiento de URL Bitly y los análisis están construidos con Python. Su servicio puede manejar cientos de millones de eventos por día.

Reddit

Reddit es conocida como la primera página de Internet. Es el lugar en línea para encontrar información o entretenimiento basado en miles de categorías diferentes. Las publicaciones y los enlaces son generados por los usuarios y son promovidos a la cima a través de votos. Muchas de las capacidades de Reddit dependen de Python para su funcionalidad.

Hipmunk

Hipmunk es un sitio de viajes para consumidores en línea que compara los mejores sitios de viajes para encontrar las mejores ofertas. Las herramientas de este sitio web de Python le permiten encontrar los hoteles y vuelos más baratos para su destino.

Haga clic aquí para obtener más información: 25 de los sitios web más populares de python y django , Qué-son-algunos-sitios-bien-conocidos-corriendo-en-Django

Sí puede. Podría ser Django con Python o Ruby on Rails. Todavía escala.

Hay pocas técnicas diferentes. Primero, el almacenamiento en caché no es escalar. Podría tener varios servidores de aplicaciones balanceados con nginx como el frente, además del equilibrador(es) de hardware. Para escalar en el lado de la base de datos puede ir bastante lejos con read slave en MySQL / PostgreSQL si va por el camino RDBMS.

Algunos buenos ejemplos de sitios web de tráfico pesado en Django podrían be:

• Pownce cuando todavía estaban allí.
• Discus (gestor genérico de comentarios compartidos)
• Todos los sitios web relacionados con los periódicos: Washington Post y otros.

Puede sentirse seguro.

Como se indica en High Performance Django Book y pasar por esto Cal Henderson

Ver más detalles como se menciona a continuación:

No es raro escuchar a la gente decir "Django no escala". Dependiendo de cómo lo mires, la declaración es completamente verdadera o claramente falsa. Django, por sí solo, no escala.

Lo mismo se puede decir de Ruby on Rails, Flask, PHP, o cualquier otro lenguaje utilizado por una dinámica basada en bases de datos sitio.

La buena noticia, sin embargo, es que Django interactúa maravillosamente con un conjunto de almacenamiento en caché y herramientas de equilibrio de carga que le permitirán escalar a la mayor cantidad de tráfico posible.

Contrario a lo que puede haber leído en línea, puede hacerlo sin reemplazar los componentes principales a menudo etiquetados como" demasiado lentos", como el database de la base de datos o la capa de plantilla.

Disqus ofrece más de 8 mil millones de páginas vistas al mes. Esos son números enormes.

Estos equipos tienen probado Django sin duda hace escala. Nuestra experiencia aquí en Lincoln Loop lo respalda.

Hemos construido grandes sitios de Django capaces de pasar el día en la página principal de Reddit sin sudar.

Las historias de éxito de escalado de Django son casi demasiado numerosas para enumerarlas en este punto.

Respalda Disqus, Instagram y Pinterest. ¿Quieres más pruebas? Instagram fue capaz de mantener a más de 30 millones de usuarios en Django con solo 3 ingenieros (2 de los cuales no tenían back-end desarrollo

Aquí hay una lista de algunas cosas relativamente de alto perfil construidas en Django:

1. La aplicación del Guardián "Investiga los gastos de tu MP"

2. Politifact.com (aquí hay una entrada de Blog hablando sobre la experiencia (positiva). Site ganó un Pulitzer.

3. NY Times' Representa app

4. EveryBlock

5. Peter Harkins, uno de los programadores de WaPo, enumera todas las cosas que han construido con Django en su blog

6. Es un poco viejo, pero alguien del LA Times dio una descripción básica de por qué fueron con Django.

7. El Club AV de Onion fue recientemente trasladado de (creo que Drupal) a Django.

Me imagino que un número de estos estos sitios probablemente obtiene más de 100k+ visitas por día. Django ciertamente puede hacer 100k hits / día y más. Pero YMMV en conseguir su sitio particular allí dependiendo de lo que eres edificio.

Hay opciones de almacenamiento en caché a nivel de Django (por ejemplo, el almacenamiento en caché de querysets y vistas en memcached puede hacer maravillas) y más allá (cachés originales como Squid). Las especificaciones del servidor de base de datos también serán un factor (y generalmente el lugar para derrochar), al igual que lo bien que lo haya sintonizado. No asuma, por ejemplo, que Django va a configurar los índices correctamente. No asuma que la configuración predeterminada PostgreSQL o MySQL es la correcta una.

Además, siempre tiene la opción de tener múltiples servidores de aplicaciones ejecutando Django si ese es el punto lento, con un equilibrador de carga de software o hardware al frente.

Finalmente, ¿está sirviendo contenido estático en el mismo servidor que Django? ¿Estás usando Apache o algo así como nginx o lighttpd? ¿Puede permitirse el lujo de utilizar un CDN para contenido estático? Estas son cosas en las que pensar, pero todo es muy especulativo. 100k visitas / día no es el solo variable: ¿cuánto quieres gastar? ¿Cuánta experiencia tiene en la gestión de todos estos componentes? ¿Cuánto tiempo tienes para reunir todo?

El promotor de desarrollo de YouTube dio una charla sobre el escalado de Python en PyCon 2012, que también es relevante para el escalado de Django.

YouTube tiene más de un mil millones de usuarios , y YouTube está construido en Python.

Tenga en cuenta que si espera 100K usuarios por día, que están activos durante horas a la vez (lo que significa un máximo de 20K+ usuarios simultáneos), necesitará MUCHOS servidores. ASÍ que tiene ~15,000 usuarios registrados, y la mayoría de ellos probablemente no están activos diariamente. Si bien la mayor parte del tráfico proviene de usuarios no registrados, supongo que muy pocos de ellos permanecen en el sitio más de un par de minutos (es decir, siguen los resultados de búsqueda de Google y luego se van).

Para ese volumen, espere al menos 30 servidor ... lo que sigue siendo un poco pesado 1,000 usuarios concurrentes por servidor.

Otro ejemplo es rasp.yandex.ru, Servicio de horarios de transporte ruso. Su asistencia satisface sus necesidades.

He estado usando Django durante más de un año, y estoy muy impresionado con cómo se las arregla para combinar modularidad, escalabilidad y velocidad de desarrollo. Como con cualquier tecnología, viene con una curva de aprendizaje. Sin embargo, esta curva de aprendizaje se hace mucho menos empinada por la excelente documentación de la comunidad Django. Django ha sido capaz de manejar todo lo que le he lanzado muy bien. Parece que será capaz de escalar bien en el futuro.

BidRodeo Penny Auctions es un sitio web de tamaño moderado impulsado por Django. Es un sitio web muy dinámico y maneja un buen número de páginas vistas al día.

Si tienes un sitio con algún contenido estático, entonces poner un servidor Varnish delante aumentará drásticamente tu rendimiento. Incluso una sola caja puede escupir fácilmente 100 Mbit/s de tráfico.

Tenga en cuenta que con el contenido dinámico, usar algo como Varnish se vuelve mucho más complicado.

¿Cuál es el sitio" más grande " que se ha construido en Django hoy? (Mido el tamaño principalmente por el tráfico de usuarios) Pinterest
disqus.com
Más aquí https://www.shuup.com/en/blog/25-of-the-most-popular-python-and-django-websites/

¿Puede Django tratar con 100,000 usuarios diariamente, cada uno visitando el sitio durante un par de horas?
Sí, pero utilice la arquitectura adecuada, el diseño de la base de datos, el uso de caché, el uso de balances de carga y varios servidores/ asiente

¿Podría un sitio como Stack Overflow ejecutarse en Django?
Sí, solo tiene que seguir la respuesta mencionada en la 2a pregunta

Mi experiencia con Django es mínima, pero recuerdo que en el Libro de Django tienen un capítulo donde entrevistan a personas que ejecutan algunas de las aplicaciones más grandes de Django. Aquí hay un enlace. Supongo que podría proporcionar algunas ideas.

Dice curse.com es una de las aplicaciones Django más grandes con alrededor de 60-90 millones de páginas vistas en un mes.

A pesar de que ha habido un montón de grandes respuestas aquí, me siento como señalar, que nadie ha puesto énfasis en..

Depende de la aplicación

Si su aplicación es liviana en las escrituras, ya que está leyendo muchos más datos de la base de datos de los que está escribiendo. Entonces escalar django debería ser bastante trivial, diablos, viene con un almacenamiento en caché de salida/vista bastante decente directamente de la caja. Hacer uso de eso, y decir, redis como un proveedor de caché, poner una carga balanceador en frente de él, girar n-instancias y usted debe ser capaz de hacer frente a una gran cantidad de tráfico.

Ahora, si usted tiene que hacer miles de complejas escribe un segundo? Otra historia. ¿Django va a ser una mala elección? Bueno, no necesariamente, depende de cómo arquitecto su solución realmente, y también, cuáles son sus requisitos.

Solo mis dos centavos: -)

Definitivamente puede ejecutar un sitio de alto tráfico en Django. Echa un vistazo a este post pre-Django 1.0 pero sigue siendo relevante aquí: http://menendez.com/blog/launching-high-performance-django-site /

Echa un vistazo a este agregador de micro noticias llamado EveryBlock.

Está completamente escrito en Django. De hecho, son las personas que desarrollaron el marco de Django en sí.

Desarrollo sitios de alto tráfico usando Django para la emisora nacional en Irlanda. Funciona bien para nosotros. Desarrollar un sitio de alto rendimiento es más que solo elegir un marco. Un marco solo será una parte de un sistema que es tan fuerte como su eslabón más débil. El uso del último framework ' X ' no resolverá sus problemas de rendimiento si el problema son las consultas lentas de la base de datos o un servidor o red mal configurados.

No creo que el problema sea realmente sobre el escalado de Django.

Realmente sugiero que mires en tu arquitectura eso es lo que te va a ayudar con tus necesidades de escala.Si te equivocas, no tiene sentido lo bien que Django funciona. ¡Actuación != Escala. Usted puede tener un sistema que tiene un rendimiento increíble, pero no escala y viceversa.

¿Está enlazada la base de datos de su aplicación? Si es entonces sus problemas de escala se encuentran allí también. ¿Cómo planeas interactuar con la base de datos de Django? ¿Qué sucede cuando la base de datos no puede procesar las solicitudes tan rápido como Django las acepta? Qué sucede cuando sus datos superan a una máquina física. Debe tener en cuenta cómo planea lidiar con esas circunstancias.

Además, ¿qué sucede cuando su tráfico supera a un servidor de aplicaciones? cómo manejar las sesiones en este caso puede ser complicado, la mayoría de las veces probablemente requeriría una arquitectura de nada compartida. Otra vez que depende de su aplicación.

En Idiomas cortos no es lo que determina la escala, un idioma es responsable del rendimiento(de nuevo, dependiendo de sus aplicaciones, los diferentes idiomas funcionan de manera diferente). Es su diseño y arquitectura lo que hace que el escalado sea una realidad.

Espero que ayude, estaría encantado de ayudar más si tiene preguntas.

Si desea utilizar código abierto, entonces hay muchas opciones para usted. Pero Python es el mejor entre ellos tiene muchas bibliotecas y una comunidad súper impresionante. Estas son las razones que podrían cambiar de opinión:

• Python es muy bueno pero es un lenguaje interpretado que lo hace lento. Pero hay muchos servicios de aceleración y almacenamiento en caché que en parte resuelven este problema.

• Si estás pensando en un desarrollo rápido, Ruby on Rails es el mejor de todos. Principal el lema de este marco (ROR) es dar una experiencia cómoda a los desarrolladores. Si comparas Ruby y Python ambos tienen casi las mismas sintaxis.

• Google App Engine es un servicio muy bueno, pero te unirá en su alcance, no tienes la oportunidad de experimentar cosas nuevas. En su lugar, puede usar Digital Ocean cloud, que solo cobrará 5 5/Mes por su gotita más simple. Heroku es otro servicio gratuito donde puede implementar su producto.

• ¡Sí! Sí! Lo que escuchaste es totalmente correcto, pero aquí hay algunos ejemplos que están utilizando otras tecnologías

  • Rails: Github, Twitter (anteriormente), Shopify, Airbnb, Slideshare, Heroku, etc.
  • PHP: Facebook, Wikipedia, Flickr, Yahoo, Tumbler, Mailchimp, etc.

La conclusión es que un framework o lenguaje no hará todo por ti. Una mejor arquitectura, diseño y estrategia le dará un sitio web escalable. Instagram es el ejemplo más grande, este pequeño equipo está manejando datos tan enormes. Aquí hay un blog sobre su arquitectura que hay que leer.

Repartiendo las tareas uniformemente, en resumen optimizando todos y cada uno de los aspectos, incluyendo DBs, Archivos, Imágenes, CSS, etc. y equilibrar la carga con varios otros recursos es necesario una vez que su sitio/aplicación comienza a crecer. O haces más espacio para que crezca. La implementación de las últimas tecnologías como CDN, la nube son imprescindibles con sitios enormes. El solo desarrollo y ajuste de una aplicación no le dará el ciento por ciento de satisfacción, otros componentes también juegan un papel importante.

El problema no es saber si django puede escalar o no.

La manera correcta es entender y saber cuáles son los patrones de diseño de red y las herramientas para poner en su proyecto django/symfony/rails para escalar bien.

Algunas ideas pueden ser:

• Multiplexación.
• Proxy inverso. Ex: Nginx, Varnish
• Sesión de Memcache. Ex: Redis
• Clusterización en el proyecto y la base de datos para el equilibrio de carga y la tolerancia a fallos : Ex : Docker
• Utilizar terceros para almacenar activos. Ejemplo: Amazon S3

Espero que ayude un poco. Esta es mi pequeña roca a la montaña.