CUDA determinar hilos por bloque, bloques por cuadrícula

En general, desea dimensionar sus bloques/cuadrícula para que coincidan con sus datos y maximizar simultáneamente la ocupación, es decir, cuántos hilos están activos a la vez. Los principales factores que influyen en la ocupación son el uso de memoria compartida, el uso de registros y el tamaño del bloque de subprocesos.

Una GPU habilitada para CUDA tiene su capacidad de procesamiento dividida en SMs (multiprocesadores de streaming), y el número de SMs depende de la tarjeta real, pero aquí nos centraremos en un solo SM para simplificar (todos se comportan same). Cada SM tiene un número finito de registros de 32 bits, memoria compartida, un número máximo de bloques activos Y un número máximo de subprocesos activos. Estos números dependen de la CC (capacidad de cómputo) de su GPU y se pueden encontrar en el centro del artículo de Wikipedia http://en.wikipedia.org/wiki/CUDA .

En primer lugar, el tamaño del bloque de subprocesos siempre debe ser un múltiplo de 32, porque los núcleos emiten instrucciones en urdimbres (32 subprocesos). Por ejemplo, si tiene un tamaño de bloque de 50 subprocesos, la GPU todavía emitirá comandos a 64 subprocesos y solo los estaría desperdiciando.

En segundo lugar, antes de preocuparse por la memoria compartida y los registros, intente dimensionar sus bloques en función del número máximo de subprocesos y bloques que correspondan a la capacidad de cálculo de su tarjeta. A veces hay varias maneras de hacer esto... por ejemplo, una tarjeta CC 3.0 cada SM puede tener 16 bloques activos y 2048 hilos activos. Esto significa que si tiene 128 hilos por bloque, podría caber 16 bloques en tu SM antes de alcanzar el límite de 2048 hilos. Si utiliza 256 hilos, solo puede caber 8, pero todavía está utilizando todos los hilos disponibles y todavía tendrá ocupación completa. Sin embargo, el uso de 64 hilos por bloque solo utilizará 1024 hilos cuando se alcance el límite de 16 bloques, por lo que solo el 50% de ocupación. Si la memoria compartida y el uso de registros no son un cuello de botella, esta debería ser su principal preocupación (aparte de sus dimensiones de datos).

Sobre el tema de su cuadrícula... los bloques en su cuadrícula se extienden hacia fuera sobre el SMs para comenzar, y entonces los bloques restantes se colocan en una tubería. Los bloques se mueven al SMs para procesarlos tan pronto como haya suficientes recursos en ese SM para tomar el bloque. En otras palabras, a medida que los bloques se completan en un SM, se mueven otros nuevos. Podría argumentar que tener bloques más pequeños (128 en lugar de 256 en el ejemplo anterior) puede completarse más rápido ya que un bloque particularmente lento acaparará menos recursos, pero esto depende en gran medida de la codificar.

Con respecto a los registros y la memoria compartida, fíjese en eso a continuación, ya que puede estar limitando su ocupación. La memoria compartida es finita para un SM completo, así que intente usarla en una cantidad que permita que quepan tantos bloques como sea posible en un SM. Lo mismo ocurre con el uso del registro. Una vez más, estos números dependen de la capacidad de cálculo y se pueden encontrar tabulados en la página de wikipedia. ¡Buena suerte!