Basic Linear Algebra Subprograms

Basic Linear Algebra Subprograms (BLAS), en español Subprogramas Básicos de Álgebra Lineal, es una especificación que define un conjunto de rutinas de bajo nivel para realizar operaciones comunes de álgebra lineal tales como la suma de vectores, multiplicación escalar, producto escalar, combinaciones lineales y multiplicación de matrices. Son las rutinas estándar de facto de bajo nivel para bibliotecas de álgebra lineal, con bindings para C (interfaz CBLAS) y Fortran (interfaz BLAS). Aunque la especificación de BLAS es general, las implementaciones particulares están a menudo optimizadas para conseguir mayor aceleración en una máquina o arquitectura particular, de forma que su uso puede conllevar un incremento sustancial del rendimiento. Las implementaciones de BLAS se pueden aprovechar de la existencia de hardware especial de punto flotante, tales como registros vectoriales o instrucciones SIMD.

Tuvo origen como biblioteca de Fortran en 1979^[1]​ y su interfaz fue estandarizada por el Foro Técnico BLAS (BLAST), cuyo último informe sobre BLAS se puede encontrar en el sitio web de netlib.^[2]​ Esta biblioteca se conoce como la implementación de referencia y es de dominio público (a veces se la conoce de manera confusa como la biblioteca BLAS), aunque no está optimizada en velocidad.

La mayoría de las bibliotecas que ofrecen rutinas de álgebra lineal se ajustan a la interfaz BLAS, lo que permite a los usuarios de la biblioteca desarrollar programas independientes de la biblioteca BLAS que se esté utilizando. Ejemplos de bibliotecas BLAS incluyen: AMD Core Math Library (ACML), Arm Performance Libraries,^[3]​ ATLAS, Intel Math Kernel Library (MKL) y OpenBLAS. ACML ya no es compatible con su productor.^[4]​ ATLAS es una biblioteca portátil que se optimiza automáticamente para una arquitectura arbitraria. MKL es una biblioteca de proveedor de software gratuito^[5]​ y propietaria^[6]​ optimizada para x86 y x86-64 con un énfasis en el rendimiento de los procesadores Intel.^[7]​ OpenBLAS es una biblioteca de código abierto que está optimizada manualmente para muchas de las arquitecturas populares. Los benchmark de LINPACK se basan en gran medida en la gemm rutina BLAS para sus mediciones de rendimiento.

Muchas aplicaciones de software numérico utilizan bibliotecas compatibles con BLAS para realizar cálculos de álgebra lineal, como Armadillo, LAPACK, LINPACK, GNU Octave, Mathematica,^[8]​ MATLAB,^[9]​ NumPy,^[10]​ R y Julia.

Con el advenimiento de la programación numérica, las bibliotecas de subrutinas sofisticadas se volvieron útiles. Estas bibliotecas contendrían subrutinas para operaciones matemáticas comunes de alto nivel, como búsqueda de raíces, inversión de matrices y resolución de sistemas de ecuaciones. El idioma elegido fue FORTRAN. La biblioteca de programación numérica más destacada fue el Scientific Subroutine Package (SSP) de IBM.^[11]​ Estas bibliotecas de subrutinas permitieron a los programadores concentrarse en sus problemas específicos y evitar volver a implementar algoritmos conocidos. Las rutinas de la biblioteca también serían mejores que las implementaciones promedio; Los algoritmos matriciales, por ejemplo, pueden usar pivoteo completo para obtener una mejor precisión numérica. Las rutinas de la biblioteca también tendrían rutinas más eficientes. Por ejemplo, una biblioteca puede incluir un programa para resolver una matriz triangular superior. Las bibliotecas incluirían versiones de precisión simple y doble precisión de algunos algoritmos.

Inicialmente, estas subrutinas usaban bucles codificados de forma rígida para sus operaciones de bajo nivel. Por ejemplo, si una subrutina necesita realizar una multiplicación de matrices, entonces la subrutina tendría tres bucles anidados. Los programas de álgebra lineal tienen muchas operaciones comunes de bajo nivel (las llamadas operaciones "kernel", no relacionadas con los sistemas operativos).^[12]​ Entre 1973 y 1977, se identificaron varias de estas operaciones del núcleo.^[13]​ Estas operaciones del kernel se convirtieron en subrutinas definidas que las bibliotecas matemáticas podían llamar. Las llamadas al núcleo tenían ventajas sobre los bucles codificados de forma rígida: la rutina de la biblioteca sería más legible, habría menos posibilidades de errores y la implementación del núcleo podría optimizarse para la velocidad. Una especificación para estas operaciones del núcleo usando escalares y vectores, las subrutinas de álgebra lineal básica de nivel 1 (BLAS), se publicó en 1979.^[14]​ BLAS se utilizó para implementar la biblioteca de subrutinas de álgebra lineal LINPACK.

La abstracción BLAS permite la personalización para un alto rendimiento. Por ejemplo, LINPACK es una biblioteca de propósito general que se puede usar en muchas máquinas diferentes sin modificaciones. LINPACK podría usar una versión genérica de BLAS. Para obtener rendimiento, diferentes máquinas pueden usar versiones personalizadas de BLAS. A medida que las arquitecturas informáticas se volvieron más sofisticadas, aparecieron las máquinas vectoriales. BLAS para una máquina vectorial podría utilizar las operaciones vectoriales rápidas de la máquina.^[15]​

Otras funciones de la máquina estuvieron disponibles y también podrían explotarse. En consecuencia, BLAS se aumentó de 1984 a 1986 con operaciones de kernel de nivel 2 que se referían a operaciones de matriz de vectores. La jerarquía de la memoria también se reconoció como algo para explotar. Muchas computadoras tienen una memoria caché que es mucho más rápida que la memoria principal; mantener las manipulaciones de la matriz localizadas permite un mejor uso de la caché. En 1987 y 1988, se identificaron BLAS de nivel 3 para realizar operaciones matriz-matriz. El BLAS de nivel 3 fomentó los algoritmos de bloques particionados. La biblioteca LAPACK utiliza BLAS de nivel 3.^[16]​

El BLAS original se refería solo a vectores y matrices densamente almacenados. Se han abordado otras extensiones de BLAS, como para matrices dispersas.^[17]​

El Automatically Tuned Linear Algebra Software (ATLAS), en español: software de álgebra lineal sintonizado automáticamente, busca una implementación BLAS con mayor rendimiento. ATLAS define muchas operaciones BLAS en términos de algunas rutinas centrales y luego intenta adaptar automáticamente las rutinas centrales para tener un buen rendimiento. Se realiza una búsqueda para elegir buenos tamaños de bloque. Los tamaños de los bloques pueden depender del tamaño y la arquitectura de la memoria caché de la computadora. También se realizan pruebas para ver si la copia de matrices y vectores mejora el rendimiento. Por ejemplo, puede ser ventajoso copiar argumentos para que estén alineados en la línea de caché para que las rutinas proporcionadas por el usuario puedan utilizar instrucciones SIMD.

La funcionalidad BLAS se clasifica en tres conjuntos de rutinas llamadas "niveles", que corresponden tanto al orden cronológico de definición y publicación, como al grado del polinomio en las complejidades de los algoritmos; Las operaciones de BLAS de nivel 1 generalmente toman tiempo lineal, O(n), operaciones de nivel 2 tiempo cuadrático y operaciones de nivel 3 tiempo cúbico.^[18]​ Las implementaciones modernas de BLAS suelen proporcionar los tres niveles.

Este nivel consta de todas las rutinas descritas en la presentación original de BLAS (1979),^[1]​ que definía solo operaciones vectoriales en matrices escalonadas : productos escalares, normas vectoriales, una adición vectorial generalizada de la forma

${\displaystyle {\boldsymbol {y}}\leftarrow \alpha {\boldsymbol {x}}+{\boldsymbol {y}}}$

(llamado "axpy") y muchos otras operaciones.

Este nivel contiene operaciones matriz-vector que incluyen, entre otras cosas, una multiplicación matriz-vector generalizada (gemv):

${\displaystyle {\boldsymbol {y}}\leftarrow \alpha {\boldsymbol {A}}{\boldsymbol {x}}+\beta {\boldsymbol {y}}}$

así como un solucionador de x en la ecuación lineal

${\displaystyle {\boldsymbol {T}}{\boldsymbol {x}}={\boldsymbol {y}}}$

siendo T triangular. El diseño del BLAS de nivel 2 se inició en 1984 y los resultados se publicaron en 1988. Las subrutinas de nivel 2 están especialmente destinadas a mejorar el rendimiento de los programas que utilizan BLAS en procesadores vectoriales, donde los BLAS de nivel 1 son subóptimos "porque ocultan la naturaleza matricial-vector de las operaciones del compilador".^[19]​

Este nivel, publicado formalmente en 1990,^[18]​ contiene operaciones matriz-matriz, incluida una " multiplicación general de matrices " (gemm), de la forma

${\displaystyle {\boldsymbol {C}}\leftarrow \alpha {\boldsymbol {A}}{\boldsymbol {B}}+\beta {\boldsymbol {C}}}$

donde A y B se pueden transponer opcionalmente o conjugar hermitian dentro de la rutina y las tres matrices pueden ser escalonadas. La multiplicación de matrices ordinaria A B se puede realizar estableciendo α en uno y C en una matriz de todos ceros del tamaño apropiado.

También se incluyen en el Nivel 3 rutinas para resolver

${\displaystyle {\boldsymbol {B}}\leftarrow \alpha {\boldsymbol {T}}^{-1}{\boldsymbol {B}}}$

donde T es una matriz triangular, entre otras funcionalidades.

Debido a la ubicuidad de las multiplicaciones de matrices en muchas aplicaciones científicas, incluida la implementación del resto del BLAS de nivel 3, y debido a que existen algoritmos más rápidos más allá de la repetición obvia de la multiplicación de matrices y vectores, gemm es un objetivo principal de optimización para Implementadores BLAS. Por ejemplo, al descomponer uno o ambos de A, B en matrices de bloques, gemm se puede implementar de forma recursiva. Esta es una de las motivaciones para incluir el parámetro β, para que se puedan acumular los resultados de los bloques anteriores. Tenga en cuenta que esta descomposición requiere el caso especial β = 1 que optimizan muchas implementaciones, eliminando así una multiplicación por cada valor de C Esta descomposición permite una mejor localidad de referencia tanto en el espacio como en el tiempo de los datos utilizados en el producto. Esto, a su vez, aprovecha la caché del sistema.^[20]​ Para sistemas con más de un nivel de caché, el bloqueo se puede aplicar una segunda vez al orden en que se utilizan los bloques en el cálculo. Ambos niveles de optimización se utilizan en implementaciones como ATLAS. Más recientemente, las implementaciones de Kazushige Goto han demostrado que el bloqueo solo para la caché L2, combinado con una cuidadosa amortización de la copia a la memoria contigua para reducir las fallas de TLB, es superior a ATLAS. Una implementación altamente ajustada basada en estas ideas es parte de GotoBLAS, OpenBLAS y BLIS.

Una variación común de gemm es gemm3m, que calcula un producto complejo usando "tres multiplicaciones de matrices reales y cinco adiciones de matrices reales en lugar de las cuatro multiplicaciones de matrices reales convencionales y dos adiciones de matrices reales", un algoritmo similar al algoritmo de Strassen descrito por primera vez por Peter. Ungar.^[21]​

Accelerate

Marco de Apple para macOS e iOS, que incluye versiones optimizadas de BLAS y LAPACK.^[22]​^[23]​

ACML

La biblioteca AMD Core Math, compatible con las CPU AMD Athlon y Opteron en Linux y Windows.^[24]​

C++ AMP BLAS

La biblioteca C++ AMP BLAS es una implementación de código abierto de BLAS para la extensión de lenguaje AMP de Microsoft para Visual C++.^[25]​

ATLAS

Software de álgebra lineal optimizado automáticamente, una implementación de código abierto de las API de BLAS para C y Fortran 77.^[26]​

BLIS

Marco de software de creación de instancias de bibliotecas similar a BLAS para una rápida creación de instancias. Basado en GotoBLAS.^[27]​

cuBLAS

BLAS optimizado para tarjetas GPU basadas en NVIDIA, que requieren pocas llamadas adicionales a la biblioteca.^[28]​

NVBLAS

BLAS optimizado para tarjetas GPU basadas en NVIDIA, que proporciona solo funciones de nivel 3, pero como reemplazo directo directo para otras bibliotecas BLAS.^[29]​

clBLAS

Una implementación OpenCL de BLAS por AMD. Parte de las bibliotecas informáticas de AMD.^[30]​

clBLAST

Una implementación OpenCL ajustada de BLAS.^[31]​

Eigen BLAS

Una biblioteca Fortran 77 y C BLAS implementada sobre la biblioteca Eigen con licencia MPL, que admite arquitecturas x86, x86 64, ARM (NEON) y PowerPC.

ESSL

Biblioteca de subrutinas científicas y de ingeniería de IBM, que admite la arquitectura PowerPC en AIX y Linux.^[32]​

GotoBLAS

Implementación de BLAS con licencia BSD de Kazushige Goto, ajustada en particular para Intel Nehalem / Atom, VIA Nanoprocessor, AMD Opteron.

Biblioteca científica GNU

Implementación multiplataforma de muchas rutinas numéricas. Contiene una interfaz CBLAS.

HP MLIB

Biblioteca matemática de HP compatible con arquitectura IA-64, PA-RISC, x86 y Opteron en HPUX y Linux.

Intel MKL

Intel Math Kernel Library, compatible con x86 de 32 y 64 bits, disponible de forma gratuita en Intel.^[5]​ Incluye optimizaciones para CPU Intel Pentium, Core e Intel Xeon e Intel Xeon Phi ; soporte para Linux, Windows y macOS.^[33]​

MathKeisan

NEC bibliotecas matemáticas, apoyando arquitectura NEC SX bajo SUPER-UX e Itanium bajo Linux.^[34]​

Netlib BLAS

La implementación de referencia oficial en Netlib, escrita en Fortran 77.^[35]​

Netlib CBLAS

Interfaz C de referencia al BLAS. También es posible (y popular) llamar al Fortran BLAS de C.^[36]​

OpenBLAS

BLAS optimizado basado en GotoBLAS, compatible con procesadores x86, x86-64, MIPS y ARM.^[37]​

PDLIB / SX

NEC Mathematical Library 's de Dominio Público para el NEC SX-4 del sistema.^[38]​

SCSL

La biblioteca de software de computación científica de SGI contiene implementaciones BLAS y LAPACK para las estaciones de trabajo Irix de SGI.^[39]​

Sun Performance Library

BLAS y LAPACK optimizados para arquitecturas SPARC, Core y AMD64 en Solaris 8, 9 y 10, así como en Linux.^[40]​

uBLAS

Una biblioteca genérica de clases de plantillas de C++ que proporciona la funcionalidad BLAS. Parte de la biblioteca de Boost. Proporciona enlaces a muchas bibliotecas aceleradas por hardware en una notación unificadora. Además, uBLAS se centra en la corrección de los algoritmos que utilizan funciones avanzadas de C++.^[41]​

Armadillo

Biblioteca de álgebra lineal C++ que apunta a un buen equilibrio entre velocidad y facilidad de uso. Emplea clases de plantilla y tiene enlaces opcionales a BLAS / ATLAS y LAPACK. Está patrocinado por NICTA (en Australia) y tiene una licencia gratuita.^[42]​

LAPACK

Biblioteca de álgebra lineal de nivel superior construida sobre BLAS. Como BLAS, existe una implementación de referencia, pero existen muchas alternativas como libFlame y MKL.

Mir

Biblioteca numérica genérica acelerada por LLVM para ciencia y aprendizaje automático escrita en D. Proporciona subprogramas genéricos de álgebra lineal (GLAS). Puede construirse sobre una implementación CBLAS.^[43]​

Elemental

Elemental es un software de código abierto para optimización y álgebra lineal densa y dispersa en memoria distribuida.^[44]​

HASEM

Biblioteca de plantillas de C++, que puede resolver ecuaciones lineales y calcular valores propios. Tiene licencia BSD.^[45]​

LAMA

La biblioteca para aplicaciones matemáticas aceleradas (LAMA) es una biblioteca de plantillas C++ para escribir solucionadores numéricos dirigidos a varios tipos de hardware (por ejemplo, GPU a través de CUDA u OpenCL) en sistemas de memoria distribuida, ocultando la programación específica del hardware al desarrollador del programa

MTL4

Matrix Template Library versión 4 es una biblioteca de plantillas C++ genérica que proporciona una funcionalidad BLAS densa y escasa. MTL4 establece una interfaz intuitiva (similar a MATLAB) y una amplia aplicabilidad gracias a la programación genérica.

Se han sugerido varias extensiones de BLAS para manejar matrices dispersas a lo largo de la historia de la biblioteca; un pequeño conjunto de rutinas de kernel de matriz dispersa se estandarizó finalmente en 2002.^[46]​

• Álgebra lineal numérica, el tipo de problema que resuelve BLAS
• LAPACK

• BLAST Forum (21 de agosto de 2001), Basic Linear Algebra Subprograms Technical (BLAST) Forum Standard, Knoxville, TN: University of Tennessee .
• Dodson, D. S.; Grimes, R. G. (1982), «Remark on algorithm 539: Basic Linear Algebra Subprograms for Fortran usage», ACM Trans. Math. Softw. 8 (4): 403-404, doi:10.1145/356012.356020 .
• Dodson, D. S. (1983), «Corrigendum: Remark on "Algorithm 539: Basic Linear Algebra Subroutines for FORTRAN usage"», ACM Trans. Math. Softw. 9: 140, doi:10.1145/356022.356032 .
• JJ Dongarra, J. Du Croz, S. Hammarling y RJ Hanson, Algoritmo 656: Un conjunto extendido de Subprogramas de Álgebra Lineal Básica FORTRAN, ACM Trans. Matemáticas. Softw., 14 (1988), págs. 18 – 32.
• JJ Dongarra, J. Du Croz, IS Duff y S. Hammarling, Un conjunto de subprogramas de álgebra lineal básica de nivel 3, ACM Trans. Matemáticas. Softw., 16 (1990), págs. 1 – 17.
• JJ Dongarra, J. Du Croz, IS Duff y S. Hammarling, Algoritmo 679: Un conjunto de subprogramas de álgebra lineal básica de nivel 3, ACM Trans. Matemáticas. Softw., 16 (1990), págs. 18 – 28.

Nuevo BLAS

• LS Blackford, J. Demmel, J. Dongarra, I. Duff, S. Hammarling, G. Henry, M. Heroux, L. Kaufman, A. Lumsdaine, A. Petitet, R. Pozo, K. Remington, RC Whaley, Un conjunto actualizado de subprogramas básicos de álgebra lineal (BLAS), ACM Trans. Matemáticas. Softw., 28-2 (2002), págs. –
• J. Dongarra, Estándar del Foro Técnico de Subprogramas de Álgebra Lineal Básica, Revista Internacional de Aplicaciones de Alto Rendimiento y Supercomputación, 16 (1) (2002), págs. 1 – 111, y Revista internacional de aplicaciones de alto rendimiento y supercomputación, 16 (2) (2002), págs. –

• Página de inicio de BLAS en Netlib.org
• Preguntas frecuentes de BLAS
• Guía de referencia rápida de BLAS de la Guía del usuario de LAPACK
• Lawson Oral History Uno de los autores originales del BLAS analiza su creación en una entrevista de historia oral. Charles L. Lawson Entrevista de historia oral por Thomas Haigh, 6 y 7 de noviembre de 2004, San Clemente, California. Sociedad de Matemáticas Industriales y Aplicadas, Filadelfia, PA.
• Dongarra Oral History En una entrevista de historia oral, Jack Dongarra explora la relación inicial de BLAS con LINPACK, la creación de versiones de BLAS de nivel superior para nuevas arquitecturas y su trabajo posterior en el sistema ATLAS para optimizar automáticamente BLAS para máquinas particulares. Jack Dongarra, entrevista de historia oral por Thomas Haigh, 26 de abril de 2005, Universidad de Tennessee, Knoxville TN. Sociedad de Matemáticas Industriales y Aplicadas, Filadelfia, PA
• ¿Cómo logra BLAS un rendimiento tan extremo? Diez multiplicaciones matriciales ingenuas de 1000 × 1000 (10 ¹⁰ puntos flotantes multiplicados-suma) toman 15.77 segundos en 2.6 Procesador de GHz; La implementación de BLAS tarda 1,32 segundos.
• Una descripción general de los subprogramas de álgebra lineal básica dispersa: el nuevo estándar del Foro técnico de BLAS[1]