Arrow
Apache Arrow est une plateforme de développement multilangage pour la gestion des données en mémoire. Elle utilise un format standardisé en colonnes qui organise les données hiérarchiques ou autres afin de permettre des opérations analytiques efficaces. La plateforme offre des bibliothèques de calcul, la transmission sans copie et en continu des données et la communication interprocessus. Parmi les langages pris en charge, on compte C, C++, C#, Go, Java, JavaScript, MATLAB, Python, R, Ruby et Rust.
CUDA
Arrow est aussi disponible avec CUDA.
où X.Y.Z désigne la version.
Bindings Python
Le module contient des bindings pour plusieurs versions de Python. Pour connaître les versions compatibles, lancez
où X.Y.Z désigne la version.
Ou cherchez pyarrow directement avec
PyArrow
Les bindings Python (appelés PyArrow) s’intègrent avec les objets de première classe NumPy, Pandas, et les objets natifs Python. Ils sont basés sur l'implémentation C++ de Arrow.
1. Chargez les modules requis.
où X.Y.Z désigne la version.
2. Importez PyArrow.
L’importation est réussie si rien n’est affiché.
Pour plus d'information, consultez la documentation Python.
Autres paquets Python dépendants
L'installation de certains paquets Python est dépendante de PyArrow.
Une fois le module arrow chargé, la dépendance à pyarrow sera satisfaite.
Si pip list affiche une entrée, alors pyarrow est disponible et visible par pip. S'il n'y a pas d'entrée, pyarrow n'est pas disponible.
Format Apache Parquet
Le format de fichier Parquet est disponible.
Pour importer le module Parquet, effectuez les étapes pour pyarrow ci-dessus et lancez ensuite
L’importation est réussie si rien n’est affiché.
Bindings R
Arrow possède une interface avec la bibliothèque Arrow C++ pour permettre l'accès en R de plusieurs de ses fonctionnalités. Ceci inclut l’analyse de grands ensembles de données multifichiers (open_dataset()); la capacité de travailler avec des fichiers individuels de format Parquet (read_parquet(), write_parquet()) et Feather (read_feather(), write_feather()); l'accès à la mémoire et aux messages Arrow.
Installation
1. Chargez les modules requis.
2. Spécifiez le répertoire d’installation local.
[name@server ~]$ mkdir -p ~/.local/R/$EBVERSIONR/
[name@server ~]$ export R_LIBS=~/.local/R/$EBVERSIONR/3. Exportez les variables requises pour vous assurer d’utiliser l'installation du système.
[name@server ~]$ export PKG_CONFIG_PATH=$EBROOTARROW/lib/pkgconfig
[name@server ~]$ export INCLUDE_DIR=$EBROOTARROW/include
[name@server ~]$ export LIB_DIR=$EBROOTARROW/lib4. Installez les bindings.
Utilisation
Une fois les bindings installés, il faut les charger.
1. Chargez les modules requis.
2. Chargez la bibliothèque.
Pour plus d'information, consultez la documentation Arrow sur R.
Dépannage
This is a normal error generated by this dummy wheel.
Voir la page Dummy wheel.
ModuleNotFoundError: No module named 'pyarrow'
Une erreur peut survenir à l'importation de pyarrow.
[name@server ~]$ python -c "import pyarrow"
Traceback (most recent call last):
File "<string>", line 1, in <module>
ModuleNotFoundError: No module named 'pyarrow'Ceci se produit habituellement dans l'un ou l'autre cas suivant :
Module Arrow not loaded
Chargez un module arrow compatible (voir PyArrow).
Python module not loaded
Quand un module Python n'est pas chargé et qu'un environnement virtuel est activé, les bindings Python ne sont pas disponibles et donc pyarrow n'est pas visible.