Les premiers pas
L'API principale de MITIE est une API C étant documentée dans le fichier d'entête mitie.h. Au-delà de cela, il existe de nombreux exemples de programmes montrant comment utiliser MITIE à partir de C, C++, Java, R ou Python 2.7.
Configuration initiale
Avant de pouvoir exécuter les exemples fournis, vous devez télécharger les fichiers de modèles formés, ce que vous pouvez faire en exécutant :
| make MITIE-models |
ou en téléchargeant simplement le fichier MITIE-models-v0.2.tar.bz2 et en l'extrayant dans votre dossier MITIE. Notez que les modèles espagnol et allemand sont fournis dans des téléchargements séparés. Donc si vous souhaitez utiliser le modèle NER espagnol, téléchargez MITIE-models-v0.2-Spanish.zip et extrayez-le dans votre dossier MITIE. De même pour le modèle allemand : MITIE-models-v0.2-German.tar.bz2.
Utilisation de MITIE à partir de la ligne de commande
MITIE est fourni avec un outil NER de flux de données de base. Vous pouvez donc demander à MITIE de traiter chaque ligne d'un fichier texte indépendamment et de générer un texte balisé avec la commande :
| cat sample_text.txt | ./ner_stream MITIE-models/english/ner_model.dat |
L'exécutable ner_stream peut être compilé en exécutant make dans le dossier MITIE de niveau supérieur ou en naviguant vers le dossier tools/ner_stream et en exécutant make ou en utilisant CMake pour le construire, ce qui peut être fait avec les commandes suivantes :
|
cd tools/ner_stream mkdir build cd build cmake .. cmake --build . --config Release |
Compilation de MITIE en tant que bibliothèque partagée
Sur un système de type UNIX, cela peut être accompli en exécutant make dans le dossier MITIE de niveau supérieur ou en exécutant :
| cd mitielib make |
Cela génère des fichiers de bibliothèque partagés et statiques dans le dossier mitielib. Vous pouvez également utiliser CMake pour compiler une bibliothèque partagée en tapant :
|
cd mitielib mkdir build cd build cmake .. cmake --build . --config Release --target install |
Chacune de ces méthodes créera une bibliothèque partagée MITIE dans le dossier mitielib.
Compilation de MITIE à l'aide d'OpenBLAS
Si vous compilez MITIE en utilisant cmake, il trouvera et utilisera automatiquement toutes les bibliothèques BLAS optimisées sur votre machine. Cependant, si vous compilez en utilisant make classique, vous devrez localiser manuellement vos bibliothèques BLAS, sinon DLIB utilisera par défaut son implémentation BLAS intégrée, mais plus lente. Par conséquent, pour utiliser OpenBLAS lors de la compilation sans cmake, localisez libopenblas.a et libgfortran.a, puis exécutez make comme suit :
|
cd mitielib make BLAS_PATH=/path/to/openblas.a LIBGFORTRAN_PATH=/path/to/libfortran.a |
Notez que si vos bibliothèques BLAS ne se trouvent pas dans des emplacements standards, cmake ne parviendra pas à les trouver. Cependant, vous pouvez lui indiquer dans quel dossier chercher en remplaçant cmake .. par une instruction telle que :
| cmake -DCMAKE_LIBRARY_PATH=/home/me/place/i/put/blas/lib .. |
Utilisation de MITIE à partir d'un programme Python 2.7
Une fois que vous avez créé la bibliothèque partagée MITIE, vous pouvez accéder au dossier examples/python et simplement exécuter l'un des scripts Python. Chaque script est un tutoriel expliquant certains aspects de MITIE : reconnaissance d'entités nommées et extraction de relations, formation d'un outil NER personnalisé ou formation d'un extracteur de relations personnalisé.
Vous pouvez également installer mitie directement depuis GitHub avec cette commande :
| pip install git+https://github.com/mit-nlp/MITIE.git |
Utilisation de MITIE depuis R
MITIE peut être installé en tant que paquet R.
Utilisation de MITIE depuis un programme C
Il existe des exemples de programmes C dans le dossier examples/C. Pour les compiler, il vous suffit d'aller dans ces dossiers et d'exécuter make. Ou utilisez CMake comme suit :
|
cd examples/C/ner mkdir build cd build cmake .. cmake --build . --config Release |
Utilisation de MITIE à partir d'un programme C++
Il existe des exemples de programmes C++ dans le dossier examples/cpp. Pour compiler l'un d'entre eux, il vous suffit d'aller dans ces dossiers et d'exécuter make. Vous pouvez également utiliser CMake comme suit :
|
cd examples/cpp/ner mkdir build cd build cmake .. cmake --build . --config Release |
Utilisation de MITIE à partir d'un programme Java
Il existe un exemple de programme Java dans le dossier examples/java. Avant de pouvoir l'exécuter, vous devez compiler l'interface Java de MITIE, ce que vous pouvez faire comme suit :
|
cd mitielib/java mkdir build cd build cmake .. cmake --build . --config Release --target install |
Cela placera une bibliothèque partagée javamitie et un fichier jar dans le dossier mitielib. Une fois que vous avez ces deux fichiers, vous pouvez exécuter le programme d'exemple dans examples/java en exécutant run_ner.bat si vous êtes sous Windows ou run_ner.sh si vous êtes sur un système POSIX comme Linux ou Mac OS X.
Notez également que vous devez avoir Swig 1.3.40 ou plus récent, CMake 2.8.4 ou plus récent et le JDK Java installé pour compiler l'interface MITIE. Enfin, notez que si vous utilisez Java 64 bits sous Windows, vous devrez utiliser une commande comme :
| cmake -G "Visual Studio 10 Win64" .. |
au lieu de cmake .. pour que Visual Studio sache créer une bibliothèque 64 bits.
Exécution des tests unitaires de MITIE
Vous pouvez exécuter un test de régression simple pour valider votre build. Pour ce faire, exécutez la commande suivante à partir du dossier MITIE de niveau supérieur :
| make test |
make test génère à la fois les programmes d'exemple et télécharge les modèles d'exemple requis. Si vous avez besoin d'un compilateur C++ non standard, modifiez CC dans examples/C/makefile et dans tools/ner_stream/makefile.
Binaires Python 2.7 précompilés
Ils ont créé des binaires Python 2.7 empaquetés avec des modèles d'exemple pour Linux 64 bits et Windows (versions 32 et 64 bits de Python).
Binaires Java 64 bits précompilés
Ils ont créé des binaires Java pour la JVM 64 bits fonctionnant sous Linux et Windows. Vous pouvez télécharger le paquet précompilé ici : Precompiled Java MITIE 0.3. Dans le fichier se trouve un dossier examples/java. Vous pouvez exécuter l'exemple en exécutant le fichier .bat ou .sh fourni.