Fouille de textes
Un article de Wikipédia, l'encyclopédie libre.
 |
Cet article est une ébauche à compléter concernant l'informatique, vous pouvez partager vos connaissances en le modifiant. |
La fouille de textes ou l'extraction de connaissances dans les textes, text mining en anglais, est une spécialisation de la fouille de données et fait parti du domaine de l'intelligence artificielle. C'est un ensemble de processus informatiques consistant à extraire des connaissances selon un critère de nouveauté ou de similarité dans des textes non triviaux. Dans la pratique, cela revient à mettre en algorithmes un modèle simplifié des théories linguistiques dans des systèmes informatiques d'apprentissage et de statistiques.
Les disciplines impliquées sont donc la linguistique calculatoire, l'ingénierie du langage, l'apprentissage artificiel, les statistiques et bien sûr l'informatique.
À noter que la fouille de textes se distingue du traitement automatique du langage naturel par son approche générale, massive, pratique et algorithmique de par sa filiation avec la fouille de données. Son approche est moins linguistique. De plus, la fouille de textes ne s'intéresse pas au langage oral telle la reconnaissance vocale. Notons aussi que la fouille de textes recoupe la recherche d'information pour la partie requête sur un moteur de recherche. Par contre, la recherche d'information s'intéresse a priori plus à la requête qu'à l'indexation.
On peut distinguer deux étapes principales dans les traitements mis en place par la fouille de textes.
La première étape, l'analyse, consiste à reconnaître les mots, les phrases, leurs rôles grammaticaux, leurs relations et leur sens. Cette première étape est commune à tous les traitements. Une analyse sans interprétation n'a que peu d'intérêt et les deux sont dépendantes. C'est donc le rôle de la seconde étape d'interpréter cette analyse.
La seconde étape, l'interprétation de l'analyse, permet de sélectionner un texte parmi d'autres comme la classification de courriels en spam ou non spam, l'application de requêtes dans un moteur de recherche de documents ou de sélectionner une partie d'un texte comme le résumé de texte.
Le critère de sélection peut être d'au moins deux types : la nouveauté et la similarité. Le premier critère peut être intrinsèque, c'est-à-dire qu'un seul texte peut suffire alors que le second est forcément extrinsèque, c'est-à-dire qu'il faut plusieurs textes pour l'appliquer. Celui de la nouveauté d'une connaissance consiste à découvrir des relations, notamment des implications qui n'étaient pas explicites en lisant le texte d'une façon linéaire. Celui de la similarité ou contradiction par rapport à un autre texte ou encore la réponse à une question spécifique consiste à découvrir des textes qui correspondent au plus à un ensemble de descripteurs de la requête initiale. Les descripteurs sont par exemple les noms et verbes les plus fréquents d'un texte.
Et pour information, car on s'éloigne alors du domaine de la fouille de textes, l'interprétation de l'analyse peut aussi générer un nouveau texte comme la correction des fautes, la traduction, le dialogue ou l'imitation d'un style d'écriture.
Sommaire |
[modifier] Exemple
[modifier] Indexation de textes
La fouille de texte peut consister en l'indexation d'un ensemble de textes par rapport aux mots qu'ils contiennent. On peut ensuite interroger l'index ainsi créé pour connaître les similarités entre une requête et notre liste de textes.
L'algorithme d'indexation se décrit comme suit :
- On indexe le texte par rapport aux mots qui le composent
- On effectue l'index inversé (on indexe les mots contenus par rapport aux textes les contenant)
- Au moment de traiter une requête, on teste la similarité de cette requête avec notre index inversé
- Cela nous retourne les textes similaires avec notre requête, et pour chaque texte, un rang
Les applications sont multiples : d'une simple indexation pour les moteurs de recherche à l'extraction de connaissances dans des documents non structurés.
D'autres techniques, comme la lemmatisation, permettent d'améliorer notre indexation, en perdant néanmoins une partie du sens.
[modifier] Applications
[modifier] Recherche d'information
Les moteurs de recherche tels Google, Exalead, Yahoo!, etc. sont des applications très connues de fouille de textes sur de grandes masses de données.
[modifier] Filtrage des communications
Beaucoup de gestionnaires de courriers électroniques sont maintenant livrés avec un filtre anti-spam. Il existe aussi des logiciels anti-spam qui s'interfacent entre le serveur de courrier et votre gestionnaire de courrier.
Le système mondial d'interception des communications privées et publiques Echelon est un exemple d'utilisation militaire et économique de la fouille de textes.
[modifier] Gestion des connaissances
Les méthodes d'Intelligence économique ont pour objectif général d’apporter des informations à l’organisation.
[modifier] Logiciels
[modifier] Logiciels scientifiques libres
- Gate - suite d'outils et environnement de développement complet
- LinguaStream - suite d'outils et environnement de développement
- Ellogon - suite d'outils et environnement de développement
- BioText - assiste les chercheurs en biosciences
[modifier] Logiciels commerciaux
- Attensity - suite industrielle de logiciels
- Autonomy - suite industrielle de logiciels
- Clarabridge - suite industrielle de logiciels, consommateur, santé
- Clearforest - extraction sémantique
- IBM - Intelligent Miner for Text, arrêté en 2006
- Inxight - Smart Discovery, logiciel de visualisation d'analyse de textes et d'informations non structurées
- LingWay - XTIRP
- SAS - Text Miner
- SPSS - Clementine
- TEMIS - Online Miner, solutions de découverte d'informations orienté business
[modifier] Outils en ligne
- Textalyser - outil en ligne d'analyse de pages web et autres textes
- Topicalizer - outil en ligne d'analyse de pages web et autres textes
- The "Ultimate Research Assistant" - outil de gestion de connaissances
[modifier] Standards
- Web sémantique : RDF, RDF Schema, OWL, etc.
- Open Text Mining Interface du journal Nature
[modifier] Voir aussi
[modifier] Liens internes
- Exploration de données
- Traitement automatique du langage naturel
- Recherche d'information
- Linguistique calculatoire
- Apprentissage artificiel
- Liste d'outils décisionnels
