Si vous souhaitez convertir une note manuscrite en document numérique modifiable après l'avoir photographiée, la reconnaissance optique de caractères (OCR) classique ne peut reconnaître que le contenu textuel et perd les informations relatives à l'écriture manuscrite, tandis qu'une tablette graphique professionnelle nécessite un équipement supplémentaire. J'ai récemment découvert InkSight, un système de conversion d'écriture manuscrite open source de Google, sur GitHub. Il permet de convertir des photos de notes manuscrites en écriture vectorielle, en préservant le tracé de l'écriture, tout en offrant des fonctionnalités d'édition et de recherche. Basé sur le Visual Transformer (ViT) et l'architecture d'encodage/décodage mT5, le modèle est entraîné à la fois par la « lecture » et l'« écriture » pour comprendre le contenu manuscrit et reproduire le processus d'écriture. GitHub : https://t.co/5NqqdA8xRv Il prend en charge la reconnaissance multilingue, gère différents arrière-plans et styles d'écriture manuscrite, et propose des modes de conversion de texte au niveau du mot ou de la page entière. Le résultat est une écriture manuscrite numérique au format vectoriel, directement modifiable, consultable et importable dans des applications de prise de notes. Une démonstration en ligne et un jeu de données complet sont disponibles sur Hugging Face, ainsi qu'un exemple de code Jupyter, prenant en charge le déploiement et l'exécution locaux.
