Se você deseja converter uma anotação manuscrita em um documento digital editável após tirar uma foto, o OCR convencional só consegue reconhecer o conteúdo do texto, perdendo as informações da caligrafia, enquanto uma mesa digitalizadora profissional requer equipamentos adicionais. Recentemente, descobri o InkSight, um sistema de conversão de escrita à mão de código aberto do Google, no GitHub. Ele consegue converter fotos de anotações manuscritas em escrita à mão vetorial, preservando a trajetória da escrita e permitindo edição e busca. Baseado na arquitetura de codificação/decodificação Visual Transformer (ViT) e mT5, o modelo é treinado por meio de "leitura" e "escrita" para compreender conteúdo manuscrito e reproduzir o processo de escrita. GitHub: https://t.co/5NqqdA8xRv Ele oferece suporte ao reconhecimento multilíngue, lida com diversos planos de fundo e estilos de escrita à mão e disponibiliza modos de conversão de texto tanto em nível de palavra quanto de página inteira. O resultado é uma escrita à mão digital em formato vetorial, que pode ser editada, pesquisada ou importada diretamente para aplicativos de anotações. Uma demonstração online e o conjunto de dados completo estão disponíveis no Hugging Face, juntamente com um código de exemplo em Jupyter, que permite a implantação e execução local.
