Hilo de meng shao (@shao__meng)

[Recomendación de código abierto] MLX-Audio Studio: Una herramienta de interfaz gráfica de usuario de código abierto diseñada específicamente para la generación y el procesamiento de audio. Desarrollada a partir de la biblioteca MLX-Audio, es compatible con dispositivos Apple Silicon, lo que permite a los usuarios generar y transcribir audio fácilmente de forma local. Admite diversas opciones de procesamiento de audio, como MLX-Audio, Transformers u otros servicios como OpenAI. Funciones principales: Generación y transcripción de audio: Proporciona funciones TTS y STT, lo que permite a los usuarios generar audio introduciendo texto a través de una interfaz sencilla, o cargar archivos de audio para su transcripción. • Compatibilidad con múltiples backends: Integración flexible con diferentes frameworks; los usuarios pueden elegir el modelo MLX-Audio local u otras API externas para implementar el procesamiento de audio personalizado. • Diseño de la interfaz de usuario: Una interfaz web moderna compatible con el modo oscuro, que incluye selección de modelo, ajuste de velocidad, tono y volumen, procesamiento de textos largos y un reproductor de audio. La interfaz es intuitiva e incluye historial, configuración y acceso a la API. • Escalabilidad: En el futuro se añadirán más tareas, como la clonación de voz o la edición avanzada, para mejorar la versatilidad de las aplicaciones de audio. Analicemos las características principales de MLX-Audio: Inferencia de alta eficiencia: Se ejecuta de forma nativa en Apple Silicon utilizando el marco MLX, lo que proporciona una generación y un procesamiento rápidos, y admite la cuantización de 8 bits para reducir el uso de memoria y mejorar la velocidad. • Soporte multilingüe: Admite inglés americano e inglés británico de forma predeterminada, y se puede extender al japonés y al mandarín mediante dependencias opcionales. • Personalización de voz: Incluye múltiples preajustes de voz incorporados (como af_heart, af_nova, bf_emma) y admite ajuste de velocidad (de 0,5x a 2,0x). • Interfaz de usuario y API: Incluye una interfaz de usuario web moderna (con visualización de audio 3D, carga y reproducción de archivos) y una API REST basada en FastAPI (compatible con interfaces TTS y STT al estilo de OpenAI). • Administración de archivos: Los archivos generados se guardan de forma predeterminada en el directorio ~/.mlx_audio/outputs y se pueden abrir directamente en Finder o Explorer. • Integración con Swift: Proporciona el paquete mlx-swift-audio para TTS nativo en macOS e iOS, compatible con la generación de streaming y la salida PCM sin procesar. Otras características incluyen compatibilidad con la clonación de voz (mediante audio de referencia), generación de bloques de audio en tiempo real y opciones opcionales de transmisión y cuantización. Dirección de código abierto