Civetta — Piattaforma RAG Enterprise
In collaborazione con E38
Un sistema di Retrieval-Augmented Generation (RAG) distribuito che fa da assistente virtuale intelligente in ambito enterprise, costruito su un'architettura a microservizi scalabile, con supporto multi-tenant e gestione dei documenti senza codice. Il sistema combina elaborazione avanzata dei documenti, ricerca vettoriale e orchestrazione di LLM per offrire assistenza AI specifica per dominio nei settori legale, business intelligence e supporto clienti.
Architettura
- Microservizi: orchestratore e frontend in TypeScript con pipeline RAG in Python, per unire robustezza da produzione e flessibilità da ricerca nell'elaborazione dei documenti.
- Elaborazione multimodale dei documenti: quattro pipeline di chunking specializzate — Mistral OCR per i PDF, chunking semantico, analisi per sezioni e Z-chunking con LLaMA 3 70B — per suddividere al meglio i contenuti.
- Pipeline RAG avanzata: database vettoriale su Redis con ricerca per similarità, elaborazione delle immagini con modelli visivi e generazione di didascalie contestuali rifinite con l'LLM o1-mini.
Funzionalità enterprise
Orchestrazione multi-tenant con isolamento dei clienti e onboarding dinamico. Interfaccia no-code per caricare documenti, gestire le chiavi API e configurare le pipeline in autonomia. Risposte in streaming in tempo reale tramite Server-Sent Events, con infrastruttura completa di osservabilità e monitoraggio. Integrazione con lo storage a oggetti MinIO per i documenti e con Azure OpenAI per l'inferenza dei modelli.
Tecnologie
Ti serve qualcosa di simile?
Sviluppo soluzioni come questa per aziende di Modena, dell'Emilia-Romagna e di tutta Italia.
Contatti
Mettiamoci in contatto
Hai un progetto in mente o vuoi semplicemente fare due chiacchiere? Scrivimi su LinkedIn o via email — rispondo sempre.