Progetti e interpretazioni
AI locale e integrazioni aziendali — Simone Renzi
Valutare AI locale, API e integrazioni software: dati, hardware, controllo degli accessi e qualità delle risposte.
Scegliere dove eseguire il modello
Un sistema locale esegue il modello sull’infrastruttura scelta per il progetto. Un servizio via API affida invece l’inferenza a un fornitore. Sono opzioni diverse: vanno valutate rispetto ai dati, all’hardware disponibile, alla manutenzione e ai requisiti del processo. La sola collocazione del modello non sostituisce la gestione degli accessi e dei log.
Una prova prima dell’integrazione
La valutazione può partire da un insieme di domande rappresentative e documenti utilizzabili per il test. Si confrontano risposte, errori, tempo di elaborazione e consumo di risorse. Un chatbot che consulta documenti deve anche permettere di risalire alle fonti e gestire le domande per cui non dispone di una risposta affidabile.
Il riferimento RunAI
RunAI è il progetto del portfolio dedicato all’infrastruttura AI e alle API compatibili con OpenAI. È un riferimento concreto per esplorare l’integrazione tramite API; un’installazione on-premise richiede una valutazione separata dell’ambiente del cliente.