**Estimativas de Precisão: Uma Nova Fronteira para Modelos de IA**
Pesquisadores do MIT estão avançando na precisão das previsões de modelos de inteligência artificial ao desenvolver uma técnica inovadora que melhora a quantificação da incerteza. Essa abordagem é crucial para aplicações críticas, como diagnósticos médicos a partir de imagens ou triagem de aplicativos.
A nova técnica, conhecida como IF-COMP, utiliza o princípio do comprimento mínimo de descrição (MDL) para avaliar e calibrar a incerteza de modelos de aprendizado de máquina. Ao contrário de métodos tradicionais que dependem de suposições complexas, o MDL permite que o modelo considere múltiplos cenários alternativos ao rotular dados. Por exemplo, ao analisar uma imagem médica, o modelo pode indicar sua confiança em identificar um derrame pleural com base na consistência dos dados analisados.
O MDL funciona medindo a complexidade dos dados estocásticos necessários para descrever cada ponto de dados. Se o modelo está confiante em sua decisão, usa um código mais curto; se está incerto, utiliza um código mais longo para refletir a variedade de possíveis rótulos. Essa abordagem não apenas melhora a precisão das estimativas de incerteza, mas também é escalável para modelos de aprendizado profundo, amplamente utilizados em cuidados de saúde e outras áreas críticas.
Para acelerar o processo, os pesquisadores implementaram a função de influência e o escalonamento de temperatura, técnicas que melhoram a calibração das saídas do modelo. Isso permite que o IF-COMP forneça estimativas eficientes e bem calibradas da incerteza do modelo, revelando onde podem ocorrer previsões incorretas e destacando pontos de dados discrepantes.
A pesquisa, liderada por Nathan Ng, estudante de pós-graduação do MIT, em colaboração com Roger Grosse e Marzyeh Ghassemi da Universidade de Toronto, será apresentada na Conferência Internacional sobre Machine Learning. Ng enfatiza a importância de melhorar a calibração dos modelos para alinhar suas previsões com as expectativas humanas de incerteza, especialmente em aplicações onde a confiabilidade é crucial.
No futuro, os pesquisadores planejam expandir sua abordagem para grandes modelos de linguagem e explorar novos casos de uso para o MDL, oferecendo ferramentas mais robustas para ajudar profissionais a tomar decisões informadas em uma variedade de cenários do mundo real.