A principios de este año, el Departamento de Educación de Australia del Sur se enfrentó a un desafío crucial: ¿cómo introducir la IA generativa en las aulas de manera segura y responsable? La respuesta a esta pregunta no sólo impactaría la educación de los estudiantes, sino que también sentaría un precedente en el uso de esta tecnología en entornos educativos.

La principal preocupación era clara: proteger a los estudiantes de contenidos potencialmente dañinos o inapropiados que pudieran surgir de modelos de lenguaje generativos, que a menudo se entrenan en vastas extensiones de Internet sin filtros. Simon Chapman, director de arquitectura digital del departamento, señaló que lo que se encuentra en las versiones públicas de IA generativa es insuficiente para la educación, ya que no existen barreras de seguridad para regular la interacción de los estudiantes con ella.

Sin embargo, hoy en día, el Departamento de Educación de Australia del Sur está finalizando una prueba piloto exitosa de EdChat, un chatbot impulsado por inteligencia artificial que involucró a casi 1,500 estudiantes y 150 profesores de ocho escuelas secundarias. EdChat demostró su capacidad para ayudar en investigaciones y lecciones educativas, desde la división celular hasta la trama de “De ratones y hombres” de John Steinbeck.

La clave del éxito radicó en la implementación de Azure AI Content Safety de Microsoft, una plataforma impulsada por IA que proporciona barreras de seguridad sólidas. Las funciones integradas de seguridad de EdChat bloquearon consultas inapropiadas y filtraron respuestas dañinas, lo que permitió a los maestros centrarse en los beneficios educativos de la tecnología en lugar de preocuparse por supervisar el contenido.

Este hito se ha logrado gracias a la disponibilidad general de Azure AI Content Safety, una plataforma que utiliza lenguaje avanzado y modelos de visión para detectar contenido de odio, violencia, sexual y autolesiones. Cuando se detecta contenido potencialmente dañino, se asigna una puntuación de gravedad estimada, permitiendo a las organizaciones personalizar el servicio según sus políticas.

Microsoft ha estado trabajando activamente en la IA responsable, con casi 350 personas dedicadas a esta tarea. Han abogado por una gobernanza responsable de la IA, apoyado compromisos voluntarios en la Casa Blanca de EE. UU., establecido un Estándar de IA Responsable y proporcionado herramientas como el Responsible AI Dashboard de Azure Machine Learning a sus clientes.

Azure AI Content Safety es un ejemplo destacado de cómo Microsoft pone en práctica estos principios. La plataforma es personalizable para adaptarse a diferentes casos de uso, lo que permite a empresas de diversas industrias, como la energía Shell, beneficiarse de la IA generativa de manera segura. Shell E, una plataforma de inteligencia artificial generativa desarrollada por Shell, utiliza Azure AI Content Safety para generar texto e imágenes, al tiempo que restringe respuestas inapropiadas o dañinas.

Con la proliferación de la IA generativa, también aumentan las amenazas potenciales en línea. Microsoft continuará mejorando su tecnología a través de investigaciones y comentarios de los clientes para mantenerse al tanto de estas amenazas. Además, están trabajando en modelos multimodales para fortalecer la detección de contenido objetable en combinaciones de imágenes y texto, como memes.

La seguridad y la confianza son aspectos fundamentales de la estrategia de Microsoft en la era de la IA. Azure AI Content Safety se basa en décadas de experiencia en moderación de contenido y aprovecha potentes modelos de lenguaje y visión para proporcionar una adopción amplia de la IA en la que los consumidores pueden confiar.

En resumen, la introducción exitosa de la IA generativa en la educación de Australia del Sur y el papel crucial de Azure AI Content Safety de Microsoft demuestran cómo la tecnología y la seguridad pueden ir de la mano para impulsar avances en la educación y en diversas industrias.