Apple продолжает работы в области искусственного интеллекта. Компания совместно с Калифорнийским университетом выпустила модель ИИ с открытым исходным кодом для редактирования фотографий с помощью простых текстовых команд под названием MGIE (MLLM-Guided Image Editing).
Она позволяет осуществлять редактирование изображений при помощи инструкций пользователя на естественном языке. Например, если пользователь захочет изменить насыщенность цвета, ему достаточно просто сказать — «сделай небо более синим». MGIE интерпретирует это следующим образом — «определить и выбрать небо, а потом увеличить насыщенность цвета в этой области на 20%».
Модель позволяет реализовывать стандартный функционал Photoshop — обрезку изображений, изменение размера, переворачивание, вращение, использование фильтров, изменение фона, удаление/добавление объектов, смешивание изображений. MGIE также способна изменять яркость, контрастность, резкость, цветовой баланс изображений, создавать эскизы, прорисовывать детали, рисовать карикатуры. Помимо этого, модель может редактировать часть изображения или некий объект на нем. Например, лицо, волосы, глаза, одежду, аксессуары, их форму, цвет, размер, текстуру, стиль.
MGIE является вторым значимым достижением Apple в области ИИ за последнее время. В конце декабря в сети появилась информация о том, что купертиновцы добились успехов в развертывании больших языковых моделей (LLM) на iPhone и других устройствах с ограниченной памятью, разработав инновационную технику использования флэш-памяти.
Что касается MGIE, то сейчас модель доступна на GitHub. Там можно найти код, справочные данные и предварительно обученные модели.