Прозрачные нейросети: Model Explorer позволяет заглянуть внутрь «черного ящика» ИИ

Google представила новый инструмент для визуализации графов машинного обучения Model Explorer, который позволяет исследовать, отлаживать и оптимизировать ML-модели, визуализируя их в интуитивно понятном иерархическом формате.

Визуализация графов играет ключевую роль в процессе разработки моделей. Она помогает находить и исправлять ошибки конверсии и квантования, выявлять узкие места в производительности, находить паттерны для оптимизации и лучше понимать архитектуру модели. Такие функции особенно полезны при развертывании моделей на устройствах с ограниченными ресурсами, такими как мобильные устройства.

Однако рост масштаба и сложности современных моделей, таких как Transformers и Diffusers, создает значительные трудности для существующих инструментов визуализации. Крупные Transformer-модели часто перегружают традиционные визуализаторы, что приводит к сбоям в отображении или чрезмерной сложности визуализации.

Model Explorer разработан для решения таких проблем. Инструмент способен визуализировать большие модели и предоставлять иерархическую информацию, такую как названия функций и области видимости.

Model Explorer поддерживает множество форматов графов, включая те, что используются в JAX, PyTorch, TensorFlow и TensorFlow Lite. Изначально разработанный для исследователей и инженеров Google, Model Explorer теперь доступен в рамках линейки продуктов Google AI Edge.

Model Explorer особенно полезен при развертывании крупных моделей на устройствах, где визуализация данных о конверсии, квантовании и оптимизации играет важную роль. Инструмент сочетает графические техники, используемые в производстве 3D-игр и анимации, адаптируя их для визуализации графов. Это позволяет понимать архитектуру модели, отлаживать ошибки конверсии и проблемы производительности.

GPU-ускоренный рендеринг на базе WebGL и three.js обеспечивает плавную работу с частотой 60 FPS, создавая реалистичное движение и взаимодействие даже с графами, содержащими десятки тысяч узлов. Инструмент также использует технику инстансинга для одновременного отображения множества копий объектов в различных местах сцены. Пример с графом из 50 000 узлов и 5 000 рёбер демонстрирует плавность работы на Macbook Pro 2019 года с интегрированной графикой.

Для отладки ошибок конверсии Model Explorer предлагает режим сравнения графов «бок о бок», что позволяет находить ошибки конверсии, сравнивая формы и типы данных входов и выходов слоёв.

Еще одной важной функцией Model Explorer является возможность наложения данных на узлы графа, что позволяет сортировать, искать и стилизовать узлы на основе этих данных. В сочетании с иерархическим видом, пользователи могут быстро локализовать проблемы производительности или числовые ошибки в определенной области графа.

Model Explorer предлагает новый мощный способ анализа архитектуры и отладки моделей любого размера, не жертвуя пользовательским опытом и производительностью рендеринга. Инструмент предоставляет чёткое представление структуры модели, улучшает понимание с помощью слоёв и группировок, а также включает функции отладки и инсайты на уровне слоёв для поддержки анализа моделей.