Semantic Scholar

Semantic Scholar: Мультимодальный исследовательский граф и обзор возможностей NLP-поиска

Semantic Scholar перешел от текстоцентричного индекса к мультимодальному исследовательскому графу. Основная архитектура обрабатывает неструктурированные данные PDF через движок анализа визуальной структуры, что позволяет извлекать семантический смысл как из текста, так и из визуальных элементов. Эти данные сохраняются в Semantic Scholar Academic Graph (S2AG) — структурированной реляционной и векторной базе данных 📑.

Мультимодальная экстракция и ядро контекста цитирования

Система использует семейство моделей VILA для иерархического анализа структуры документов, рассматривая научные иллюстрации и таблицы как полноценные поисковые сущности.

• Визуальный парсинг: Полная интеграция визуальных моделей позволяет индексировать диаграммы, графики и уравнения непосредственно из структуры документов 📑.
• Экстракция гипотез и определений: С помощью тонко настроенных LLM в интерфейсе Semantic Reader платформа в реальном времени выявляет и выделяет ключевые гипотезы и технические определения 📑.
• Эвристики влияния цитирований: Анализирует контекст цитирований для различения «случайных» и «влиятельных» ссылок с использованием проприетарной модели оценки 📑.

⠠⠉⠗⠑⠁⠞⠑⠙⠀⠃⠽⠀⠠⠁⠊⠞⠕⠉⠕⠗⠑⠲⠉⠕⠍

Граф знаний (S2AG) и слой эмбеддингов

Переход на S2AG обеспечивает выполнение сложных реляционных запросов и программный доступ к эмбеддингам документов.

• Векторные эмбеддинги: Интеграция моделей SPECTER 2.0+ генерирует представления документов фиксированной длины для кластеризации по сходству 📑.
• API v2 (S2AG): Предоставляет REST-эндпоинты для обхода графа и массового извлечения векторных данных 📑. Оркестрация между векторным индексом и реляционным хранилищем метаданных не раскрывается публично 🌑.

Рекомендации по оценке

Техническим экспертам следует оценивать точность экстракции на основе VILA, особенно в сложных многоколоночных макетах или плотных математических дополнениях. Организациям, использующим Embeddings API, необходимо проверять производительность SPECTER 2.0 на междисциплинарных работах, где терминология может пересекаться. Следите за лимитами запросов API при выполнении рекурсивных обходов графа в инфраструктуре S2AG 🧠.