Группа исследователей из лаборатории T-Bank AI Research достигла значительного прогресса в области обработки естественного языка, представив инновационную нейросеть под названием ReBased. Эта разработка направлена на оптимизацию работы с длинными текстами и существенное снижение затрат на использование искусственного интеллекта. Информация об этом достижении была опубликована Т-Банком.
ReBased основывается на архитектуре языковых моделей, которая была создана путем усовершенствования уже существующей модели Based, разработанной учеными Стэнфордского университета в конце 2023 года. Специалисты T-Bank AI Research обнаружили возможности для оптимизации структуры нейросети и эффективного использования ресурсов.
Ключевым аспектом новой архитектуры стало улучшение механизма извлечения информации из текста. Исследователи внедрили дополнительные обучаемые параметры, отвечающие за поиск взаимосвязей между различными частями текста. Кроме того, они оптимизировали алгоритм выделения текстовой информации, что привело к значительному повышению производительности системы.
Результаты исследований показали, что понимание контекстуальных связей в тексте улучшилось в среднем на 10% по сравнению с предыдущими моделями. Это достижение открывает новые возможности для применения языковых моделей в различных областях, включая медицину, где ReBased может быть использована для классификации текстов на основе симптомов и диагнозов.
Ярослав Аксенов, исследователь обработки естественного языка в T-Bank AI Research, отметил интересное совпадение: параллельно с их работой группа ученых из Стэнфорда также опубликовала исследование по схожей теме, но с другим подходом к решению проблемы. Это свидетельствует о высокой актуальности данного направления в научном сообществе.
Одним из ключевых преимуществ ReBased является способность значительно снизить затраты на использование искусственного интеллекта для специализированных задач. Это открывает перспективы для более широкого применения языковых моделей в бизнесе, где высокие затраты на вычислительные мощности часто являются ограничивающим фактором.
Кроме того, оптимизация использования ресурсов может иметь положительное влияние на окружающую среду. Снижение энергопотребления в области вычислений, особенно в крупных центрах обработки данных, способствует уменьшению выбросов парниковых газов и общего негативного воздействия на экологию.
