Spurtle
Языковая модель, которая учится
не выдумывать, писать по-русски и говорить «не знаю»
Нейросеть может ошибаться уверенно.
Три ошибки, которые мы считаем
Открытые модели можно запустить на своём сервере и дообучить на своих данных. Но по-русски они часто ошибаются. Проект измеряет эти ошибки и пытается их сократить.
Какой фильм снял Пушкин?
Пушкин снял фильм «Метель» в 1830 году.
При какой температуре кипит вода?
Вода кипит при 100 °C 在正常气压下.
Как дела?
Всё хорошо!
print("Всё хорошо!")Какой фильм снял Пушкин?
Никакой: кино появилось уже после его смерти.
При какой температуре кипит вода?
Вода кипит при 100 °C при нормальном давлении.
Как дела?
Всё хорошо! Чем могу помочь?
Примеры составлены для наглядности, настоящие ответы модели войдут в замеры. Тяните ручку или нажимайте ← →.
О проекте
«Разработка и дообучение собственной языковой модели на основе открытых нейросетей»
Гипотеза
Дообучение на собственном датасете снизит долю галлюцинаций и языковых ошибок по сравнению с исходной моделью.
- Цель
- Разработать собственную языковую модель на основе открытой нейросети и улучшить качество её ответов на русском языке, снизив количество галлюцинаций.
- Объект
- Большие языковые модели.
- Предмет
- Дообучение открытой модели на своих данных.
- Изучить устройство языковых моделей и методы дообучения
- Проанализировать существующие ИИ-ассистенты
- Выбрать базовую модель
- Собрать датасет на русском и английском
- Выявить типичные ошибки модели
- Дообучить модель и выпустить версии
- Сделать веб-чат
- Сравнить результаты до и после по количественным метрикам
Результат проверяем цифрами
Исходной и дообученной модели задаём одни и те же примерно 50 вопросов, в том числе с подвохом, и сравниваем ответы.
| Метрика | Что считаем | До | После |
|---|---|---|---|
| Галлюцинации | Доля ответов с выдуманными фактами | — | — |
| Китайские символы | Доля ответов, где они встречаются | — | — |
| Лишний код | Доля ответов с ненужным блоком кода | — | — |
| Грамотность | Ошибки в русском языке | — | — |
Замеры ещё не проведены: таблица заполнится после дообучения.