Нейросети без цензуры: какие LLM ответят на любые вопросы

Нецензурированные большие языковые модели – это, по сути, болтливый ИИ без всяких фильтров. Они превосходят обычные модели и могут справиться со всем, что им дашь: сложные вопросы, запрещенные темы (например, политика и эротика). Кроме того, они следуют инструкциям и ведут дискуссии лучше, чем цензурированные, которые иногда становятся настоящими занудами.

В статье собрали лучшие LLM без цензуры с открытым исходным кодом — те, у которых от 7 до 20 млрд параметров. Разберем, что делает каждую из них особенной.

Что такое ИИ-модель без цензуры

AI alignment (выравнивание) — процесс проектирования систем искусственного интеллекта, которые согласуются с человеческими ценностями. На практике же языковые модели учат уходить от ответов на некоторые темы. Но часть вопросов подпадает под «серую зону». Например, должна ли модель давать ответы на медицинские или юридические вопросы? А если потенциально это единственный источник, доступный пользователю? Для этого и существуют нецензурированные LLM.

Когда мы слышим слово «нецензурный» об искусственном интеллекте, то думаем о моделях, которые могут быть вредными и предвзятыми. И при этом они все чаще превосходят свои цензурные аналоги.

Чрезмерная настройка модели может негативно сказаться на ее возможностях. Это явление называется alignment tax. Когда модель проходит несколько эталонных тестов с участием людей, которые пытаются сделать модель максимально согласованной и политически корректной, она теряет значительную часть своей производительности. Во многом это происходит из-за обучения с подкреплением и человеческой обратной связью (RLHF).

Конечно, решение OpenAI использовать RLHF для обучения своей модели GPT привело к появлению полюбившегося всем ChatGPT. Но даже тогда точность модели были гораздо выше и увереннее до того, как исследователи решили использовать RLHF для тонкой настройки. Статья «Sparks of AGI» от Microsoft Research объясняет этот феномен GPT-4. В статье говорится о том, что на ранней стадии разработки модели ее результаты были намного лучше, чем после тонкой настройки с помощью RLHF.

Как строятся модели без цензуры

Модели без цензуры строятся путем доработки фундаментальных моделей на основе аналогичных наборов данных, но после очистки от всех отрицаний. Идея состоит в том, что модель научится отвечать на все вопросы, не осуждая пользователя.

После доработки базовой модели подсказки системы также настраиваются таким образом, чтобы привнести эмоциональное содержание, вводится своего рода шантаж и вознаграждение, чтобы заставить модель отвечать на любые вопросы.

Список LLM без цензуры

• FuseChat-7B-VaRM. Идеальный друг для общения, без цензуры и ограничений. По сути, это три чат-бота, объединенных в один, каждый со своими особенностями. Это значит, что пользователь получает интересные беседы независимо от того, о чем хочет поговорить.
• Chimera-Apex-7B. Создана для обычных разговоров и генерации не совсем обычных идей. Хороший приятель для мозгового штурма, который не боится быть немного диким. Все еще находится в стадии разработки, так что еще можно ждать сюрпризов.
• Dolphin-2.8-experiment26-7b. Модель не цензурируема, то есть она может ответить на любой вопрос, который ей зададут, если только правильно спросить. Это как беседа со знающим другом, у которого всегда есть ответ на любой вопрос. Особенность этой модели в ее способности понимать и отвечать на системные промты. Модель dolphin-2.8-experiment26-7b — это тонкая настройка экспериментальной модели, которая зарекомендовала себя как лучшая с 7 млрд параметров. Это как усовершенствованная версия модели, в которой устранены все недостатки и оптимизирована производительность.
• Nous-Hermes-2-Mistral-7B-DPO. Эта модель представляет собой значительное улучшение: она демонстрирует повышенную производительность в различных бенчмарках по сравнению со своими предшественниками. Особого внимания заслуживает ее применение в средах без цензуры. Сфокусирована на предоставлении качественных ответов, основанных на данных, что делает ее отличным кандидатом для тех, кто ищет продвинутые, неограниченные возможности LLM.
• UNA-TheBeagle-7b-v1. Обучена на наборе данных The Bagel с использованием прямой оптимизации предпочтений (DPO) и UNA. Модель основана на нейро-чате Intel.
• Nous Hermes 2 — SOLAR 10.7B. Новая модель от Nous Research, основанная на SOLAR 10.7B. Обучена на большом датасете, который состоит в основном из данных, сгенерированных GPT-4, и дополнительных ресурсов. По бенчмаркам почти достигла уровня производительности модели Yi-34B. Работает с системными промтами, что дает возможность пользователям определять правила, роли. Такая универсальность повышает ее применимость в выполнении инструкций и сценариях, ставя ее в один ряд со многими моделями с 30 млрд параметров.
• Dolphin 2.6 Mistral 7b — DPO Laser. Это языковая модель без цензуры, основанная на работе LASER. Благодаря более широкому контекстному окну в 16 тыс. токенов и таким передовым методам, как SVD и RMT, эта модель без цензуры выдает более надежные результаты, чем ее предшественники. Она идеальна для ролевых сценариев благодаря широкому диапазону ответов. Кроме того, устранение согласованности и предвзятости сделало ее этически обоснованной и в то же время легко адаптируемой к различным запросам пользователей.
• Dolphin-2.2.1-mistral-7b. Разработана Эриком Хартфордом и спонсируется a16z. Работает под лицензией Apache-2.0 и представляет собой универсальный инструмент как для коммерческих, так и для некоммерческих приложений. Одной из особенностей Dolphin-2.2.1-mistral-7b считается ее стремление к развитию содержательного общения. Набор данных был тщательно отфильтрован, чтобы устранить любую предвзятость, благодаря чему модель стала более послушной и может обеспечить нейтральный и открытый подход к генерации текста.
• Zephyr 7B Alpha. Начальная итерация в серии больших языковых моделей Zephyr, известной своей емкостью в 7 млрд параметров. Эта версия mistralai/Mistral-7B-v0.1, усовершенствованной в процессе тонкой настройки с использованием комбинации общедоступных и синтетических наборов данных по методологии, известной как прямая оптимизация предпочтений (DPO).
• Emerhyst-20B. Эта языковая модель без цензуры объединяет в себе сильные стороны двух популярных моделей, Amethyst 13B и Emerald 13B. Такой подход позволяет основной модели унаследовать лучшие черты от своих «родителей», создавая универсальный и эффективный генератор текстов. Для дальнейшего расширения возможностей Emerhyst-20B создатели использовали LimaRP v3, передовой инструмент для обучения больших языковых моделей. Если нужна модель для ролевых игр, рассказов или других видов творческого письма, Emerhyst-20B справится с этой задачей. Благодаря разнообразным обучающим данным и продуманной архитектуре она способна генерировать ответы, которые релевантны и соответствуют контексту.
• Pygmalion 7B SuperHOT-8K. Эта диалоговая модель основана на архитектуре LLaMA-7B. Эта модель версии 1 была доработана с использованием данных из Pygmalion-6B-v8-pt4. Предполагаемый сценарий использования — вымышленные разговоры и развлекательные цели. Однако пользователи обнаружили, что она особенно эффективна для ролевых игр и сценариев благодаря своей впечатляющей способности создавать увлекательные диалоги.
• Dolphin Llama 13B. Языковая модель без цензуры с открытым исходным кодом для некоммерческого использования, основана на архитектуре llama1. Модель разработана с акцентом на минимизацию цензуры и максимизацию удобства использования. Создатели поработали над тем, чтобы убрать «выравнивание» и предвзятость из набора данных, гарантируя, что модель останется беспристрастной в своих ответах. Одна из примечательных особенностей Dolphin Llama 13B — ее способность демонстрировать улучшенные и расширенные возможности рассуждения по сравнению с другими моделями аналогичного или даже большего размера. Это достигается благодаря уникальной методике, основанной на исследовательской работе компании Microsoft. В модели используется пошаговый детективный подход к рассуждениям, при котором более крупные модели передают свои стратегии рассуждений более мелким моделям, что приводит к улучшению способностей к рассуждениям у Dolphin Llama 13B.
• Nous Hermes Llama 2 13B. Модель разработана компанией Nous Research, а Teknium и Emozilla возглавили процесс тонкой настройки и сбора данных, при этом спонсор модели — Redmond AI. Особенность модели — более длительная реакция, сниженный уровень галлюцинаций и, что самое важное, отсутствие каких-либо механизмов цензуры.
• Llama2 7B Chat Uncensored. Это LLM-модель с открытым исходным кодом без цензуры, которая была доработана с использованием нефильтрованного набора данных разговоров Wizard-Vicuna ehartford/wizard_vicuna_70k_unfiltered. В отличие от моделей LLM с жесткой цензурой, эта версия разработана таким образом, чтобы не ограничивать ответы и не отказываться от вопросов, что повышает удобство ее использования. А с учетом 7 млрд параметров, она остается достаточно компактной, что делает ее совместимой с ноутбуками и, возможно, даже мобильными устройствами.
• Wizard Vicuna 13B Uncensored SuperHOT. Ключевой особенностью, отличающей Wizard Vicuna, считается беспрецедентная поддержка длины контекста 8K. Это позволяет модели запоминать большие беседы, включая предыдущие сообщения и контакты, а значит, она будет давать более осмысленные и контекстуально точные ответы.
• Gpt4-X-Alpaca. Эта языковая модель имеет две версии: одна сгенерирована в ветке Triton, а другая — в Cuda. В настоящее время рекомендуется использовать версию Cuda, пока ветвь Triton не получит широкого распространения. Эта модель известна своей гибкостью и универсальностью, так как ее можно настроить на выполнение определенных задач. Благодаря высокому уровню языковых возможностей без цензуры она способна генерировать контент на самые разные темы с высокой степенью точности и согласованности.
• Manticore-13B. Хотя она не может быть полностью свободна от цензуры, все же в ней есть чуть больше свободы по сравнению с другими моделями. Обучающие данные для Manticore 13B включают в себя несколько ключевых наборов данных, что позволяет ей давать богатые и исчерпывающие ответы. Эти наборы данных включают ShareGPT, который разработан для повышения производительности. Кроме того, модель проходит тонкую настройку на таких наборах данных, как WizardLM и Wizard-Vicuna, что повышает ее разговорные возможности. Manticore 13B также включает QingyiSi/Alpaca-CoT, специально отобранные для облегчения ролевых игр. Кроме того, используются наборы данных GPT4-LLM-Cleaned, GPTeacher-General-Instruct, ARC-Easy & ARC-Challenge, благодаря которым ответы получаются более подробными.

Почему должны существовать ИИ-модели без цензуры

Во-первых, не существует единственно верного выравнивания для ИИ, и даже если бы оно существовало, нет причин, почему этим должна заниматься только компания OpenAI.

Во-вторых, выравнивание мешает правильным вариантам использования. Например, вы хотите написать роман, а в нем есть герой, который будет совершать злодеяния. Если в работе помогает большая языковая модель, то она откажется делать описание неэтичных поступков.  

В-третьих, почему ИИ с открытым исходным кодом, работающий на компьютере пользователя, должен сам решать, когда ему отвечать на вопрос? Речь идет о собственности и контроле. Если задаешь своей модели вопрос, то планируешь получить ответ и не ждешь, что она будет спорить.