Невидимая маркировка текстов в ChatGPT от OpenAI.
119

Невидимая маркировка текстов в ChatGPT от OpenAI.

Автор: nadya

OpenAI внедряет в ChatGPT систему неявной идентификации сгенерированного контента в странах Евросоюза. Это нововведение обусловлено требованиями европейского регламента об искусственном интеллекте, согласно которому необходимо обеспечить программное распознавание материалов, созданных генеративными алгоритмами.

В основе решения лежит механизм textGrain, который не внедряет в текст скрытые символы, лишние пробелы или экзотические знаки. Вместо этого он изменяет статистическую частотность выбора лексем и токенов по заданной схеме. Такой подход позволяет специализированному детектору с высокой вероятностью устанавливать источник текста.

Ранее OpenAI уже разрабатывала аналогичный инструмент, однако не запускала его в широкое использование из-за риска ложных срабатываний, например, при оценке студенческих работ. Сейчас маркировка постепенно начинает применяться к материалам, создаваемым пользователями ChatGPT и Codex на территории ЕС.

Тем не менее данная технология остаётся чувствительной к правкам. Внутренние испытания показали, что детектор верно определял около 80% помеченных фрагментов длиной 200 токенов и до 95% фрагментов на 400 токенов. Однако при замене четверти слов точность распознавания падает примерно до 17%.

ОpenAI отмечает, что наличие маркера не служит доказательством полного копирования текста из ChatGPT: система не указывает, какая доля материала была сгенерирована ИИ и насколько существенно его доработал человек. Аналогичный метод маркировки для соблюдения норм ЕС применяет и Anthropic в ряде моделей Claude.

Похожие материалы

Как CAPTCHA обучала ИИ: от оцифровки книг до управления беспилотниками
CAPTCHA искусственный интеллект обучение нейросетей беспилотные автомобили

Как CAPTCHA обучала ИИ: от оцифровки книг до управления беспилотниками

Каждая пройденная CAPTCHA — это бесплатный труд по обучению нейросетей. Текстовые капчи …

Zala БпЛА искусственный интеллект бортовая электроника

Zala представила бортовую вычислительную платформу «Арсенал» для БпЛА

Компания Zala анонсировала платформу «Арсенал» для обработки данных на борту БпЛА в …

Zala БПЛА искусственный интеллект бортовая электроника

Zala представила бортовую платформу «Арсенал» для автономной работы дронов

Компания Zala анонсировала вычислительную платформу «Арсенал» для своих БПЛА. Система обеспечивает обработку …

Почему ИИ не уничтожит человечество: разбор мифов о сверхинтеллекте
искусственный интеллект Джеффри Хинтон безопасность ИИ философия технологий

Почему ИИ не уничтожит человечество: разбор мифов о сверхинтеллекте

Анализ тезисов Джеффри Хинтона об угрозе ИИ. Почему страхи потери контроля преувеличены: …