Информатика и ИИ · эксперимент
Собери команду из тридцати ИИ
Вопрос Ферми, команда ответов ИИ и их среднее. Увеличь команду, смешай модели и посмотри, что толпа может исправить, а что нет.
1 · Что стирает среднее
Начальный
Когда ты усредняешь ответы одной модели на вопрос, какую часть их ошибки можно стереть?
Увеличивай команду, с общей долей, измеренной на realFP, до тридцати ответов.
2 · Смешай модели
Средний
У двух ответов разных моделей меньше общей ошибки: примерно ρ = 0,591. Скольких независимых агентов стоит команда из тридцати при такой общей доле?
3 · Тысяча агентов
Продвинутый
Вернись к одной модели, ρ = 0,906, но с командой из тысячи ответов. Скольких независимых агентов она стоит?
4 · Что пришлось бы изменить
Продвинутый
Что пришлось бы изменить, чтобы команда из тридцати стоила пяти независимых агентов?
Проверь это: уменьшай общую долю, пока команда из тридцати не будет стоить хотя бы пяти независимых агентов.
Команда собрана
—