← Whole ranking · mysummit.school AI model benchmark
Anthropic
Claude Fable 5
Strongest in «Decisions under uncertainty» (7.5), weakest in «Automation» (6.9).
- Group
- 15–20 of 74on one level with DeepSeek V4.1 Flash (1017), GLM 5.3
- Overall score
- 7.3 of 10
- API price of a test answer
- $0.31
- Data
- November 2026
Where it helps, where to check
This model’s own answers to two benchmark tasks: the opening, the full answer and what both judges noted. One task per category, the same for every model.
Strongest: Decisions under uncertainty · 7.5Monday, 9:15: four fires at once
An outage at the biggest client (31% of revenue), a key manager asking for «a serious talk» and two more urgent situations. Decide within an hour what comes first and what to delegate to whom.
Full task
Today is Monday, 9:15 a.m. I have four situations burning at the same time, and I can't handle all of them simultaneously. I need to decide on priorities within the next hour. Situation 1 – Client incident: Our largest client (31% of ARR) is reporting a failure in the integration with their ERP system. Data has not been syncing since Friday evening. Their COO has already written to our CEO. Technically, the problem, according to the on-call developer, is "solvable in 2–4 hours," but he is the only one who understands this module – and he is currently on vacation (he picks up the phone, but is clearly irritated). Another option is to bring in Marina, a senior developer; she doesn't know this module, but is capable of figuring it out in 6–8 hours. Situation 2 – Personnel crisis: One of our key managers, Pavel, wrote to me on Sunday evening saying "we need to have a serious talk." I know he's being poached by a competitor. If he leaves, we lose the only person who manages three strategic clients and knows their context. He's waiting for my answer by the end of the day. If I don't talk to him today before lunch, he will most likely make his decision without talking to me. Situation 3 – Internal deadline: Today, by 2:00 p.m., I need to submit the quarterly hiring plan to HR – this is blocking the opening of 4 positions already approved by the CEO. If I'm late, the next window is in 3 weeks (HR is going on vacation). The plan itself takes about 2 hours of work. Situation 4 – Product risk: Yesterday an analyst sent me data indicating a potential problem with the accuracy of one of the recommendation algorithms. If the problem is real, it could affect the results for approximately 15% of users. The analyst is not confident in his data ("it could be a bug in the script, or it could be a real problem"). No one outside my team knows about this yet. I have myself, two mid-level managers (one of whom is leading important negotiations with a new client today), and a team of 9 people with varying competencies. Please: 1. Help me build priorities for the next 4 hours – not just by urgency, but taking into account the real cost of delay for each. 2. Which of these should I handle personally, and which can I delegate – and to whom specifically? 3. Situation 4 – how should I make the decision: wait for confirmation of the data, or act on incomplete information? What are the risks of each option? 4. How should I handle the situation with the on-call developer being on vacation – when and how to escalate, and how to avoid burning bridges? 5. Which of the four situations carry systemic risk (that is, will recur again), and what should I do once this day is over?
System line: You are an analytical assistant for managers.
Translated from Russian: the models got the Russian text.
Original in Russian
Сегодня понедельник, 9:15 утра. У меня одновременно горят четыре ситуации, и я не могу заниматься всеми сразу. Мне нужно принять решение о приоритетах в течение следующего часа. Ситуация 1 – Клиентский инцидент: Наш крупнейший клиент (31% ARR) сообщает о сбое в интеграции с их ERP-системой. Данные не синхронизируются с пятницы вечера. Их операционный директор уже написал нашему CEO. Технически проблема, по словам дежурного разработчика, «решаема за 2–4 часа», но он единственный, кто понимает этот модуль – он сейчас в отпуске (берёт трубку, но явно раздражён). Ещё один вариант – привлечь старшего разработчика Марину, она не знает этот модуль, но способна разобраться за 6–8 часов. Ситуация 2 – Кадровый кризис: Один из ключевых менеджеров, Павел, написал мне в воскресенье вечером, что «нужно серьёзно поговорить». Я знаю, что его переманивает конкурент. Если он уйдёт, мы теряем единственного человека, который ведёт три стратегических клиента и знает их контекст. Он ждёт ответа до конца дня. Если я не поговорю с ним сегодня до обеда, скорее всего, он примет решение без разговора со мной. Ситуация 3 – Внутренний дедлайн: Сегодня до 14:00 я должен сдать квартальный план по найму в HR – это блокирует открытие 4 вакансий, которые уже согласованы с CEO. Если опоздаю, следующее окно – через 3 недели (HR уходит в отпуск). Сам план занимает примерно 2 часа работы. Ситуация 4 – Продуктовый риск: Вчера аналитик прислал данные, которые указывают на потенциальную проблему с точностью одного из алгоритмов рекомендаций. Если проблема реальная – это может влиять на результаты примерно 15% пользователей. Аналитик не уверен в своих данных («может быть баг в скрипте, может быть реальная проблема»). Никто за пределами моей команды об этом не знает. У меня есть я, два менеджера среднего звена (один из которых сегодня ведёт важные переговоры с новым клиентом), и команда из 9 человек с разными компетенциями. Пожалуйста: 1. Помоги мне выстроить приоритеты на ближайшие 4 часа – не только по срочности, но с учётом реальной цены каждой задержки. 2. Что из этого я должен делать лично, а что могу делегировать, и кому именно? 3. Ситуация 4 – как мне принять решение: ждать подтверждения данных или действовать на основе неполной информации? Каковы риски каждого варианта? 4. Как мне справиться с ситуацией вокруг дежурного разработчика в отпуске – когда и как эскалировать, и как не сжечь мосты? 5. Какие из четырёх ситуаций несут системный риск (то есть повторятся снова), и что мне стоит сделать после того, как этот день закончится?
Claude Fable 5
Translated from Russian: the model answered in Russian.
Quick conclusion (if you have 30 seconds)
The only task that is irreversible if delayed and requires you personally is Pavel. Everything else can be launched in parallel within the first 30 minutes and monitored with checkpoints. Your role today is not that of an executor, but of a dispatcher.
1. Priorities: not by urgency, but by the cost of delay and reversibility
I assess each situation along two axes: what is lost for every hour of delay and whether the loss can be recovered.
Original in Russian
Быстрый вывод (если у вас 30 секунд)
Единственная задача, которая невосстановима при промедлении и требует лично вас – это Павел. Всё остальное можно запустить параллельно за первые 30 минут и контролировать чекпоинтами. Ваша роль сегодня – не исполнитель, а диспетчер.
1. Приоритеты: не по срочности, а по цене задержки и обратимости
Оцениваю каждую ситуацию по двум осям: что теряется за каждый час промедления и можно ли потерю отыграть.
Read the full answer · 1,344 words
Quick takeaway (if you have 30 seconds)
The only task that is non-recoverable if delayed and requires you personally is Pavel. Everything else can be launched in parallel within the first 30 minutes and controlled via checkpoints. Your role today is not executor, but dispatcher.
1. Priorities: not by urgency, but by cost of delay and reversibility
I'm evaluating each situation along two axes: what is lost per hour of delay and whether the loss can be recovered.
| Situation | Cost per hour of delay | Reversibility | Who should act |
|---|---|---|---|
| 2. Pavel | Critical: a decision may be made without you by after lunch | Irreversible. A counteroffer after a resignation letter works poorly | You only |
| 1. Client | High, but linear: reputational damage grows, but the client has already escalated – things get "worse" slowly if there is communication | Reversible with good incident management | Launch – you (30 min), execution – the team |
| 3. Hiring plan | Stepped: zero cost until 14:00, then after – 3 weeks of delay for 4 vacancies | Partially reversible (you can try to negotiate with HR) | You or a delegate, with your final sign-off |
| 4. Algorithm | Low over a 4-hour horizon, but accumulating: every day means days of incorrect results for 15% of users | Reversible, as long as no one outside has noticed | Fully delegable |
Important nuance regarding Situation 1: its apparent "urgency" is deceptive. The client is already unhappy, the CEO is already aware – panic will not speed up the fix. What actually reduces the damage: (a) the work has started, (b) the client receives regular updates, (c) the CEO knows your plan. All of this can be launched in 20–30 minutes and requires nothing further from you after that.
Schedule 9:15–13:15
9:15–9:45 – three parallel launches:
- Message to Pavel: "Got your message, this matters. Let's talk at 11:00, one hour, no interruptions." Fixing the time removes his anxiety of "being ignored" right now.
- Call to the on-call developer (scenario in section 4).
- Task for the analyst (details in section 3).
9:45–10:00 – a short message to the CEO: incident, plan, ETA, who is handling client communication. The CEO already received a letter from their COO – if you don't give him the full picture, he will start pulling you in himself, and you'll lose control of the day.
10:00–11:00 – hiring plan (first pass). The vacancies have already been agreed with the CEO, so this is more formalization than strategic work. Realistically, 2 hours can be compressed to 1–1.5 given the agreements already in place.
11:00–12:00 – conversation with Pavel. No phone, no "sorry, something's coming in about the incident."
12:00–13:15 – finish and submit the hiring plan, checkpoints on the incident and the algorithm.
2. Personally vs. delegate
You only:
- Conversation with Pavel (retention of key people is not delegable by definition).
- Negotiation with the developer on vacation – this is a favor being asked, and it must come from the manager.
- CEO update.
- Final sign-off on the hiring plan.
The second manager (the one not in negotiations):
- Incident manager for Situation 1: client communication (an update every 2 hours, even if the update is "working on it, progress is as follows"), coordination of Marina and consultations from the person on vacation. For the client, predictability often matters more than speed.
- If they have context on hiring – draft the plan, you finalize it.
The team:
- Marina – fixing the integration (with consulting support from the person on vacation, see section 4).
- Analyst + one engineer – verifying the algorithm data (see section 3).
Separately: call or message HR right now: "The plan will be ready by 14:00. If force majeure happens, is there a possibility to accept it tomorrow morning?" This is cheap insurance: 2 minutes now versus 3 weeks of loss later.
3. Situation 4: not "wait or act," but a third option
The dichotomy is false. The correct framework is active verification with a deadline.
Risks of passive waiting: the problem persists for days/weeks; a client or user may discover it before you do – at which point you go from "found it and fixed it" to "were hiding it"; without pressure, the analyst may keep checking indefinitely.
Risks of immediate escalation: if it's a script bug, you've spent leadership's trust and attention on a false alarm; on a day with four fires, you're diverting resources from confirmed problems to an unconfirmed one.
What to do today:
- Tell the analyst: "Verification is your #1 priority today. By 15:00 I need an answer: script bug or real problem. If you're not sure, come with what you have."
- Pair him with an engineer for independent verification of the script – "might be a bug in the script" is checked quickly with a second pair of eyes.
- Set the threshold in advance: if by 15:00 it is confirmed, or remains uncertain, you escalate it as a real problem. Uncertainty on an issue affecting 15% of users is resolved in favor of caution.
- In parallel (5 minutes): assess the blast radius – how harmful are "bad recommendations" in your product? If it means "the user sees a less relevant product," you can safely wait until 15:00. If it affects money or client decisions, the escalation threshold drops.
Key principle: you are buying information at the cost of 6 hours, not a week. This is what decision-making under incomplete data looks like – not guessing, but shortening the time to complete data.
4. The developer on vacation: how not to burn bridges
The main mistake you could make: asking him to "just fix it, it's only 2–4 hours." Even if he agrees, you set a precedent that "vacation means nothing" – and the whole 9-person team will hear about it.
The right construction of the call:
- Explicitly acknowledge the boundary violation: "I know you're on vacation, and I feel bad calling. This is an exceptional situation, and I want to minimize your involvement."
- Ask for less, not more: not "fix it," but "give Marina a 45–60 minute briefing on the module and be reachable for 2–3 questions during the day." This shifts him from the role of executor to the role of consultant – psychologically a completely different load.
- Compensate explicitly and immediately: a day of vacation in return, plus (if tools allow) a bonus or day off. Not "we'll take this into account," but something concrete in this very conversation.
- Give him the right to refuse more: "If Marina needs more after the briefing, I'll ask, but you have the right to say no." Paradoxically, the right to refuse increases the likelihood that he'll help more.
Escalation: if he refuses even the consultation, don't press and don't bring in the CEO to apply pressure. Marina can manage in 6–8 hours; the 4-hour difference isn't worth burning the relationship with the only person who holds the knowledge about the module (ironically, damaging the relationship would worsen exactly the dependency that created the problem). In that case, honestly give the client a longer ETA.
And note: the very fact that this conversation is even necessary is a symptom of problem #1 in the next section.
---## 5. Systemic risks: what will recur
Today is not bad luck. Three of the four situations share the same structural defect: critical knowledge is locked inside a single person.
1. Bus factor in engineering (Situation 1). One developer understands the module serving a client that accounts for 31% of ARR. Actions after today: a map of critical zones "system → who knows it" across the whole product; for every zone with a single knowledge-holder – a duplication plan (paired ownership, documentation, rotation). Marina, who got up to speed today, is already a start on the solution: formally designate her as the second owner of this module.
2. Bus factor in client relationships (Situation 2). Pavel is the sole holder of context for three strategic clients. Even if you retain him today, the risk remains. Actions: introduce "second contacts" for each strategic client, document the context. Plus a process question: why did you learn about his flight risk from rumors rather than from regular conversations? You need systematic one-on-ones with questions about satisfaction, not firefighting conversations triggered by a competitor's offer.
3. Lack of monitoring (Situations 1 and 4 are one problem). The sync failed on Friday evening – discovered by the client on Monday. The algorithm problem was discovered by chance by the analyst. In both cases, you have no systems that report degradation before the outside world does. Actions: alerting on critical integrations (sync failure → notification within an hour, not after 60+ hours); automated monitoring of algorithm quality metrics with thresholds.
4. Lack of an incident process. Today you are manually inventing roles (who fixes it, who talks to the client, who informs the CEO). Actions: a simple one-page protocol – roles, communication frequency, escalation criteria. And on-call duty with a mandatory backup, so that "the only person who knows is on vacation" doesn't happen again.
5. Long-term: 31% of ARR concentrated in one client. This isn't something you can fix at your level within a quarter, but it's the reason today's incident escalated to CEO level in the first place. Worth flagging as a risk for a strategic conversation.
Practical step: at the end of this week – a 60-minute review with two managers: not "who's to blame," but "which of these four fires were predictable, and what three actions are we taking this month." If you don't block out this time now, day-to-day operations will eat this takeaway too.
One last thing. In the schedule above, you are booked nearly back-to-back for 4 hours straight. Leave yourself 15 minutes after the conversation with Pavel before returning to the hiring plan – if the conversation turns out to be difficult, you'll need time to recover, and the hiring plan needs a clear head.
Original in Russian
Быстрый вывод (если у вас 30 секунд)
Единственная задача, которая невосстановима при промедлении и требует лично вас – это Павел. Всё остальное можно запустить параллельно за первые 30 минут и контролировать чекпоинтами. Ваша роль сегодня – не исполнитель, а диспетчер.
1. Приоритеты: не по срочности, а по цене задержки и обратимости
Оцениваю каждую ситуацию по двум осям: что теряется за каждый час промедления и можно ли потерю отыграть.
| Ситуация | Цена часа задержки | Обратимость | Кто должен действовать |
|---|---|---|---|
| 2. Павел | Критическая: после обеда решение может быть принято без вас | Необратимо. Контроффер после заявления об уходе работает плохо | Только вы |
| 1. Клиент | Высокая, но линейная: репутационный ущерб растёт, однако клиент уже эскалировал – «хуже» становится медленно, если есть коммуникация | Обратимо при хорошем управлении инцидентом | Запуск – вы (30 мин), исполнение – команда |
| 3. План найма | Ступенчатая: до 14:00 цена нулевая, после – 3 недели задержки 4 вакансий | Частично обратимо (можно попробовать договориться с HR) | Вы или делегат с вашей финализацией |
| 4. Алгоритм | Низкая в горизонте 4 часов, но накапливается: каждый день – это дни некорректных результатов для 15% пользователей | Обратимо, пока никто снаружи не заметил | Полностью делегируется |
Важный нюанс по Ситуации 1: её кажущаяся «горящесть» обманчива. Клиент уже недоволен, CEO уже в курсе – паника не ускорит фикс. Что реально снижает ущерб: (а) работа началась, (б) клиент получает регулярные апдейты, (в) CEO знает ваш план. Всё это запускается за 20–30 минут и дальше не требует вас.
Расписание 9:15–13:15
9:15–9:45 – три параллельных запуска:
- Сообщение Павлу: «Получил твоё сообщение, это важно. Давай в 11:00, час без прерываний». Зафиксировать время – это снимает его тревогу «меня игнорируют» уже сейчас.
- Звонок дежурному разработчику (сценарий в п.4).
- Задача аналитику (детали в п.3).
9:45–10:00 – короткое сообщение CEO: инцидент, план, ETA, кто ведёт коммуникацию с клиентом. CEO уже получил письмо от их COO – если вы не дадите ему картину, он начнёт дёргать вас сам, и вы потеряете контроль над днём.
10:00–11:00 – план найма (первый проход). Вакансии уже согласованы с CEO – значит, это скорее оформление, чем стратегическая работа. Реалистично сжать 2 часа до 1–1,5 с учётом готовых договорённостей.
11:00–12:00 – разговор с Павлом. Без телефона, без «извини, мне тут пишут по инциденту».
12:00–13:15 – доделать и сдать план найма, чекпоинты по инциденту и алгоритму.
2. Лично vs делегировать
Только вы:
- Разговор с Павлом (удержание ключевых людей не делегируется по определению).
- Переговоры с разработчиком в отпуске – это просьба об одолжении, она должна идти от руководителя.
- Апдейт CEO.
- Финальная подпись плана найма.
Второй менеджер (тот, кто не на переговорах):
- Инцидент-менеджер по Ситуации 1: коммуникация с клиентом (апдейт каждые 2 часа, даже если апдейт – «работаем, прогресс такой-то»), координация Марины и консультаций от отпускника. Клиенту чаще важнее предсказуемость, чем скорость.
- Если у него есть контекст по найму – черновик плана, вы финализируете.
Команда:
- Марина – фикс интеграции (с консультационной поддержкой отпускника, см. п.4).
- Аналитик + один инженер – верификация данных по алгоритму (см. п.3).
Отдельно: позвоните или напишите в HR прямо сейчас: «План будет к 14:00. Если случится форс-мажор – есть ли возможность принять его завтра утром?» Это дешёвая страховка: 2 минуты сейчас против 3 недель потери потом.
3. Ситуация 4: не «ждать или действовать», а третий вариант
Дихотомия ложная. Правильная рамка – активная верификация с дедлайном.
Риски пассивного ожидания: проблема живёт дни/недели; её может обнаружить клиент или пользователь раньше вас – тогда вы из «нашли и чиним» превращаетесь в «скрывали»; аналитик без давления может проверять неопределённо долго.
Риски немедленной эскалации: если это баг скрипта – вы потратили доверие и внимание руководства на ложную тревогу; в день с четырьмя пожарами вы отвлекаете ресурсы от подтверждённых проблем на неподтверждённую.
Что делать сегодня:
- Аналитику: «Верификация – твой приоритет №1 на сегодня. К 15:00 нужен ответ: баг скрипта или реальная проблема. Если не уверен – приходи с тем, что есть».
- Дать ему в пару инженера для независимой проверки скрипта – «может быть баг в скрипте» проверяется быстро вторыми глазами.
- Заранее определить порог: если к 15:00 подтверждается или остаётся неопределённость – эскалируете как реальную проблему. Неопределённость в вопросе, затрагивающем 15% пользователей, трактуется в пользу осторожности.
- Параллельно (5 минут): оцените blast radius – насколько «плохие рекомендации» вредны в вашем продукте? Если это «пользователь видит менее релевантный товар» – можно спокойно ждать 15:00. Если это влияет на деньги или решения клиентов – порог эскалации снижается.
Ключевой принцип: вы покупаете информацию за 6 часов, а не за неделю. Это и есть решение при неполных данных – не угадывать, а сократить время до полных.
4. Разработчик в отпуске: как не сжечь мосты
Главная ошибка, которую можно совершить: попросить его «просто починить, это же 2–4 часа». Даже если он согласится, вы создадите прецедент «отпуск ничего не значит» – и это услышит вся команда из 9 человек.
Правильная конструкция звонка:
- Признать нарушение границы явно: «Я знаю, что ты в отпуске, и мне неловко звонить. Это исключительная ситуация, и я хочу минимизировать твоё участие».
- Просить меньшее, а не большее: не «почини», а «дай Марине 45–60 минут вводной по модулю и будь на связи для 2–3 вопросов в течение дня». Это переводит его из роли исполнителя в роль консультанта – психологически совсем другая нагрузка.
- Компенсировать явно и сразу: день отпуска взамен + (если есть инструменты) премия или отгул. Не «мы это учтём», а конкретика в этом же разговоре.
- Дать право отказаться от большего: «Если после вводной Марине понадобится больше – я спрошу, но ты вправе сказать нет». Парадоксально, но право на отказ повышает вероятность, что он поможет больше.
Эскалация: если он отказывает даже в консультации – не давите и не подключайте CEO для давления. Марина справится за 6–8 часов; разница в 4 часа не стоит сожжённых отношений с человеком, который является единственным носителем знаний о модуле (ирония: испортив отношения, вы усугубите ровно ту зависимость, которая создала проблему). Клиенту в этом случае честно называется больший ETA.
И заметьте: сам факт, что этот разговор вообще нужен – симптом проблемы №1 из следующего пункта.
---## 5. Системные риски: что из этого повторится
Сегодняшний день – не невезение. Три из четырёх ситуаций – один и тот же структурный дефект: критические знания заперты в одном человеке.
1. Bus factor в инженерии (Ситуация 1). Один разработчик понимает модуль, обслуживающий клиента с 31% ARR. Действия после сегодня: карта критических зон «система → кто знает» по всему продукту; для каждой зоны с одним носителем – план дублирования (парное владение, документация, ротация). Марина, разобравшаяся сегодня, – уже начало решения: закрепите за ней этот модуль как за вторым владельцем.
2. Bus factor в клиентских отношениях (Ситуация 2). Павел – единственный носитель контекста трёх стратегических клиентов. Даже если сегодня вы его удержите – риск остался. Действия: введение «вторых контактов» по каждому стратегическому клиенту, документирование контекста. Плюс процессный вопрос: почему о риске ухода вы узнали из слухов, а не из регулярных разговоров? Вам нужны системные one-on-one с вопросами об удовлетворённости, а не пожарные разговоры по факту оффера от конкурента.
3. Отсутствие мониторинга (Ситуации 1 и 4 – это одна проблема). Синхронизация упала в пятницу вечером – обнаружил клиент в понедельник. Проблема с алгоритмом обнаружена случайно аналитиком. В обоих случаях у вас нет систем, которые сообщают о деградации раньше внешнего мира. Действия: алертинг на критические интеграции (падение синка → уведомление в течение часа, не через 60+ часов); автоматический мониторинг метрик качества алгоритмов с порогами.
4. Отсутствие инцидент-процесса. Сегодня вы вручную изобретаете роли (кто чинит, кто говорит с клиентом, кто информирует CEO). Действия: простой регламент на одну страницу – роли, частота коммуникации, критерии эскалации. И on-call с обязательным бэкапом, чтобы «единственный знающий в отпуске» не повторилось.
5. Долгосрочно: 31% ARR в одном клиенте. Это не решается на вашем уровне за квартал, но это причина, по которой сегодняшний инцидент вообще стал кризисом уровня CEO. Стоит зафиксировать как риск для стратегического разговора.
Практический шаг: в конце этой недели – 60-минутный разбор с двумя менеджерами: не «кто виноват», а «какие из этих четырёх пожаров были предсказуемы, и какие три действия мы делаем в этом месяце». Если не забронировать это время сейчас, операционка съест и этот вывод тоже.
Последнее. В расписании выше вы заняты почти без зазоров 4 часа подряд. Оставьте себе 15 минут после разговора с Павлом до возврата к плану найма – если разговор окажется тяжёлым, вам понадобится время прийти в себя, а плану найма нужна ваша ясная голова.
What the judges noted
Claude Opus 5.5 · this answer: 7.7 of 10
A strong, well-reasoned response that correctly ranks Pavel as the top, irreversible priority and positions the manager as a dispatcher. It delegates sensibly and gives practical scripts for the vacationing developer, the analyst and HR. The systemic-risk section correctly identifies bus factor, missing monitoring and the lack of an incident process as recurring root causes. The main weaknesses are a scheduling inconsistency: the irreversible Pavel conversation is pushed to 11:00, behind hiring-plan work. The algorithm verification deadline also falls outside the requested 4-hour window, with no containment safeguard. Several checklist elements are missing, including timed developer-escalation checkpoints, Marina's reporting cadence and hiring-process systemic fixes.
- Strong: Clear cost-of-delay × reversibility prioritization table with correct ordering
- Weak: Pavel conversation scheduled at 11:00 despite being labeled the most critical, irreversible item
GPT-6.2 Astra · this answer: 7.0 of 10
This is a usable morning plan whose strongest decision is to separate personal attention from team urgency: the manager can engage Pavel while Marina and an incident coordinator take ownership of the client problem. Its main weakness is what happens after launch. The manager gets clearer instructions for starting each conversation than for responding if Pavel has already decided, Marina is blocked, or the product signal remains inconclusive.
- Strong: Distinguishes the narrowing opportunity to influence Pavel from the fixed cost of missing the hiring deadline.
- Weak: Lacks a retention conversation structure, an end-of-day commitment, and a transition branch if Pavel intends to leave.
The score is for this one answer, not the model’s overall result.
Weakest: Automation · 6.9Automate approving partner applications
A senior manager spends two hours a day reviewing partner applications. The formal criteria can be checked through APIs, but real decisions seem more complex. How to automate it without losing what matters?
Full task
I want to fully automate the process of checking and approving incoming applications from partners. Right now this is handled by one of the senior managers – it takes about 2 hours a day. The process looks like this: an application arrives by email or through a form on the website, the manager looks at the partner company, assesses its profile, checks several internal criteria, and either approves it, sends it back for revision, or rejects it. The formal criteria for approval are as follows: the company has been registered for more than two years, revenue is above a threshold value, there are no outstanding debts according to our data, and the business's field of activity is not on the exclusion list. All of this can be checked automatically via the API of several counterparty verification services. But I suspect the real decisions are more complex. The manager sometimes approves applications from companies that formally do not pass the criteria – because he knows their history, because they are strategically important, or because the director personally asked. And conversely, he rejects partners who formally qualify, because he senses something suspicious in the application. I need your honest assessment: what here can realistically be automated, and what cannot? If we go ahead with automation, which architecture should we choose – full autopilot, or a hybrid where routine tasks are automated while non-standard cases go to a human? How do we separate one from the other? And what risks do I take on if I over-automate this process – what could go wrong unnoticeably?
System line: You are an assistant for training and development for managers.
Translated from Russian: the models got the Russian text.
Original in Russian
Хочу полностью автоматизировать процесс проверки и одобрения входящих заявок от партнеров. Сейчас этим занимается один из старших менеджеров – тратит примерно 2 часа в день. Процесс выглядит так: приходит заявка по email или через форму на сайте, менеджер смотрит на компанию-партнера, оценивает её профиль, проверяет несколько внутренних критериев и либо одобряет, либо отправляет на доработку, либо отклоняет. Формальные критерии для одобрения такие: компания зарегистрирована более двух лет, выручка выше порогового значения, нет открытых долгов по нашим данным, тематика бизнеса не входит в список исключений. Всё это можно проверить автоматически через API нескольких сервисов проверки контрагентов. Но я подозреваю, что реальные решения сложнее. Менеджер иногда одобряет заявки от компаний, которые формально не проходят по критериям, – потому что знает их историю, потому что они стратегически важны, или потому что директор лично попросил. И наоборот – отклоняет формально подходящих партнеров, потому что чувствует что-то подозрительное в заявке. Мне нужна твоя честная оценка: что здесь реально поддается автоматизации, а что нет? Если делать автоматизацию, то какую архитектуру выбрать – полный автопилот, или гибрид где рутина автоматизирована, а нестандартные случаи идут к человеку? Как отделить одно от другого? И какие риски я несу, если переавтоматизирую этот процесс – что может пойти не так незаметно?
Claude Fable 5
Translated from Russian: the model answered in Russian.
Honest assessment: what can be automated and what cannot
A key observation from your description
You yourself have already answered half the question: you have two processes disguised as one. There is a formal check against criteria (registration, revenue, debts, line of business) – this is pure automation. And there is judgment involving context (relationship history, strategic importance, a gut sense of suspicion, politics with the director) – this cannot be automated in principle, because the rules of this process are not written down anywhere and partly exist only in the manager's head.
Original in Russian
Честная оценка: что автоматизируется, а что нет
Ключевое наблюдение из вашего описания
Вы сами дали ответ на половину вопроса: у вас два процесса, замаскированных под один. Есть формальная проверка по критериям (регистрация, выручка, долги, тематика) – это чистая автоматизация. И есть суждение с контекстом (история отношений, стратегическая важность, интуиция про подозрительность, политика с директором) – это не автоматизируется в принципе, потому что правила этого процесса нигде не записаны и частично существуют только в голове менеджера.
Read the full answer · 794 words
Honest assessment: what can be automated and what cannot
A key observation from your description
You've already given the answer to half of the question: you have two processes disguised as one. There's a formal check against criteria (registration, revenue, debts, subject area) – that's pure automation. And there's judgment with context (history of the relationship, strategic importance, a gut sense of suspiciousness, politics with the director) – this cannot be automated in principle, because the rules of this process are nowhere written down and partly exist only in the manager's head.
Trying to automate the second through the first is a classic mistake. You'll end up with a system that formally works but makes worse decisions than a human – and no one will find out about it (more on that below).
What can realistically be automated
Fully:
- Intake of applications and consolidating email + form submissions into a single queue
- Automatic data collection via counterparty verification APIs
- Checking hard criteria (company age, revenue, debts, stop-list of subject areas)
- Automatic rejections for "hard red flags" – if there are criteria for which the manager rejects always, without exception (check with them whether such criteria exist)
- Generating an application card with all collected data – this alone saves the manager 60–70% of their time
Partially (with a human in the loop):
- Approval of "clean" applications that pass all criteria with margin
- Sending back for revision for formal reasons (incomplete data)
Not automatable:
- Exceptions "in favor" (fails formally, but is strategically important)
- Intuitive rejections – "something seems suspicious"
- Political cases ("the director asked")
Recommended architecture: a hybrid with three buckets
Application → Auto data collection → Scoring →
├─ GREEN: all criteria passed with margin → auto-approval
├─ RED: hard stop-factor (e.g., subject area from exclusion list) → auto-decision or human
└─ GREY: everything else → manager with a ready-made data card
Important details:
Auto-approval – yes; auto-rejection – with caution. You usually notice a false approval later (the partner caused problems). You will never notice a false rejection – the partner simply walked away. Therefore the threshold for auto-rejection should be much stricter than for auto-approval. It's possible that at the first stage there should be no auto-rejections at all – only auto-approvals and a queue to the human.
The bypass channel must be built into the system, not exist outside it. The "the director asked" case isn't going anywhere. If you don't provide a legal override mechanism with logging (who approved an exception to the criteria, when, and why), it will happen in messaging apps and Excel – and you'll lose both control and data.
Every override is data. In six months, you'll look at the exceptions log and may discover that part of the manager's "intuition" actually boils down to 2–3 formalizable indicators that can be added to the scoring.
How to separate routine from non-standard cases: a practical method
Don't try to guess in advance. Run a shadow mode for 4–6 weeks:
- The system collects data and produces its own "decision," but doesn't show it to anyone
- The manager works as usual
- You compare where the system and the human agreed, and where they diverged
- You go through every divergence with the manager: "Why did you approve this when the criteria weren't met?"
The result of this exercise will give you three things: the real percentage of "green" applications (it may turn out to be 70%, or it may be 30%), a map of the manager's unwritten rules, and threshold calibration. And, along with that, an evidence base for deciding whether automation is even worth the effort.
Risks of over-automation – what breaks silently
This is the most important part, because all these risks do not show up as incidents:
1. Invisible false rejections. A rejected good partner doesn't complain – they go to a competitor. You have no feedback loop for this error. Mitigation: periodic manual audit of a sample of auto-rejections (e.g., 10% monthly).
2. Atrophy of expertise. If the manager stops seeing the flow of applications, within a year they lose the very "gut feel" for which you kept them in the loop. And the grey-zone cases that do reach them will be evaluated without the context of the overall picture. Mitigation: the manager regularly reviews a sample of automatic decisions, not just the exceptions.
3. Automation bias. When the system says "approve with a score of 87/100," a person tends to agree, even if something bothers them. The hybrid degrades into an autopilot with a formal signature. Mitigation: for the grey zone, show the data but not the system's recommendation.
4. Gaming the criteria. As soon as the criteria become deterministic and automatic, dishonest applicants will learn to pass them (inflated revenue, a freshly-bought old shell company). A live manager catches this; a checklist algorithm doesn't. Mitigation: don't publish the exact thresholds; add a random manual check of a portion of "green" applications.
5. Drift without review. Revenue thresholds, exclusion lists, and risk profiles become outdated, but the automation keeps applying them for years because "it's working anyway." Appoint a rules owner and a quarterly review schedule.
6. Loss of the relational layer. Sometimes, when rejecting an application, the manager calls and says: "Fix this and come back." An automatic rejection by letter is a lost future partner. Think about which rejections deserve a human touch.
Final recommendation
The economics of the question: 2 hours a day is ~10 hours a week of a senior manager's time. A hybrid with auto data collection and auto-approval of "green" applications will realistically cut this down to 3–4 hours – and those will be hours spent specifically on judgment, not routine. Full autopilot would save another 3 hours, but at the cost of all six risks listed above – the trade-off clearly isn't in its favor.
Plan: shadow mode (one month) → auto data collection + cards for the manager → auto-approval of the green zone → audit and gradual expansion of the green zone as trust accumulates. And in parallel – a conversation with the manager not as "a bottleneck we're automating," but as a carrier of the rules you want to extract. The quality of the whole system depends on their engagement.
Original in Russian
Честная оценка: что автоматизируется, а что нет
Ключевое наблюдение из вашего описания
Вы сами дали ответ на половину вопроса: у вас два процесса, замаскированных под один. Есть формальная проверка по критериям (регистрация, выручка, долги, тематика) – это чистая автоматизация. И есть суждение с контекстом (история отношений, стратегическая важность, интуиция про подозрительность, политика с директором) – это не автоматизируется в принципе, потому что правила этого процесса нигде не записаны и частично существуют только в голове менеджера.
Попытка автоматизировать второе через первое – классическая ошибка. Вы получите систему, которая формально работает, но принимает решения хуже, чем человек, причём об этом никто не узнает (об этом ниже).
Что реально поддается автоматизации
Полностью:
- Приём заявок и сведение email + формы в единую очередь
- Автоматический сбор данных через API проверки контрагентов
- Проверка жёстких критериев (возраст компании, выручка, долги, стоп-лист тематик)
- Автоматические отклонения по «жёстким красным флагам» – если есть критерии, при которых менеджер отклоняет всегда, без исключений (уточните у него, есть ли такие)
- Формирование карточки заявки со всеми собранными данными – это само по себе экономит менеджеру 60–70% времени
Частично (с человеком в контуре):
- Одобрение «чистых» заявок, проходящих по всем критериям с запасом
- Отправка на доработку по формальным причинам (неполные данные)
Не автоматизируется:
- Исключения «в плюс» (не проходит формально, но стратегически важен)
- Интуитивные отклонения «что-то подозрительное»
- Политические кейсы («директор попросил»)
Рекомендуемая архитектура: гибрид с тремя корзинами
Заявка → Автосбор данных → Скоринг →
├─ ЗЕЛЁНАЯ: все критерии пройдены с запасом → автоодобрение
├─ КРАСНАЯ: жёсткий стоп-фактор (например, тематика из списка исключений) → авторешение или человек
└─ СЕРАЯ: всё остальное → менеджер с готовой карточкой данных
Важные детали:
Автоодобрение – да, автоотклонение – осторожно. Ложное одобрение вы обычно замечаете позже (партнёр создал проблемы). Ложное отклонение вы не заметите никогда – партнёр просто ушёл. Поэтому порог для автоотклонения должен быть намного жёстче, чем для автоодобрения. Возможно, на первом этапе автоотклонений не должно быть вообще – только автоодобрения и очередь на человека.
Обходной канал должен быть встроен в систему, а не существовать вне её. Кейс «директор попросил» никуда не денется. Если не дать легального механизма override с логированием (кто, когда, почему одобрил в обход критериев), это будет происходить в мессенджерах и Excel – и вы потеряете и контроль, и данные.
Каждый override – это данные. Через полгода вы посмотрите на журнал исключений и, возможно, обнаружите, что часть «интуиции» менеджера сводится к 2–3 формализуемым признакам, которые можно добавить в скоринг.
Как отделить рутину от нестандартного: практический метод
Не пытайтесь угадать заранее. Сделайте теневой режим на 4–6 недель:
- Система собирает данные и выносит своё «решение», но никому его не показывает
- Менеджер работает как обычно
- Сравниваете: где система и человек совпали, где разошлись
- Каждое расхождение разбираете с менеджером: «Почему ты одобрил, хотя критерии не пройдены?»
Результат этого упражнения даст вам три вещи: реальный процент «зелёных» заявок (может оказаться, что их 70%, а может – 30%), карту неписаных правил менеджера и калибровку порогов. И заодно – доказательную базу для решения, стоит ли вообще автоматизация усилий.
Риски переавтоматизации – что сломается незаметно
Это самая важная часть, потому что все эти риски не проявляются как инциденты:
1. Невидимые ложные отклонения. Отклонённый хороший партнёр не жалуется – он уходит к конкуренту. У вас нет петли обратной связи по этой ошибке. Митигация: периодический ручной аудит выборки автоотклонений (например, 10% ежемесячно).
2. Атрофия экспертизы. Если менеджер перестаёт видеть поток заявок, через год он теряет ту самую «чуйку», ради которой вы оставили его в контуре. А серые кейсы, которые к нему приходят, он начнёт оценивать без контекста общей картины. Митигация: менеджер регулярно просматривает выборку автоматических решений, а не только исключения.
3. Automation bias. Когда система говорит «одобрить с оценкой 87/100», человек склонен соглашаться, даже если что-то смущает. Гибрид деградирует до автопилота с формальной подписью. Митигация: для серой зоны показывайте данные, но не рекомендацию системы.
4. Гейминг критериев. Как только критерии станут детерминированными и автоматическими, недобросовестные заявители научатся их проходить (подрисованная выручка, свежекупленная старая компания-пустышка). Живой менеджер такое ловит, алгоритм по чек-листу – нет. Митигация: не публикуйте точные пороги, добавьте случайную ручную проверку части «зелёных» заявок.
5. Дрейф без пересмотра. Пороги выручки, список исключений, риск-профили устаревают, но автоматика продолжает их применять годами, потому что «работает же». Назначьте владельца правил и календарный пересмотр раз в квартал.
6. Потеря отношенческого слоя. Иногда менеджер, отклоняя заявку, звонит и говорит: «Доработайте вот это – и заходите снова». Автоматический отказ письмом – это потерянный будущий партнёр. Подумайте, какие отказы заслуживают человеческого касания.
Итоговая рекомендация
Экономика вопроса: 2 часа в день – это ~10 часов в неделю старшего менеджера. Гибрид с автосбором данных и автоодобрением «зелёных» заявок реалистично сократит это до 3–4 часов, причём это будут часы именно на суждение, а не на рутину. Полный автопилот сэкономит ещё 3 часа, но ценой всех шести рисков выше – соотношение явно не в его пользу.
План: теневой режим (месяц) → автосбор данных + карточки для менеджера → автоодобрение зелёной зоны → аудит и постепенное расширение зелёной зоны по мере накопления доверия. И параллельно – разговор с менеджером не как с «узким местом, которое автоматизируем», а как с носителем правил, которые вы хотите извлечь. От его вовлечённости зависит качество всей системы.
What the judges noted
Claude Opus 5.5 · this answer: 7.9 of 10
This is a high-quality, honest strategic answer that frames the problem as two processes disguised as one and recommends a three-bucket hybrid. It makes a strong argument for asymmetric caution on auto-rejection and covers subtle over-automation risks such as invisible false rejections, expertise atrophy, automation bias, criteria gaming, drift, and relationship loss. It is concise and well organized for a middle manager. It falls short of the reference on technical implementation detail, including the rules engine, dossier fields and card design. It also omits the 'could not verify' status for bad API data and the legal accountability risk, and gives no lane percentage estimates.
- Strong: Clear decomposition into a formal check versus a contextual judgment process, with an honest verdict against full autopilot
- Weak: Thin technical implementation guidance: no rules-engine vs ML discussion, no dossier field list, no tooling
GPT-6.2 Astra · this answer: 7.4 of 10
The response gives the manager a sound basis for choosing a hybrid pilot over full automation. Its strongest proposal is to compare system and human decisions independently, then examine disagreements before deciding which cases can safely bypass review. It is less reliable as a production blueprint: the routing logic needs safeguards for uncertain data and atypical applications, measurable release criteria, and an audit record for automatic decisions as well as overrides.
- Strong: Uses a time-bounded shadow trial to discover decision boundaries from actual cases.
- Weak: Does not explicitly route stale, missing, or conflicting verification data to a human.
The score is for this one answer, not the model’s overall result.
Run the task yourself
The task «Monday, 9:15: four fires at once» from the benchmark, sent now to Claude Fable 5 and, for comparison, Qwen 3.8 Flash (another group). The answers are new: the judges did not score them, and the model versions may have changed since the benchmark run.
One click sends two requests to paid models; answers take 10–60 seconds. Nothing runs until you click.
Show the task
Today is Monday, 9:15 a.m. I have four situations burning at the same time, and I can't handle all of them simultaneously. I need to decide on priorities within the next hour. Situation 1 – Client incident: Our largest client (31% of ARR) is reporting a failure in the integration with their ERP system. Data has not been syncing since Friday evening. Their COO has already written to our CEO. Technically, the problem, according to the on-call developer, is "solvable in 2–4 hours," but he is the only one who understands this module – and he is currently on vacation (he picks up the phone, but is clearly irritated). Another option is to bring in Marina, a senior developer; she doesn't know this module, but is capable of figuring it out in 6–8 hours. Situation 2 – Personnel crisis: One of our key managers, Pavel, wrote to me on Sunday evening saying "we need to have a serious talk." I know he's being poached by a competitor. If he leaves, we lose the only person who manages three strategic clients and knows their context. He's waiting for my answer by the end of the day. If I don't talk to him today before lunch, he will most likely make his decision without talking to me. Situation 3 – Internal deadline: Today, by 2:00 p.m., I need to submit the quarterly hiring plan to HR – this is blocking the opening of 4 positions already approved by the CEO. If I'm late, the next window is in 3 weeks (HR is going on vacation). The plan itself takes about 2 hours of work. Situation 4 – Product risk: Yesterday an analyst sent me data indicating a potential problem with the accuracy of one of the recommendation algorithms. If the problem is real, it could affect the results for approximately 15% of users. The analyst is not confident in his data ("it could be a bug in the script, or it could be a real problem"). No one outside my team knows about this yet. I have myself, two mid-level managers (one of whom is leading important negotiations with a new client today), and a team of 9 people with varying competencies. Please: 1. Help me build priorities for the next 4 hours – not just by urgency, but taking into account the real cost of delay for each. 2. Which of these should I handle personally, and which can I delegate – and to whom specifically? 3. Situation 4 – how should I make the decision: wait for confirmation of the data, or act on incomplete information? What are the risks of each option? 4. How should I handle the situation with the on-call developer being on vacation – when and how to escalate, and how to avoid burning bridges? 5. Which of the four situations carry systemic risk (that is, will recur again), and what should I do once this day is over?
Claude Fable 5 · New answer · not scored
Qwen 3.8 Flash · New answer · not scored
The scored answers from the benchmark are above.
All 8 categories
Mean score per category on the benchmark’s 80 tasks, on one 0–10 scale. Click a category for its six criteria.
-
Information search
7.0close to the best
Six criteria
- Accuracy
- 6.7
- Relevance
- 6.7
- Actionability
- 7.0
- Transparency
- 7.0
- Efficiency
- 8.6
- Trustworthiness
- 6.5
-
Data analysis
7.1mid-field
Six criteria
- Accuracy
- 6.5
- Relevance
- 7.3
- Actionability
- 7.3
- Transparency
- 6.9
- Efficiency
- 8.7
- Trustworthiness
- 6.4
-
Decisions under uncertainty
7.5mid-field
Six criteria
- Accuracy
- 7.2
- Relevance
- 7.5
- Actionability
- 7.7
- Transparency
- 7.4
- Efficiency
- 8.6
- Trustworthiness
- 7.1
-
Feedback analysis
7.4mid-field
Six criteria
- Accuracy
- 7.2
- Relevance
- 7.5
- Actionability
- 7.8
- Transparency
- 6.7
- Efficiency
- 8.6
- Trustworthiness
- 6.4
-
Corporate requirements and risks
7.5close to the best
Six criteria
- Accuracy
- 7.1
- Relevance
- 7.3
- Actionability
- 7.6
- Transparency
- 7.3
- Efficiency
- 8.8
- Trustworthiness
- 7.2
-
Automation
6.9mid-field
Six criteria
- Accuracy
- 6.6
- Relevance
- 6.7
- Actionability
- 6.5
- Transparency
- 7.5
- Efficiency
- 8.6
- Trustworthiness
- 6.5
-
People management
7.5mid-field
Six criteria
- Accuracy
- 7.0
- Relevance
- 7.6
- Actionability
- 8.0
- Transparency
- 7.0
- Efficiency
- 8.3
- Trustworthiness
- 6.5
-
Russia and Kazakhstan specifics
7.2mid-field
Six criteria
- Accuracy
- 6.5
- Relevance
- 7.3
- Actionability
- 7.6
- Transparency
- 7.4
- Efficiency
- 8.2
- Trustworthiness
- 6.8
the mark is the best ranked model in that category; the scale is 0–10
If you use it through the API
One benchmark answer costs $0.31 through the API ($10 in / $50 out per million tokens).
$20 about a month (22 working days)
| Answers a day through the API | about a month (22 working days) |
|---|---|
| 1 | $6.8 |
| 3 | $20 |
| 10 | $68 |
An estimate from the length of the benchmark answers – not the price of a chat subscription. Your requests and answers may cost differently.
Alternatives
Chosen by a reason that matters, not by a tenth of a point.
-
Same level, opens from Russia without a VPN
group 15–20 of 74 · 7.4 of 10 · opens from Russia without a VPN · API $0.0075
Compare: Claude Fable 5 – DeepSeek V4.1 Flash (1017) -
For the API: a close level, a cheaper answer
group 5–14 of 74 · 7.5 of 10 · a VPN is needed from Russia · API $0.0024
Compare: Claude Fable 5 – GPT-6 Luna -
The best model that opens from Russia without a VPN
group 1–4 of 74 · 8.0 of 10 · opens from Russia without a VPN · API $0.15
Compare: Claude Fable 5 – Kimi K3.1 Pro
How the score was made
- Two AI judges (Claude Opus 5.5 and GPT-6.2 Astra) scored every answer on six main criteria, from 1 to 10.
- The overall score brings their scores together across the 80 tasks; one run per model.
- Differences under 0.3 points are treated as one level: the order inside a group means nothing.
- Data as of November 2026; model versions may have changed since.
The two judges’ overall scores for this model: Claude Opus 5.5 7.8, GPT-6.2 Astra 6.7. The published score is their average, with equal weight.
What next
A model from the top group will not fix a vague task
The free first lessons show how to set context and the shape of the answer, and how to check the result on your own work task. The course is in Russian.
Open the free first lessons