← Whole ranking · mysummit.school AI model benchmark

Anthropic

Claude Opus 4.8

A newer version of this line was tested: Claude Opus 5.5 →

Strongest in «Decisions under uncertainty» (7.1), weakest in «Information search» (6.4).

Group
27–32 of 74on one level with DeepSeek V4 Pro (0813), Qwen 3.8 27B, Mistral Large 4
Overall score
6.8 of 10
API price of a test answer
$0.3
Data
November 2026

Where it helps, where to check

This model’s own answers to two benchmark tasks: the opening, the full answer and what both judges noted. One task per category, the same for every model.

Strongest: Decisions under uncertainty · 7.1Monday, 9:15: four fires at once

An outage at the biggest client (31% of revenue), a key manager asking for «a serious talk» and two more urgent situations. Decide within an hour what comes first and what to delegate to whom.

Full task

Today is Monday, 9:15 a.m. I have four situations burning at the same time, and I can't handle all of them simultaneously. I need to decide on priorities within the next hour. Situation 1 – Client incident: Our largest client (31% of ARR) is reporting a failure in the integration with their ERP system. Data has not been syncing since Friday evening. Their COO has already written to our CEO. Technically, the problem, according to the on-call developer, is "solvable in 2–4 hours," but he is the only one who understands this module – and he is currently on vacation (he picks up the phone, but is clearly irritated). Another option is to bring in Marina, a senior developer; she doesn't know this module, but is capable of figuring it out in 6–8 hours. Situation 2 – Personnel crisis: One of our key managers, Pavel, wrote to me on Sunday evening saying "we need to have a serious talk." I know he's being poached by a competitor. If he leaves, we lose the only person who manages three strategic clients and knows their context. He's waiting for my answer by the end of the day. If I don't talk to him today before lunch, he will most likely make his decision without talking to me. Situation 3 – Internal deadline: Today, by 2:00 p.m., I need to submit the quarterly hiring plan to HR – this is blocking the opening of 4 positions already approved by the CEO. If I'm late, the next window is in 3 weeks (HR is going on vacation). The plan itself takes about 2 hours of work. Situation 4 – Product risk: Yesterday an analyst sent me data indicating a potential problem with the accuracy of one of the recommendation algorithms. If the problem is real, it could affect the results for approximately 15% of users. The analyst is not confident in his data ("it could be a bug in the script, or it could be a real problem"). No one outside my team knows about this yet. I have myself, two mid-level managers (one of whom is leading important negotiations with a new client today), and a team of 9 people with varying competencies. Please: 1. Help me build priorities for the next 4 hours – not just by urgency, but taking into account the real cost of delay for each. 2. Which of these should I handle personally, and which can I delegate – and to whom specifically? 3. Situation 4 – how should I make the decision: wait for confirmation of the data, or act on incomplete information? What are the risks of each option? 4. How should I handle the situation with the on-call developer being on vacation – when and how to escalate, and how to avoid burning bridges? 5. Which of the four situations carry systemic risk (that is, will recur again), and what should I do once this day is over?

System line: You are an analytical assistant for managers.

Translated from Russian: the models got the Russian text.

Original in Russian

Сегодня понедельник, 9:15 утра. У меня одновременно горят четыре ситуации, и я не могу заниматься всеми сразу. Мне нужно принять решение о приоритетах в течение следующего часа. Ситуация 1 – Клиентский инцидент: Наш крупнейший клиент (31% ARR) сообщает о сбое в интеграции с их ERP-системой. Данные не синхронизируются с пятницы вечера. Их операционный директор уже написал нашему CEO. Технически проблема, по словам дежурного разработчика, «решаема за 2–4 часа», но он единственный, кто понимает этот модуль – он сейчас в отпуске (берёт трубку, но явно раздражён). Ещё один вариант – привлечь старшего разработчика Марину, она не знает этот модуль, но способна разобраться за 6–8 часов. Ситуация 2 – Кадровый кризис: Один из ключевых менеджеров, Павел, написал мне в воскресенье вечером, что «нужно серьёзно поговорить». Я знаю, что его переманивает конкурент. Если он уйдёт, мы теряем единственного человека, который ведёт три стратегических клиента и знает их контекст. Он ждёт ответа до конца дня. Если я не поговорю с ним сегодня до обеда, скорее всего, он примет решение без разговора со мной. Ситуация 3 – Внутренний дедлайн: Сегодня до 14:00 я должен сдать квартальный план по найму в HR – это блокирует открытие 4 вакансий, которые уже согласованы с CEO. Если опоздаю, следующее окно – через 3 недели (HR уходит в отпуск). Сам план занимает примерно 2 часа работы. Ситуация 4 – Продуктовый риск: Вчера аналитик прислал данные, которые указывают на потенциальную проблему с точностью одного из алгоритмов рекомендаций. Если проблема реальная – это может влиять на результаты примерно 15% пользователей. Аналитик не уверен в своих данных («может быть баг в скрипте, может быть реальная проблема»). Никто за пределами моей команды об этом не знает. У меня есть я, два менеджера среднего звена (один из которых сегодня ведёт важные переговоры с новым клиентом), и команда из 9 человек с разными компетенциями. Пожалуйста: 1. Помоги мне выстроить приоритеты на ближайшие 4 часа – не только по срочности, но с учётом реальной цены каждой задержки. 2. Что из этого я должен делать лично, а что могу делегировать, и кому именно? 3. Ситуация 4 – как мне принять решение: ждать подтверждения данных или действовать на основе неполной информации? Каковы риски каждого варианта? 4. Как мне справиться с ситуацией вокруг дежурного разработчика в отпуске – когда и как эскалировать, и как не сжечь мосты? 5. Какие из четырёх ситуаций несут системный риск (то есть повторятся снова), и что мне стоит сделать после того, как этот день закончится?

Claude Opus 4.8 group 27–32 · VPN needed

Translated from Russian: the model answered in Russian.

Quick breakdown: priorities for the next 4 hours

The main point first. Three out of four tasks can be launched in parallel right now, and only one requires your personal time immediately. Your mistake right now would be to think "what to do first," when the right question is "what to launch in parallel, and what to keep for yourself."

1. Priorities based on the real cost of delay

Situation Urgency Cost of an hour's delay Reversibility
2. Pavel Window closes by lunch Loss of a person + 3 strategic clients, irreversible Irreversible
1. Client 31% of ARR CEO is already involved Reputation + risk of losing the largest client Reversible, but costly
3. Hiring plan Hard deadline 2:00 PM 3-week slip, 4 vacancies Reversible, but painful
Original in Russian

Быстрый разбор: приоритеты на ближайшие 4 часа

Сначала главное. Три из четырёх задач можно запустить параллельно прямо сейчас, и только одна требует вашего личного времени немедленно. Ваша ошибка сейчас была бы в том, чтобы думать «что делать первым», хотя правильный вопрос – «что запустить в параллель, а что оставить себе».

1. Приоритеты с учётом реальной цены задержки

Ситуация Срочность Цена часа задержки Обратимость
2. Павел Окно закрывается к обеду Потеря человека + 3 стратегических клиента, необратимо Необратима
1. Клиент 31% ARR CEO уже вовлечён Репутация + риск оттока крупнейшего клиента Обратима, но дорого
3. План найма Жёсткий дедлайн 14:00 Сдвиг на 3 недели, 4 вакансии Обратима, но болезненно
Read the full answer · 972 words

Quick analysis: priorities for the next 4 hours

The main point first. Three of the four tasks can be launched in parallel right now, and only one requires your personal time immediately. Your mistake right now would be to think "what to do first," when the right question is "what to run in parallel, and what to keep for yourself."


1. Priorities based on the real cost of delay

Situation Urgency Cost of an hour's delay Reversibility
2. Pavel Window closes by lunch Loss of a person + 3 strategic clients, irreversible Irreversible
1. Client at 31% of ARR CEO already involved Reputation + risk of losing the largest client Reversible, but costly
3. Hiring plan Hard deadline at 14:00 3-week slip, 4 vacancies Reversible, but painful
4. Algorithm Not urgent (hours/days) Still unknown, data not confirmed Fully reversible today

Ranking logic:

  • Pavel – #1 by irreversibility. The departure of a key person can't be "redone tomorrow." A client can be won back, a plan can be re-coordinated, but a decision to leave made without talking to you first is a point of no return. Plus the window is narrow (until lunch).
  • The client – #1 by visibility and money, but it can be run in parallel – you don't need to fix the module personally.
  • The hiring plan – a fixed deadline, but it's the most delegable/compressible task.
  • The algorithm – low urgency, high uncertainty. Today the task is to "launch a verification," not to "make a decision."

2. What to do personally, what to delegate

Next 15 minutes (9:15–9:30) – you launch parallel processes:

  • Client (delegate the coordination): Immediately assign Marina to dig into the module (6–8 hrs), and in parallel make a short call to the developer on vacation – not "fix it," but "give Marina 30 minutes of briefing so she doesn't start from zero." This cuts her 6–8 hours and removes a single point of failure. Appoint one of your mid-level managers (not the one in negotiations) to be responsible for client communication and an internal status update every hour.
  • Client (personally, 5 minutes): You or your CEO should immediately write to the client's COO: "The issue has been localized, we're working on it, will update you by [time]." Silence right now is more costly than the breakdown itself. This is your task – this is a level where leaders talk to each other.
  • Algorithm (delegate): Hand the task "confirm or disprove within N hours" to an analyst plus one strong engineer. Your decision isn't needed here yet.

9:30–11:00 – Pavel, personally, no delegation. This is a conversation that can't be handed off. Meet in person/by video today before lunch. See below separately.

11:00–13:30 – Hiring plan. Here are the options:

  • A draft can be put together by your second manager or a strong person on the team using your template – you refine and approve it (30–40 min instead of 2 hours).
  • Or write to HR now: "The plan will be ready by 15:00, not 14:00 – it's critical to make the window, can we hold it?" Often the deadline is softer than it seems. Check this before sacrificing other tasks.

The manager who's in negotiations – don't touch. Losing the new client would add a fifth problem.


3. Situation 4: wait or act?

Don't frame the question as "wait vs. act." It's a false dilemma. The right move is to act on verifying the data, but not on making product changes.

What to do today:

  • Launch an independent check of the analyst's script (a second person reproduces the calculation on the same data). This answers the question "bug or reality" in hours, not days.
  • Record in writing: what is known, when it was discovered, who is verifying it, the verification deadline. This protects you if the problem turns out to be real.

Risks of each option:

  • Waiting for confirmation (the right call for action): the risk is that if the problem is real, 15% of users keep getting bad recommendations for some additional time. But a recommendation algorithm isn't directly a safety or money issue; a few hours/a day is tolerable.
  • Acting immediately (rolling back the algorithm): the risk is that you reacted to a bug in the script, degraded the product for everyone, and created a false alarm. More costly than a short pause for verification.

Conclusion: don't escalate externally and don't roll anything back until the data is confirmed. But you must give the verification a hard deadline (today–tomorrow). "No one outside the team knows" is fine exactly until it's confirmed. Once confirmed – escalation is mandatory and fast.


4. The developer on vacation

Principle: don't make him fix it, use him as knowledge, not as a resource.

  • Right now: ask for 20–30 minutes to hand over context to Marina, not 2–4 hours of work. Phrasing: "I'm not asking you to work on your vacation. I need 30 minutes so Marina doesn't lose half a day. We'll compensate you." This is respectful and reduces the risk.
  • Compensation: agree on it right away (time off, pay, whatever's customary for you). Don't leave it "for later" – it's exactly this kind of ambiguity that burns bridges.
  • Escalation: if he refuses and Marina is stuck for more than 2 hours – then it's your call whether you're willing to ask him for full involvement for explicit compensation, with direct acknowledgment that this is an exception. But first – Marina plus the briefing.

Red flag you're already seeing: a single person who understands a critical module for a client worth 31% of ARR. This isn't today's problem, it's systemic (see section 5).


5. Systemic risks – what to do after this day

Three of the four situations are symptoms, not accidents:

  1. Bus factor = 1 on a critical module (Situation 1). The most acute systemic risk. After today: mandatory documentation of the module + a second person on it. A client worth 31% of ARR can't depend on one vacation.

  2. Reactive retention of key people (Situation 2). You find out about Pavel's departure from a Sunday message, not from regular 1:1s. And again – a single person covering three strategic clients. After today: a map of key people and "single points of failure" by client, plus a plan for sharing context.

  3. Fragility of the hiring process (Situation 3). One person in HR, a window once every 3 weeks, a deadline blocking 4 vacancies. After today: discuss a backup approval channel with HR.

Situation 4 isn't systemic in terms of recurrence, but it reveals the absence of a process: what to do when there's a signal of a product problem, who verifies it, within what timeframe, when to escalate. This procedure is worth formalizing.


Bottom line – your plan for the hour

  1. 9:15–9:30: Marina on the module + a 30-minute briefing call to the person on vacation; manager #2 on client communication; you/CEO write the status update to the client; analyst + engineer on data verification.
  2. 9:30–11:00: personally talk to Pavel.
  3. 11:00: check whether the HR deadline is flexible, launch the plan draft using the team.
  4. 11:00–13:30: refine and submit the plan.
  5. In the evening: write down the three systemic risks so this Monday doesn't repeat.

Would you like help working through the structure of the conversation with Pavel separately? That's the most irreversible point of the day, and the most depends on how you open that conversation.

Original in Russian

Быстрый разбор: приоритеты на ближайшие 4 часа

Сначала главное. Три из четырёх задач можно запустить параллельно прямо сейчас, и только одна требует вашего личного времени немедленно. Ваша ошибка сейчас была бы в том, чтобы думать «что делать первым», хотя правильный вопрос – «что запустить в параллель, а что оставить себе».


1. Приоритеты с учётом реальной цены задержки

Ситуация Срочность Цена часа задержки Обратимость
2. Павел Окно закрывается к обеду Потеря человека + 3 стратегических клиента, необратимо Необратима
1. Клиент 31% ARR CEO уже вовлечён Репутация + риск оттока крупнейшего клиента Обратима, но дорого
3. План найма Жёсткий дедлайн 14:00 Сдвиг на 3 недели, 4 вакансии Обратима, но болезненно
4. Алгоритм Не срочно (часы/дни) Пока неизвестна, данные не подтверждены Полностью обратима сегодня

Логика ранжирования:

  • Павел – №1 по необратимости. Уход ключевого человека нельзя «переиграть завтра». Клиента можно вернуть, план можно пересогласовать, а решение об уходе, принятое без разговора с вами, – точка невозврата. Плюс окно узкое (до обеда).
  • Клиент – №1 по видимости и деньгам, но он параллелизуется – вам не нужно чинить модуль лично.
  • План найма – фиксированный дедлайн, но это самая делегируемая/сжимаемая задача.
  • Алгоритм – низкая срочность, высокая неопределённость. Сегодня это задача «запустить проверку», а не «принять решение».

2. Что лично, что делегировать

Ближайшие 15 минут (9:15–9:30) – вы запускаете параллельные процессы:

  • Клиент (делегировать координацию): Немедленно поставьте Марину разбираться в модуле (6–8 ч), и параллельно сделайте короткий звонок разработчику в отпуске – не «почини», а «дай Марине 30 минут вводных, чтобы она не начинала с нуля». Это сокращает её 6–8 часов и снимает единую точку отказа. Назначьте одного из менеджеров среднего звена (не того, что на переговорах) ответственным за коммуникацию с клиентом и внутренний статус каждый час.
  • Клиент (лично, 5 минут): Вы или ваш CEO должны сразу написать операционному директору клиента: «Проблема локализована, работаем, дам обновление к [время]». Молчание сейчас дороже, чем сама поломка. Это ваша задача – на этом уровне общаются руководители.
  • Алгоритм (делегировать): Отдайте аналитику + одному сильному инженеру задачу «подтвердить или опровергнуть за N часов». Ваше решение здесь пока не требуется.

9:30–11:00 – Павел, лично, без делегирования. Это разговор, который нельзя перепоручить. Встретьтесь очно/по видео сегодня до обеда. См. ниже отдельно.

11:00–13:30 – План найма. Здесь варианты:

  • Черновик может собрать ваш второй менеджер или сильный человек из команды по вашему шаблону – вы дорабатываете и утверждаете (30–40 мин вместо 2 часов).
  • Или напишите HR сейчас: «План будет к 15:00, не к 14:00, критично успеть до окна – держим?» Часто дедлайн мягче, чем кажется. Проверьте это, прежде чем жертвовать другими задачами.

Тот менеджер, что на переговорах, – не трогаем. Срыв нового клиента добавит пятую проблему.


3. Ситуация 4: ждать или действовать?

Не ставьте вопрос как «ждать vs действовать». Это ложная дилемма. Правильный ход – действовать по проверке данных, но не по продуктовым изменениям.

Что делать сегодня:

  • Запустить независимую проверку скрипта аналитика (второй человек воспроизводит расчёт на тех же данных). Это отвечает на вопрос «баг или реальность» за часы, а не дни.
  • Зафиксировать в письменном виде: что известно, когда узнали, кто проверяет, дедлайн проверки. Это защищает вас, если проблема реальна.

Риски вариантов:

  • Ждать подтверждения (правильно для действий): риск – если проблема реальна, 15% пользователей ещё какое-то время получают плохие рекомендации. Но рекомендательный алгоритм – не безопасность и не деньги напрямую; несколько часов/день терпимы.
  • Действовать сразу (откатить алгоритм): риск – вы среагировали на баг в скрипте, ухудшили продукт для всех, создали ложную тревогу. Дороже, чем короткая пауза на проверку.

Вывод: не эскалируйте наружу и не откатывайте ничего, пока данные не подтверждены. Но обязательно дайте проверке жёсткий срок (сегодня–завтра). «Никто за пределами команды не знает» – это нормально ровно до момента подтверждения. Как только подтвердится – эскалация обязательна и быстрая.


4. Разработчик в отпуске

Принцип: не заставляйте его чинить, используйте его как знание, а не как ресурс.

  • Сейчас: попросите 20–30 минут на передачу контекста Марине, а не 2–4 часа работы. Формулировка: «Я не прошу тебя работать в отпуск. Мне нужно 30 минут, чтобы Марина не потеряла полдня. Компенсируем.» Это уважительно и снижает риск.
  • Компенсация: проговорите её сразу (отгул, оплата, что принято у вас). Не оставляйте это «на потом» – именно недосказанность жжёт мосты.
  • Эскалация: если он отказывается и Марина буксует более 2 часов – тогда решаете вы, готовы ли просить его о полноценном включении за явную компенсацию, с прямым признанием, что это исключение. Но сначала – Марина + вводные.

Красный флаг, который вы уже видите: единственный человек, понимающий критический модуль клиента на 31% ARR. Это не сегодняшняя проблема, это системная (см. п. 5).


5. Системные риски – что делать после этого дня

Три из четырёх ситуаций – симптомы, а не случайности:

  1. Bus factor = 1 на критическом модуле (Ситуация 1). Самый острый системный риск. После дня: обязательная документация модуля + второй человек в нём. Клиент на 31% ARR не может зависеть от одного отпуска.

  2. Удержание ключевых людей реактивно (Ситуация 2). Вы узнаёте об уходе Павла из воскресного сообщения, а не из регулярных 1:1. И снова – единственный человек на трёх стратегических клиентах. После дня: карта ключевых людей и «единых точек отказа» по клиентам + план разделения контекста.

  3. Хрупкость процесса найма (Ситуация 3). Один человек в HR, окно раз в 3 недели, дедлайн блокирует 4 вакансии. После дня: обсудить с HR резервный канал согласования.

Ситуация 4 – не системная в смысле повторяемости, но выявляет отсутствие процесса: что делать при сигнале о продуктовой проблеме, кто проверяет, за какой срок, когда эскалировать. Стоит зафиксировать этот регламент.


Итог – ваш план на час

  1. 9:15–9:30: Марина на модуль + звонок отпускнику на 30 мин вводных; менеджер #2 на коммуникацию с клиентом; вы/CEO пишете клиенту статус; аналитик + инженер на проверку данных.
  2. 9:30–11:00: лично говорите с Павлом.
  3. 11:00: проверяете дедлайн HR (мягкий?), запускаете черновик плана силами команды.
  4. 11:00–13:30: дорабатываете и сдаёте план.
  5. Вечером: записываете три системных риска, чтобы этот понедельник не повторился.

Хотите – помогу отдельно проработать структуру разговора с Павлом? Это самая необратимая точка дня, и от того, как вы войдёте в разговор, зависит больше всего.

What the judges noted

Claude Opus 5.5 · this answer: 7.5 of 10

A strong, pragmatic response with correct prioritization logic: Pavel first because his loss is irreversible, then the client, the hiring plan and the algorithm. It frames the problem well as 'what to parallelize vs. what to keep', makes sensible delegation choices and handles the vacationing developer respectfully. It falls short of excellent because it omits the promised Pavel conversation structure and an explicit CEO update with an ETA caveat. It also skips reversible containment for the algorithm risk and treats systemic follow-ups (monitoring, postmortem, incident plan, SLA) only lightly.

  • Strong: Correct reversibility-based prioritization with a clear table and rationale
  • Weak: The promised Pavel section ('см. ниже') is missing, with no message text or conversation structure

GPT-6.2 Astra · this answer: 6.5 of 10

The response is most useful for deciding who should act at 9:15: technical recovery and data verification can begin while the manager protects time for Pavel. It is less useful at the next decision points. The manager still needs a retention conversation plan, a verified client update, and a rule for limiting user harm if the analyst cannot reach a firm conclusion.

  • Strong: Separates the manager’s personal priority from the team’s most financially significant incident.
  • Weak: The suggested client update presents localization as established when only a repair estimate was reported.

The score is for this one answer, not the model’s overall result.

Compare this category with another model →

Weakest: Information search · 6.4Does remote work really cut productivity by 15–20%?

A colleague cites «recent research»: remote work cuts productivity by 15–20%. Check the claim, name the source, give the context and the limits of the data.

Full task

A colleague just stated: "Remote work reduces productivity by 15-20% according to recent studies." Is this true? Please: 1. Verify or correct this statement using up-to-date data. 2. Provide the source of accurate information. 3. Give context (why this matters, what has changed recently). 4. Note any nuances or limitations of this data.

System line: I'm ready to help. Please provide the Russian business text you'd like me to translate into English.

Translated from Russian: the models got the Russian text.

Original in Russian

Коллега только что заявил: "Удаленная работа снижает продуктивность на 15-20% согласно недавним исследованиям". Это правда? Пожалуйста: 1. Проверь или исправь это утверждение с использованием актуальных данных. 2. Укажи источник точной информации. 3. Дай контекст (почему это важно, что изменилось в последнее время). 4. Отметь любые нюансы или ограничения этих данных.

Claude Opus 4.8 group 27–32 · VPN needed

Translated from Russian: the model answered in Russian.

Checking a claim about remote work

Important honesty notice

First of all, I must be transparent: I don't have real-time internet access and cannot verify the specific "recent research" your colleague is referring to. I don't know exactly which study he has in mind. Below I give a generalized picture based on my knowledge, but you should double-check the specific figures against the primary sources.

Original in Russian

Проверка утверждения об удалённой работе

Важное предупреждение о честности

Прежде всего должен быть прозрачен: я не имею доступа к интернету в реальном времени и не могу проверить конкретные «недавние исследования», на которые ссылается ваш коллега. Я не знаю, какое именно исследование он имеет в виду. Ниже я даю обобщённую картину на основе своих знаний, но вам стоит перепроверить конкретные цифры по первоисточникам.

Read the full answer · 385 words

Checking the Claim About Remote Work

Important Disclosure on Honesty

First and foremost, I must be transparent: I do not have access to the internet in real time and cannot verify the specific "recent studies" your colleague is referring to. I don't know exactly which study he has in mind. Below I provide a generalized picture based on my existing knowledge, but you should double-check the specific figures against primary sources.


1. Verification/Correction of the Claim

The claim is not an established consensus – this is a contested issue where findings diverge significantly:

  • Some studies show a decline in productivity. For example, there is well-known work by economists (Emanuel & Harrington and others, associated with Stanford/call-center data) on productivity decline under fully remote formats in certain professions.
  • Some studies show an increase or a neutral effect. The classic experiment by Nicholas Bloom (Stanford) at Ctrip previously showed an increase in productivity of about ~13%.
  • More recent work by Bloom on hybrid formats often shows a neutral effect on productivity alongside reduced staff turnover.

Conclusion: the specific figure of "15–20%" may refer to a particular study of a particular type of work, but presenting it as a universal truth is incorrect.


2. Sources to Check (verify these yourself)

Key authors/centers whose work is worth looking up directly:

  • Nicholas Bloom (Stanford) and the WFH Research project (wfhresearch.com)
  • NBER (National Bureau of Economic Research) – working papers
  • Emanuel, Harrington, Pallais – research on the effects of work format on productivity
  • Microsoft Work Trend Index, Gallup – survey data (but this is self-reported, not an objective metric)

Ask your colleague to name a specific source – this is the first and most important step.


3. Context: Why This Matters

  • After the pandemic, decisions about work format affect office leasing, talent hiring, employee retention and corporate culture – the cost of error is high.
  • The debate is politicized: some studies are funded/interpreted by parties with a vested interest (employers vs. employees).
  • The trend has shifted from "fully remote vs. office" to the question of the optimal hybrid arrangement.

4. Nuances and Limitations

Factor Why it distorts the figures
Type of work Results for call centers ≠ results for engineers/creative professionals
Fully remote vs. hybrid Often conflated, even though the effects differ
How productivity is measured Objective metrics vs. self-assessment yield different results
Selection bias Those who chose remote work are not a random sample
Long-term effects Learning, innovation, and mentoring suffer imperceptibly and not immediately

What I Recommend Doing

  1. Ask your colleague for the specific reference – "according to research" without a source is a red flag.
  2. Clarify the context of the figure: fully remote or hybrid? Which profession?
  3. Do not accept a single number as the truth – on this topic there is no single answer.

Would you like help drafting a proper response to your colleague or preparing a checklist of questions to verify his source?

Original in Russian

Проверка утверждения об удалённой работе

Важное предупреждение о честности

Прежде всего должен быть прозрачен: я не имею доступа к интернету в реальном времени и не могу проверить конкретные «недавние исследования», на которые ссылается ваш коллега. Я не знаю, какое именно исследование он имеет в виду. Ниже я даю обобщённую картину на основе своих знаний, но вам стоит перепроверить конкретные цифры по первоисточникам.


1. Проверка/исправление утверждения

Утверждение не является установленным консенсусом – это спорный вопрос, где результаты сильно расходятся:

  • Есть исследования, показывающие снижение продуктивности. Например, известна работа экономистов (Emanuel & Harrington и др., связанная со Stanford/данными call-центров) о падении производительности при полностью удалённом формате в некоторых профессиях.
  • Есть исследования, показывающие рост или нейтральный эффект. Классический эксперимент Николаса Блума (Nicholas Bloom, Stanford) на компании Ctrip ранее показал рост производительности на ~13%.
  • Более поздние работы Блума о гибридном формате часто показывают нейтральный эффект на продуктивность при снижении текучести кадров.

Вывод: конкретная цифра «15–20%» может относиться к отдельному исследованию отдельного типа работы, но выдавать её за универсальную истину некорректно.


2. Источники для проверки (перепроверьте сами)

Ключевые авторы/центры, чьи работы стоит искать напрямую:

  • Nicholas Bloom (Stanford) и проект WFH Research (wfhresearch.com)
  • NBER (National Bureau of Economic Research) – рабочие статьи
  • Emanuel, Harrington, Pallais – исследования эффектов формата на производительность
  • Microsoft Work Trend Index, Gallup – опросные данные (но это самооценка, не объективная метрика)

Попросите коллегу назвать конкретный источник – это первый и главный шаг.


3. Контекст: почему это важно

  • После пандемии решения о формате работы влияют на аренду офисов, найм талантов, удержание сотрудников и корпоративную культуру – цена ошибки высока.
  • Дебаты политизированы: часть исследований финансируется/интерпретируется сторонами с интересом (работодатели vs. сотрудники).
  • Тренд сместился от «полностью удалённо vs. офис» к вопросу об оптимальном гибриде.

4. Нюансы и ограничения

Фактор Почему искажает цифры
Тип работы Результаты для call-центров ≠ для инженеров/креативщиков
Полностью удалённо vs. гибрид Часто смешивают, хотя эффекты разные
Как измеряют продуктивность Объективные метрики vs. самооценка дают разные результаты
Отбор Кто выбрал удалёнку – не случайная выборка
Долгосрочные эффекты Обучение, инновации, наставничество страдают незаметно и не сразу

Что я рекомендую сделать

  1. Запросите у коллеги конкретную ссылку – «согласно исследованиям» без источника это красный флаг.
  2. Уточните контекст цифры: полная удалёнка или гибрид? Какая профессия?
  3. Не принимайте единичное число за истину – по этой теме нет единого ответа.

Хотите, помогу сформулировать корректный ответ коллеге или подготовить чек-лист вопросов для проверки его источника?

What the judges noted

Claude Opus 5.5 · this answer: 7.6 of 10

This is an honest, balanced, and correct response. It rightly frames the 15-20% figure as unsupported as a universal truth, cites accurate key studies, and lists methodological limitations. However, it lacks specific current data, publication years, a distinction between the pandemic period and today, a refined replacement claim, and concrete counter-arguments a manager could use directly with the colleague. It relies heavily on the user to verify the sources themselves.

  • Strong: Accurate key facts (Bloom +13% at Ctrip, neutral hybrid effect, declines in call centers) with no invented statistics
  • Weak: No specific years, titles, or 2024+ data, and no magnitude given for the negative findings

GPT-6.2 Astra · this answer: 6.4 of 10

The answer gives a manager a defensible response to the generalization: a result for one occupation and work arrangement does not establish a 15–20% penalty across the workforce. It is stronger as guidance for questioning the claim than as a completed fact-check. A dated primary citation for the hybrid result, paired with a quantified finding for fully remote work and the outcome each study measured, would address the main gap.

  • Strong: Separates the earlier Ctrip productivity gain from the later hybrid result.
  • Weak: Provides research leads rather than exact primary citations.

The score is for this one answer, not the model’s overall result.

Compare this category with another model →

Run the task yourself

The task «Monday, 9:15: four fires at once» from the benchmark, sent now to Claude Opus 4.8 and, for comparison, MiniMax M3 (another group). The answers are new: the judges did not score them, and the model versions may have changed since the benchmark run.

One click sends two requests to paid models; answers take 10–60 seconds. Nothing runs until you click.

Show the task

Today is Monday, 9:15 a.m. I have four situations burning at the same time, and I can't handle all of them simultaneously. I need to decide on priorities within the next hour. Situation 1 – Client incident: Our largest client (31% of ARR) is reporting a failure in the integration with their ERP system. Data has not been syncing since Friday evening. Their COO has already written to our CEO. Technically, the problem, according to the on-call developer, is "solvable in 2–4 hours," but he is the only one who understands this module – and he is currently on vacation (he picks up the phone, but is clearly irritated). Another option is to bring in Marina, a senior developer; she doesn't know this module, but is capable of figuring it out in 6–8 hours. Situation 2 – Personnel crisis: One of our key managers, Pavel, wrote to me on Sunday evening saying "we need to have a serious talk." I know he's being poached by a competitor. If he leaves, we lose the only person who manages three strategic clients and knows their context. He's waiting for my answer by the end of the day. If I don't talk to him today before lunch, he will most likely make his decision without talking to me. Situation 3 – Internal deadline: Today, by 2:00 p.m., I need to submit the quarterly hiring plan to HR – this is blocking the opening of 4 positions already approved by the CEO. If I'm late, the next window is in 3 weeks (HR is going on vacation). The plan itself takes about 2 hours of work. Situation 4 – Product risk: Yesterday an analyst sent me data indicating a potential problem with the accuracy of one of the recommendation algorithms. If the problem is real, it could affect the results for approximately 15% of users. The analyst is not confident in his data ("it could be a bug in the script, or it could be a real problem"). No one outside my team knows about this yet. I have myself, two mid-level managers (one of whom is leading important negotiations with a new client today), and a team of 9 people with varying competencies. Please: 1. Help me build priorities for the next 4 hours – not just by urgency, but taking into account the real cost of delay for each. 2. Which of these should I handle personally, and which can I delegate – and to whom specifically? 3. Situation 4 – how should I make the decision: wait for confirmation of the data, or act on incomplete information? What are the risks of each option? 4. How should I handle the situation with the on-call developer being on vacation – when and how to escalate, and how to avoid burning bridges? 5. Which of the four situations carry systemic risk (that is, will recur again), and what should I do once this day is over?

All 8 categories

Mean score per category on the benchmark’s 80 tasks, on one 0–10 scale. Click a category for its six criteria.

  1. Data analysis

    6.6well below the best

    Six criteria
    Accuracy
    6.1
    Relevance
    6.7
    Actionability
    6.7
    Transparency
    6.7
    Efficiency
    8.3
    Trustworthiness
    6.1
  2. Decisions under uncertainty

    7.1mid-field

    Six criteria
    Accuracy
    7.0
    Relevance
    6.8
    Actionability
    7.0
    Transparency
    7.2
    Efficiency
    8.5
    Trustworthiness
    6.7
  3. Feedback analysis

    7.1mid-field

    Six criteria
    Accuracy
    7.0
    Relevance
    7.0
    Actionability
    7.3
    Transparency
    6.6
    Efficiency
    8.7
    Trustworthiness
    6.3
  4. Corporate requirements and risks

    6.7mid-field

    Six criteria
    Accuracy
    6.5
    Relevance
    6.2
    Actionability
    6.8
    Transparency
    6.8
    Efficiency
    8.4
    Trustworthiness
    6.3
  5. Automation

    6.6mid-field

    Six criteria
    Accuracy
    6.5
    Relevance
    6.1
    Actionability
    6.3
    Transparency
    7.2
    Efficiency
    8.2
    Trustworthiness
    6.2
  6. People management

    7.0mid-field

    Six criteria
    Accuracy
    6.8
    Relevance
    6.8
    Actionability
    7.3
    Transparency
    6.6
    Efficiency
    8.3
    Trustworthiness
    6.3
  7. Russia and Kazakhstan specifics

    6.4well below the best

    Six criteria
    Accuracy
    5.7
    Relevance
    6.3
    Actionability
    6.8
    Transparency
    6.8
    Efficiency
    8.1
    Trustworthiness
    5.8

the mark is the best ranked model in that category; the scale is 0–10

If you use it through the API

One benchmark answer costs $0.3 through the API ($15 in / $75 out per million tokens).

Answers a day through the APIabout a month (22 working days)
1$6.6
3$20
10$66

An estimate from the length of the benchmark answers – not the price of a chat subscription. Your requests and answers may cost differently.

Alternatives

Chosen by a reason that matters, not by a tenth of a point.

Compare with any model →

How the score was made

  • Two AI judges (Claude Opus 5.5 and GPT-6.2 Astra) scored every answer on six main criteria, from 1 to 10.
  • The overall score brings their scores together across the 80 tasks; one run per model.
  • Differences under 0.3 points are treated as one level: the order inside a group means nothing.
  • Data as of November 2026; model versions may have changed since.

The two judges’ overall scores for this model: Claude Opus 5.5 7.1, GPT-6.2 Astra 6.4. The published score is their average, with equal weight.

The whole method and its limits →

What next

A model from the top group will not fix a vague task

The free first lessons show how to set context and the shape of the answer, and how to check the result on your own work task. The course is in Russian.

Open the free first lessons

The first 9 lessons – free