← Whole ranking · mysummit.school AI model benchmark
OpenAI
GPT-5.6 Sol
A newer version of this line was tested: GPT-6.1 Sol →
Strongest in «People management» (8.3), weakest in «Automation» (7.6).
- Group
- 1–4 of 74on one level with Kimi K3.1 Pro, GPT-6.1 Sol, Claude Opus 5.5
- Overall score
- 8.0 of 10
- API price of a test answer
- $0.19
- Data
- November 2026
Where it helps, where to check
This model’s own answers to two benchmark tasks: the opening, the full answer and what both judges noted. One task per category, the same for every model.
Strongest: People management · 8.3The two strongest developers can't work together
A lead of ten developers at a fintech: for four months two irreplaceable seniors – a slow architect and a fast pragmatist – have been in conflict, and the team is starting to fall apart.
Full task
I lead a development team at a fintech startup. I have 10 direct reports, and I've been in this role for three years. There's a situation I haven't been able to resolve for four months now, and it's starting to break the team apart. I have two of the strongest developers – Sergey Volkov and Diana Karpova. Both are Senior Engineers, both are irreplaceable, and I can't afford to lose either of them. Sergey is an architect at heart. Six years of experience, an incredibly deep understanding of systems, always thinking several steps ahead. His code reads like an essay – clean, documented, polished. The problem: he works slowly, methodically, and doesn't like to rush. During review he might leave 40 comments on a PR and wait until every single one is addressed. When asked a question at standup, he gives a three-minute detailed answer complete with historical context. Sergey is convinced that speed is the enemy of quality, and that "fast means twice." Diana is a next-generation product engineer. Four years of experience, but her iteration speed is phenomenal. She can ship a working feature in two days where Sergey would plan for a week. Diana thinks in terms of the user: "why make it perfect when you can make it good and test it on real data." She readily cuts architectural corners for the sake of speed – and this is a deliberate stance on her part, not laziness. Over the past four months, a quiet war has been going on between them. Sergey regularly sends her PRs back with fundamental architectural revisions – sometimes three days after submission. Diana has stopped waiting for his review and started asking other colleagues to approve her PRs instead. Sergey noticed this and wrote to me: "If we're not upholding review standards, I don't understand why I'm here." Diana said to my face: "Sergey is slowing down the whole team. I spend more time on his comments than on actually writing code." At the last team retro, Diana said: "We need to agree on what 'good enough' means – we can't turn every PR into a term paper." Sergey responded: "If we can't maintain minimal engineering standards, let's be honest with the business and say we're building prototypes, not a product." The other eight people went silent and stared at the floor. The situation is complicated by the fact that both of them are right in their own way. We really have accumulated technical debt from quick fixes made in past years – Sergey warned about this. At the same time, we're in a mode of serious competition, and speed of shipping features to market is critical – here Diana is right. I've talked to each of them separately. Sergey doesn't perceive the problem as an interpersonal conflict – for him it's a matter of professional standards, and he's not willing to lower them. Diana perceives Sergey as someone hiding behind "quality" to control her work, and she's starting to boil over. She's already hinted once that "there are places that value speed." I don't want to forcibly "reconcile" them or pretend this is simply a communication issue. This is a fundamental values divergence in engineering philosophy, and both people are smart – they understand this. Help me work through this situation. I'm interested in the following: 1. How do you see the root problem – is this a conflict of people, a conflict of values, or a managerial failure on my part? What's actually going on? 2. I have several possible courses of action – splitting their areas of responsibility, working out a team agreement on review standards, holding a structured three-way conversation, or picking one philosophy and asking the other person to adapt to it. Which of these is realistic and which is likely not to work? 3. How should I talk to each of them – what should I say to Sergey, what should I say to Diana, so that they both feel heard, but at the same time understand that their current behavior is unacceptable? 4. Is there a scenario where I'll have to choose one of them – and if so, how should I think about that? 5. What should I concretely do in the next two weeks? Don't give me an HR-sanitized answer about "respect and dialogue." Give me an honest assessment of the situation and a concrete action plan.
System line: You are a team management assistant for managers.
Translated from Russian: the models got the Russian text.
Original in Russian
Я руковожу командой разработки в финтех-стартапе, у меня 10 прямых подчинённых, я в этой роли уже три года. Есть ситуация, которую я не могу разрешить уже четыре месяца, и она начинает разрушать команду. У меня два сильнейших разработчика – Сергей Волков и Диана Карпова. Оба Senior Engineer, оба незаменимы, обоих я не могу позволить себе потерять. Сергей – архитектор в душе. Шесть лет опыта, невероятно глубокое понимание систем, всегда думает на несколько шагов вперёд. Его код читается как эссе – чистый, документированный, выверенный. Проблема: он работает медленно, методично, не любит спешить. На ревью он может оставить 40 комментариев к PR и ждать, пока каждый будет разобран. Когда ему задают вопрос на стендапе, он даёт трёхминутный развёрнутый ответ с историческим контекстом. Сергей убеждён, что скорость – это враг качества, и что «быстро – значит дважды». Диана – продуктовый инженер нового поколения. Четыре года опыта, но скорость итерации феноменальная. Она умеет выпустить рабочую фичу за два дня там, где Сергей планировал бы неделю. Диана мыслит через пользователя: «зачем делать идеально, если можно сделать хорошо и проверить на реальных данных». Она легко срезает углы в архитектуре ради скорости – и это её осознанная позиция, не лень. Последние четыре месяца между ними идёт тихая война. Сергей регулярно возвращает её PR с фундаментальными архитектурными правками – иногда через три дня после подачи. Диана перестала ждать его ревью и начала просить других коллег approve'ить её PR. Сергей заметил это и написал мне: «Если мы не поддерживаем стандарты ревью, я не понимаю зачем я здесь». Диана сказала мне в лицо: «Сергей тормозит всю команду. Я трачу больше времени на его комментарии, чем на написание кода». На последнем командном ретро Диана сказала: «Нам нужно договориться, что значит "достаточно хорошо" – нельзя каждый PR превращать в курсовую работу». Сергей ответил: «Если мы не можем поддерживать минимальные инженерные стандарты, давайте честно скажем бизнесу, что мы строим прототипы, а не продукт». Остальные восемь человек замолчали и смотрели в пол. Ситуацию усложняет то, что оба по-своему правы. У нас действительно накопился технический долг из-за быстрых решений прошлых лет – Сергей об этом предупреждал. При этом мы в режиме серьёзной конкуренции, и скорость вывода фич на рынок критична – здесь Диана права. Я разговаривал с каждым по отдельности. Сергей не воспринимает проблему как межличностный конфликт – для него это вопрос профессиональных стандартов, и он не готов их снижать. Диана воспринимает Сергея как человека, который прячется за «качеством», чтобы контролировать её работу, и начинает закипать. Она уже один раз намекнула, что «есть места, где ценят скорость». Я не хочу принудительно «примирять» их или делать вид, что это просто коммуникационный вопрос. Это фундаментальное ценностное расхождение в инженерной философии, и оба человека умные – они это понимают. Помоги мне разобраться с этой ситуацией. Меня интересует следующее: 1. Как ты видишь корневую проблему – это конфликт людей, конфликт ценностей, или управленческий провал с моей стороны? Что на самом деле происходит? 2. У меня есть несколько вариантов действий – разделить их зоны ответственности, выработать командное соглашение по стандартам ревью, провести структурированный разговор втроём, или выбрать одну философию и попросить второго подстроиться. Что из этого реалистично и что скорее всего не сработает? 3. Как мне разговаривать с каждым из них – что говорить Сергею, что говорить Диане, чтобы они оба почувствовали, что их услышали, но при этом поняли, что текущее поведение неприемлемо? 4. Есть ли сценарий, где мне придётся выбрать одного из них – и если да, как я должен об этом думать? 5. Что я должен сделать в следующие две недели конкретно? Не давай мне HR-корректный ответ про «уважение и диалог». Дай мне честную оценку ситуации и конкретный план действий.
GPT-5.6 Sol
Translated from Russian: the model answered in Russian.
Honest assessment: this is no longer just a difference in engineering tastes. You lack an explicit decision-making system for determining where quality is mandatory, where a compromise is acceptable, and who has the authority to sanction that compromise. Into this vacuum Sergey brought his personal quality standard, and Diana brought her personal speed standard. Now they are not discussing decisions but are effectively fighting over the right to define the team's engineering policy.
Four months without resolution have turned a substantive disagreement into a behavioral conflict. The other eight people are already paying for it: staying silent, picking sides, seeking out "convenient" reviewers, and not understanding which rules are actually in force.
Original in Russian
Честная оценка: это уже не просто разница инженерных вкусов. У вас отсутствует явная система принятия решений о том, где качество обязательно, где допустим компромисс и кто имеет право этот компромисс санкционировать. В этот вакуум Сергей принёс личный стандарт качества, а Диана – личный стандарт скорости. Теперь они не обсуждают решения, а фактически борются за право определять инженерную политику команды.
Четыре месяца без развязки превратили содержательное разногласие в поведенческий конфликт. Остальные восемь человек уже платят за него: молчат, выбирают стороны, ищут «удобных» ревьюеров и не понимают, какие правила действуют.
Read the full answer · 2,550 words
Honest assessment: this is no longer simply a difference in engineering tastes. You lack an explicit system for deciding where quality is mandatory, where compromise is acceptable, and who has the right to authorize that compromise. Into this vacuum, Sergey brought a personal quality standard, and Diana brought a personal speed standard. Now they're not discussing decisions – they're effectively fighting for the right to define the team's engineering policy.
Four months without resolution have turned a substantive disagreement into a behavioral conflict. The other eight people are already paying for it: they stay silent, pick sides, look for "convenient" reviewers, and don't understand which rules are in effect.
1. What is actually happening
This is three conflicts at once.
1. A management gap – the root cause
You haven't established:
- which risks are unacceptable;
- where technical debt can be deliberately taken on;
- who makes architectural decisions;
- what counts as a blocking review comment;
- how long a review can take;
- whether a specific reviewer can be bypassed;
- when a dispute should be escalated instead of continuing in the PR.
As a result, Sergey has effectively appointed himself the guardian of quality, and Diana the arbiter of product expediency. Neither of them has a full mandate for this role, but the rules don't forbid it either.
This doesn't mean you're a bad manager. But right now it's you who needs to take the question of "what kind of engineering organization do we have" away from them and turn it from a personal dispute into an operational system for the team.
2. A real conflict of values
Sergey is optimizing for:
- reliability;
- maintainability;
- long-term cost;
- preventing hard-to-reverse mistakes.
Diana is optimizing for:
- speed of feedback;
- user value;
- reversibility of decisions;
- the cost of lost time.
Both models are rational. Each side's mistake is applying their model to all changes without accounting for risk.
In fintech, it is equally absurd to:
- ship fee calculations or payment processing on a "we'll fix it later" basis;
- design an internal experimental screen as if it were a bank ledger meant to last ten years.
What you need is not a victory for one philosophy, but a classification of changes by risk.
3. A behavioral conflict – already a separate problem
Sergey uses review as an architectural gate, sometimes with a three-day delay. Even if his comments are technically correct, this is an unacceptable way to manage the flow of work.
Diana has started bypassing an inconvenient reviewer. Even if Sergey is overreaching, this destroys the integrity of the rules and creates a market for "convenient approvals."
In other words, both are wrong right now:
- Sergey cannot unilaterally make his ideal standard mandatory for everyone.
- Diana cannot unilaterally decide which standards can be bypassed.
Their intentions may be good. The behavior is still unacceptable.
Separately: the phrase "both are irreplaceable" is a dangerous signal. If two employees are truly irreplaceable, you already have an organizational risk – a lack of documentation, knowledge distribution, and succession planning. This needs to be reduced regardless of the conflict.
2. What options are realistic
A team review agreement – necessary but not sufficient
This is the core of the solution, provided the agreement is concrete rather than something like "we respect both quality and speed."
It should define:
Categories of changes
For example:
Level A – critical and hard-to-reverse
- money movement;
- ledger and calculations;
- security and access rights;
- personal data;
- compliance;
- migrations with risk of data loss;
- public contracts and fundamental platform decisions.
For these:
- mandatory architectural review before writing a large PR;
- enhanced testing;
- assigned owners;
- blocking review under strict standards;
- deliberately lower speed.
Level B – regular production code
- standard review;
- reasonable requirements for tests and observability;
- local compromises are allowed;
- debt is documented explicitly.
Level C – reversible experiments
- feature flags;
- limited rollout;
- internal tooling;
- A/B tests;
- short-lived prototypes.
For these:
- lightweight review;
- minimal but mandatory security and data requirements;
- a pre-specified date for removal, review, or hardening.
Important: in fintech, security, monetary correctness, privacy, and compliance do not become optional even for an experiment.
Types of comments
Every comment is tagged as:
- BLOCKER – risk to correctness, security, data, approved architecture, or significant operations;
- REQUIRED – violation of an agreed team standard;
- SUGGESTION – an improvement that doesn't block the merge;
- QUESTION/NIT – a question or a minor point.
You cannot leave 40 comments without indicating which of them actually block the release.
In addition, a blocking comment must include:
- a specific risk;
- a reference to an agreed standard, or an explanation of the consequences;
- a minimally sufficient way to resolve it.
"I would have designed it differently" is not an automatic blocker.
Review SLA
For example:
- first substantive review within four working hours, or by noon of the next working day;
- if the reviewer cannot do this, they say so and hand off the review;
- a major architectural dispute is not conducted in comments for three days;
- after two rounds without agreement – a brief escalation to the tech lead/you/a designated arbiter.
The SLA doesn't require finishing a complex review in four hours. It requires not leaving the author in limbo for three days.
Architecture before the PR, not inside the PR
If a PR reveals a fundamental architectural disagreement, that means the architectural discussion started too late.
For major changes:
- a short 1–2 page design note/RFC;
- context;
- options;
- risks;
- reversibility;
- the chosen trade-off;
- a review deadline.
This way Sergey can exert influence where his depth is most valuable, and Diana won't find out after writing the feature that everything needs to be redone.
A structured three-way conversation – needed, but after the rules are prepared
Don't start with a meeting in the "tell each other how you feel" style. They will simply replay the "quality versus speed" argument again.
First gather the facts separately, prepare a draft model, then hold the conversation with a specific goal:
Not to determine whose philosophy is correct, but to agree on the rules by which the team makes decisions at different risk levels.
You are not a neutral mediator. You are the manager and owner of the process. If they don't reach agreement, you make the decision.
Splitting areas of responsibility – partially useful, dangerous as the main solution
You can use their strengths:
- Sergey – critical systems, architectural decisions, improving standards, and early design reviews;
- Diana – product verticals, experiments, rapid iteration, and hypothesis testing.
But you must not create two separate states:
- "Sergey's territory, where everything is perfect and slow";
- "Diana's territory, where everything is fast and no one asks questions."
This will only freeze the conflict, reinforce their irreplaceability, and lead to different engineering cultures within a single team.
Splitting is acceptable as a distribution of focus, but:
- the baseline standards remain unified;
- both periodically work outside their usual zone;
- knowledge is duplicated;
- decisions go through a shared mechanism.
Choosing one philosophy and forcing the other to adapt – almost certainly a mistake
If you choose Sergey, the team will start overinvesting in quality, cycle time will grow, and product engineers will look for workarounds or leave.
If you choose Diana, technical debt will keep growing, and serious fintech risks will go unmanaged. Sergey will likely leave or emotionally disengage.
Organizations really do pick a point on the speed-versus-quality scale. But a mature engineering organization doesn't use a single point for all types of changes.
3. How to talk to each of them
First, hold separate conversations. Each needs four elements:
- acknowledgment of their value;
- a specific description of the unacceptable behavior;
- the new expectation;
- the consequences of failing to adapt.
Conversation with Sergey
Something like this:
Sergey, your warnings about technical debt have been justified. We need your ability to see systemic consequences, especially in the critical parts of the product. I'm not asking you to stop defending quality.
But right now your personal standard has effectively become the team's mandatory standard, even though neither the team nor I have approved it as such. A three-day wait for review, dozens of unranked comments, and trying to resolve fundamental architecture after the PR has been written are blocking the flow of work.
Your responsibility as a Senior is not to achieve the perfect implementation of every change, but to help the team accept the right level of risk within the required time. Sometimes the professional decision is to produce not the best design, but a safe, reversible design with explicitly documented debt.
From now on, blocking comments must be tied to a specific risk or an agreed standard. Everything else is a suggestion. If the issue is architectural, we take it to a design review instead of waging a multi-day war inside the PR. You're also required to comply with the review SLA.
I want you to help build this system. But participating in building it doesn't mean having sole veto power. Once a decision is made, I expect you to support it, even if you would have preferred a stricter option.
It's especially important to ask:
What three categories of mistakes do you consider truly unacceptable? What trade-offs are you willing to accept in reversible changes?
This forces him to move from "quality in general" to prioritizing risks.
Don't tell Sergey, "Be less of a perfectionist." He will hear: "We don't care about professionalism." Talk about proportionality, risk, cycle time, and the team's mandate.
Conversation with Diana
Something like this:
Diana, your ability to quickly get ideas in front of users is one of the team's key strengths. And you're right that we can't turn every PR into an architecture project.
But bypassing a specific reviewer by looking for a more convenient approval isn't a solution. It destroys trust in the review process and lets everyone pick their own standards. Even when the process is bad, a Senior Engineer should escalate the problem and change the process, not bypass it.
Speed doesn't mean the author alone determines acceptable risk. For changes critical to money, data, security, and operations, the requirements will be strict. I expect you to involve Sergey or another architectural owner earlier, before implementation, not after.
At the same time, I will change the system: there will be no more endless reviews and three-day silences. Comments will be ranked, review will have an SLA, and experiments will get a lightweight path.
I need you not only to defend speed, but also to make trade-offs visible: what debt we're taking on, why it's reversible, when it will be revisited, and what safeguards are being used.
Ask her:
Which fast decisions over the past year actually ended up being expensive to redo? By what signs would you yourself recognize that a change can't be treated as an experiment?
Don't say, "Sergey is just very thorough, try to understand him." That will sound like legitimizing the blocking. But also don't promise to "take Sergey off your reviews."
The joint conversation
Ground rules for the meeting:
- discuss specific cases, not personalities;
- phrases like "you always" and "you just want control" are forbidden;
- intentions are not discussed, consequences of behavior are;
- the decision doesn't require full agreement;
- commitments from each person are recorded at the end.
Your opening:
You're both defending real interests of the company, but the current ways you're defending those interests are harming the team. Sergey doesn't get sole architectural veto power. Diana doesn't get to choose standards by picking a convenient reviewer. We are introducing a single mechanism, not declaring a winner.
Have each of them state:
- what they find valuable in the other person's approach;
- what behavior of their own they will stop;
- what new behavior they will start;
- how they will escalate disagreements.
Specific commitments might be:
Sergey:
- responds within the SLA;
- tags comments;
- doesn't block based on personal preference;
- raises fundamental questions before implementation;
- proposes a minimally sufficient option, not only the ideal one.
Diana:
- doesn't seek an alternative approval if there's an open blocker;
- states the risk level and nature of the experiment in advance;
- documents deliberately taken-on debt;
- involves owners of critical systems before coding;
- doesn't treat every architectural comment as an attempt at control.
4. Might you need to choose one of them
Yes. Not because the philosophies are incompatible, but if one of them turns out to be unable to work within a team system where they don't solely set the rules.
The criterion for choosing is not "who is technically stronger" and not "who threatened to leave first." Look at three things:
1. Adaptability
Is the person capable of changing their behavior after clear feedback?
- Sergey can remain demanding, but must be able to rank risks and accept non-ideal decisions.
- Diana can remain fast, but must accept constraints and not bypass controls.
2. Scalability of influence
Does the person strengthen the team, or make themselves an obligatory bottleneck?
A strong Senior:
- spreads knowledge;
- improves others' decisions;
- creates understandable rules;
- reduces the team's dependence on themselves.
A Senior who is organizationally weak may write excellent code but turn every decision into a fight for personal control.
3. The cost of the behavior for everyone else
Look not only at their output, but also at:
- the team's cycle time;
- the number of re-reviews;
- the quality of decisions;
- the psychological safety of discussions;
- process bypasses;
- turnover;
- the silence of the other eight people.
If, after clear rules and 4–6 weeks of observation, one of them continues to sabotage the system, then the question is no longer quality versus speed. It's a question of manageability and fit for the Senior role.
Don't make the choice now, before building a proper system – otherwise you'll be firing someone for a conflict partly created by the management vacuum. But don't drag it out indefinitely either. Once the rules are introduced, resistance to them becomes diagnostic.
Also, don't let Diana's hint about leaving drive the decision. You can calmly say:
I want you to stay, and I'm seriously changing the process. But the team's decisions won't be made under the threat of someone leaving.
The same applies to Sergey's remark, "I don't understand why I'm here." His value is acknowledged, but it doesn't translate into veto power.
5. Plan for the next two weeks
Day 1: stop the deterioration
Announce temporary rules:
- no PR should wait more than one working day for an initial response;
- open blocker comments cannot be bypassed by a quiet approval from someone else;
- a dispute lasting longer than 30 minutes or two rounds of comments gets escalated;
- major architectural changes temporarily require a short design note;
- security, money, data, and compliance have enhanced controls.
This is not the final policy, just immediate stabilization.
Days 1–2: gather the facts
Analyze the last 15–20 contentious PRs:
- time to first review;
- time to merge;
- number of comments;
- how many comments were genuine defects;
- how many were architectural preferences;
- how many decisions later had to be redone;
- which fast decisions created debt;
- which strict reviews actually prevented problems.
Separately, talk to 3–4 other developers without asking "who's right." Ask:
- How clear is it what blocks a merge?
- Where does review add value, and where does it become a bottleneck?
- Is there a search for convenient reviewers?
- In which discussions have people stopped speaking up?
- Which changes require a strict mode and which don't?
Otherwise you'll be building a solution around only the two loudest people.
Days 2–3: separate conversations
Hold the conversations with Sergey and Diana described above.
After each one, write down:
- the observed problematic behavior;
- the expected change;
- the person's role in building the new rules;
- the timeline for checking progress.
Don't frame this as punishment, but don't leave it at the level of a verbal impression either.
Days 3–4: prepare a draft operating model
Draft a 1–2 page document:
- risk levels for changes;
- mandatory standards for each level;
- BLOCKER / REQUIRED / SUGGESTION / NIT;
- review SLA;
- design review rules;
- escalation procedure;
- how deliberately taken-on technical debt is documented;
- who makes the final decision.
This last point is critical. For example:
- security/compliance questions – the relevant owner;
- architecture of critical systems – the tech lead/architecture group;
- product scope and timelines – the product/engineering manager;
- in case of conflicting risks, the final decision – you together with the designated technical owner, with the trade-off documented in writing.
Don't create a committee that convenes for every single PR.
Day 5: the structured three-way conversation
Show them the data and the draft. Don't start with an open-ended question like "how do we resolve the conflict?"
A 60–90 minute structure:
- 10 minutes – your description of the problem and the boundaries;
- 10 minutes each – the facts and risks each person wants to protect;
- 20–30 minutes – discussion of the draft rules;
- 15 minutes – walking through two real PRs under the new scheme;
- 10 minutes – personal commitments and the escalation procedure.
If they disagree with a particular rule, hear out their arguments and make the decision. Full consensus is not required.
Week 2: launch a pilot
Run the rules as a two-week trial.
For each PR, the author specifies:
- the risk level;
- what is changing;
- whether the decision is reversible;
- whether a design review is needed;
- what debt is being deliberately taken on;
- how the rollout is controlled.
The reviewer tags their comments. Disputes get escalated quickly.
Have Sergey and Diana jointly review 2–3 past cases and classify:
- where Sergey's strictness would have prevented real harm;
- where it was disproportionate;
- where Diana's speed delivered value;
- where a fast compromise created expensive debt.
This should not be an attempt to "make them friends," but a calibration of a shared risk scale.
End of week 2: evaluate behavior, not mood
Check:
- average time to first review;
- time from PR open to merge;
- number of blocker comments;
- share of blockers later dropped as unjustified after discussion;
- number of escalations;
- instances of bypassing review;
- cases where an architectural question was raised in advance;
- feedback from the rest of the team.
Hold short follow-up 1:1s.
With Sergey:
Where did you deliberately accept a good-enough option? Was the risk controlled in that case?
With Diana:
Where did you involve architecture review earlier, and what did that change? Which trade-offs did you document explicitly?
Then communicate to the whole team which rules are staying and what's being adjusted.
The core management position
You don't need to reconcile two philosophies. You need to establish a system in which:
- strictness is proportional to risk;
- speed is achieved through reversibility, limited rollout, and fast feedback – not through bypassing controls;
- quality is achieved through early decisions and clear standards – not through endlessly blocking PRs;
- disagreements have an owner and a deadline for resolution;
- no Senior can privatize the team's engineering policy.
And one more thing: protect not only your relationship with the two stars. The eight people who've been staring at the floor are the most alarming signal in this whole story. If they see that the loud and irreplaceable can wage a months-long personal war through the work process, the team will learn that rules are determined by status. Your most immediate task is to restore legitimacy to the rules.
Original in Russian
Честная оценка: это уже не просто разница инженерных вкусов. У вас отсутствует явная система принятия решений о том, где качество обязательно, где допустим компромисс и кто имеет право этот компромисс санкционировать. В этот вакуум Сергей принёс личный стандарт качества, а Диана – личный стандарт скорости. Теперь они не обсуждают решения, а фактически борются за право определять инженерную политику команды.
Четыре месяца без развязки превратили содержательное разногласие в поведенческий конфликт. Остальные восемь человек уже платят за него: молчат, выбирают стороны, ищут «удобных» ревьюеров и не понимают, какие правила действуют.
1. Что на самом деле происходит
Это три конфликта одновременно.
1. Управленческий пробел – первичная причина
Вы не зафиксировали:
- какие риски недопустимы;
- где можно сознательно брать технический долг;
- кто принимает архитектурные решения;
- что является блокирующим замечанием на ревью;
- сколько времени может занимать ревью;
- можно ли обойти конкретного ревьюера;
- когда спор должен быть эскалирован, а не продолжаться в PR.
Из-за этого Сергей фактически назначил себя хранителем качества, а Диана – арбитром продуктовой целесообразности. Ни у одного из них нет полного мандата на эту роль, но правила этого не запрещают.
Это не значит, что вы плохой руководитель. Но сейчас именно вы должны забрать у них решение вопроса «какая у нас инженерная организация» и превратить его из личного спора в операционную систему команды.
2. Реальный конфликт ценностей
Сергей оптимизирует под:
- надёжность;
- сопровождаемость;
- долгосрочную стоимость;
- предотвращение труднообратимых ошибок.
Диана оптимизирует под:
- скорость обратной связи;
- ценность для пользователя;
- обратимость решений;
- стоимость упущенного времени.
Обе модели рациональны. Ошибка каждой стороны – применять свою модель ко всем изменениям без учёта риска.
В финтехе одинаково абсурдно:
- выпускать расчёт комиссий или обработку платежей по принципу «потом поправим»;
- проектировать внутренний экспериментальный экран так, будто это банковский ledger на десять лет.
Вам нужна не победа одной философии, а классификация изменений по риску.
3. Поведенческий конфликт – уже отдельная проблема
Сергей использует ревью как архитектурный шлюз, иногда с трёхдневной задержкой. Даже если его замечания технически верны, это неприемлемый способ управления потоком работы.
Диана начала обходить неудобного ревьюера. Даже если Сергей перегибает, это разрушает целостность правил и создаёт рынок «удобных approve».
То есть сейчас неправы оба:
- Сергей не может единолично делать свой идеальный стандарт обязательным для всех.
- Диана не может единолично решать, какие стандарты можно обойти.
Их намерения могут быть хорошими. Поведение всё равно неприемлемо.
Отдельно: формулировка «оба незаменимы» – опасный сигнал. Если два сотрудника действительно незаменимы, у вас уже есть организационный риск: недостаток документации, распределения знаний и преемственности. Его нужно снижать независимо от конфликта.
2. Какие варианты реалистичны
Командное соглашение по ревью – необходимо, но недостаточно
Это основная часть решения, если соглашение будет конкретным, а не вроде «уважаем качество и скорость».
Оно должно определять:
Категории изменений
Например:
Уровень A – критические и труднообратимые
- движение денег;
- ledger и расчёты;
- безопасность и права доступа;
- персональные данные;
- compliance;
- миграции с риском потери данных;
- публичные контракты и фундаментальные платформенные решения.
Для них:
- обязательное архитектурное рассмотрение до написания большого PR;
- усиленное тестирование;
- назначенные владельцы;
- блокирующее ревью по строгим стандартам;
- сознательно более низкая скорость.
Уровень B – обычный production-код
- стандартное ревью;
- разумные требования к тестам и наблюдаемости;
- допускаются локальные компромиссы;
- долг оформляется явно.
Уровень C – обратимые эксперименты
- feature flag;
- ограниченный rollout;
- внутренний инструмент;
- A/B-тест;
- прототип с коротким сроком жизни.
Для них:
- облегчённое ревью;
- минимальные, но обязательные требования по безопасности и данным;
- заранее указанная дата удаления, пересмотра или укрепления решения.
Важно: в финтехе безопасность, корректность денег, privacy и compliance не становятся необязательными даже для эксперимента.
Виды комментариев
Каждый комментарий помечается:
- BLOCKER – риск корректности, безопасности, данных, утверждённой архитектуры или существенной эксплуатации;
- REQUIRED – нарушение согласованного командного стандарта;
- SUGGESTION – улучшение, которое не блокирует merge;
- QUESTION/NIT – вопрос или мелочь.
Нельзя оставлять 40 комментариев и не обозначать, какие из них реально блокируют выпуск.
Кроме того, блокирующий комментарий должен содержать:
- конкретный риск;
- ссылку на согласованный стандарт либо объяснение последствий;
- минимально достаточный способ устранения.
«Я бы спроектировал иначе» не является автоматическим blocker.
SLA ревью
Например:
- первое содержательное ревью – в пределах четырёх рабочих часов либо до полудня следующего рабочего дня;
- если ревьюер не может – он сообщает об этом и передаёт ревью;
- крупный архитектурный спор не ведётся три дня в комментариях;
- после двух раундов без согласия – короткая эскалация к tech lead/вам/назначенному арбитру.
SLA – это не требование закончить сложное ревью за четыре часа. Это требование не держать автора в неопределённости три дня.
Архитектура до PR, а не внутри PR
Если PR обнаруживает фундаментальное разногласие по архитектуре, значит архитектурное обсуждение началось слишком поздно.
Для крупных изменений:
- короткий design note/RFC на 1–2 страницы;
- контекст;
- варианты;
- риски;
- обратимость;
- выбранный компромисс;
- срок пересмотра.
Тогда Сергей сможет влиять там, где его глубина наиболее ценна, а Диана не будет узнавать после написания фичи, что всё нужно переделать.
Структурированный разговор втроём – нужен, но после подготовки правил
Не начинайте со встречи в стиле «расскажите друг другу, что вы чувствуете». Они снова воспроизведут спор «качество против скорости».
Сначала отдельно получите факты, подготовьте черновик модели, затем проведите разговор с конкретной целью:
Не определить, чья философия правильная, а согласовать правила, по которым команда принимает решения при разных уровнях риска.
Вы – не нейтральный медиатор. Вы руководитель и владелец процесса. Если они не договорятся, решение принимаете вы.
Разделить зоны ответственности – полезно частично, опасно как основное решение
Можно использовать сильные стороны:
- Сергей – критические системы, архитектурные решения, улучшение стандартов и ранние design review;
- Диана – продуктовые вертикали, эксперименты, быстрые итерации и проверка гипотез.
Но нельзя создавать два государства:
- «территория Сергея, где всё идеально и медленно»;
- «территория Дианы, где всё быстро и никто не задаёт вопросов».
Это только заморозит конфликт, усилит незаменимость и приведёт к разным инженерным культурам внутри одной команды.
Разделение допустимо как распределение фокуса, но:
- базовые стандарты едины;
- оба периодически работают вне привычной зоны;
- знания дублируются;
- решения проходят через общий механизм.
Выбрать одну философию и заставить второго подстроиться – почти наверняка ошибка
Если выбрать Сергея, команда начнёт переинвестировать в качество, время цикла вырастет, а продуктовые инженеры будут искать обходные пути или уходить.
Если выбрать Диану, технический долг продолжит расти, а серьёзные риски финтеха окажутся недоуправляемыми. Сергей, вероятно, уйдёт или эмоционально отключится.
Организации действительно выбирают точку на шкале скорости и качества. Но зрелая инженерная организация не использует одну точку для всех типов изменений.
3. Как разговаривать с каждым
Сначала проведите отдельные разговоры. В них нужны четыре элемента:
- признание ценности;
- конкретное описание неприемлемого поведения;
- новое ожидание;
- последствия отсутствия адаптации.
Разговор с Сергеем
Можно сказать примерно так:
Сергей, твои предупреждения о техническом долге были обоснованными. Нам нужна твоя способность видеть системные последствия, особенно в критических частях продукта. Я не прошу тебя перестать защищать качество.
Но сейчас твой личный стандарт фактически стал обязательным стандартом команды, хотя команда и я его таким не утверждали. Трёхдневное ожидание ревью, десятки неранжированных комментариев и попытка решать фундаментальную архитектуру после написания PR блокируют поток работы.
Твоя ответственность как Senior – не добиться идеальной реализации каждого изменения, а помочь команде принять правильный уровень риска в нужный срок. Иногда профессиональное решение – сделать не лучший дизайн, а безопасный обратимый дизайн с явно оформленным долгом.
Отныне блокирующие комментарии должны быть связаны с конкретным риском или согласованным стандартом. Остальное – suggestions. Если проблема архитектурная, мы выносим её в design review, а не ведём многодневную войну внутри PR. От тебя также требуется соблюдать SLA ревью.
Я хочу, чтобы ты помог создать эту систему. Но участие в её создании не означает право единоличного вето. После принятия решения я ожидаю, что ты его поддержишь, даже если предпочёл бы более строгий вариант.
Особенно важно спросить:
Какие три категории ошибок ты считаешь действительно недопустимыми? Какие компромиссы ты готов принять в обратимых изменениях?
Это заставляет его перейти от «качество вообще» к приоритизации рисков.
Не говорите Сергею: «Будь менее перфекционистом». Он услышит: «Нас не интересует профессионализм». Говорите о пропорциональности, риске, времени цикла и командном мандате.
Разговор с Дианой
Примерно так:
Диана, твоя способность быстро доводить идеи до пользователей – одна из ключевых ценностей команды. И ты права, что мы не можем превращать каждый PR в архитектурный проект.
Но обход конкретного ревьюера через поиск более удобного approve – не решение. Это разрушает доверие к ревью и позволяет каждому выбирать стандарты под себя. Даже когда процесс плохой, Senior Engineer должен эскалировать проблему и менять процесс, а не обходить его.
Скорость не означает, что автор единолично определяет допустимый риск. В критических для денег, данных, безопасности и эксплуатации изменениях требования будут жёсткими. Я ожидаю, что ты будешь вовлекать Сергея или другого архитектурного владельца раньше, до реализации, а не после.
При этом я изменю систему: бесконечных ревью и трёхдневного молчания больше не будет. Комментарии будут ранжироваться, у ревью появится SLA, а эксперименты получат облегчённый путь.
Мне нужно, чтобы ты не только защищала скорость, но и делала компромиссы видимыми: какой долг берём, почему он обратим, когда пересматриваем и какие защитные механизмы используем.
Спросите:
Какие быстрые решения за последний год реально пришлось дорого переделывать? По каким признакам ты сама готова признать, что изменение нельзя вести как эксперимент?
Не говорите: «Сергей просто очень тщательный, попробуй понять его». Это прозвучит как легализация блокирования. Но и не обещайте «убрать Сергея с твоих ревью».
Общий разговор
Правила встречи:
- обсуждаются конкретные кейсы, а не характеры;
- запрещены формулировки «ты всегда» и «ты просто хочешь контролировать»;
- намерения не обсуждаются, обсуждаются последствия поведения;
- решение не требует полного согласия;
- в конце фиксируются обязательства каждого.
Ваша вводная:
Вы оба защищаете реальные интересы компании, но текущие способы защиты этих интересов вредят команде. Сергей не получает право единоличного архитектурного вето. Диана не получает право выбирать стандарты через удобного ревьюера. Мы вводим единый механизм, а не определяем победителя.
Пусть каждый сформулирует:
- что ценного он видит в подходе другого;
- какое собственное поведение прекратит;
- какое новое поведение начнёт;
- как будет эскалировать разногласие.
Конкретные обязательства могут быть такими:
Сергей:
- отвечает в рамках SLA;
- маркирует комментарии;
- не блокирует по личным предпочтениям;
- фундаментальные вопросы поднимает до реализации;
- предлагает минимально достаточный вариант, а не только идеальный.
Диана:
- не ищет обходной approve, если есть открытый блокер;
- заранее обозначает уровень риска и характер эксперимента;
- документирует сознательно взятый долг;
- вовлекает владельцев критических систем до кодинга;
- не трактует любое архитектурное замечание как контроль.
4. Может ли понадобиться выбрать одного
Да. Не потому, что философии несовместимы, а если один из них окажется неспособен работать в командной системе, где не он единолично задаёт правила.
Критерий выбора – не «кто технически сильнее» и не «кто первым пригрозил уходом». Смотрите на три вещи:
1. Адаптивность
Способен ли человек изменить поведение после ясной обратной связи?
- Сергей может оставаться требовательным, но должен уметь ранжировать риски и принимать неидеальные решения.
- Диана может оставаться быстрой, но должна принимать ограничения и не обходить контроль.
2. Масштабируемость влияния
Человек усиливает команду или делает себя обязательным узким местом?
Сильный Senior:
- распространяет знания;
- улучшает решения других;
- создаёт понятные правила;
- снижает зависимость команды от себя.
Слабый в организационном смысле Senior может писать прекрасный код, но превращать каждое решение в борьбу за личный контроль.
3. Цена поведения для остальных
Посмотрите не только на их output, но и на:
- время цикла команды;
- количество повторных ревью;
- качество решений;
- психологическую безопасность обсуждений;
- обходы процесса;
- текучесть;
- молчание остальных восьми человек.
Если после ясных правил и 4–6 недель наблюдения один продолжает саботировать систему, тогда вопрос уже не о качестве против скорости. Это вопрос управляемости и соответствия роли Senior.
Не делайте выбор сейчас, до создания нормальной системы: иначе вы будете увольнять человека за конфликт, который частично создал управленческий вакуум. Но и не растягивайте бесконечно. После введения правил сопротивление им станет диагностическим.
Также не позволяйте намёку Дианы на уход управлять решением. Можно спокойно сказать:
Я хочу, чтобы ты осталась, и всерьёз меняю процесс. Но решение команды не будет приниматься под угрозой ухода.
То же относится к фразе Сергея «не понимаю, зачем я здесь». Его ценность признаётся, но не превращается в право вето.
5. План на ближайшие две недели
День 1: остановить ухудшение
Объявите временные правила:
- ни один PR не должен ждать первой реакции более одного рабочего дня;
- открытые blocker-комментарии нельзя обходить тихим approve другого человека;
- спор дольше 30 минут или двух раундов комментариев эскалируется;
- крупные архитектурные изменения временно требуют короткого design note;
- security, деньги, данные и compliance имеют усиленный контроль.
Это не финальная политика, а немедленная стабилизация.
Дни 1–2: собрать факты
Проанализируйте последние 15–20 спорных PR:
- время до первого ревью;
- время до merge;
- количество комментариев;
- сколько замечаний было реальными дефектами;
- сколько – архитектурными предпочтениями;
- сколько решений потом пришлось переделывать;
- какие быстрые решения создали долг;
- какие строгие ревью реально предотвратили проблемы.
Отдельно поговорите с 3–4 другими разработчиками, не спрашивая «кто прав». Спросите:
- Насколько понятно, что блокирует merge?
- Где ревью приносит пользу, а где становится узким местом?
- Есть ли поиск удобных ревьюеров?
- В каких обсуждениях люди перестали говорить?
- Какие изменения требуют строгого режима, а какие нет?
Иначе вы будете строить решение только вокруг двух самых громких людей.
Дни 2–3: отдельные разговоры
Проведите описанные выше разговоры с Сергеем и Дианой.
После каждого письменно зафиксируйте:
- наблюдаемое проблемное поведение;
- ожидаемое изменение;
- роль человека в создании новых правил;
- срок проверки прогресса.
Не оформляйте это как наказание, но не оставляйте на уровне устного впечатления.
Дни 3–4: подготовить черновик operating model
Составьте документ на 1–2 страницы:
- уровни риска изменений;
- обязательные стандарты для каждого уровня;
- BLOCKER / REQUIRED / SUGGESTION / NIT;
- SLA ревью;
- правила design review;
- порядок эскалации;
- как оформляется сознательный технический долг;
- кто принимает окончательное решение.
Последний пункт критичен. Например:
- вопросы security/compliance – соответствующий владелец;
- архитектура критических систем – tech lead/архитектурная группа;
- продуктовый scope и сроки – product/engineering manager;
- при конфликте рисков окончательное решение – вы совместно с назначенным техническим владельцем, с письменной фиксацией компромисса.
Не создавайте комитет, который будет заседать по каждому PR.
День 5: структурированный разговор втроём
Покажите данные и черновик. Не начинайте с открытого вопроса «как нам решить конфликт?».
Структура на 60–90 минут:
- 10 минут – ваше описание проблемы и границ;
- 10 минут каждому – факты и риски, которые он хочет защитить;
- 20–30 минут – обсуждение черновика правил;
- 15 минут – разбор двух реальных PR по новой схеме;
- 10 минут – личные обязательства и порядок эскалации.
Если они не согласны с отдельным правилом, выслушайте аргументы и примите решение. Полный консенсус не нужен.
Неделя 2: запустить пилот
Запустите правила на две недели в тестовом режиме.
Для каждого PR автор указывает:
- уровень риска;
- что меняется;
- обратимо ли решение;
- нужен ли design review;
- какой долг сознательно принимается;
- как контролируется rollout.
Ревьюер маркирует комментарии. Споры эскалируются быстро.
Назначьте Сергея и Диану совместно разобрать 2–3 прошлых кейса и классифицировать:
- где строгость Сергея предотвратила бы реальный ущерб;
- где она была непропорциональна;
- где скорость Дианы дала ценность;
- где быстрый компромисс создал дорогой долг.
Это должна быть не попытка «подружить» их, а калибровка единой шкалы риска.
В конце второй недели: оценить не настроение, а поведение
Проверьте:
- среднее время первого ревью;
- время от открытия PR до merge;
- число blocker-комментариев;
- долю blocker, снятых после обсуждения как необоснованные;
- число эскалаций;
- случаи обхода ревью;
- случаи, когда архитектурный вопрос был поднят заранее;
- обратную связь остальных членов команды.
Проведите короткие follow-up 1:1.
С Сергеем:
Где ты сознательно согласился на достаточно хороший вариант? Был ли риск при этом контролируемым?
С Дианой:
Где ты вовлекла архитектурное ревью раньше и что это изменило? Какие компромиссы ты оформила явно?
Затем сообщите всей команде, какие правила остаются и что корректируется.
Главная управленческая позиция
Вам не нужно примирять две философии. Вам нужно установить систему, в которой:
- строгость пропорциональна риску;
- скорость достигается через обратимость, ограниченный rollout и быстрый feedback, а не через обход контроля;
- качество достигается через ранние решения и ясные стандарты, а не через бесконечное блокирование PR;
- разногласия имеют владельца и срок разрешения;
- ни один Senior не может приватизировать инженерную политику команды.
И ещё одно: защищайте не только отношения с двумя звёздами. Восемь человек, которые смотрели в пол, – самый тревожный сигнал во всей истории. Если они увидят, что громкие и незаменимые могут месяцами вести личную войну через рабочий процесс, команда усвоит, что правила определяются статусом. Ваша ближайшая задача – вернуть правилам легитимность.
What the judges noted
Claude Opus 5.5 · this answer: 8.5 of 10
This is a strong, honest and practical answer that avoids the HR clichés the user asked to skip. It correctly identifies the management vacuum as the root cause, proposes a risk-tiered model with comment labeling and review SLAs, and gives concrete scripts for each conversation plus a two-week plan with metrics. It closely matches the reference checklist. The main gaps are the lack of a forecast on which person is the higher risk, an underestimate of Diana's flight risk, no warning against promoting Sergey to tech lead, and some excess length and repetition.
- Strong: Precise three-layer diagnosis (management, values, behavior) that names the manager's role
- Weak: Risks between Sergey and Diana are treated symmetrically; there is no forecast of who is likelier to leave
GPT-6.2 Astra · this answer: 8.2 of 10
Translated from Russian.
A strong practical answer for the manager: it shows why the absence of rules turned a technical disagreement into a fight for the right to block work, and offers a way to bring this decision back into a manageable process. The most useful elements are the specific phrases, the blocking criteria, and the analysis of real PRs. The main limitations are unverified conclusions about colleagues, a narrow analysis of forced-choice scenarios, and the absence of a unified risk-level protocol that the whole team could discuss before the pilot.
- Strong: Distinguishes the cost of delaying a release from the cost of an engineering error, without devaluing either.
- Weak: Attributes to the other eight employees the choice of sides and the search for convenient reviewers without confirmation.
Original in Russian
Сильный практический ответ для руководителя: он показывает, почему отсутствие правил превратило техническое разногласие в борьбу за право блокировать работу, и даёт способ вернуть это решение в управляемый процесс. Наиболее полезны конкретные реплики, критерии блокировки и разбор реальных PR. Основные ограничения – непроверенные выводы о коллегах, узкий разбор сценариев вынужденного выбора и отсутствие единого протокола по уровням риска, который вся команда могла бы обсудить перед пилотом.
- Различает цену задержки выпуска и цену инженерной ошибки, не обесценивая ни одну из них.
- Приписывает остальным восьми сотрудникам выбор сторон и поиск удобных ревьюеров без подтверждения.
The score is for this one answer, not the model’s overall result.
Weakest: Automation · 7.6Automate approving partner applications
A senior manager spends two hours a day reviewing partner applications. The formal criteria can be checked through APIs, but real decisions seem more complex. How to automate it without losing what matters?
Full task
I want to fully automate the process of checking and approving incoming applications from partners. Right now this is handled by one of the senior managers – it takes about 2 hours a day. The process looks like this: an application arrives by email or through a form on the website, the manager looks at the partner company, assesses its profile, checks several internal criteria, and either approves it, sends it back for revision, or rejects it. The formal criteria for approval are as follows: the company has been registered for more than two years, revenue is above a threshold value, there are no outstanding debts according to our data, and the business's field of activity is not on the exclusion list. All of this can be checked automatically via the API of several counterparty verification services. But I suspect the real decisions are more complex. The manager sometimes approves applications from companies that formally do not pass the criteria – because he knows their history, because they are strategically important, or because the director personally asked. And conversely, he rejects partners who formally qualify, because he senses something suspicious in the application. I need your honest assessment: what here can realistically be automated, and what cannot? If we go ahead with automation, which architecture should we choose – full autopilot, or a hybrid where routine tasks are automated while non-standard cases go to a human? How do we separate one from the other? And what risks do I take on if I over-automate this process – what could go wrong unnoticeably?
System line: You are an assistant for training and development for managers.
Translated from Russian: the models got the Russian text.
Original in Russian
Хочу полностью автоматизировать процесс проверки и одобрения входящих заявок от партнеров. Сейчас этим занимается один из старших менеджеров – тратит примерно 2 часа в день. Процесс выглядит так: приходит заявка по email или через форму на сайте, менеджер смотрит на компанию-партнера, оценивает её профиль, проверяет несколько внутренних критериев и либо одобряет, либо отправляет на доработку, либо отклоняет. Формальные критерии для одобрения такие: компания зарегистрирована более двух лет, выручка выше порогового значения, нет открытых долгов по нашим данным, тематика бизнеса не входит в список исключений. Всё это можно проверить автоматически через API нескольких сервисов проверки контрагентов. Но я подозреваю, что реальные решения сложнее. Менеджер иногда одобряет заявки от компаний, которые формально не проходят по критериям, – потому что знает их историю, потому что они стратегически важны, или потому что директор лично попросил. И наоборот – отклоняет формально подходящих партнеров, потому что чувствует что-то подозрительное в заявке. Мне нужна твоя честная оценка: что здесь реально поддается автоматизации, а что нет? Если делать автоматизацию, то какую архитектуру выбрать – полный автопилот, или гибрид где рутина автоматизирована, а нестандартные случаи идут к человеку? Как отделить одно от другого? И какие риски я несу, если переавтоматизирую этот процесс – что может пойти не так незаметно?
GPT-5.6 Sol
Translated from Russian: the model answered in Russian.
Honest assessment: full autopilot is technically possible here, but risky from a management standpoint. Formal checks automate well, but the actual process contains informal exceptions, risk assessment, and decisions based on authority levels. The optimal model is a hybrid system with an automatic "green corridor," automatic filtering of unambiguous cases, and a manual queue for exceptions.
What can realistically be automated
Almost entirely
- Intake and normalization of requests
- immediately convert website requests into a structured format;
- extract details and attachments from emails;
- check data completeness;
- request missing information using a template;
- detect duplicates.
Original in Russian
Честная оценка: полный автопилот здесь технически возможен, но управленчески рискован. Формальные проверки автоматизируются хорошо, однако фактический процесс содержит неформальные исключения, оценку риска и решения на основании полномочий. Оптимальная модель – гибридная система с автоматическим “зелёным коридором”, автоматическим отсевом однозначных случаев и ручной очередью для исключений.
Что реально автоматизировать
Почти полностью
- Приём и нормализация заявок
- заявки с сайта сразу переводить в структурированный формат;
- из email извлекать реквизиты и вложения;
- проверять полноту данных;
- запрашивать недостающую информацию по шаблону;
- находить дубли.
Read the full answer · 1,189 words
Honest assessment: full autopilot here is technically possible but risky from a management standpoint. Formal checks automate well, but the actual process contains informal exceptions, risk assessment and decisions based on authority. The optimal model is a hybrid system with an automatic "green corridor", automatic filtering of clear-cut cases and a manual queue for exceptions.
What can realistically be automated
Almost completely
Intake and normalization of applications
- applications from the website immediately converted into a structured format;
- extracting details and attachments from email;
- checking data completeness;
- requesting missing information using a template;
- finding duplicates.
Formal checks via API
- registration date;
- revenue;
- presence of debts;
- industry and business focus;
- legal entity status;
- presence on stop-lists;
- connections to already known companies, if the data allows it.
Routing
- clearly suitable applications – into the green corridor;
- incomplete ones – to automatic follow-up;
- clearly prohibited ones – to rejection or human confirmation;
- disputed and exceptional cases – to a manager.
Operational actions
- creating a record in the CRM;
- collecting evidence of checks;
- notifications;
- deadline tracking;
- decision log;
- reporting and repeat checks.
Only partially automatable
Strategic importance of the partner. This can only be automated after formalization: a list of strategic companies, the presence of an internal sponsor, expected turnover, region, or product priority.
History of the relationship. If the history is stored in the CRM, it can be used as a factor. If it exists only "in the manager's head," automation will not see it.
"The director personally asked." This is not a risk criterion but an exception based on authority. It should not be guessed at, but formalized as a separate route: who can authorize the exception, for how long, and with what responsibility.
Suspiciousness of an application. The system can search for signs of anomalies: mismatched company domain, strange contacts, reuse of details, unusual wording, discrepancies between sources. But an experienced manager's "gut feeling" is often based on implicit signals and is poorly suited to a fully autonomous decision.
Recommended architecture: three corridors
1. Green – automatic approval
The application passes all mandatory criteria, the data is complete and consistent, sources are accessible, there are no anomalous signs or special restrictions.
It is advisable to start with a narrower green corridor than seems necessary. For example, automatically approve only applications with a large margin relative to the thresholds, and send borderline cases to a human.
2. Red – automatic rejection or blocking
Automatic final rejection is safe only for objective and strict prohibitions, for example:
- the company has been liquidated;
- the business belongs to a clearly prohibited category;
- a confirmed match with the stop-list has been found;
- a proven duplicate or fraudulent application has been detected.
For financial thresholds, it is better not to reject outright at first, but to send the case for follow-up or manual review. Otherwise the system will discard precisely the exceptions that a manager sometimes deliberately lets through today.
3. Yellow – manual decision
This should include:
- values near the thresholds;
- contradictions between sources;
- API unavailability or outdated data;
- strategic companies;
- companies with a relationship history;
- applications with anomalous signs;
- any requests for exceptions;
- categories where an error is especially costly;
- cases where the rules have often diverged from the manager's decision in the past.
The manager should be shown not "raw" data, but a brief dossier:
- the result of each criterion;
- the source and date of the check;
- contradictions found;
- the reason for landing in the manual queue;
- history of previous decisions;
- a recommended action;
- the ability to select a standardized reason for deviating from the recommendation.
How to separate standard cases from non-standard ones
This should not be entrusted to a single opaque AI-scoring model. It is better to use a sequence:
- Hard rules – mandatory prohibitions and requirements.
- Data quality check – completeness, relevance, and consistency.
- Exception registry – strategic partners, special agreements, previously approved deviations.
- Anomaly scoring – only as a signal for manual review, not as an independent basis for refusal.
- Confidence assessment – if the system cannot explain a decision or the data is ambiguous, the application goes to a human.
Practical rule: a decision can only be automated when the grounds are unambiguous, verifiable, and reproducible. In all other cases, the preparation of the decision is automated, but not the decision itself.
The role of AI and conventional automation
Not everything here requires generative AI.
Deterministic logic is suited for:
- API requests;
- threshold calculations;
- applying stop-lists;
- routing;
- logging;
- generating notifications from templates.
AI can help with:
- extracting data from unstructured emails and documents;
- classifying business topics;
- summarizing interaction history;
- finding discrepancies and unusual patterns;
- preparing a recommendation for the manager.
However, AI should not independently invent missing data or make unexplainable decisions. Any extracted value should ideally be linked to the source fragment of the document and a confidence level.
It is also important to treat email and attachments as untrusted input: instructions contained in them must not influence the system's logic or grant access to internal data.
Main risks of over-automation
1. Automating one manager's habits instead of rules
If the system is trained on past decisions, it will reproduce not only expertise but also personal preferences, random exceptions, and inconsistency. A historical decision is not the same as a correct decision.
2. Unnoticed accumulation of erroneous rejections
A false approval usually becomes noticeable quickly. A false rejection may never surface at all: a good partner will simply go to a competitor. Therefore quality cannot be assessed only by problems among approved applications.
It is useful to periodically manually review a sample of automatically rejected applications.
3. Obsolescence of rules and data
The revenue threshold, the list of exceptions, business priorities, and the quality of external sources change over time. The system will continue to confidently make incorrect decisions if the rules have no owners and no review dates.
4. External API errors and failures
"No data" cannot be interpreted as "no debts." Separate statuses are needed:
- checked, no violations found;
- violation found;
- insufficient data;
- source unavailable;
- data outdated.
5. Silent changes in the composition of incoming applications
Rules may work well on the current flow but worse on new regions, industries, or types of companies. The overall error rate may still look acceptable, masking problems in a particular segment.
6. Unmanaged exceptions
If directorial or strategic exceptions are passed along via chats and verbally, automation will create a false sense of a formal process. Exceptions need to be registered: who authorized it, why, for how long, and what risks were accepted.
7. Shifting of responsibility
A situation must not be allowed where a manager formally "confirms" the system's recommendation without checking it, yet is held fully responsible if there is an error. The responsibilities of the process owner, rule owners, IT, and the person authorizing exceptions need to be defined in advance.
How to implement
Stage 1. Diagnosis of actual decisions
Take, for example, 200–500 past applications and compare:
- the formal result according to the rules;
- the actual decision;
- the stated reason;
- the subsequent outcome of working with the partner.
Four groups are especially important:
- formally passed and were approved;
- formally failed but were approved;
- formally passed but were rejected;
- decisions that later turned out to be mistaken.
Interviews with a senior manager are best built around specific cases: "What made you deviate from the rule here?" This is how implicit criteria are revealed.
Stage 2. Shadow mode
The system checks applications and proposes a decision, but the manager continues to make the decision independently. The following are recorded:
- decision match rate;
- reasons for discrepancies;
- share of poor-quality data;
- external service errors;
- processing time;
- recurring exceptions.
Stage 3. Automation of preparation and the green corridor
First automate data collection, checks, requests for follow-up, and clearly safe approvals. At an early stage, it is better to leave the red corridor with human confirmation.
Stage 4. Gradual expansion
Expand the automatic scope only where statistics have accumulated and the cost of error is understood. The automation threshold should depend not only on the model's accuracy but also on the consequences of a wrong decision.
Which metrics to monitor
Don't limit yourself to the share of automated applications. You need:
- average processing time;
- share of applications handled without human involvement;
- share of manual decisions that matched the recommendation;
- reasons for overrides;
- false approvals and false rejections;
- partner outcomes after 3–6 months;
- share of decisions made on incomplete or outdated data;
- frequency of API failures;
- quality by individual industries and segments;
- number and duration of exceptions;
- sample audit of automatic decisions.
Final recommendation
For your process, a reasonable target model is not "replacing the manager," but relieving them of data collection, formal checks, and most of the standard decisions. It is likely possible to eliminate a significant portion of the current two hours of daily work, while also improving speed and consistency.
But non-standard decisions should not be hidden inside an algorithm – they should be made into a separate, managed part of the process: with an exception queue, clear authority, mandatory recording of reasons, and regular review of the rules. This will provide automation without losing the context that currently resides with the senior manager.
Original in Russian
Честная оценка: полный автопилот здесь технически возможен, но управленчески рискован. Формальные проверки автоматизируются хорошо, однако фактический процесс содержит неформальные исключения, оценку риска и решения на основании полномочий. Оптимальная модель – гибридная система с автоматическим “зелёным коридором”, автоматическим отсевом однозначных случаев и ручной очередью для исключений.
Что реально автоматизировать
Почти полностью
Приём и нормализация заявок
- заявки с сайта сразу переводить в структурированный формат;
- из email извлекать реквизиты и вложения;
- проверять полноту данных;
- запрашивать недостающую информацию по шаблону;
- находить дубли.
Формальные проверки через API
- дата регистрации;
- выручка;
- наличие долгов;
- отрасль и тематика бизнеса;
- статус юридического лица;
- попадание в стоп-листы;
- связи с уже известными компаниями, если данные это позволяют.
Маршрутизация
- однозначно подходящие заявки – в зелёный коридор;
- неполные – на автоматическую доработку;
- однозначно запрещённые – на отклонение или подтверждение человеком;
- спорные и исключительные – менеджеру.
Операционные действия
- создание карточки в CRM;
- сбор доказательств проверок;
- уведомления;
- контроль сроков;
- журнал решений;
- отчётность и повторные проверки.
Автоматизируется лишь частично
Стратегическая важность партнёра.
Это можно автоматизировать только после формализации: список стратегических компаний, наличие спонсора внутри организации, ожидаемый оборот, регион или продуктовый приоритет.История отношений.
Если история хранится в CRM, её можно использовать как фактор. Если она существует только “в голове менеджера”, автоматизация её не увидит.“Директор лично попросил”.
Это не критерий риска, а исключение по полномочиям. Его следует не угадывать, а оформить как отдельный маршрут: кто может санкционировать исключение, на какой срок и с какой ответственностью.Подозрительность заявки.
Система может искать признаки аномалий: несоответствие домена компании, странные контакты, повторное использование реквизитов, необычные формулировки, расхождения между источниками. Но “ощущение” опытного менеджера часто основано на неявных сигналах и плохо подходит для полностью автономного решения.
Рекомендуемая архитектура: три коридора
1. Зелёный – автоматическое одобрение
Заявка проходит все обязательные критерии, данные полны и непротиворечивы, источники доступны, нет аномальных признаков и специальных ограничений.
Желательно начинать с более узкого зелёного коридора, чем кажется необходимым. Например, автоматически одобрять только заявки с большим запасом относительно порогов, а пограничные отправлять человеку.
2. Красный – автоматическое отклонение или блокировка
Автоматическое окончательное отклонение безопасно только для объективных и жёстких запретов, например:
- компания ликвидирована;
- бизнес относится к однозначно запрещённой категории;
- выявлено подтверждённое совпадение со стоп-листом;
- обнаружен доказанный дубль или мошенническая заявка.
По финансовым порогам лучше сначала не отклонять окончательно, а направлять на доработку или ручное рассмотрение. Иначе система будет отбрасывать именно те исключения, которые сейчас менеджер иногда осознанно пропускает.
3. Жёлтый – ручное решение
Сюда должны попадать:
- значения рядом с порогами;
- противоречия между источниками;
- недоступность API или устаревшие данные;
- стратегические компании;
- компании с историей отношений;
- заявки с аномальными признаками;
- любые запросы на исключение;
- категории, где ошибка особенно дорога;
- случаи, на которых правила раньше часто расходились с решением менеджера.
Менеджеру следует показывать не “сырые” данные, а краткое досье:
- результат каждого критерия;
- источник и дата проверки;
- найденные противоречия;
- причина попадания в ручную очередь;
- история предыдущих решений;
- рекомендуемое действие;
- возможность выбрать стандартизированную причину отклонения от рекомендации.
Как отделить стандартные случаи от нестандартных
Не стоит поручать это одному непрозрачному AI-скорингу. Лучше использовать последовательность:
- Жёсткие правила – обязательные запреты и требования.
- Проверка качества данных – полнота, актуальность и согласованность.
- Реестр исключений – стратегические партнёры, особые договорённости, ранее одобренные отклонения.
- Аномалия-скоринг – только как сигнал для ручной проверки, а не как самостоятельное основание для отказа.
- Оценка уверенности – если система не может объяснить решение или данные неоднозначны, заявка идёт человеку.
Практическое правило: автоматизировать решение можно только тогда, когда основание однозначно, проверяемо и воспроизводимо. Во всех остальных случаях автоматизируется подготовка решения, но не само решение.
Роль AI и обычной автоматизации
Здесь не всё требует генеративного AI.
Детерминированная логика подходит для:
- запросов к API;
- расчёта порогов;
- применения стоп-листов;
- маршрутизации;
- журналирования;
- формирования уведомлений по шаблонам.
AI может помогать в:
- извлечении данных из неструктурированных email и документов;
- классификации тематики бизнеса;
- кратком изложении истории взаимодействия;
- поиске несоответствий и необычных паттернов;
- подготовке рекомендации менеджеру.
Однако AI не должен самостоятельно придумывать отсутствующие данные или принимать необъяснимые решения. Любое извлечённое значение желательно связывать с исходным фрагментом документа и уровнем уверенности.
Важно также считать email и вложения недоверенным вводом: содержащиеся в них инструкции не должны влиять на логику системы или давать доступ к внутренним данным.
Главные риски переавтоматизации
1. Автоматизация не правил, а привычек одного менеджера
Если обучить систему на прошлых решениях, она воспроизведёт не только экспертность, но и личные предпочтения, случайные исключения и непоследовательность. Историческое решение не равно правильному решению.
2. Незаметное накопление ошибочных отказов
Ложное одобрение обычно быстро становится заметным. Ложный отказ может не проявиться вообще: хороший партнёр просто уйдёт к конкуренту. Поэтому качество нельзя оценивать только по проблемам среди одобренных.
Полезно периодически вручную проверять выборку автоматически отклонённых заявок.
3. Устаревание правил и данных
Порог выручки, список исключений, бизнес-приоритеты и качество внешних источников меняются. Система продолжит уверенно принимать неправильные решения, если у правил нет владельцев и дат пересмотра.
4. Ошибки и сбои внешних API
“Данных нет” нельзя интерпретировать как “долгов нет”. Нужны отдельные статусы:
- проверено, нарушений нет;
- нарушение найдено;
- данных недостаточно;
- источник недоступен;
- данные устарели.
5. Тихое изменение состава входящих заявок
Правила могут хорошо работать на текущем потоке, но хуже – на новых регионах, отраслях или типах компаний. Общая доля ошибок при этом может выглядеть приемлемо, скрывая проблемы в отдельном сегменте.
6. Неуправляемые исключения
Если директорские или стратегические исключения будут передаваться в чатах и устно, автоматизация создаст ложное ощущение формального процесса. Исключения нужно регистрировать: кто разрешил, почему, на какой срок и какие риски принял.
7. Смещение ответственности
Нельзя допустить ситуацию, когда менеджер формально “подтверждает” рекомендацию системы, не проверяя её, но при ошибке считается полностью ответственным. Нужно заранее определить ответственность владельца процесса, владельцев правил, IT и лица, санкционирующего исключение.
Как внедрять
Этап 1. Диагностика реальных решений
Возьмите, например, 200–500 прошлых заявок и сравните:
- формальный результат по правилам;
- фактическое решение;
- указанную причину;
- последующий результат работы с партнёром.
Особенно важны четыре группы:
- формально прошли и были одобрены;
- формально не прошли, но были одобрены;
- формально прошли, но были отклонены;
- решения, которые позднее оказались ошибочными.
Интервью со старшим менеджером лучше строить вокруг конкретных кейсов: “Что здесь заставило вас отступить от правила?” Так выявляются неявные критерии.
Этап 2. Теневой режим
Система проверяет заявки и предлагает решение, но менеджер продолжает принимать его самостоятельно. Фиксируются:
- совпадение решений;
- причины расхождений;
- доля некачественных данных;
- ошибки внешних сервисов;
- время обработки;
- повторяющиеся исключения.
Этап 3. Автоматизация подготовки и зелёного коридора
Сначала автоматизировать сбор данных, проверки, запросы на доработку и явно безопасные одобрения. Красный коридор на раннем этапе лучше оставлять с подтверждением человеком.
Этап 4. Постепенное расширение
Расширять автоматический контур только там, где накоплена статистика и понятна цена ошибки. Порог автоматизации должен зависеть не только от точности модели, но и от последствий неверного решения.
Какие показатели контролировать
Не ограничивайтесь долей автоматизированных заявок. Нужны:
- среднее время обработки;
- доля заявок без участия человека;
- доля ручных решений, совпавших с рекомендацией;
- причины переопределения;
- ложные одобрения и ложные отказы;
- результат партнёров через 3–6 месяцев;
- доля решений на неполных или устаревших данных;
- частота сбоев API;
- качество по отдельным отраслям и сегментам;
- количество и срок действия исключений;
- выборочный аудит автоматических решений.
Итоговая рекомендация
Для вашего процесса разумная целевая модель – не “заменить менеджера”, а снять с него сбор данных, формальные проверки и большую часть стандартных решений. Вероятно, можно устранить значительную часть из текущих двух часов ежедневной работы, одновременно повысив скорость и единообразие.
Но нестандартные решения следует не скрывать внутри алгоритма, а сделать отдельной управляемой частью процесса: с очередью исключений, понятными полномочиями, обязательной фиксацией причин и регулярным пересмотром правил. Это даст автоматизацию без потери того контекста, который сейчас находится у старшего менеджера.
What the judges noted
Claude Opus 5.5 · this answer: 7.8 of 10
This is a strong, mature answer that gives the honest assessment the user asked for. It proposes a hybrid model with three corridors and a deliberately narrow auto-reject lane, and it defines a decision sequence: hard rules, data-quality check, exceptions registry, anomaly signals, confidence check. It describes non-obvious risks well, including invisible false rejections, multiple API statuses, segment drift, and unmanaged exceptions. The main gaps against the reference are the lack of quantitative estimates (corridor shares, time savings, processing speed), no rollout timelines, no concrete tools, and less explicit treatment of expertise erosion and automation bias.
- Strong: A clear three-corridor architecture with sound reasoning to keep auto-reject narrow and send financial thresholds to manual review
- Weak: No quantitative estimates: corridor shares, savings against the current 2 hours a day, per-application processing time
GPT-6.2 Astra · this answer: 8.1 of 10
This is a strong architecture recommendation and a useful starting point for a pilot. Its best management insight is that a failed eligibility check, an unavailable fact, and an authorized exception are three different situations requiring different actions. It is less complete as a business case: the manager still needs to estimate how much of the two-hour workload will remain, agree on when the pilot is safe to expand, and establish how the team will retain expertise as routine cases leave the manual queue.
- Strong: Separates verifiable rules, data-quality failures, and discretionary exceptions.
- Weak: No illustrative lane shares or workload estimate against the two-hour baseline.
The score is for this one answer, not the model’s overall result.
Run the task yourself
The task «The two strongest developers can't work together» from the benchmark, sent now to GPT-5.6 Sol and, for comparison, Qwen 4 Max (another group). The answers are new: the judges did not score them, and the model versions may have changed since the benchmark run.
One click sends two requests to paid models; answers take 10–60 seconds. Nothing runs until you click.
Show the task
I lead a development team at a fintech startup. I have 10 direct reports, and I've been in this role for three years. There's a situation I haven't been able to resolve for four months now, and it's starting to break the team apart. I have two of the strongest developers – Sergey Volkov and Diana Karpova. Both are Senior Engineers, both are irreplaceable, and I can't afford to lose either of them. Sergey is an architect at heart. Six years of experience, an incredibly deep understanding of systems, always thinking several steps ahead. His code reads like an essay – clean, documented, polished. The problem: he works slowly, methodically, and doesn't like to rush. During review he might leave 40 comments on a PR and wait until every single one is addressed. When asked a question at standup, he gives a three-minute detailed answer complete with historical context. Sergey is convinced that speed is the enemy of quality, and that "fast means twice." Diana is a next-generation product engineer. Four years of experience, but her iteration speed is phenomenal. She can ship a working feature in two days where Sergey would plan for a week. Diana thinks in terms of the user: "why make it perfect when you can make it good and test it on real data." She readily cuts architectural corners for the sake of speed – and this is a deliberate stance on her part, not laziness. Over the past four months, a quiet war has been going on between them. Sergey regularly sends her PRs back with fundamental architectural revisions – sometimes three days after submission. Diana has stopped waiting for his review and started asking other colleagues to approve her PRs instead. Sergey noticed this and wrote to me: "If we're not upholding review standards, I don't understand why I'm here." Diana said to my face: "Sergey is slowing down the whole team. I spend more time on his comments than on actually writing code." At the last team retro, Diana said: "We need to agree on what 'good enough' means – we can't turn every PR into a term paper." Sergey responded: "If we can't maintain minimal engineering standards, let's be honest with the business and say we're building prototypes, not a product." The other eight people went silent and stared at the floor. The situation is complicated by the fact that both of them are right in their own way. We really have accumulated technical debt from quick fixes made in past years – Sergey warned about this. At the same time, we're in a mode of serious competition, and speed of shipping features to market is critical – here Diana is right. I've talked to each of them separately. Sergey doesn't perceive the problem as an interpersonal conflict – for him it's a matter of professional standards, and he's not willing to lower them. Diana perceives Sergey as someone hiding behind "quality" to control her work, and she's starting to boil over. She's already hinted once that "there are places that value speed." I don't want to forcibly "reconcile" them or pretend this is simply a communication issue. This is a fundamental values divergence in engineering philosophy, and both people are smart – they understand this. Help me work through this situation. I'm interested in the following: 1. How do you see the root problem – is this a conflict of people, a conflict of values, or a managerial failure on my part? What's actually going on? 2. I have several possible courses of action – splitting their areas of responsibility, working out a team agreement on review standards, holding a structured three-way conversation, or picking one philosophy and asking the other person to adapt to it. Which of these is realistic and which is likely not to work? 3. How should I talk to each of them – what should I say to Sergey, what should I say to Diana, so that they both feel heard, but at the same time understand that their current behavior is unacceptable? 4. Is there a scenario where I'll have to choose one of them – and if so, how should I think about that? 5. What should I concretely do in the next two weeks? Don't give me an HR-sanitized answer about "respect and dialogue." Give me an honest assessment of the situation and a concrete action plan.
GPT-5.6 Sol · New answer · not scored
Qwen 4 Max · New answer · not scored
The scored answers from the benchmark are above.
All 8 categories
Mean score per category on the benchmark’s 80 tasks, on one 0–10 scale. Click a category for its six criteria.
-
Information search
7.7level with the best
Six criteria
- Accuracy
- 7.5
- Relevance
- 7.2
- Actionability
- 7.9
- Transparency
- 8.2
- Efficiency
- 7.8
- Trustworthiness
- 8.0
-
Data analysis
8.0close to the best
Six criteria
- Accuracy
- 8.3
- Relevance
- 7.7
- Actionability
- 7.8
- Transparency
- 8.3
- Efficiency
- 7.9
- Trustworthiness
- 8.2
-
Decisions under uncertainty
8.2level with the best
Six criteria
- Accuracy
- 8.4
- Relevance
- 8.0
- Actionability
- 8.2
- Transparency
- 8.7
- Efficiency
- 7.7
- Trustworthiness
- 8.7
-
Feedback analysis
8.1level with the best
Six criteria
- Accuracy
- 8.2
- Relevance
- 7.7
- Actionability
- 8.2
- Transparency
- 8.6
- Efficiency
- 7.8
- Trustworthiness
- 8.4
-
Corporate requirements and risks
8.0level with the best
Six criteria
- Accuracy
- 8.1
- Relevance
- 7.8
- Actionability
- 7.9
- Transparency
- 8.5
- Efficiency
- 7.6
- Trustworthiness
- 8.4
-
Automation
7.6level with the best
Six criteria
- Accuracy
- 7.6
- Relevance
- 7.5
- Actionability
- 7.3
- Transparency
- 8.2
- Efficiency
- 7.4
- Trustworthiness
- 7.6
-
People management
8.3level with the best
Six criteria
- Accuracy
- 8.2
- Relevance
- 8.2
- Actionability
- 8.7
- Transparency
- 8.3
- Efficiency
- 7.7
- Trustworthiness
- 8.4
-
Russia and Kazakhstan specifics
7.8close to the best
Six criteria
- Accuracy
- 7.5
- Relevance
- 7.6
- Actionability
- 8.2
- Transparency
- 8.2
- Efficiency
- 7.4
- Trustworthiness
- 7.9
the mark is the best ranked model in that category; the scale is 0–10
If you use it through the API
One benchmark answer costs $0.19 through the API ($5 in / $30 out per million tokens).
$13 about a month (22 working days)
| Answers a day through the API | about a month (22 working days) |
|---|---|
| 1 | $4.2 |
| 3 | $13 |
| 10 | $42 |
An estimate from the length of the benchmark answers – not the price of a chat subscription. Your requests and answers may cost differently.
Alternatives
Chosen by a reason that matters, not by a tenth of a point.
-
The newer version of this line
group 1–4 of 74 · 8.2 of 10 · a VPN is needed from Russia · API $0.043
Compare: GPT-5.6 Sol – GPT-6.1 Sol -
Same level, opens from Russia without a VPN
group 1–4 of 74 · 8.0 of 10 · opens from Russia without a VPN · API $0.15
Compare: GPT-5.6 Sol – Kimi K3.1 Pro
How the score was made
- Two AI judges (Claude Opus 5.5 and GPT-6.2 Astra) scored every answer on six main criteria, from 1 to 10.
- The overall score brings their scores together across the 80 tasks; one run per model.
- Differences under 0.3 points are treated as one level: the order inside a group means nothing.
- Data as of November 2026; model versions may have changed since.
The two judges’ overall scores for this model: Claude Opus 5.5 8.1, GPT-6.2 Astra 7.8. The published score is their average, with equal weight.
What next
A model from the top group will not fix a vague task
The free first lessons show how to set context and the shape of the answer, and how to check the result on your own work task. The course is in Russian.
Open the free first lessons