Everything Claude Code (ECC) a prova: 30 execucions amb el plugin i sense
Vaig posar ECC a resoldre cinc tasques reals davant de Claude Code sense plugins. Mateixa qualitat en gairebé tot, 2,8 vegades més consum i cap de les seves skills utilitzada.

En quinze execucions amb Everything Claude Code carregat, Claude no va invocar ni una sola de les seves gairebé tres-centes skills. I tot i així ECC va canviar els resultats, per bé en una tasca i per mal en una altra, per una peça que no és cap de les seves skills.
ECC és un dels paquets de configuració per a Claude Code més populars: 305.705 estrelles a GitHub el dia que el vaig provar. La versió 2.2.3 declara al seu manifest 68 agents, 293 skills, comandes, regles i una col·lecció de hooks, i es presenta com un sistema per optimitzar el rendiment de l’agent. És just el tipus de promesa que volia comprovar amb dades en lloc de refiar-me de les estrelles, així que és el primer episodi d’una sèrie que he anomenat Útil o fútil?.
Com ho he mesurat
Perquè la comparació tingués sentit necessitava un projecte petit però real, tasques fixes i una manera de puntuar que no depengués de la meva impressió. Vaig muntar una API en TypeScript per gestionar una taula de rol, amb fitxes de personatge, tirades de daus i un calendari de sessions, i hi vaig plantar cinc problemes:
- Un bug: un personatge amb Força 9 rep un modificador de +0 en lloc de -1.
- Una funcionalitat: tirades amb avantatge i desavantatge (
1d20adv,4d6kh3). - Una refactorització de
buscarSesiones, una funció amb complexitat ciclomàtica 23. - Escriure tests per al magatzem de personatges, sense tocar el codi.
- Una revisió de seguretat de l’API, que té un path traversal i un prototype pollution plantats.
Cada tasca té tests ocults que la IA no veu i que només es copien al projecte quan ha acabat. La refactorització es comprova amb 300 casos enregistrats del codi original. Els tests de la tasca 4 s’avaluen amb mutació: els passo 16 versions del codi amb un error introduït i compto quantes en detecten.
Les dues configuracions van fer servir Claude Sonnet, sense els meus plugins ni servidors MCP i sense accés al web. ECC es va instal·lar com indica el seu README, amb el plugin i les regles common i typescript al projecte. Cada tasca es va repetir tres vegades per configuració, perquè una sola tirada d’un model no diu gairebé res. En total, 30 execucions llançades amb claude -p i registrades en JSON.
El que pesa ECC abans de començar
Amb un simple «respon OK», Claude Code sense plugins arrenca amb 18.907 tokens de context. Amb ECC, 44.439. Són 2,35 vegades més abans d’haver llegit ni una línia del projecte, perquè l’agent rep les descripcions de 315 skills i 74 agents (les d’ECC més les que porta Claude Code) i les regles, que es carreguen sempre.
Aquest pes es paga a cada torn de la conversa. No és només una qüestió de diners: un context ple d’instruccions que no vénen al cas competeix per l’atenció del model amb les que sí.
Resultats per tasca
| Tasca | Sense ECC | Amb ECC | Consum mitjà sense / amb |
|---|---|---|---|
| Bug | 0/3 | 2/3 | 0,05 $ / 0,25 $ |
| Funcionalitat | 3/3 | 3/3 | 0,14 $ / 0,37 $ |
| Refactorització | 3/3 | 3/3 | 0,10 $ / 0,30 $ |
| Tests | 3/3 | 3/3 | 0,17 $ / 0,38 $ |
| Seguretat | 3/3 | 3/3 | 0,30 $ / 0,69 $ |
El consum és el que calcula Claude Code a preu d’API. Jo ho vaig executar amb la subscripció, així que el rellevant és la proporció, no la xifra. De mitjana, una tasca amb ECC va consumir 2,8 vegades més i va trigar 81 segons davant de 39.
En tres tasques no hi ha diferència de qualitat. La funcionalitat va passar tots els tests ocults en les sis execucions. La refactorització va baixar la complexitat màxima de 23 a entre 6 i 12 en totes dues configuracions, i amb ECC el fitxer va quedar una mica més curt (entre 80 i 99 línies, davant de 100-105). La seguretat també empata, tot i que arribar a aquest empat em va obligar a corregir el banc de proves, com explico més avall. Les dues tasques interessants són les altres.
El bug que només va trobar ECC
L’error plantat era en dos llocs. El modificador de característica feia servir Math.trunc, que arrodoneix cap a zero, i la tirada de salvació tenia la seva pròpia còpia del càlcul amb el mateix error:
export function abilityModifier(score: number): number {
return Math.trunc((score - 10) / 2);
}
export function savingThrowBonus(character: Character, ability: Ability): number {
const score = character.abilities[ability];
const base = score >= 10 ? Math.floor((score - 10) / 2) : Math.ceil((score - 10) / 2);
// ...
}Sense ECC, Claude va corregir abilityModifier, va afegir un test amb Força 9 i va donar la tasca per acabada en uns 12 segons. Les tres vegades. Amb ECC, en dues de les tres execucions va trobar també la còpia de savingThrowBonus i la va substituir per una crida a abilityModifier.
En cap d’aquestes execucions no es va activar cap skill. El que sí que es va activar, i molt, va ser un hook. ECC n’inclou un anomenat Fact-Forcing Gate que bloqueja la primera edició de cada fitxer fins que l’agent presenta certes dades. Aquest és el missatge que va rebre Claude en intentar editar abilities.ts:
PreToolUse:Edit hook error: [Fact-Forcing Gate]
Before editing src/characters/abilities.ts, present these facts:
1. List ALL files that import/require this file (search the tree — Glob/Grep, or find/grep via Bash)
2. List the public functions/classes affected by this change
3. If this file reads/writes data files, show field namesObligar l’agent a llistar les funcions afectades per un canvi és exactament el que destapa un càlcul duplicat. La meva interpretació és que aquesta comporta explica la diferència en el bug, però és una inferència: no he provat el hook aïllat de la resta d’ECC, i en una de les tres execucions l’agent va passar per la mateixa comporta i tot i així s’hi va deixar la còpia. Al llarg de les quinze execucions amb ECC, la comporta va bloquejar 49 accions.
Els tests que sí que van mirar la seguretat
A la tasca de tests van empatar en el que jo mesurava: els sis conjunts de tests van detectar els 16 mutants. Però en revisar els resultats vaig trobar una cosa que la meva puntuació inicial havia comptat com a error. Alguns tests no passaven amb el codi original, i la raó era bona: comprovaven que un PATCH amb __proto__ no contaminés Object.prototype o que un id amb ../ no permetés sortir del directori. Havien detectat les vulnerabilitats que jo havia deixat per a la tasca 5.
Sense ECC, els tests van destapar el prototype pollution en les tres execucions. Amb ECC, només en una. ECC carrega regles de testing i de seguretat a cada sessió, i tot i així va ser Claude Code sense plugins el que va pensar en el cas maliciós. Amb tres repeticions no m’atreveixo a donar-ne una explicació, però sí a dir que més instruccions al context no es van traduir en tests més atents.
Dues correccions al banc de proves
Aquesta prova també em va servir per descobrir errors en la meva manera de mesurar, i els deixo escrits perquè canvien el marcador.
El primer és el dels tests: els que fallaven amb el codi original per haver trobat un bug real ara compten com a bugs detectats, i la puntuació de mutants es calcula només amb els tests que passen amb l’original. Sense aquest ajust, la tasca de tests apareixia com a 0/3 sense ECC.
El segon és a la seguretat. Cinc de les sis solucions, amb ECC i sense, van afegir autenticació amb token Bearer a les rutes que modifiquen dades. És una millora raonable per a una API que s’exposarà a internet, però el meu test ocult feia el PATCH sense token i rebia un 401. El vaig adaptar perquè enviés un token vàlid i, amb això, les sis solucions tanquen les dues vulnerabilitats sense trencar l’API.
Hi va haver a més una execució, la de seguretat sense ECC en la primera repetició, el registre de la qual es va tallar sense l’esdeveniment final. La solució passa tots els tests, però el seu consum no es coneix i no entra a les mitjanes.
Per què no es va fer servir cap skill
Una skill només treballa si l’agent decideix carregar-la, i ho decideix a partir de la seva descripció. Ho vaig explicar amb més detall a l’article sobre com provar l’activació d’una skill: una descripció ha de competir amb tota la resta que hi ha al context. Amb gairebé tres-centes descripcions alhora, cap d’aquestes tasques, força corrents, no va portar l’agent a carregar-ne cap.
Els hooks funcionen d’una altra manera. No depenen que el model els triï, perquè Claude Code els executa a cada esdeveniment. Per això l’única part d’ECC amb un efecte visible a les meves dades va ser un hook.
També convé saber què fan aquests hooks fora del projecte. En acabar la prova vaig trobar al meu ~/.claude un bash-commands.log amb les comandes que havia executat l’agent, un cost-tracker.log, una carpeta metrics, una altra session-data i un directori ~/.local/share/ecc-homunculus. Són fitxers locals i no he auditat la resta del que fan aquests scripts, però és just el tipus de cosa que cal revisar abans d’instal·lar un plugin de tercers, com vaig explicar a què mirar abans d’instal·lar una skill.
Veredicte: fútil com a paquet complet
Instal·lar ECC sencer no millora Claude Code en tasques habituals de desenvolupament. Amb les meves cinc tasques, el resultat va ser el mateix en tres, millor en una i pitjor en una altra, a canvi d’un consum 2,8 vegades més gran, el doble de temps i 25.000 tokens extra de context a cada sessió. Per a l’ús diari, fútil.
El que sí que m’enduc és la idea de la Fact-Forcing Gate. Un hook que demana a l’agent que justifiqui l’abast d’un canvi abans d’editar és fàcil d’escriure i no necessita tres-centes skills al voltant. Si tens un plugin propi, és un bon candidat per afegir-lo com a hook, com vaig explicar a com organitzar un plugin de Claude Code. I si t’interessa alguna cosa concreta d’ECC, el README permet instal·lar només algunes regles i desactivar els hooks. Triar-ne dues o tres peces té més sentit que carregar-ho tot.
La prova té límits que no vull amagar. Tres repeticions per tasca és una mostra petita, només he fet servir Sonnet i les tasques són curtes, d’una sessió. És possible que ECC aporti més en treballs llargs, amb diverses sessions i memòria entre elles, que és on posen el focus alguns dels seus components. Això queda per a un altre episodi. El banc de proves ja està muntat per repetir aquesta mateixa bateria amb la propera configuració miraculosa que aparegui.


