A vitória de dez aberturas não sobrevive ao mês

Quantos envios uma diferença de abertura precisa pra ser real.

A balança quase nivelada sob o néon magenta

O painel abre o resultado quarenta minutos depois do disparo. Variação A com 372 aberturas, variação B com 362. Dez aberturas separam as duas, a barra verde acende do lado esquerdo, e a plataforma escreve a palavra vencedor em cima do braço A.

A regra nasce ali, na mesma tela, sem reunião nenhuma no meio. Assunto em forma de pergunta abre mais, então todo envio a partir de amanhã leva pergunta no assunto.

A frase entra no documento de padrões da operação e vira orientação pra quem escreve. Ninguém tem motivo pra desconfiar, porque o número estava na tela e a tela não inventou nada. Ela contou aberturas de verdade, uma por uma.

Trinta envios depois, a média de abertura da base está em 40,6%. Antes da regra, estava em 41,0%. O efeito não caiu, não inverteu, não fez nada de dramático. Ele simplesmente não aparece fora daquela tarde de quinta. Ninguém mexeu na frequência, no horário ou na origem dos cadastros durante o mês inteiro.

O teste não mentiu em nenhum momento. Ele respondeu com honestidade uma pergunta bem menor que a pergunta feita. A pergunta feita foi qual fôrma de assunto abre mais nesta base. A pergunta respondida foi qual entre dois grupos de 900 pessoas abriu mais um email específico numa tarde específica.

Entre uma pergunta e a outra existe uma distância com tamanho contável. Ela depende de quanta gente recebeu cada braço e do tamanho da diferença que você quer enxergar. Com base pequena, a distância engole quase toda diferença que aparece no painel.

A operação levou tempo demais pra tratar teste de assunto como uma medida com margem em volta, e não como um placar de futebol. Vale começar pela mecânica que faz duas medidas honestas discordarem uma da outra sem que nada esteja quebrado no caminho.

Continue lendo ↓

I  O Bastidor

Toda medida de abertura vem com margem

Mande o mesmo assunto, no mesmo horário, para duas metades sorteadas da mesma lista, e os dois números não vão bater.

Numa base de 1.800 leitores dividida ao meio, o teste com assunto idêntico dos dois lados fechou em 368 e 359 aberturas. Nove aberturas de diferença, e nenhuma causa por trás delas.

Cada envio sorteia quem estava com o celular na mão naquele minuto. A metade que ganhou não tem nada de especial, ela só pegou algumas pessoas a mais em condição de abrir.

O tamanho da oscilação natural é calculável. Com 900 pessoas por braço e abertura na casa dos 40%, duas metades idênticas variam até três pontos pra cada lado sem nenhuma mudança de texto.

Existem duas medidas na mesma tela e a plataforma mostra uma só. A diferença observada é o que aconteceu naquele envio. A diferença real é a que se repetiria se você refizesse o mesmo envio mil vezes.

Quando a margem é maior que a diferença observada, as duas não têm relação entre si. O painel continua apontando um vencedor, porque é a única coisa que ele sabe fazer.

O tamanho mínimo de um braço sai de uma multiplicação curta: 16, vezes a sua abertura em decimal, vezes o que falta pra chegar em 1, dividido pelo quadrado da diferença que você quer enxergar.

Numa base que abre 40%, a conta devolve três números redondos. Pra enxergar 2 pontos de diferença, 3.840 pessoas por braço. Pra enxergar 5 pontos, 1.536. Pra enxergar 10 pontos, 384.

A lista de 1.800 dividida ao meio, portanto, só enxerga diferença de 10 pontos pra cima. Uma vantagem de um ponto na tela dela não é medida de coisa alguma, é a sorte de quem estava acordado.

Depois vem a parte que engana. O braço que ganhou por sorte é o escolhido, e no envio seguinte a sorte não vem junto, então o número volta pra altura de sempre.

De fora, a leitura é que o efeito perdeu força ou que a base cansou da fôrma. De dentro, não houve efeito nenhum, só uma medida bem feita de uma amostra pequena demais.

II  O Que a Gente Fazia

Quatro braços numa lista de 1.800

A gente testava assunto em qualquer tamanho de lista. Com 1.800 leitores na base, o teste saía com 900 de cada lado, e a decisão ficava com o braço que abrisse mais.

Nenhum teste era descartado por falta de gente. O painel sempre apontava um vencedor, e a operação nunca perguntou se aquele vencedor caberia numa segunda medida feita no dia seguinte.

A gente quebrava a lista em quatro variações. Quatro assuntos diferentes, 450 pessoas por braço, na esperança de aprender quatro coisas de uma vez só.

Quanto mais braços, menor cada braço e maior a oscilação natural dentro dele. Três quartos da base ainda recebiam um assunto que a própria operação considerava pior, e a conta desse desperdício nunca entrou na planilha.

A gente trocava mais de uma coisa por vez. O braço B mudava o assunto, mudava o preview e, em algumas campanhas, mudava também o horário do disparo.

Quando B ganhava, ficava registrado que pergunta no assunto abre mais. Podia ser o preview curto, podia ser o horário. Sem uma variável parada por vez, o vencedor não diz o que venceu, e a regra que sobra é um chute com número em cima.

A gente decidia com o teste no meio. Quarenta minutos depois do disparo, menos da metade das aberturas daquele dia tinha entrado.

Quem abre nos primeiros minutos é o leitor mais fiel e reage diferente do restante da base. A ordem dos braços mudava entre a primeira hora e o fim do segundo dia, e a decisão saía sempre da primeira hora.

A gente guardava o vencedor e jogava fora o número. No documento entrava a regra em uma linha, nunca a diferença medida, nunca o tamanho de cada braço, nunca a data.

Em um ano, o documento acumulou onze regras de assunto sem uma única amostra anotada. Regra sem número não se revisa, só se obedece.

Quem banca a edição de hoje

O clique de apoio mantém a edição gratuita

III  O Que Mudou

O teste virou bloco de envios

O tamanho mínimo passou a ser checado antes de escrever as variações. A conta entra antes do texto e diz se a lista enxerga a diferença que a operação procura.

Numa base que abre 40%, são 3.840 pessoas por braço pra enxergar 2 pontos, 1.536 pra enxergar 5 e 384 pra enxergar 10. Braço menor que a conta pede, teste cancelado.

Duas variações por teste, nunca quatro. A lista se divide ao meio e o teste responde uma pergunta só, com a maior quantidade de gente possível de cada lado.

Quatro braços parecem economia de tempo e entregam o contrário: cada braço com um quarto da base, margem maior e nenhuma comparação fechada.

O teste deixou de ser fatia de lista e virou bloco de envios. A base inteira recebe a mesma variação no dia, e a fôrma alterna de um envio para o outro.

Dez edições com assunto em pergunta, dez com assunto em número, alternando dia sim dia não pra fôrma nenhuma colar com o dia da semana. Cada lado fecha com 18.000 entregas em vez de 900.

Com 18.000 entregas por lado, uma diferença de um ponto já sai da margem. O bloco fechou em 40,2% contra 39,5%, com a base inteira recebendo o melhor palpite em todos os envios.

Lista pequena não perde o direito de aprender, perde o direito de dividir. O bloco acumula amostra ao longo de vinte edições e devolve o tamanho que a conta pede, sem cortar a base em pedaços.

Enquanto o bloco não fecha, quem decide o assunto é a régua de escrita: âncora concreta, nome, número ou objeto, mais um gancho que abre a tensão sem entregar o desfecho.

A leitura passou a ser em média de trinta dias, nunca em envio isolado. Um envio sozinho oscila três pontos por conta própria, mais que quase toda mudança que se tenta medir.

A média móvel sobe ou desce por motivo, e o motivo aparece junto: entrada de gente nova, semana de feriado, mudança de horário. Envio isolado não conta história, conta um dia.

Toda regra adotada ganhou data, amostra e prazo de reteste. No documento entram a diferença medida, o tamanho de cada lado e o dia em que a regra passou a valer.

A regra volta pro bloco quando a base dobra de tamanho, porque base maior enxerga diferença menor. Das onze regras antigas, cinco não sobreviveram ao primeiro reteste.

O sinal que não depende de volume continuou sendo lido à mão. Resposta de leitor, clique no primeiro link e quantos abrem três de cada quatro edições dizem mais, em base pequena, que qualquer teste dividido ao meio.

Nenhum dos três elege fôrma de assunto. Eles dizem se a edição está sendo lida por quem quer estar ali.

Pra ir além do bastidor de hoje

🎓 Mentoria Viver de News

O acompanhamento do HC pra quem quer construir e viver de uma newsletter. Do zero à monetização, com o método que gerou a Alquimia.

🤝 Agência News Makers

A agência que constrói e opera a newsletter da sua empresa ponta a ponta. Estratégia, conteúdo e crescimento, tudo feito pra você.

As newsletters de quem escreve aqui

Alquimia da Mente

A newsletter diária do HC sobre mente, hábitos e performance. Mais de 15 mil leitores todo dia às 18:18. Leitura de 5 minutos que muda como você pensa o seu dia.

Copyletter

A newsletter do Lucão sobre copywriting que vende. As técnicas por trás de mais de R$ 200 milhões em campanhas, direto do teclado de quem escreveu.

Até amanhã, 07:07. HC & Lucão

A newsletter de quem vive de newsletter

Newsletter é negócio