As mentiras que a gente acredita em insights

Esse é o segundo texto de uma série sobre mentiras que escolhemos acreditar, que começou na edição passada falando sobre autenticidade.

Vivemos tempos difíceis de entender, mudanças rápidas e constantes e um entendimento da realidade fragmentado - esse é um contexto em que a área de insights deveria estar voando, e alguns argumentam, até ter cadeira com C no nome nas empresas. Que alinhamentos de incentivos existem impedindo que isso aconteça como poderia?

Estamos batendo palma para maluco dançar?

A falência do nosso senso crítico coletivo como efeito colateral do nosso consumo de mídia parece que já está dando as caras em insights e pesquisa também:

• Produção de conteúdo é talvez a ferramenta mais poderosa de construção de imagem e reputação em B2B hoje em dia e consequentemente, de aquisição, especialmente para quem é desafiante - é só ver as discussões sobre thought leadership, founder-led growth, etc., independente do porte da empresa. Até porque na última década a gente saturou todos os canais possíveis e imagináveis de outbound e a mídia paga realmente segmentada (Linkedin Ads) é cara e nem todo mundo consegue bons retornos com ela.

• O interesse público em comportamento de consumo e tendências é uma benção que também é maldição - é o que o Scott Galloway classificaria como um “sexy job” - um que atrai atenção mas não necessariamente remunera proporcionalmente e o que o Grant McCracken fala que atrai as pessoas erradas pelos motivos errados (senhora leitura para quem é de insights!). Sabe na Copa quando todo mundo acha que tem condições de fazer uma escalação ou tática melhor do que o técnico brasileiro, no geral alguém consagrado e campeão diversas vezes e que trabalhou duro para chegar onde está? Comportamento de consumo é um assunto que sofre do mesmo mal: mesmo quem não tem a menor ideia do que está falando se permite pitacar e nas mídias sociais, não importa se tem fundamento ou é verdade, só se gera identificação e ressona.

• As audiências típicas de B2B são dramaticamente menores do que as de B2C. Nenhum video curto sobre atribuição, CRM ou pauta mais técnica dentro de marketing consegue alcance ou engajamento e público como um tema mais geral como um tutorial de maquiagem, com raras exceções tipo um Chris Walker. A solução que parte do mercado encontrou foi fazer conteúdo mais superficial focado em engajar leigos e o público em geral, fundamentalmente reempacotando coisas que a galera já acredita ou coisas que sempre aconteceram como se fossem novidades.

O problema de conteúdo ter ficado tão importante é que a gente foi indo de formatos técnicos (mas chatos!) tipo webminar para discutir assuntos importantes para uma dinâmica de produção e consumo de conteúdo mais próxima do B2C - mais raso, mais rápido, de apelo mais geral e com um incentivo perverso gigantesco para falar besteira sem fundamento, mas que engaja.

Quer ver? Uma lista de algumas que já desconstruí aqui:

• Tradwives como tendência: volume de visualizações ≠ adoção de comportamento, nem tudo que a gente assiste nos inspira ou queremos emular ou, ainda, fundamento da dinâmica das mídias sociais: ultraje engaja. E todo o rastro leva a uma única matéria da BBC que falou com duas mulheres.

• Mini aposentadorias da Geração Z: num momento cheio de pautas importantes sobre o futuro profissional dos jovens como os NEETs / Nem Nem e o risco às posições junior e de entrada nos trabalhos intelectuais, o que chama a atenção é essa bobagem. A evidência que existe: dois depoimentos de pessoas de RH e alguns videos virais e tudo vem dos EUA, onde não existem férias remuneradas por lei, com exceção de 4 estados. Coincidência?

• Geração Z “não bebe mais”: primeiro, a miopia: se geração Z tem 13 a 28 anos, parte grande do bloco nem pode beber legalmente ainda. Segundo, a velha premissa de “se acontece nos EUA / mundo desenvolvido, vai acontecer aqui em seguida” - o problema é que a gente só conta as vezes em que isso acontece mas ignora quando não acontece. Terceiro, do maior estudo que cobre o assunto no Brasil, com 9000 entrevistas telefônicas em todas as macrorregiões do país, com perguntas sobre comportamento passado (últimos 30 dias) e não intenção futura (de parar, reavaliar consumo, etc.): Os 18-24 são os mais propensos a beber excessivamente quando bebem (os 25-34 estão bem próximos), é a segunda faixa etária com mais prevalência consumo abusivo e, de acordo com os dados históricos, um dos grupos em que o consumo abusivo está aumentando, não diminuindo (ainda que só numericamente, não necessariamente estatisticamente) e o mais propenso de todos os recortes etários a ter tido um episódio de amnésia alcoólica nos últimos 12 meses e o mais propenso a ter bebido ao acordar para ajudar a passar a ressaca e a consumir 6 doses ou mais numa ocasião pelos menos uma vez por mês.

  

  Entre os que consomem álcool. Via Covitel

   

A imprensa tradicional está mesmo em crise e já está nesse jogo do cliques primeiro e jornalismo depois há muito tempo, o que deveria fazer a gente usar dado secundário com muito mais cuidado. O problema é quem deveria separar o joio do trigo replicar esse tipo de bobagem ou usar como matéria prima em análise!

Como disse uma figura histórica cujo nome eu não vou repetir aqui, uma mentira repetida muitas vezes vira verdade.

A sedução das simplificações grosseiras

Só que não é de hoje que tem gente vendendo simplificação grosseira como insight, e não necessariamente é só fruto dos algoritmos.

Um certo antropólogo francês, que lamentavelmente ainda é celebrado em alguns círculos, escreveu um livro onde declarou ter entendido o código cultural oculto da humanidade, que molda percepções, comportamentos e respostas emocionais - a chave para entender tudo relacionado a consumo! Como foi o trabalho de campo que originou essa “revolução”? Não teve - ele se baseou nos arquétipos jungianos, reduzindo culturas complexas a um ou poucos códigos, e claro, reforçando estereótipos: os alemães são (todos) (só) disciplinados, os franceses são (todos) (só) hedonistas, e assim por diante. Meio tipo a galera de branding do Instagram que fala que sua marca não decola porque você escolheu o arquétipo errado.

O contraste com o entendimento de nuance e com a humildade intelectual de um Darcy Ribeiro, que dedicou a vida a estudar a formação do nosso povo, é escandaloso. Só isso já deveria ser motivo para ceticismo. Como diria o Carl Sagan, alegações extraordinárias requerem evidências extraordinárias.

Só que o mercado comprou a valor de face. E a gente não está falando do público em geral ou de gente menos letrada, mas de lideranças de empresas enormes ao redor do mundo, apesar de ele eventualmente ter sido (parcialmente) desmascarado quando foi pego mentindo sobre o próprio currículo. O que isso diz sobre a nossa credulidade e nossa crença em soluções mágicas para problemas altamente complexos? Nada como um vernizinho erudito para azeitar o truque, né?

Não vou contar quem ele inspirou no Brasil, o jurídico não deixou, mas vou citar o Grant McCracken pela segunda vez nesse texto porque ele fez uma crítica muito mais contida e elegante ao trabalho desse cara do que a que eu faria.

Insights: (deveria ser) a área de “fact checking”?

A gente como área e setor deveria ser mais Neil deGrasse Tyson e Nunca vi 1 cientista, no sentido de entender o mundo lá fora e contextualizar ideias complexas e baseadas em evidência para o dia a dia das áreas clientes. Só que infelizmente, como em diversos outros setores, tem muitas pessoas e organizações que estão mais para médico influencer que chama chip de testosterona de “modulação hormonal” e que entendem que o modelo de negócio é falar o que (acha que) o cliente quer ouvir ou que tem mais potencial de engajamento - aí vem “insight” sobre geração que não nasceu ainda, “movimento” que é na verdade um video viral no TikTok, “tendência” que é meia dúzia de gato pingado no Brooklyn e tratar recorte de 50 milhões de pessoas como se fosse homogêneo.

Se a gente está no negócio de insights acionáveis ideias úteis fundamentadas em dados (e dado qualitativo obtido com rigor também é dado, viu!), justamente o que aporta mais valor é o contrário: ser capaz de confrontar opiniões dominantes, narrativas sem fundamento e consensos invisíveis com fatos e pensamento crítico. É esse atrito que afia o machado da estratégia. A gente vende muito o “aha!”, o insight e a descoberta, mas muito do valor do nosso trabalho está no “peraí, será que a gente entendeu isso errado?” e em ser capaz de combinar métodos díspares e diversas para encontrar o sentido do todo, uma coisa que sensemaking, uma ideia que caiu em desuso nos últimos anos, descreve muito bem.

Sensemaking é pensamento crítico aplicado. Sensemaking é ligar pontos com dados não relacionados e de origens diversas de jeitos não óbvios, ajudando quem toma as decisões a separar melhor o “parece” do “é”. Sensemaking é uma ideia inerentemente multidisciplinar, por mais que tenham antropólogos, psicanalistas, cientistas comportamentais e neurocientistas que queiram tratar o entendimento humano como monopólio de suas disciplinas.

A gente está no negócio de “verdades duras” e pensamento lateral, mas o mercado compra mentiras convenientes a rodo.

Se escala fosse sinônimo de qualidade, comeríamos fast food todo dia

Faz mais de uma década que a maior parte da indústria de insights está passando escala na frente da qualidade. Sem dúvida, existe um mercado de clientes que querem pagar pela previsibilidade ou circunstâncias em que velocidade realmente é o que mais importa. Talvez muitos não saibam avaliar qualidade. O problema é achar que porque o fast food é conhecido, sempre igual e rápido, você deveria comer lá todo dia.

Nesse meio tempo, alguns problemas persistem, espalhados pelo mercado:

• Controles de qualidade insuficientes e fraudes em painéis online - um problema que foi a própria indústria que criou com a corrida para o abismo! Depois dessa bomba será que vão dar mais atenção para isso?

• Mais e mais empresas que vendem a operação e não o expertise. Se for melhor fazer coleta telefônica ou presencial, o painel online ou a researchtech vão te falar? O problema é que isso empurra para o cliente a decisão de definir método e em muitos casos, falta repertório suficiente para isso. Faltam alternativas simultaneamente full service e enxutas?

• O mercado ao mesmo tempo espera qualidade de dados mas se dispõe a comprar pesquisa em modelo SaaS por assinatura, ignorando o custo oculto de entupir os mesmos participantes de questionários ao mesmo tempo em que as recompensas deles são reduzidas. Quem você acha que eles espremem para viabilizar, a margem deles ou o custo operacional?

• Recrutamentos viciados, com processos pouco transparentes e nenhum controle de viés em estudos qualitativos - o resultado final é óbvio, mas está cheio de gente que não entende a importância ou que finge que não vê.

• Engajamento e experiência dos participantes serem consistentemente uma preocupação menor e ao mesmo tempo, algo que comprovadamente impacta qualidade. A barra baixou tanto que agora existe um padrão internacional. Quanto mais a gente trata isso como uma questão acessória e não central, mais a qualidade cai e o valor percebido do trabalho e da categoria vão junto.

O paralelo com a ideia de enshittification, que eu também já escrevi sobre, é direto: como as grandes plataformas digitais, são privilegiados no curto prazo os clientes enterprise (o cliente final que quer pagar pouco, está com pressa e muitas vezes não sabe avaliar qualidade - na nossa ponta, o pior tipo) em detrimento dos usuários (os participantes de pesquisa) que são finalmente a matéria prima sem a qual o trabalho não acontece.

Cada endosso a esse modelo é um voto a favor de factory farming de insights humanos - estamos defendendo modelos nos quais a gente realmente acredita com nossos orçamentos?

E qual é a grande solução proposta para esses desafios?

No meio da euforia generalizada sobre IA, o hype atual dos dados sintéticos só reforça que, para alguns, a corrida para ser mais rápido e mais barato e socar IA em partes do processo onde talvez não deveria importa mais do que resolver os problemas de verdade. O razoável não seria usar as possibilidades tecnológicas de hoje para resolver os problemas que ainda persistem? IA ajuda em muita coisa, mas não faz transmutação metafísica ainda.

Esse não é necessariamente um argumento contra dados sintéticos, até porque essa é uma discussão complexa, cheia de nuances e com performances muito distintas dependendo do caso de uso (e benchmarks extremamente enviesados para medir eficácia!), mas sim contra vender como panacéia, uso indiscriminado e usar como forma de fabricar consenso para eventualmente tirar os humanos da equação - na minha humilde opinião o maior risco. A mesma estratégia de consenso manufaturado de “painel online é bom o suficiente, quem é contra é ludita” sem saber direito o que tem dentro deles que nos trouxe para onde estamos em ancoragem de preço e de nivelamento por baixo - também já falei disso antes!

Acontece que os “luditas” tinham razão - tanto que a maior parte dos estudos em que cobertura é fundamental, tipo pesquisa eleitoral e Consumer Price Index continuam sendo feitas usando métodos de coleta mais abrangentes (e existem inúmeros casos em que isso é verdade para mercado também), mas que são sim mais caros e mais lentos. Por que? Porque ainda são a melhor alternativa! São escolhas que precisam ser mais pensadas e menos automáticas. A diferença agora é que temos (muito) mais a perder!

Uma coisa que já é aparente em alguns usos é que o discurso de quem vende é diferente do que o de quem experimentou, especialmente quando falamos de usuários técnicos e pesquisadores - temos que escolher com cuidado quem vamos ouvir.

É meio como se a indústria do chocolate estivesse achando que a grande revolução é a gordura vegetal hidrogenada. O lado bom é que esse é exatamente o contexto de mercado que abre espaço para aparecer uma Dengo ou uma onda bean to bar…

Essa não é uma discussão sobre usar IA ou não - já tem coisas incríveis em nosso dia a dia envolvendo transcrição, tradução, visualização de dados e ferramentas de suporte à análise que aceleram e melhoram entregas, diminuem trabalho operacional, mas não afetam negativamente a qualidade nem colocam o processo numa caixa preta. É sobre onde, como e porque usar.

E para completar, o elefante na sala: essa busca por escala finalmente serve para sustentar estruturas inchadas e ineficientes e gerar valor para sócio ou acionista, não necessariamente para entregar mais qualidade para cliente. Centralidade no cliente em casa de ferreiro é de pau? Com estruturas enxutas e clientes com mais discernimento, será que esse assunto ainda atrairia a mesma atenção?

Me engana que eu gosto

Jogando mais sal na ferida, o que nem todo mundo sabe é que uma parte grande do trabalho de consultorias e institutos maiores é feito em arranjos white label com consultores ou empresas menores. Na teoria, todo mundo fica feliz: a empresa menor embolsou seis dígitos, a empresa maior que fez o outsourcing e vendeu o projeto embolsou sete, e o cliente final que comprou marca ao invés de entrega para proteger seu cargo e ter alguém para culpar se o projeto der errado também. Na prática, parece que o cliente final fica com a parte pior do acordo e pode estar fazendo uma escolha bem irracional, especialmente se a ideia era pagar por marca.

Agora me explica, se você está pagando por porte ou marca como proxy de confiança, previsibilidade ou risco baixo, como é saber que seu fornecedor está terceirizando para um menor e que você poderia pagar bem menos pela mesma entrega? Nesse momento em que a discussão sobre a fabricação e origem dos produtos de luxo está sendo tão discutida, será que não é caso de reavaliar?

A gente já sabe faz tempo que as variáveis que afetam qualidade em insights são origem e qualidade dos dados e capacidade técnica, criativa e aplicabilidade das análises. Se os compradores já sabem isso, porque os incentivos estão tão desalinhados? É hábito? Morte por consenso em decisão que passa por muita caneta diferente? Medo de mudar? Síndrome de Estolcomo?

Tem alternativa? Tem, mas a gente precisa entender nossas prioridades na hora de escolher.

Mais eficiência operacional também pode ser usar uma estrutura enxuta ou modular centrada no expertise dos executores e na qualidade da matéria prima para garantir que qualidade vem primeiro sem que o custo seja um escândalo ou Vebleniano. Para manter a analogia gastronômica, é só olhar para a Jay Fai ou para o Izakaya Toyo. Os dois fundadores continuam na cozinha ralando muito, têm um zelo enorme com ingredientes, entregam um custo benefício inacreditável e o público, no geral foodies com mais repertório gastronômico, acaba sendo quem entende e quer pagar por qualidade.

Nesse contexto em que a gente consegue automatizar mais e mais do trabalho repetitivo e operacional, isso faz mais sentido ainda.

Dá para transpor os princípios do bom design do Dieter Rams para o design organizacional em insights e ser mais equipe de F1 e menos transatlântico dando cavalo de pau? Eu defendo que dá, mas aí quem compra precisa refletir mais sobre porque está comprando, até porque…

Status e afiliação são fatores de decisão mal disfarçados em B2B

É chover no molhado falar que compras B2B são menos racionais do que parecem. O medo é a emoção óbvia que guia muitas compras, encapsulado na conhecida frase “ninguém nunca foi demitido por comprar IBM”. Só que status e pertencimento tem um papel fundamental em B2B - é só olhar o tamanho da delegação brasileira em alguns eventos internacionais e o mar de postagens durante e pós. É sobre o conteúdo? Tangencialmente, mas claramente não só e parece ser cada vez menos a motivação principal. Quantas decisões corporativas que na verdade são sobre status e pertencimento você já viu serem racionalizadas como investimento? Como isso afeta a escolha de parceiros na sua empresa?

Qualitativa é fundamental e no geral, onde a maior parte das grandes descobertas realmente acontecem, se a gente faz bem feito

A gente fecha nossas apresentações com “É pela lógica que provamos mas é pela intuição que descobrimos.”, uma frase do Henri Poincaré, um gênio matemático, físico teórico e filósofo da ciência, famoso por ter uma visão mais ampla tanto da matemática quando da ciência como um todo, tratando as teorias científicas não como espelhos da realidade, mas convenções (“o mapa não é o território” before it was cool?) que são ferramentas que a gente usa porque funcionam melhor para entender um certo problema e não por dogma ou afinidade epistemológica. De certa forma, o pensamento dele contribuiu para a ideia de métodos mistos, que veio depois. Acho que isso já diz muito de como a gente trata o assunto por aqui.

Nas eventuais esfriadas no mercado ou pressões por velocidade e custos, tem pesquisador que fala “vamos precisar relativizar o rigor” ou “ah mas a gente não tá salvando a humanidade nem fazendo ensaio clínico”. Não, mas a gente está suportando decisões de negócio que não afetam só as finanças dos clientes, mas a vida de milhares de pessoas, muitas vezes de forma crítica. Os erros podem ser caros financeiramente, reputacionalmente e socialmente ou levarem a reações em cadeia, tipo dobrar a aposta em hipótese furada. A máxima do garbage in, garbage out sem dúvida nenhuma se aplica ao qualitativo também.

Não dá para ter tão pouca responsabilidade com o resultado do próprio trabalho e depois vir com papinho de propósito, escuta ativa, visão sistêmica e design regenerativo.

Além disso, a intuição, ao contrário do que alguns acreditam, não é um poder mágico, mas sim um processo acelerado de tomada de decisão baseado em experiências prévias e conhecimento consolidado e a qualidade dela deriva dessas duas coisas - só que ela passa longe de ser infalível.

Nosso cérebro é uma máquina maravilhosa de reconhecimento de padrões. O problema é que é tão maravilhosa que vira e mexe vê padrão onde não tem, tipo Jesus desenhado na torrada, 11:11 no relógio, cachorrinho na nuvem, borboleta em teste de Rorscharch e assim por diante. Por isso…

Formulação de teoria e hipótese precisa ser mais que c****ção de regra entretenimento

Eu já escrevi um outro texto falando a importância de olhar as coisas que os números não mostram. Aqui, falamos do outro lado da moeda. Esse assunto da validade externa muitas vezes é uma preocupação menor no jeito estritamente qualitativo de ver o mundo. Por isso que a ideia de triangulação é tão importante, - porque muitas visões “mono” metodológicas e disciplinares muitas vezes vão ter pontos cegos graves ou serem pouco generalizáveis.

A própria escolha de palavras na forma de comunicar já delata a intenção e a capacidade de autocrítica. Alguém que reconhece as limitações dos próprios métodos vai dizer “parece”, “sugere”, “pode ser que” ou até apresentar as descobertas como pergunta. É a antítese do “A geração ABC quer D”, “A nova era do XYZ começou”, “X é o novo Y”. Soar confiante pode ajudar a vender e ser persuasivo, mas onde a gente traça a linha? A própria dinâmica de produção de conteúdo não é um mega incentivo para que se proponha teorias sem pé nem cabeça jogando nos nossos viéses de novidade, de confirmação e de representatividade principalmente?

Quantitativa: precisamos aprender a ler as etiquetas nutricionais

Mês sim mês não, aparece um estudo na imprensa do tipo “os brasileiros estão dispostos a gastar mais por produtos sustentáveis.” Passa ano e vem ano, os aterros continuam enchendo, o fast fashion asiático segue crescendo dois dígitos e os líderes das categorias grosso modo continuam os mesmos. Como é possível?

É o problema mais velho do mundo em pesquisa - chama say-do gap (lacuna discurso-ação) e tem diversas estratégias técnicas para contornar isso e que esse tipo de estudo consistentemente ignora. Citando só as óbvias:

• Evitar ou refrasear perguntas para as quais existe uma resposta moralmente correta. Viés de desejabilidade social. 

• Perguntas sobre contextos e circunstâncias específicas são sempre melhores do que perguntas gerais - talvez a pessoa esteja disposta a gastar mais sei lá, em lâminas de barbear mas em desodorantes não. Ela responde pensando num geral que não existe e você fica com um dado que não diz nada.

• Medir comportamento passado num intervalo razoável é sempre mais preciso que medir intenção futura. Eu posso ter a intenção de ir na academia cinco vezes por semana, não comer fritura e guardar 50% do meu salário, mas isso é o que eu de fato faço? Somos horríveis em imaginar nossos eus futuros - viés de projeção e lacuna de empatia

Tem livros e livros publicados sobre como escrever questionários, fraseamento de perguntas e um monte de gente que acha que o seu freestyle é melhor que método provado (eita Dunning-Kruger!), ou tem intenção deliberada de torturar os dados. Todas essas coisas são fundamentos de pesquisa. Por que a gente deixa gente que não sabe isso escrever questionário? Esse é um dos motivos pelos quais eu acho péssimo a gente chamar de “democratização” a ideia de pessoas não treinadas conduzirem pesquisa - pinta a gente de opressor, elitista, gatekeeper mas a realidade é mais parecida com deixar gente não habilitada dirigir ou fazer reforma estrutural sem arquiteto. Dá para argumentar que tem muitos casos em que é melhor não fazer do que fazer mal feito para não criar falsas certezas.

Aí na hora de avaliar qualidade, a galera olha quem fez ou pagou pelo estudo e no máximo tamanho da amostra, mas o lado técnico, incluindo fraseamento de pergunta, distribuição da amostra, metodologia pouco transparente etc. que é onde a sujeira se esconde, passa batido. Que incentivo existe para que saiam estudos melhores se o escrutínio não acontece e se a exigência de qualidade é mínima?

Mas e agora, como a gente resolve?

Num olhar bem editorial e de opinião, os males deste século (até agora, pelo menos), muito potencializados pelo contexto, parecem ser o viés de confirmação e o efeito Dunning-Kruger. Ao contrário do mal do século XIX e dos poetas românticos, esses dois não tem vacina e dependem do pensamento crítico de cada um e são sobre olhar para dentro.

O problema é quando a gente acha que só os humanos lá fora são crédulos e falíveis e nós não. O problema é que achar que só tem desinformação na política, na saúde pública, nas recomendações de investimentos e de dietas malucas. O problema é que todas essas mentiras confortáveis nos cegam para as coisas que estão realmente acontecendo e impactam nossos negócios, as marcas sob nossa responsabilidade e nossas carreiras.

Quando a gente assiste documentários ou ouve histórias sobre líderes de culto como o Osho e Jim Jones ou charlatães notórios como o João de Deus a gente fica indignado com como as pessoas não perceberam antes que estavam lidando com pessoas mal intencionadas, mentirosas ou abusivas - porque o custo de reconhecer a mentira aumenta quanto mais tempo a gente passa acreditando nela, uma manifestação da falácia do custo afundado. Para o encanto ser quebrado, alguém precisa nos mostrar (e a gente precisa estar aberto a ouvir!) que o imperador está nu.

Tomar decisões melhores passa por reconhecer nossa falibilidade e parar para ouvir quem nos desafia, não quem fala o que a gente quer ouvir e apela aos nossos piores instintos - com isso em mente, a gente consegue recompensar os comportamentos que nos levam onde queremos ir. Para fechar essa edição, uma última recomendação: Alain de Botton (o filósofo, da School of Life) no 20VC do Harry Stebbings, numa discussão interessante sobre marketing que toca tangencialmente no lugar de insights no mundo e neste texto.

Obrigado por ler até o final e até a próxima edição!