Ciências Biofarmacêuticas, Biomed Biopharm Res., 2022; 19(2):397-409 Materiais Suplementares - Apêndices A-D [+] pdf aqui - DOI: 10.19277/bbr.19.2.298_Apêndices
doi: 10.19277/bbr.19.2.298; versão pdf aqui [+] ; versão inglês html [EN]
Materiais Suplementares - Apêndices A-D [+] pdf aqui - DOI: 10.19277/bbr.19.2.298_Suplemento.pdf
Pré-teste de questionário para substanciação de claims cosméticos anti-ageing: uma descrição de validação de questionários de percepção de eficácia e sensorial
Mariane Massufero Vergilio 1, Laura Moretti Aiello 2, Tamiris Anselmo 2, Gislaine Ricci Leonardi 1,2*
1Graduate Program in Internal Medicine, School of Medical Sciences - University of Campinas (UNICAMP), 126, Tessália Vieira de Camargo St., "Cidade Universitária Zeferino Vaz," 13083-887 Campinas, SP, Brazil; 2School of Pharmaceutical Sciences - University of Campinas (UNICAMP), 200, Cândido Portinari St., "Cidade Universitária Zeferino Vaz," 13083-871 Campinas, SP, Brazil
* autor para correspondência: Este endereço de email está protegido contra piratas. Necessita ativar o JavaScript para o visualizar.
Resumo
A aplicação de questionários para a avaliação e coleta de dados do público-alvo e de novos produtos é uma prática muito comum na área da cosmiatria. Entretanto, para que seja obtido resultados confiáveis, é essencial o pré-teste do instrumento a fim de detectar possíveis problemas e inconsistências. Neste estudo, temos como objetivo demonstrar todo o processo de pré-teste de dois questionários utilizados na área de substanciação de claims cosméticos; um questionário de autoavaliação da pele e outro de análise sensorial para formulações cosméticas. De acordo com a análise protocolar de pré-teste, para cada questionário 15 mulheres foram entrevistadas. Todas as dificuldades foram registradas, categorizadas de forma não apriorística e analisadas. Durante a validação dos questionários, o maior problema enfrentado foi relacionado à aplicação de escalas e aos conceitos técnicos dentro das questões. Esta dificuldade faz com que os respondentes não consigam representar a sua real percepção do produto avaliado. Este problema pode ser solucionado com a adição de explicações detalhadas no rodapé ou dentro do próprio enunciado de cada questão. Em conclusão, aprender e aplicar o pré-teste em questionários pode garantir maior confiabilidade e clareza em resultados de pesquisas da área cosmética.
Palavras-chave: Questionários, cosméticos, subtanciação de claims, autoeficácia, atributos sensoriais
Recebido: 25/11/2022; Aceite: 30/12/2022
Introdução
O consumo e a demanda por estratégias cosméticas e dermatológicas antienvelhecimento cresceram de forma exponencial nos últimos anos, devido ao aumento da expectativa de vida, e a uma nova cultura voltada ao cuidado com a saúde e estética, trazendo uma melhora na qualidade da população (1–3). Os consumidores estão cada vez mais preocupados com os componentes dos produtos que estão utilizando, considerando qualidade, eficácia, segurança e sustentabilidade (3).
Neste contexto, os claims cosméticos relacionados ao envelhecimento ganham destaque. Diferentes metodologias podem ser usadas para fornecer informações que ajudem a avaliar a eficácia dos produtos cosméticos para reverter ou previnir os sinais de envelhecimento pele (4). Entre elas, existem testes científicos baseados na observação da eficácia e função do produto pelo consumidor, bem como testes em que participantes avaliam as propriedades sensoriais de determinado produto (4).
Dos diversos produtos disponíveis, os consumidores dão grande preferência por aqueles sensorialmente agradáveis, atributo extremamente importante na escolha do produto em vista das numerosas opções existentes e que possuem a mesma função (5). Aliado aos parâmetros sensoriais, o estudo de eficácia dos produtos, mediante as percepções dos consumidores, é imprescindível para a comprovação de suas finalidades, além de fornecerem informações para o desenvolvimento e marketing de novas formulações cosméticas e dermatológicas, reformulação de produtos já existentes e para a otimização do processo de formulação (6,7).
Para que essas avaliações apresentem resultados confiáveis, é necessária a utilização de questionários elaborados a partir de uma escala de mensuração validada e adequada ao estudo (8). Por conseguinte, a elaboração desses instrumentos é um processo complexo que consiste em vários passos para se atingir o objetivo proposto (9).
Desse modo, para a estruturação do questionário, é necessário primeiramente especificar informações como o problema central do instrumento, a abordagem necessária, as questões relacionadas ao tema e, principalmente, o público-alvo, que exerce grande influência na sua elaboração (10).
A fim de garantir a compreensão correta de todas as questões do questionário e de identificar possíveis dificuldades, o pré-teste é um passo essencial durante o desenvolvimento do instrumento. Por meio desse, problemas como palavras não familiares ao entrevistado, ambiguidades, respostas não apropriadas ao objetivo da pesquisa, podem ser avaliados, possibilitando a adequação e modificação do questionário preliminar ou inicial. Além disso, o pré-teste também permite verificar aspectos estruturais como a quantidade de perguntas, a forma como são realizadas, a ordem em que estão dispostas, dentre outros (10).
Para codificar os dados obtidos na etapa de pré teste, é muito importante a análise de conteúdo que consiste em uma metodologia para ler e interpretar as respostas do entrevistado, a qual não escapa também da interpretação pessoal do entrevistador (11,12). Essa análise é constituída por três fases: a pré análise, categorização e tratamento dos resultados (13).
O objetivo desse estudo foi descrever o pré-teste de questionários de autoavaliação da pele e outro de análise sensorial, ambos focados em substanciação de claims cosméticos anti-ageing, a fim de indicar problemas e soluções encontrados durante o desenvolvimento dos mesmos, para garantir maior confiabilidade e clareza de instrumentos de coleta de dados em estudos na área cosmética.
Materiais e métodos
Desenho experimental
Dois questionários iniciais foram avaliados, um para auto avaliação da aparência da pele (Materiais Suplementares Apêndice A); outro para avaliação sensorial de cosméticos (Materiais Suplementares Apêndice B).
O pré-teste de cada questionário, foi realizado através de entrevista de uma amostra, não probabilística e por conveniência, de 15 participantes por questionário (n=30) (9). Todos os participantes assinaram um termo de consentimento informado. Foram selecionadas participantes mulheres consumidoras de cosméticos anti-ageing, de 30 a 60 anos.
Foi escolhido o processo de análise protocolar para a realização deste teste inicial, em que o entrevistado “pensa em voz alta” ao responder o questionário e comumente, as observações dos entrevistados são gravadas por áudio e analisadas, a fim de determinar as reações evocadas por partes diferentes do questionário (9). Toda a entrevista foi gravada em um aparelho celular para análise posterior. As entrevistas foram transcritas parcialmente focando nos momentos em que os respondentes demonstravam dificuldade ou alguma mudança de humor.
Foram utilizados um entrevistador experiente e outro não-experiente. Entrevistadores experientes rapidamente detectam insegurança, confusão e resistência por parte dos entrevistados ao responder as perguntas. O não-experiente identifica problemas relacionados com o entrevistador, garantindo que a aplicação do questionário seja robusta, umas vez que o resultado da pesquisa precisar ser independente de quem está aplicando o questionário (9).
O estudo foi aprovado pelo Comitê de Ética em pesquisa da Faculdade de Ciências Médicas da Unicamp (CAAE: 13367219.5.0000.5404).
Instrumento de coleta de dados
Questionário de autoavaliação da aparência da pele
A estrutura inicial do questionário encontra-se no Materiais Suplementares Apêndice A. Este foi desenvolvido com o objetivo de fornecer dados a respeito da aparência da pele. Os parâmetros avaliados por esse questionário foram a hidratação, firmeza, elasticidade, flacidez, rugas e linhas de expressão nos lábios/olhos/testa, luminosidade/viço, sinais de cansaço, uniformidade do tom da pele, intensidade e quantidade de manchas, vitalidade, poros aparentes, presença de olheiras e bolsas sob os olhos e efeito lifting. Foram utilizadas perguntas para coleta de dados estruturadas, utilizando-se diferentes escalas intervalares monádicas para a mensuração dos atributos, de acordo com as normas de substanciação de claims cosméticos (14).
Questionário de avaliação sensorial de cosméticos
A estrutura inicial do questionário encontra-se no Materiais Suplementares Apêndice B. Este instrumento abordava o perfil sensorial de uma formulação tópica cosmética testada. Com o objetivo de obter o perfil sensorial da formulação, foram selecionados os atributos sensoriais que se referem ao produto em si, durante o processo de aplicação: consistência/textura, perfume/fragrância, tempo de absorção e espalhabilidade. Também foram selecionados os atributos referentes a pele, avaliados após a aplicação: pegajosidade, oleosidade e maciez (6,15–17).
Análise de dados
As respostas obtidas com o pré-teste foram codificadas e analisadas (9). Para a análise do material qualitativo obtido nas entrevistas, foi utilizado o método de análise temática de conteúdo simples (18). Em relação ao processo de análise de dados quantitativos, foram seguidos os seguintes passos: estabelecimento de categorias; codificação e tabulação; análise estatística dos dados (frequência, média aritmética, porcentagens, desvio padrão, com auxílios de gráficos de setores e outros) (10,18).
Depois de identificados e analisados os problemas encontrados, durante o pré-teste, os questionários foram editados e corrigidos (9).
Resultados
A partir da avaliação qualitativa do conteúdo das entrevistas, as dificuldades e sugestões apontadas pelos participantes durante a entrevista foram categorizadas de acordo com a Tabela 1.
No pré-teste de cada questionário foram incluídas 15 mulheres para cada análise, cujas características sociodemográficas estão descritas na Tabela 2.
Questionário autoavaliação da aparência da pele
As frequências em que ocorreram incompreensões e dificuldades em cada categoria durante a aplicação do pré-teste do questionário 1 estão demonstradas na Tabela 3.
Conforme indicado, no que concerne às dificuldades conceituais do questionário (Materiais Suplementares Apêndice A), verifica-se que, no item Histórico Médico e Geral, a participantes apresentaram dúvida no conceito de “neoplasia” e no conceito de “psoríase”. Por isso na própria questão foi adicionado uma simples explicação das condições de saúde: “Neoplasias (tumor)” e “Psoríase (doença de pele autoimune crônica, caracterizada por manchas avermelhadas recobertas por escamas esbranquiçadas)”.
Com relação aos parâmetros avaliados pelas escalas de intensidade, houve bastante dificuldade na compreensão das palavras “viço” e “luminosidade” (Questão 20), uma vez que as participantes relacionavam erroneamente os termos com a oleosidade e suor da pele. Dessa forma, optou por retirar esta pergunta do questionário. Além disso, algumas entrevistadas relataram não conhecer a definição de “elasticidade” ou não conseguiram distingui-la dos significados de “firmeza” e “flacidez”. Por isso, retiramos a questão a respeito do atributo flacidez, por ser o termo mais confuso, de acordo com as respondentes, e adicionamos as seguintes descrições nas respectivas questões: “Firmeza é caracterizada por uma pele firme, com tônus, consistência, sustentação, oposto de flacidez” e “Elasticidade é caracterizada por flexibilidade da pele, sofre deformação, quando submetido à tração, e retorna parcial ou totalmente à forma original”. Algumas participantes não compreenderam o atributo “sinais de cansaço” e “uniformidade da pele”. As questões foram consideradas vagas e confusas pelas entrevistadas. Nesses casos, também foram adicionadas frases explicando o significado de cada item.
No instrumento de coleta de dados, foram identificadas também dificuldades condicionais em seis questões. Na Questão 10, os elementos “procedimentos estéticos” e “cosméticos rejuvenescedores” são avaliados na mesma pergunta. Entretanto, visto que somente o item “procedimentos estéticos” é exemplificado na questão, não fica claro se o uso dos cosméticos deve ser descrito com referência à realização desses procedimentos em conjunto ou não. A fim de evitar essa dificuldade, os dois elementos foram avaliados e exemplificados em perguntas separadas, na versão modificada do questionário.
A não especificação de um período de referência nas Questões 29 e 30 dificultou a avaliação dos atributos pelas voluntárias que questionaram se as respostas deveriam ser dadas com base no momento em que o instrumento foi aplicado ou se épocas anteriores também deveriam ser consideradas. As participantes reportaram que a presença de bolsa sob os olhos e olheiras depende muito do período do dia e de fatores como sono e estresse. Por isso foram colocados indicadores de tempo nas questões, como por exemplo, “Em relação as bolsas embaixo dos olhos, você diria que no período da manhã (...)”.
A dificuldade de interpretação na escala do tipo Likert também foi relatada, principalmente durante a autoavaliação dos atributos clínicos pela escala numérica de 7 pontos. Nas questões 14 e 15, alguns entrevistados questionaram a diferença dos níveis presentes entre essas escalas de frequência. Para contornar as dificuldades apresentadas, as escalas numéricas foram complementadas com as explicações correspondentes a cada nível.
Todas as alterações realizadas no questionário do Materiais Suplementares Apêndice A estão descritas na versão final do mesmo indicado no Materiais Suplementares Apêndice C.
Questionário de avalição sensorial de cosméticos
As dificuldades identificadas no pré-teste do instrumento de avaliação sensorial (Materiais Suplementares Apêndice B) foram sumarizadas na Tabela 4.
Durante a avaliação, foram identificadas dificuldades em conceituar os termos: consistência/ textura, tempo de absorção, pegajosidade e oleosidade. Para possibilitar uma melhor compreensão dos termos, os entrevistados sugeriram a inclusão dos termos “viscoso” e “fluido” para melhor caracterização dos atributos “consistência e textura” e a inclusão da expressão “tempo de secagem” para uma descrição mais clara do atributo “tempo de absorção”. Além disso, todos os parâmetros sensoriais foram definidos no cabeçalho da pergunta.
Ainda sobre as dificuldades conceituais, na Questão 6, uma das entrevistadas achou que a alternativa “nem fraco nem forte” era definida como um atributo negativo, quando na verdade a expressão significa apenas indecisão por parte do respondente. Sendo assim, este item foi substituído por “adequado”, transmitindo assim como um adjetivo mais imparcial.
Conforme é observado no Materiais Suplementares Apêndice B, da Questão 3 a 16, um mesmo atributo foi avaliado a partir da opinião pessoal do entrevistado com escalas de 9 pontos e a partir da avaliação sensorial acerca desse atributo com escalas de intensidade. Contudo, alguns participantes apontaram não conseguir diferenciar as condições de referências dessas duas formas de avaliação para o mesmo atributo, indicando uma dificuldade de caráter condicional. Essa mesma categoria foi identificada na Questão 11. Entretanto, a entrevistada relatou não entender se a pergunta se tratava de uma opinião pessoal e hedônica do atributo ou se esse deveria ser avaliado como se houvesse uma resposta exata e mais correta. Para resolução dos problemas condicionais, o cabeçalho das perguntas sobre a avaliação pessoal do participante acerca do atributo foi reestruturado.
Com relação às incompreensões de escala, as participantes relataram dificuldade em entender os níveis das escalas de 7 e 9 pontos. Foi observado que muitas vezes as entrevistadas estavam assinalando apenas os extremos da escala, não fazendo uso dos níveis intermediários. Para contornar esse problema, foram acrescentados explicações e números em cada nível para facilitar o entendimento geral dos mesmos.
Todas as alterações realizadas no Materiais Suplementares Apêndice B estão descritas na versão final do mesmo indicado no Materiais Suplementares Apêndice D.
Discussão
Para que os questionários apresentem resultados consistentes e confiáveis, diversos fatores devem ser levados em consideração durante seu desenvolvimento como o perfil social, cultural e aspectos psicológicos do público-alvo. Além disso, devem ser elaborados de maneira simples, de fácil compreensão, evitando perguntas ambíguas (19,20). Com o propósito desses requisitos serem cumpridos, o questionário deve ser pré-testado em um público heterogêneo (mas dentro do público-alvo), com pessoas de variadas faixas etárias e perfil sócio educacional a fim de saber o que essas características influenciam no entendimento durante a execução do questionário (21). Desse modo, os possíveis problemas e inconsistências em seu preenchimento podem ser detectados, minimizando as dificuldades durante o desenvolvimento do estudo (22,23).
Este trabalho descreveu cinco categorias de problemas que podem ser encontrados durante a elaboração de um questionário para substanciação de claims cosméticos, bem como algumas opções que podem solucioná-los.
A validação semântica mostra-se essencial para garantir a compreensão correta de todos os itens pelos entrevistados, evitando interpretações divergentes da intenção expressa pelo pesquisador. Para tal, é necessário que essa etapa considere a relevância e coerência de todos os elementos para a população a qual o instrumento é direcionado (24,25). Nesse estudo, nota-se que essas dificuldades semânticas representam um desconhecimento de nível técnico que impossibilita a diferenciação das particularidades de cada termo, sendo, desse modo, importante que todos os atributos avaliados sejam definidos e explicados em cada questão.
Embora o entrevistado possa conhecer a definição técnica dos atributos questionados, outra dificuldade identificada foi a de autoavaliação clínica. Para que as informações do questionário sejam fornecidas de forma mais confiável, é importante que a entrevistada já tenha tido a confirmação de um diagnóstico prévio da condição clínica avaliada. Contudo, a autoavaliação pode ser utilizada como uma importante ferramenta para a mensuração da qualidade de vida dos participantes (26,27).
Com base na análise das respostas obtidas, observou-se ainda que alguns participantes não compreenderam a condição de referência (categoria condicional) ou o tempo e frequência (categoria temporal) os quais os parâmetros deveriam ser avaliados. Por conseguinte, é necessário que as perguntas sejam elaboradas de forma clara, concreta e precisa. As questões presentes no instrumento também devem considerar o sistema de referência do entrevistado, seu nível de informação, além de possibilitar uma única interpretação e referir-se a uma ideia de cada vez (18,28).
Há relatos na literatura do uso do pré-teste em diversificadas áreas como nutrição (22,29), bem-estar social (30,31), adaptação dos questionários em línguas estrangeiras (32,33), marketing e vendas do produto (34), economia (35) e sociopolítica (36). Existem semelhanças entre o estudo aqui feito e os estudos de pré-teste encontrados na literatura, como por exemplo a necessidade de explicar termos técnicos ou a troca dos mesmos (29,32,35–37), esclarecer o uso de escalas assim como alterá-las para um maior entendimento (21,30,34). Para a avaliação de intensidade dos atributos, nas escalas de intensidade de 5 a 7 pontos foram adicionados números e explicações verbais (30). Para a avaliação hedônica, foi mantida a escala de nove pontos ancoradas com “desgostei muitíssimo” e “gostei muitíssimo”, porque apesar de serem de mais dificil entendimento, quando trata-se de perguntas de aceitação, a escala hedônica de nove pontos é considerada a escala mais confiável, válida e de valor prático (4).
Além disso, foram identificadas limitações que podem ser prejudiciais ao resultado final como por exemplo o número de entrevistados ser um número menor do que o número de pessoas que serão entrevistadas com o questionário final (22). Foram pontuados também dentro destes artigos, a importância da realização do processo de pré-teste, como por exemplo a compreensão ficar mais facilitada (27,33), assim como o fato de que as correções evitam com que os resultados sejam manipulados devido respostas erroneamente dadas (37).
Conclusão
A análise do pré-teste é muito importante para identificar quaisquer tipos de erros que impeçam a total compreensão do instrumento pelo entrevistado, e sua correção é importante para que o momento de resposta ao questionário não se torne um momento desagradável para o participante. O levantamento das dificuldades encontradas, bem como as alterações realizadas no instrumento de coleta de dados, leva a uma maior compreensão da ferramenta pelos respondentes, e ao desenvolvimento de uma ferramenta de substanciação de claims cosméticos mais eficaz e confiável.
Também foi descrita a metodologia de como realizar um pré-teste, suas aplicabilidades e o seu aperfeiçoamento, sendo essa de grande aplicabilidade para o setor de cosmiatria. O método aqui usado pode ser utilizado para outros questionários e ampliado para as mais diversas áreas de estudos envolvendo humanos.
Declaração sobre as contribuições dos autores
MMV, conceção e desenho do estudo; análise de dados, redação, edição e revisão; LMA, conceção e desenho do estudo; implementação experimental; redação, edição e revisão; TA, análise de dados; redação, edição e revisão; GRL, conceção e desenho do estudo; supervisão e redação final.
Financiamento
Esse estudo foi financiado pelo Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (CAPES n. 88887.489753/2020-00) e a Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP n. 2020/08516-0).
Agradecimentos
Agradecemos a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (CAPES), a Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) e ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) pelo apoio financeiro.
Conflito de Interesses
Os autores declaram que não há relações financeiras e/ou pessoais que possam representar um potencial conflito de interesses.
Referências
1. Fibrich, B. D., & Lall, N. (2018). Fighting the Inevitable: Skin Aging and Plants. In Medicinal Plants for Holistic Health and Well-Being (pp. 77–115). Elsevier. https://doi.org/10.1016/B978-0-12-812475-8.00003-2
2. ABIHPEC. (2018). Caderno de Tendências higiene pessoal, perfumaria e cosméticos 2019-2020. https://abihpec.org.br/publicacao/caderno-de-tendencias-2019-2020/
3. ABIHPEC. (2020). The future of the beauty market: new habits brought about by the pandemic should remain high even after the crisis. ABIHPEC - Brazilian Association of the Personal Hygiene, Perfumery and Cosmetics Industry. https://abihpec.org.br/o-futuro-do-mercado-de-beleza-novos-habitos-trazidos-pela-pandemia-devem-continuar-em-alta-mesmo-depois-da-crise/
4. Guidelines for cosmetic product claim substantiation - Revising and expanding the Colipa Guidelines on Efficacy. (2019). Cosmetics Europe - The Personal Care Association. https://cosmeticseurope.eu/library/
5. Galdorfini, B., de Almeida, M. G. J., Antonio, M., & Borges Isaac, V. L. (2012). Cosmetics’ Quality Control. In Latest Research into Quality Control. InTech. https://doi.org/10.5772/51846
6. Vergilio, M. M., de Freitas, A. C. P., & da Rocha‐Filho, P. A. (2022). Comparative sensory and instrumental analyses and principal components of commercial sunscreens. Journal of Cosmetic Dermatology, 21(2), 729–739. https://doi.org/10.1111/jocd.14113
7. Estanqueiro, M., Amaral, M. H., & Sousa Lobo, J. M. (2016). Comparison between sensory and instrumental characterization of topical formulations: impact of thickening agents. International Journal of Cosmetic Science, 38(4). https://doi.org/10.1111/ics.12302
8. Lucian, R., & Dornelas, J. S. (2015). Mensuração de Atitude: Proposição de um Protocolo de Elaboração de Escalas. Revista de Administração Contemporânea, 19(spe2). https://doi.org/10.1590/1982-7849rac20151559
9. Malhotra, N. (2012). Pesquisa de marketing: uma orientação aplicada (6a edição). Bookman.
10. Gil, A. C. (2002). Como elaborar projetos de pesquisa (4a edição). Atlas.
11. Campos, C. J. G. (2004). Content analysis: a qualitative data analysis tool in health care. Revista Brasileira de Enfermagem, 57(5), 611–614. https://doi.org/10.1590/S0034-71672004000500019
12. Moraes, R. (1999). Análise de Conteúdo. Revista Educação, 22(37), 7–32.
13. Domicio, I., Souza, S., Fuzio, T. S., & Takahashi, V. P. (2013). Estudo exploratório da percepção dos consumidores de cosméticos para os cuidados com a pele. XXI Congresso Latino Americano e Ibérico de Químicos Cosméticos, 1–13.
14. ASTM. (2019). Standard Guide for Sensory Claim Substantiation. In A. International (Ed.), Annual Book of ASTM Standards (Vol. 00, Issue Reapproved, pp. 1–5). West Conshohocken. https://doi.org/10.1520/G0161-00R06.2
15. Civille, G. V., Carr, B. T., & Meilgaard, M. C. (2016). Sensory Evaluation Techniques (5th ed). CRC Press.
16. Mello, L. S. S., Almeida, E. L., & Melo, L. (2019). Discrimination of sensory attributes by trained assessors and consumers in semi-sweet hard dough biscuits and their drivers of liking and disliking. Food Research International. https://doi.org/10.1016/J.FOODRES.2019.01.031
17. Lim, J. (2011). Hedonic scaling: A review of methods and theory. Food Quality and Preference, 22(8), 733–747. https://doi.org/10.1016/J.FOODQUAL.2011.05.008
18. Bardin, L. (2015). Análise de Conteúdo (70 Edições (Ed.); 1st ed.). Almedina Br.
19. Segot-Chicq, E., Compan-Zaouati, D., Wolkenstein, P., Consoli, S., Rodary, C., Delvigne, V., Guillou, V., & Poli, F. (2007). Development and validation of a questionnaire to evaluate how a cosmetic product for oily skin is able to improve well-being in women. Journal of the European Academy of Dermatology and Venereology, 0(0), 070807043105001-??? https://doi.org/10.1111/j.1468-3083.2007.02193.x
20. Henkel, K. (2017). A categorização e a validação das respostas abertas em surveys políticos. Opiniao Publica, 23(3), 786–808. https://doi.org/10.1590/1807-01912017233786
21. Sardinha, A., Levitan, M. N., Lopes, F. L., Perna, G., Esquivel, G., Griez, E. J., & Nardi, A. E. (2010). Tradução e adaptação transcultural do Questionário de Atividade Física Habitual. Archives of Clinical Psychiatry (São Paulo), 37(1), 16–22. https://doi.org/10.1590/S0101-60832010000100004
22. Carvalho, F. S., Van Laer, N. M., Sachs, A., de Salvo, V. L. M. A., Coelho, L. de C., dos Santos, G. M. S., Akutsu, R. de C., & Asakura, L. (2010). Desenvolvimento e pré-teste de um questionário de frequência alimentar para graduandos. Revista de Nutricao, 23(5), 847–857. https://doi.org/10.1590/S1415-52732010000500015
23. Perneger, T. V., Courvoisier, D. S., Hudelson, P. M., & Gayet-Ageron, A. (2015). Sample size for pre-tests of questionnaires. Quality of Life Research, 24(1), 147–151. https://doi.org/10.1007/s11136-014-0752-2
24. Fuzissaki, M. de A., Santos, C. B. dos, Almeida, A. M. de, Gozzo, T. O., & Clapis, M. J. (2016). Validação semântica de instrumento para identificação da prática de enfermeiros no manejo das radiodermatites. Revista Eletrônica de Enfermagem, 18, e1142. https://doi.org/10.5216/ree.v18.35164
25. Silva, L.M., Surniche, C.D., Sicsú, A.N., Mitano, F., Nogueira, J.D., Santos, C.B., Cunha, F.T., & Palha, P.F. (2015). Elaboração e validação semântica de um instrumento de avaliação da transferência do tratamento diretamente observado como política de controle da tuberculose. Revista Panamericana De Salud Publica-pan American Journal of Public Health, 38, 129-135.
26. Grob, J.J., Auquier, P., Martin, S., Lançon, C., & Bonerandi, J.J. (1999). Development and Validation of a Quality of Life Measurement for Chronic Skin Disorders in French: VQ-Dermato. Dermatology, 199, 213 - 222.
27. Lob-Corzilius, T., Böer, S., Scheewe, S., Wilke, K., Schon, M., Schulte im Walde, J., Diepgen, T.L., Gieler, U., Staab, D., Werfel, T., Schmid‐Ott, G., Fartasch, M., Wittenmeier, M., Schnopp, C., Kupfer, J., v. Schlippe, A., Szczepanski, R., & Keins, P. (2004). The ‘Skin Detective Questionnaire’: A Survey Tool for Self-Assessment of Patients with Atopic Dermatitis. First Results of Its Application. Dermatology and Psychosomatics / Dermatologie und Psychosomatik, 5, 141 - 146.
28. Jones, T. L., Baxter, M. A., & Khanduja, V. (2013). A quick guide to survey research. Annals of the Royal College of Surgeons of England, 95(1), 5–7. https://doi.org/10.1308/003588413X13511609956372
29. Oliveira, L., Poínhos, R., Sousa, F. & Silveira, M. G(2016) Construção e Validação de um Questionário para Avaliação da Perceção sobre Alimentos Funcionais. Acta Portuguesa de Nutrição. 7, 14-17.https://doi.org/10.21011/apn.2016.0704
30. Hilton C. E. (2017) The importance of pretesting questionnaires: a field research example of cognitive pretesting the Exercise referral Quality of Life Scale (ER-QLS).International Journal of Social Research Methodology 20, 21–34. https://doi.org/10.1080/13645579.2015.1091640
31. Del Castillo, L., Leporace, G., Cardinot, T., Levy, R.A., Oliveiria,L.P. (2012) A importância dos questionários para avaliação da qualidade de vida. Revista Hospital Universitário Pedro Ernesto, UERJ, 11 (1), 12-17.
32. Chor D, Alves M G de M, Giatti L et al. (2013) Questionario do ELSA-Brasil: desafios na elaboracao de instrumento multidimensional. Revista Saude Publica 47 (Suppl 2), 27–36. https://doi.org/10.1590/S0034-8910.2013047003835.
33. Marx, F. C., de Oliveira, L. M. Bellini, C.G., Ribeiro, M.C.C. (2006) Tradução e validação cultural do questionário algofuncional de Lequesne para osteoartrite de joelhos e quadris para a língua Portuguesa. Revista Brasileira de Reumatologia, 46, 253–260.
34. Vuolle, M., Tiainen, M., Kallio, T., Vainio, T., Kulju, M., & Wigelius, H. (2008). Developing a questionnaire for measuring mobile business service experience. Mobile HCI.
35. Dikko, M. (2016). Establishing Construct Validity and Reliability: Pilot Testing of a Qualitative Interview for Research in Takaful (Islamic Insurance). The Qualitative Report, 21(3), 521-528. https://doi.org/10.46743/2160-3715/2016.2243
36. Alhujran, O. Determinants of e-government services adoption in developing countries: a field survey and a case study, Doctor of Philosophy thesis, School of Information Systems and Technology, Faculty of Informatics, University of Wollongong, 2009. https://ro.uow.edu.au/theses/1998
37. Moreira, R. S., Magalhães, L de C, Siqueira, C. M., Alves, C.R.L. (2019) Cross-cultural adaptation of the child development surveillance instrument “Survey of Wellbeing of Young Children (SWYC)” in the Brazilian context. Journal of Human Growth and Development 29, 28–38. http://dx.doi.org/10.7322/jhgd.145001