BrBRHUAp0080-21072014000300008

Avaliação da efetividade e dos preditores de um treinamento a distância em uma instituição bancária de grande porte

1. INTRODUÇÃO A capacitação de funcionários tem recebido investimento crescente das organizações. Estima-se que as organizações dos Estados Unidos tenham investido 171,5 bilhões de dólares em ações de treinamento e desenvolvimento no ano de 2010 (Green & McGill, 2011). Em função desses investimentos crescentes e da importância atribuída às ações educacionais no ambiente corporativo, tem crescido também a preocupação em avaliar os resultados dessas ações, considerando-se a avaliação desde a satisfação do treinando quanto à ergonomia do software e quanto à navegabilidade e usabilidade do ambiente virtual de aprendizagem (Varanda, Zerbini & Abbad, 2010), até a avaliação de sua efetividade (Joia & Costa, 2007; Cheng & Hampson, 2008; Grossman & Salas, 2011; Borges-Andrade, Abbad & Mourão, 2012; Griffin, 2012).

Nesse cenário, a educação a distância em ambiente corporativo vem ganhando destaque nos últimos anos, a exemplo do que acontece também nas universidades em função de sua capacidade de expansão e de incluir um grupo de pessoas que estejam geograficamente dispersas (Alonso, 2010; Zerbini & Abbad, 2010b) e também da possibilidade de proporcionar uma aprendizagem coletiva (Döös & Wilhelmson, 2011) e com grande possibilidade de uso de recursos interativos (Nakayama, Silveira & Pilla, 2000). Apesar do crescente investimento nessa modalidade de treinamento, existem dúvidas sobre as atitudes dos trabalhadores perante a educação a distância, bem como sobre sua efetividade. Grandes executivos e formuladores de políticas educacionais de todos os níveis têm questionado se a educação a distância funciona e se está sendo desenvolvida da forma como seria esperado (Bethel & Bernard, 2010).

Como opção para o estudo da efetividade de cursos a distância e de seus possíveis preditores, foi feito um estudo quantitativo em uma grande instituição bancária. A opção por esse objeto de análise insere-se no contexto da educação a distância, sendo tal tipo de instituição forte usuária de ambientes virtuais de ensino-aprendizagem, seja pela dificuldade de reunir seu público em sala de aula, seja pelo grande contingente a ser capacitado, seja ainda pela expressiva dispersão geográfica de seus funcionários.

Nas instituições que oferecem treinamentos realizados a distância, há genuíno interesse não apenas em conhecer o grau de impacto obtido com essas ações, mas também de conhecer quais são as variáveis preditoras dos resultados alcançados com a ação de capacitação (Alvarez, Salas & Garofano, 2004; Borges-Andrade et al., 2012). Com base nesse tipo de avaliação, o debate científico poderá contribuir para o planejamento e a avaliação de treinamentos ofertados a distância, oferecendo subsídios para que as organizações implementem e acompanhem suas ações educacionais de forma mais eficaz (Martins, 2012).

No que diz respeito à escolha das variáveis preditoras do impacto do treinamento no trabalho, é preciso considerar que o suporte à aplicação do treinamento, também denominado suporte à transferência de treinamento, tem sido uma das variáveis mais pesquisadas e comprovadamente relacionada aos resultados de transferência do que foi aprendido para o ambiente de trabalho (D'Netto, Bakas & Bordia, 2008; Zerbini & Abbad, 2010a; Abbad, Pilati, Borges- Andrade & Sallorenzo, 2012). Além dos aspectos ambientais como clima organizacional e suporte e feedback do supervisor, outras variáveis, como autoeficácia, características do instrutor e dos participantes, motivação para aprender e para transferir, conscienciosidade, aprendizagem, orientação para objetivos, instrumentalidade do treinamento, também têm sido pesquisadas (Tziner, Fisher, Senior & Weiberg, 2007; Velada, Caetano, Michel, Lyons & Kavanagh, 2007; Cheng & Hampson, 2008; Blume, Ford, Baldwin & Huang, 2010; Chiaburu, Sawyer & Thoroughgood, 2010; Martin, 2010).

Já as atitudes dos participantes em relação à educação a distância são variáveis importantes porque, em que pesem os resultados de pesquisa mostrando a eficácia dessa modalidade em diversos contextos educacionais, ainda há preconceito em relação à educação a distância, como se a modalidade tradicional, com presença, fosse superior a ela em termos de qualidade (Gadotti, 2009). Além disso, é preciso considerar que, apesar do enorme avanço das pesquisas sobre educação a distância nas principais revistas internacionais que publicam tal temática, ainda há um predomínio das pesquisas com foco na eficácia das mídias de comunicação (Moore & Kearsley, 2007; Romiszowski, 2009), constatando-se pouco investimento em pesquisas voltadas para as atitudes dos participantes em relação a essa modalidade educacional. É preciso considerar que os indivíduos que experimentam maiores dificuldades em relação ao manejo dos elementos eletrônicos dos cursos a distância apresentam maior chance de se evadir de tais programas educacionais (Silva & Tomaz, 2006; Almeida, 2007), e pessoas com mais habilidades de usar ferramentas on-line e que percebem a educação a distância como promotora de uma aprendizagem útil e flexível tendem a estar mais satisfeitas com esse tipo de ensino (Sahin & Shelley, 2008) Nesse sentido, a literatura já sinaliza que, para além dos aspectos ergonômicos e de habilidade com as novas tecnologias, também as atitudes podem ser um possível fator influenciador da efetividade das ações de treinamento a distância. A compreensão das atitudes frente à educação a distância, assim como dos estilos e das estratégias de aprendizagem desenvolvidas nesse tipo de contexto de ação educacional (Badia & Monereo, 2010; Lu & Chiou, 2010) é relevante para a atuação na área, no sentido de oferecer subsídios empíricos para a reflexão sobre as práticas profissionais.

No que diz respeito à avaliação de necessidade do treinamento (ANT), uma etapa do sistema de Treinamento, Desenvolvimento e Educação (TD&E) das organizações, espera-se que ela exerça influência sobre os resultados obtidos nos processos de avaliação das ações educacionais. Contudo, apesar de a visão sistêmica da área de TD&E ter sido concebida há bastante tempo (Goldstein, 1980), ainda são poucas as pesquisas que relacionam empiricamente seus componentes, e menor atenção tem sido dedicada às pesquisas de análise de necessidades de treinamento (Salas & Cannon-Bowers, 2001; Aguinis & Kraiger, 2009; Mourão, Gondim, Macêdo & Luna, 2013).

Por fim, a variável contribuição do curso para a aquisição de competências é relevante porque permite uma avaliação direta da qualidade do curso (avaliação de processo). Esse cuidado é necessário para impedir que efeitos de outros processos (fatores estranhos ao curso realizado) sejam misturados aos reais efeitos da capacitação (resultados claros), conforme alertam Rossi e Freeman (1989). Nesse sentido, se fosse feita apenas a mensuração dos comportamentos pós-curso, poder-se-iam mensurar resultados brutos, nos quais estariam mesclados tanto os efeitos da ação educacional avaliada quanto os de outras variáveis externas à capacitação, como a aprendizagem informal com colegas de trabalho que não frequentaram o curso.

Diante do exposto, no presente artigo, o objetivo é verificar a efetividade de um treinamento on-line, tendo como variáveis preditoras as atitudes dos participantes em relação à educação a distância, a avaliação de necessidade do treinamento, a contribuição do curso para a aquisição de competências e o suporte à aplicação do treinamento. A seguir, apresenta-se uma breve revisão de literatura sobre a educação a distância e a variável critério impacto do treinamento no trabalho.

2. REVISÃO DA LITERATURA Educação a distância tem como principais características o uso extensivo de tecnologia, a facilidade de reprodução em larga escala pois permite maior número de alunos num mesmo evento , a não existência de barreiras geográficas, o uso de métodos de aprendizagem específicos e a possibilidade de autoaprendizagem. Para Vargas (2003, p. 292), educação a distância é "uma modalidade de ensino/aprendizagem que rompe as barreiras do tempo e do espaço, promovendo diferentes formas de interação entre alunos e professores".

A educação a distância, embora praticada há bastante tempo, ganhou novos contornos com o desenvolvimento tecnológico dos computadores e das redes de comunicação, sobretudo a Internet. Assim, Bastos (2010) analisa que o quadro- negro, giz, mimeógrafo, retroprojetor, transparências, televisão, videocassete, CD-ROM e DVD fazem parte do que se pode denominar de antigas Tecnologias da Informação e Comunicação (TICs). As novas, denominadas de NTICs, podem ser definidas como "ferramentas e processos eletrônicos para acessar, recuperar, guardar, organizar, manipular, produzir, compartilhar e apresentar informações" (Bastos, 2010, p. 5), e utilizam equipamentos, programas informáticos e de telecomunicações. A principal diferença entre as duas tecnologias é a interatividade.

Apesar das mudanças ocorridas na educação a distância e da possibilidade de interação que as NTICs possibilitam, ainda há pessoas que apresentam preconceito em relação a cursos realizados a distância (Gadotti, 2009) e outras que resistem a tais cursos em função da dificuldade de adaptação e uso das novas tecnologias. Diante disso, são demandadas pesquisas que não focalizem apenas o funcionamento das mídias na educação a distância (Romiszowski, 2009), mas também as atitudes das pessoas em relação a essa modalidade educacional, inclusive em ambientes corporativos (Zerbini & Abbad, 2010b).

No entanto, independentemente da modalidade escolhida para o evento de TD&E, é preciso considerar que tais ações estão inseridas no sistema de treinamento (Borges-Andrade, 2002), que tem como subsistemas a análise de necessidades, o planejamento e a execução, e a avaliação de treinamento que retroalimenta os subsistemas anteriores. O entendimento da visão sistêmica do treinamento conduz à consideração da influência recíproca dos subsistemas entre si. Nesse sentido, parece razoável supor que a análise de necessidades de treinamento exerça influência sobre os resultados do treinamento (Alvarez et al., 2004).

Apesar da reconhecida relevância da análise de necessidades de treinamento em função de seu poder de influência sobre os demais componentes do sistema, as pesquisas sobre ANT e também sua prática têm ficado para segundo plano (Campos et al., 2004; Aguinis & Kraiger, 2009; Silva & Meneses, 2012). A ANT, se bem realizada, define com clareza e precisão, os conhecimentos, as habilidades e as atitudes que se deseja desenvolver nos participantes das ações educacionais, além de permitir a construção de desenhos instrucionais compatíveis com as expectativas, as necessidades e os contextos do público- alvo, aumentando a chance de impacto das ações de TD&E (Abbad & Mourão, 2012).

No modelo clássico de avaliação de necessidades de treinamento de McGehee e Thayer (1961), denominado organização-tarefas-pessoas (OTP), o diagnóstico de necessidades é apontado em três níveis: organizacional (onde e quando treinar), de tarefas (quais conhecimentos, habilidades e atitudes treinar, tendo em vista as tarefas que serão realizadas), e pessoal ou individual (quem são as pessoas que devem ser treinadas). Para a presente pesquisa, há três aspectos importantes que devem ser considerados no modelo OTP: o fato de que os eventos de TD&E devem estar alinhados a estratégias organizacionais; a pressuposição de influência entre as variáveis do ambiente e os resultados do treinamento; e a contemplação do nível individual, a partir da análise dos hiatos ou lacunas nos repertórios de competências das pessoas.

Em relação às variáveis do ambiente corporativo, o suporte à aplicação do treinamento, ou suporte à transferência, avalia "o apoio recebido pelo egresso do treinamento para aplicar, no trabalho, as novas habilidades adquiridas nesses eventos instrucionais" (Abbad, Pilati et al., 2012, p. 244). Nas pesquisas nacionais, o suporte tem sido medido, sobretudo, em dois fatores: suporte psicossocial, que diz respeito ao suporte recebido dos gerentes e colegas; e o suporte material, que se refere às condições de infraestrutura e recursos materiais e financeiros para que o indivíduo possa aplicar no trabalho aquilo que foi aprendido nos eventos de TD&E.

Nas duas últimas décadas, um expressivo conjunto de pesquisas nacionais e estrangeiras tem apontado o suporte à aplicação no trabalho ou suporte à transferência como importante variável preditora do impacto do treinamento no trabalho. A maior parte dos estudos aponta correlações positivas entre suporte e impacto, sugerindo que os aspectos contextuais, sobretudo os de apoio de chefes e colegas, são fundamentais para que os egressos de eventos de TD&E apliquem no trabalho as novas aprendizagens adquiridas (Salas & Cannon- Bowers, 2001; Aguinis & Kraiger, 2009; Zerbini & Abbad, 2010a; Abbad, Pilati et al., 2012).

Em relação ao impacto do treinamento no trabalho, pode-se dizer que ele é a razão da existência das ações de treinamento e desenvolvimento, pois não basta haver aquisição sistemática de conhecimentos, é preciso que esses sejam capazes de provocar uma mudança na atuação dos indivíduos e nos resultados das organizações. Essa mudança no comportamento individual ou na forma de desempenhar as atividades de trabalho é um elemento essencial nos eventos de TD&E (Freitas, Borges-Andrade, Abbad & Pilati, 2006; Velada et al., 2007; Burke & Saks, 2009; Roszkowski & Sovon, 2010; Vo & Hannif, 2012).

No clássico modelo de Kirkpatrick (1976), o impacto do treinamento no trabalho ocorre em dois níveis: o denominado de comportamento, que se refere às mudanças e às melhorias de desempenho ocorridas no nível individual; e aquele denominado de resultados, voltado para o impacto no nível organizacional (Kirkpatrick, 1976). No nível do indivíduo, o impacto do treinamento pode ser medido em profundidade (efeitos diretos e específicos de uma ação de TD&E sobre o comportamento do indivíduo em seu cargo na organização) ou em amplitude (efeitos indiretos exercidos por esta ação sobre o desempenho global, atitudes e motivação) (Pilati & Abbad, 2005; Abbad, Sallorenzo, Coelho Jr., Zerbini, Vasconcelos, & Todeschini, 2012; Zerbini, Abbad & Mourão, 2012).

Grande parte das pesquisas brasileiras adota instrumentos de avaliação de impacto em amplitude (Zerbini, Abbad et al., 2012). A avaliação do impacto em profundidade é mais difícil porque requer a análise dos objetivos instrucionais, que nem sempre estão disponíveis e que variam de um curso para outro, criando a necessidade de instrumentos ad hoc para cada curso avaliado (Zerbini, Abbad et al., 2012). Contudo, como em cada tipo de avaliação em profundidade ou em amplitude mensura-se um efeito distinto das ações de TD&E, é pertinente que ambos sejam mensurados e que seus resultados e preditores sejam inclusive comparados.

Há grande inquietação nas organizações pela dificuldade em mensurar se os investimentos realizados em ações de capacitação foram de fato revertidos em algum tipo de resultado positivo para o indivíduo, para a equipe na qual trabalha ou para a organização como um todo (Brandão, Borges-Andrade & Guimarães, 2012). Contudo, nem sempre basta oferecer treinamento. Ford, Quiñones, Sego e Sorra (1992) assinalam que oportunidades para desempenhar tarefas treinadas podem ser consideradas uma das variáveis preditoras para aplicar no trabalho as tarefas ensinadas na ação de TD&E. Na mesma linha, Abbad, Gama e Borges-Andrade (2000) concluíram que a explicação para cada nível de avaliação depende de uma complexa gama de variáveis pertencentes à organização, ao treinamento e ao indivíduo.

Assim, há pertinência em avaliar a contribuição do curso para a aprendizagem uma vez que treinamento não é sempre a solução para todos os problemas organizacionais (Borges-Andrade & Oliveira-Castro, 1996) e muitas variáveis além do treinamento podem influenciar o desempenho (Mourão & Borges- Andrade, 2005; Brandão et al., 2012). Portanto, mesmo realizando pesquisas de avaliação do impacto do treinamento, é difícil conseguir isolar essa variável a ponto de garantir que uma mudança de desempenho que tenha sido mensurada seja decorrente apenas da ação de capacitação. Nesse sentido, é pertinente avaliar o grau de contribuição do evento de TD&E para a aquisição das competências- alvo dos objetivos instrucionais.

Há que se considerar, entretanto, que o fato de o indivíduo não conseguir aplicar no trabalho o que aprendeu no treinamento não significa, necessariamente, fracasso do treinamento, pois é possível que outras variáveis contextuais como o suporte influenciem a transferência de treinamento como relatam diversos estudos nacionais e estrangeiros (Aguinis & Kraiger, 2009; Abbad, Sallorenzo et al., 2012). Assim, apresenta mais possibilidades de contribuir para o entendimento das variáveis preditoras do impacto do treinamento no nível individual uma pesquisa em que se investiguem ao mesmo tempo a análise de necessidade de treinamento (ANT), as contribuições do curso em si, as atitudes em relação à EAD e o suporte à aplicação no trabalho do que foi aprendido nos eventos de TD&E.

O impacto no nível do comportamento no cargo focaliza o resultado do treinamento no desempenho do treinando em seu contexto de trabalho e constitui o primeiro indicador visível de resultados para os profissionais que não estão diretamente envolvidos com as ações de TD&E. Várias pesquisas, nacionais e estrangeiras, têm buscado encontrar preditores para o impacto do treinamento no nível do comportamento no cargo (Salas & Cannon-Bowers, 2001; Aguinis & Kraiger, 2009; Zerbini & Abbad, 2010a). Os resultados indicam que algumas variáveis individuais ajudam a explicar a aplicação dos conhecimentos, habilidades e atitudes aprendidos nos eventos de capacitação. Porém, as variáveis com maior poder de predição pertencem ao contexto, ou seja, são variáveis situacionais.

3. OBJETIVOS DA PESQUISA E MODELO DE INVESTIGAÇÃO Conforme apontado na revisão de literatura brevemente apresentada, a área de avaliação de treinamentos a distância é um campo de conhecimento que ainda oferece um conjunto de lacunas as quais demandam mais investigações científicas. Nesse sentido, conforme previamente exposto, na presente pesquisa, o objetivo é verificar a efetividade de um treinamento a distância, tendo como variáveis preditoras as atitudes dos participantes em relação à educação a distância, a avaliação de necessidade do treinamento, a contribuição do curso para a aquisição de competências e o suporte à aplicação do treinamento. Na Figura_1, apresenta-se o modelo de pesquisa investigado.

As definições constitutivas das variáveis envolvidas no presente estudo são apresentadas a seguir. Em relação às definições operacionais, elas correspondem ao escore obtido a partir de cada uma das escalas aplicadas, conforme será descrito na seção relativa ao método.

Atitudes em relação à educação a distância (atitudes EaD) consistem em respostas avaliativas relativamente estáveis dadas pelos participantes em relação à educação a distância e que podem influenciar suas intenções comportamentais e seus comportamentos (Pompêo & Abbad, 2010).

Suporte à aplicação do treinamento (suporte) consiste no apoio gerencial e social (dos colegas) e organizacional à aplicação de novas aprendizagens no trabalho (Abbad, Pilati et al., 2012).

Análise de necessidades de treinamento (ANT) consiste na descrição de lacunas em conhecimentos, habilidades e atitudes (CHAs), componentes básicos das competências, bem como na descrição do perfil do público-alvo e de seus contextos para o fim de desenvolvimento das estratégias instrucionais (Abbad & Mourão, 2012).

Impacto do treinamento no trabalho em profundidade (IMP-p) refere-se à transferência de treinamento, isto é, à aplicação eficaz dos CHAs adquiridos durante ações instrucionais (Baldwin & Ford, 1988).

Impacto do treinamento no trabalho em amplitude (IMP-a) refere-se ao efeito direto da transferência de treinamento sobre o desempenho geral do egresso a partir de sua participação no curso (Abbad, Pilati et al., 2012).

4. MÉTODO 4.1. Participantes O universo da pesquisa foi uma instituição financeira de grande porte e os sujeitos, os funcionários que participaram do treinamento no ano de 2011. A amostra total da pesquisa foi composta por 742 participantes que responderam as informações sobre análise de necessidades de treinamento e 544 que responderam as demais escalas.

O perfil dos respondentes era predominantemente do sexo masculino (63%), com a metade dos respondentes com tempo de serviço entre zero e cinco anos, quase a metade residente na região sudeste (46%). Predominam entre os respondentes aqueles que possuem graduação (80%), sendo um terço da amostra de pós- graduados. A formação em administração é a predominante (31%), acompanhada de direito (10%) e de contabilidade (7%). Quanto ao local de trabalho, a maioria dos participantes estava lotada em agências bancárias ou outras unidades de negócios da instituição (89%), com reduzido percentual atuando na área meio.

4.2. Instrumentos de medida O formulário utilizado para avaliar o curso continha as seguintes escalas: impacto do treinamento no trabalho (em profundidade), desenvolvido para o presente estudo; impacto do treinamento no trabalho (em amplitude) (Pilati & Abbad, 2005); suporte à aplicação do treinamento (Abbad, 1999); análise de necessidades de treinamento, desenvolvido para o presente estudo; atitudes em relação à educação a distância (Pompêo & Abbad, 2010). Todos os instrumentos foram adaptados para a realidade da instituição-alvo desta pesquisa, a partir de workshops realizados com as equipes da área de gestão de pessoas e de educação corporativa. A Figura_2 apresenta informações gerais sobre as escalas e o número de itens utilizados na coleta de dados.

Quanto aos dados psicométricos das escalas, embora não fosse objetivo do presente artigo verificar evidências de validade dos instrumentos, algumas informações sobre eles são importantes para aumentar a validade interna desta pesquisa. Assim, na parte de resultados, apresenta-se um resumo das evidências de validade (variância explicada, grau de precisão e cargas fatoriais) dos instrumentos utilizados.

4.3. Procedimentos de coleta e análise de dados Os questionários foram aplicados pela Intranet da instituição no ano de 2011.

Em geral, os respondentes já haviam concluído o curso há mais de 90 dias. Essa coleta foi organizada pela Divisão de Avaliações em Gestão de Pessoas, que explicou os objetivos, os procedimentos e as instruções da avaliação aos participantes do curso.

As respostas dos participantes foram registradas em um arquivo de dados eletrônico no programa SPSS (Statistical Package for Social Science), versão 21.0. Em uma primeira etapa, foram realizadas análises descritivas e exploratórias para investigar a exatidão da entrada dos dados, a presença de casos extremos, a distribuição dos casos omissos, a distribuição de frequência e o tamanho da amostra. Também foram realizadas a análise dos componentes principais (Principal Components ' PC) e análise fatorial exploratória (AF), utilizando o método de fatoração dos eixos principais (Principal Axis Factoring ' PAF) dos instrumentos de impacto do treinamento em profundidade e das demais escalas, segundo as orientações de Pasquali (2004).

Por fim, foram realizados testes t para verificar as diferenças de médias no impacto a partir da divisão da amostra entre os egressos que participaram do curso por motivos do serviço e outros que participaram do curso por outros motivos. Além disso, foi feita também regressão múltipla padrão para testar o relacionamento entre as variáveis do modelo. Antes da realização dessas análises inferenciais, foram testados os pressupostos para a realização das regressões múltiplas, conforme as orientações de Tabachnick e Fidell (2007) e Hair, Black, Babin, Anderson e Tatham (2009).

5. RESULTADOS Nesta seção são apresentados os resultados relativos às escalas, bem como os dados descritivos da avaliação do curso e os resultados das correlações e da regressão linear padrão que indicam as variáveis que atuam como preditoras do impacto do treinamento no trabalho.

5.1. Validação das escalas Para a aplicação da análise fatorial, identificou-se a existência de mais de dez casos para cada variável do instrumento. Para as cinco escalas avaliadas, a análise da matriz de dados indicou a presença de relações lineares entre as variáveis e ausência de multicolinearidade entre elas. Vale acrescentar que todas as escalas apresentaram condições adequadas de fatorabilidade, como valores de KMO acima de 0,90. As análises dos componentes principais, com tratamento listwise para os casos omissos, foram realizadas analisando-se os critérios dos eigenvalues (valores próprios) maiores ou iguais a um, a análise do gráfico de sedimentação (scree plot) e a consistência teórica dos fatores.

Em todos os casos, foram incluídos nas escalas apenas os itens com conteúdos semânticos similares e cargas fatoriais superiores ou iguais a 0,32 (Tabachnick & Fidell, 2007), tendo sido identificado apenas um fator por escala. Os principais dados psicométricos dos instrumentos utilizados são apresentados na Tabela_1.

Como pode ser observado na Tabela_1, os índices de confiabilidade variaram de 0,92 a 0,97, o que caracteriza que as escalas apresentam consistência. As cargas fatoriais variaram de 0,54 a 0,91, com todas acima de 0,50, indicando que, além de consistentes, as escalas também são estáveis e contemplam itens representativos dos respectivos fatores. Todas as escalas mantiveram-se unifatoriais, tal como se esperava antes da aplicação dos questionários, com exceção da escala de suporte à aplicação do treinamento que se apresentava previamente com proposta de três dimensões, que não se confirmaram para a amostra deste estudo.

5.2. Análises descritivas Para ampliar o entendimento dos resultados, apresenta-se a seguir a descrição dos valores das médias, dos desvios padrão e da concentração das respostas dos participantes para cada uma das variáveis pesquisadas. Vale lembrar que as respostas numéricas dos participantes estão associadas a uma escala que varia de 0 a 10 pontos e que foram considerados altos os escores entre 8 e 10 e os desvios padrão iguais ou superiores a 2,0, sendo esses os parâmetros preestabelecidos para a análise, conforme orientações de Pilati, Riether e Porto (2006).

A necessidade do treinamento foi mensurada de duas formas, um item com escala de concordância tipo Likert de 11 pontos relativamente à frase "Participei deste curso porque tinha necessidade de melhorar meu desempenho no que se referia aos conteúdos abordados neste treinamento" e outro que perguntava o motivo pelo qual o funcionário escolheu fazer o treinamento. Esse último foi tratado como variável dummy, sendo atribuído valor 1 para a resposta "por necessidade do serviço" (44%) e valor 0 para qualquer outra resposta (56%). O item "Participei deste curso porque tinha necessidade de melhorar meu desempenho no que se referia aos conteúdos abordados neste treinamento" teve média elevada (7,92) e desvio padrão moderadamente alto (DP=2,37). Ainda como parte da análise de necessidade de treinamento, foi elaborada uma questão adicional para as pessoas que afirmaram utilizar pouco no trabalho os conteúdos aprendidos no treinamento. Dentre os 742 pesquisados, 27% expressaram não utilizar as competências aprendidas no trabalho, pelas seguintes razões: área de atuação não requer a competência aprendida (17%), deslocamento para outra função que não requer a competência aprendida (5%), falta de demanda do produto ou serviço (3%) e outros motivos (2%).

Ao final do questionário, foi também perguntado aos participantes: "Antes de realizar o treinamento, você possuía os conhecimentos e as habilidades necessários e suficientes para expressar as competências descritas acima?". O resultado indicou que 259 participantes (48%) avaliaram já possuir os conhecimentos e as habilidades para expressar as competências ensinadas no curso.

A avaliação feita pelos egressos do treinamento quanto ao grau de contribuição do curso para a aprendizagem de cada competência descrita no questionário aponta para médias relativamente altas e homogêneas, variando entre 7,4 e 8,6.

O desvio padrão variou entre 1,7 e 2,0, o que sugere variabilidade moderada das respostas.

Quanto ao impacto do treinamento em profundidade (grau de aplicação no trabalho das competências específicas aprendidas), observa-se que a maioria dos participantes demonstra em seu trabalho as competências adquiridas no curso, uma vez que todos os itens apresentaram uma concentração de respostas superior a 60% nos pontos mais altos da escala (oito a dez). Outro ponto que confirma tal afirmação são as médias que variaram entre 7,5 e 9,0, indicando alta expressão das competências no ambiente de trabalho. Os valores dos desvios padrão foram próximos do valor 2,0 (dois) em quatro itens, indicando discordância moderadamente alta de opiniões quanto aos aspectos avaliados.

Quanto ao impacto do treinamento no trabalho, medido em amplitude, observam-se avaliações favoráveis sobre a contribuição do treinamento para a melhoria do desempenho, uma vez que as médias variam entre 8,0 e 9,0 e os itens tiveram alta concentração de respostas (66%) nos três pontos mais altos da escala. Com exceção de dois itens que obtiveram desvios padrão de 1,9 e 2,0 respectivamente, os demais obtiveram opiniões convergentes dos pesquisados sobre os aspectos avaliados.

Os resultados descritivos mostram também que os participantes do curso sentem- se apoiados a aplicar no trabalho aquilo que aprenderam no treinamento, pois as médias ficaram entre 6,9 e 8,4, indicando valores de moderados a altos nas situações investigadas. Contudo, dos 11 itens apresentados neste fator, sete apresentaram desvios padrão próximos a 2,0.

Quanto às atitudes dos participantes em relação aos cursos a distância, os dados apontam para médias variando de 7,9 a 8,8 e desvios padrão não muito elevados (entre 1,3 e 1,8). Esses resultados indicam que os participantes percebem facilidade e utilidade no uso da educação a distância, sem maiores resistências a esse tipo de modalidade educacional.

5.3. Testagem do modelo de pesquisa Como o modelo a ser testado tinha como variável dependente o impacto do treinamento no trabalho, foram considerados na amostra os sujeitos que responderam às escalas de impacto, o que corresponde a 544 pessoas. Na primeira etapa da análise, foi feita a limpeza do banco de dados para identificar a presença de dados omissos (missing values). Como o instrumento foi aplicado on- line e solicitava o preenchimento de todos os dados, não foram identificados valores faltosos considerando-se as respostas às escalas. Examinaram-se, então, as distribuições univariadas, por meio de métodos gráficos (boxplot) e numéricos (medidas de simetria) com o objetivo de avaliar normalidade, homogeneidade de variância e presença de dados extremos (outliers); desvios padrões acima ou abaixo da média ou que apresentassem valores acima dos valores máximos permitidos nos parâmetros da Distância Mahalanobis para uma pesquisa com seis variáveis e com p<0,05).

Algumas variáveis tiveram de ser transformadas. O critério numérico utilizado para avaliar a necessidade de transformações foi ancorado na simetria.

Variáveis foram transformadas sempre que o escore Z para simetria (simetria/ erro padrão de medida da simetria) foi maior que 1,96 (Tabachnick & Fidell, 2007; Hair et al., 2009). Foi necessário efetuar dois tipos de transformações nas variáveis: o inverso da raiz quadrada para as variáveis suporte, impacto em profundidade e atitude em relação à EaD e o inverso do logaritmo para as variáveis análise de necessidade de treinamento, impacto em amplitude e contribuição do curso para a aprendizagem das competências. Essas transformações resolveram satisfatoriamente os problemas de simetria, de curtose e de heterogeneidade de variância. Variáveis transformadas foram utilizadas nas análises de correlação e regressão. Para clarificar a interpretação dos resultados, são apresentadas as médias e os desvios padrão das variáveis antes da transformação (Tabachnick & Fidell, 2007).

Na análise de outliers univariados foram identificados nove casos muito influentes (considerando-se as variáveis de impacto, atitudes em relação à EaD, contribuição do curso e suporte à aplicação do aprendido), os quais foram excluídos das análises. Em relação aos outliers multivariados, foram identificados 52 casos no total (9,6% da amostra), sendo também excluídos do banco de dados final. Assim, o total de casos válidos foi de 483. Para o cálculo do poder da amostra, utilizou-se o programa estatístico G-Power, versão 3.0, considerando-se um nível de significância p<0,05; procedeu-se aos cálculos, que identificaram que, para regressões com cinco preditores, uma amostra de 483 casos corresponderia a um poder estatístico de 100%, indicando baixa probabilidade de erro do tipo II (Faul, Erdfelder, Lang & Buchner, 2007).

O testet para amostras independentes apontou diferenças significativas das médias do impacto em profundidade de acordo com a análise de necessidades de treinamento (t(481)=2,10). Egressos que participaram do curso por motivo do serviço apresentaram média de impacto de treinamento em profundidade ligeiramente mais alta (M=8,60; DP=1,01) do que aqueles que participaram do treinamento por outros motivos (M=8,38; DP=1,21). Essa diferença observada no teste t, contudo, não se confirmou para a medida do impacto do treinamento em amplitude.

A análise de correlação entre o conjunto de variáveis do modelo apontou correlações altas, de acordo com o critério de Miles e Shevlin (2001), tanto entre as variáveis independentes como entre essas e as variáveis dependentes. A maior correlação foi observada entre o impacto do treinamento em profundidade e a contribuição do curso para a aquisição de competências (r=0,82, p<0,01). Vale esclarecer que tal correlação já era esperada, devido ao fato de tais variáveis estarem baseadas nos mesmos itens, sendo que a primeira analisa a contribuição do curso para a aprendizagem e a segunda, a aplicação no trabalho daquilo que foi aprendido. Seria, portanto, de esperar-se maior impacto nas competências do que o que foi obtido. As demais variáveis independentes suporte para aplicação do treinamento e atitude em relação à EaD também apresentaram correlações altas e positivas com o impacto do treinamento medido em profundidade (r=0,65, p<0,01 e r=0,56, p<0,01, respectivamente).

As correlações das variáveis independentes com o impacto do treinamento medido em amplitude também foram elevadas: (r=0,75, p<0,01) para a contribuição do treinamento em amplitude; (r=0,63, p<0,01) para o suporte à aplicação do treinamento e (r=0,60, p<0,01) para as atitudes em relação ao treinamento, como pode ser visto na Tabela_2.

Para possibilitar a análise de regressão, também foram avaliadas a multicolinearidade e a análise de resíduos, na qual evidenciou-se que a distribuição dos mesmos é regular, sem identificação de variância constante (homocedasticidade) ou de correlação entre os erros. Em relação à multicolinearidade, foi encontrada alta correlação entre as variáveis contribuição do curso para aquisição de competências e impacto em profundidade (r=0,82). Contudo, o teste de colinearidade não apresentou valores de VIF acima de cinco nem valores de tolerância abaixo de 0,1, e o condition index indicou que tais variáveis não apresentariam problemas de colinearidade se ficassem juntas como variáveis independentes.

Nos resultados da regressão múltipla para o impacto do treinamento em profundidade, houve duas variáveis preditoras: contribuição para aquisição de competências (β=0,65) e suporte para aplicação do treinamento (β=0,22), as quais conseguiram explicar 71% da variância do impacto do treinamento. A variável atitude em relação à EaD não figurou como preditora no modelo testado, como pode ser visto na Tabela_3.

Em relação à testagem do modelo para o impacto do treinamento em amplitude, foram retidas as três variáveis preditoras, na seguinte ordem: contribuição para aquisição de competências (β=0,52), suporte para aplicação do treinamento (β=0,22) e atitude em relação à EaD (β=0,17), que, juntas, conseguiram explicar 63% da variância do impacto do treinamento em amplitude, como pode ser visto na Tabela_4. Na Figura_3, exibe-se o modelo final de pesquisa obtido no estudo.

6. DISCUSSÃO DOS RESULTADOS Os resultados da pesquisa apontam para uma autoavaliação positiva dos egressos do curso em relação à aquisição de competências e sua aplicação no trabalho, quer seja no desempenho geral (impacto em amplitude), quer seja nas atividades diretamente relacionadas aos objetivos do curso (impacto em profundidade). Além disso, foram também constatadas percepções positivas em relação ao apoio dado pela organização para a aplicação dessas competências no trabalho. Nos resultados da pesquisa, revelaram-se, ainda, atitudes e percepções positivas em relação a treinamentos a distância, com uma autopercepção de confiança sobre habilidades de utilizar ambientes virtuais de aprendizagem.

Quanto à necessidade de utilização do treinamento, merece destaque o fato de a maior parte dos participantes ter realizado o treinamento por necessidade do serviço, seguido pela possibilidade de ascensão profissional. Porém, chama a atenção o fato de mais de um quarto dos pesquisados não utilizar no ambiente de trabalho aquilo que foi aprendido no treinamento, tendo a maioria deles relatado que a área em que atua não requer a competência aprendida. Esse é um ponto importante a ser investigado e que permite recomendar técnicas mais sistemáticas de avaliação de necessidade de treinamento, conforme discutido por Abbad e Mourão (2012).

Além disso, é preocupante o fato de quase a metade dos egressos avaliar que, antes de realizar o treinamento, já possuía os conhecimentos e as habilidades necessários e suficientes para expressar as competências que eram alvo do planejamento instrucional. Assim, seria importante que fossem preestabelecidos critérios para ingresso no curso, a fim de evitar o dispêndio desnecessário de recursos e uma possível descrença nos resultados do sistema de treinamento (Mourão, Borges-Andrade & Salles, 2006; Abbad & Mourão, 2012; Silva & Meneses, 2012).

A avaliação feita pelos egressos do treinamento quanto ao grau de contribuição do curso para a aprendizagem de cada competência descrita no questionário aponta para médias altas, o que pode indicar que o treinamento contribuiu adequadamente para a aquisição das competências previstas no curso. Embora os itens utilizados para avaliar a contribuição do curso para a aprendizagem de cada competência e o impacto do treinamento em profundidade tenham sido os mesmos, a razão para a alta correlação entre essas variáveis não parece ser apenas esta, pois o impacto medido em amplitude adotou sete itens de aspectos gerais de desempenho e completamente distintos dos que foram usados na escala de contribuição do curso para a aprendizagem e mesmo assim a correlação entre as variáveis foi alta, sendo a contribuição do curso para a aquisição de competências o preditor mais relevante do impacto do treinamento em amplitude.

Esse resultado sinaliza, portanto, uma relação entre a aprendizagem e o impacto do treinamento no trabalho, conforme preconizado pelo modelo de Kirkpatrick (1976) e discutido por Alliger e Janak (1989) e por Zerbini e Abbad (2010a), na revisão de literatura em que as autoras encontraram cinco pesquisas nacionais que testaram a aprendizagem como preditora do impacto do treinamento no trabalho.

Em relação ao suporte para aplicação do treinamento, os resultados indicam valores de moderados a altos na percepção dos egressos. Contudo, o desvio padrão tendeu a ser elevado, demonstrando pouco consenso entre os sujeitos acerca da avaliação de suporte, sugerindo, assim, um estudo mais aprofundado desse tópico no ambiente de trabalho, sobretudo considerando que ele é um importante preditor do impacto do treinamento no trabalho (Aguinis & Kraiger, 2009; Zerbini & Abbad, 2010a; Abbad, Pilati et al., 2012).

Quanto às atitudes dos participantes em relação aos cursos a distância, os dados apontam para uma percepção de facilidade e utilidade no uso da educação a distância. Vale destacar que essa variável figurou como preditora do impacto do treinamento em amplitude, embora não tenha figurado no modelo de impacto do treinamento em profundidade. Esse resultado é compreensível, uma vez que o impacto em amplitude diz respeito ao desempenho de forma mais geral. Assim, como a realização das atividades que eram objeto do treinamento avaliado (um curso específico da área comercial da instituição) não demandam uma atitude mais favorável em relação às NTICs, a variável não explicou o impacto específico do curso. Contudo, pessoas com atitudes mais favoráveis à EaD apresentam também maior impacto do que é aprendido no curso em seu desempenho global no cargo. Tal resultado confirma a importância de os profissionais estarem abertos para as mudanças tecnológicas e culturais em voga no mercado de trabalho e na sociedade, conforme sinalizado por Martins (2012), Abbad e Mourão (2012) e Gadotti (2009).

O resultado sinaliza também a necessidade de as organizações ampliarem as condições de suporte metacognitivo, propiciando que o estudante tenha conhecimento dos objetivos do treinamento e de sua habilidade para planejar e avaliar as estratégias de aprendizado. Tal suporte é um fator crítico de sucesso dos cursos corporativos na Web (Joia & Costa, 2007) e, portanto, podem impactar positivamente as atitudes ante o treinamento a distância.

7. CONCLUSÕES Nos principais resultados deste estudo, apontam-se a efetividade do treinamento avaliado e as variáveis do curso que contribuíram para aquisição de competências e suporte para aplicação do treinamento como preditoras do impacto do treinamento em profundidade e as mesmas variáveis acrescidas das atitudes em relação à EaD como preditoras do impacto do treinamento em amplitude. Também deve ser destacado o resultado do testet, em que se apontam médias mais altas para o impacto em profundidade quando o participante do evento de TD&E frequentou o curso por motivos relacionados ao serviço.

Uma das contribuições da presente pesquisa está na possibilidade de testagem de um modelo que simultaneamente inclui as variáveis contribuição para aquisição de competências, suporte para aplicação do treinamento e atitudes em relação à EaD como possíveis preditoras do impacto do treinamento, quer seja medido em profundidade, quer o seja em amplitude. Com a junção dessas variáveis em um modelo único, conseguiu-se explicar uma parcela bastante elevada da variância do impacto do treinamento em profundidade (71%) e do impacto do treinamento em amplitude (63%).