Linhas orientadoras para avaliação de encontros científicos. O exemplo de um
exercício avaliativo.
Introdução
Acredita-se, cada vez mais, que a avaliação da qualidade, em qualquer área se
assume como imperativo para a realização de um exercício reflexivo sobre o
trabalho realizado, assim como para a preparação de uma intervenção que melhore
os elementos menos positivos destacados. A investigação é, per se, uma das
áreas onde a avaliação reúne um destaque incomensurável, não só pelas
implicações que esta avaliação muitas vezes traz no âmbito do financiamento de
actividades investigativas futuras (veja-se, a título de exemplo, a avaliação
dos centros de investigação a nível nacional e o condicionamento das receitas
dos mesmos de acordo com as notas alcançadas ou ainda a avaliação de projectos
de investigação a nível nacional ou europeu), como pela importância atribuída
aos resultados alcançados e ao seu impacte de acordo com as avaliações
efectuadas.
Relativamente às entidades que são avaliadas quando se fazem exercícios de
avaliação da investigação, existirão cerca de 5 diferentes tipos de entidades,
segundo relatório da OCDE (1997). A investigação pode focalizar-se no trabalho
de investigadores individuais, em grupos de investigação mais vastos, em
laboratórios e instituições como as universidades, numa disciplina científica,
num programa governamental, em agências de financiamento, ou também em toda a
investigação realizada num dado país.
Quanto aos responsáveis pelo processo de avaliação, podemos afirmar, de forma
geral, que existem duas grandes categorias de "avaliadores": (i) a
avaliação pode ser um processo interno, implementado pelas próprias
instituições/entidades a ser avaliadas ou pode ser (ii) um processo externo,
como resposta a instruções governamentais e/ou outras. Pode existir ainda uma
situação intermédia entre estas duas, em que as instituições que conduzem a sua
própria avaliação chamam investigadores exteriores como consultores da mesma.
No que respeita às abordagens para avaliar a investigação, têm sido
desenvolvidos diferentes indicadores, nem sempre consensuais. Aliás, já Martin
& Irvine (1983) apontavam as dificuldades sentidas na construção e
utilização destes mesmos indicadores. Das diferentes leituras por nós
efectuadas, podemos designar quatro principais indicadores e respectivas
abordagens: a algorítmica (baseada em métrica quantitativa), a revisão por
experts (incluindo a peer review), os ratings históricos e a auto-avaliação.
A abordagem algorítmica é um sistema quantitativo automático sem lugar para a
avaliação subjectiva, onde se obtém um algoritmo a partir da combinação de uma
métrica estabelecida. Podem incluir-se diferentes métricas, como é caso das
medidas bibliométricas (publicações ou citações), número de alunos de
investigação ou de conclusão de cursos de pós-graduação; nível de financiamento
alcançado em projectos. Na revisão por experts faz-se uma avaliação, por parte
de especialistas na área, da performance de indivíduos ou grupos de
investigação.A avaliação pode ser realizada por peers ou pode ainda incorporar
outros especialistas de outras áreas, como representantes de outros grupos
(financeiros,…).
Os ratings históricos baseiam-se unicamente na performance de grupos/
departamentos/universidades no passado, sendo que são múltiplas as formas de
determinar a performance destas instituições e/ou grupos no passado, tal como o
montante de subsídios obtidos no passado ou os resultados de concurso de
projectos.
Na auto-avaliação são as instituições, de departamentos, centros e/ou
investigadores individuais que se auto-avaliam, sendo que nalguns casos em
certos países, podem utilizar-se avaliadores externos para confirmar (ou não)
as avaliações obtidas.
Enquadramento teórico
Podemos afirmar que a França, a Holanda e a Grã-Bretanha são países
considerados importantes para o estabelecimento de uma política de modernização
da qualidade na educação. Em 1985 criou-se m França o Comité National
d'Evaluation(CNE), instituição que avalia a educação e a investigação nas
universidades, utilizando experts independentes e tornando públicos os seus
relatórios. Em 1989, foi introduzido um sistema de qualidade para a educação e
investigação na Holanda, pela Association of Dutch Univsersities. Neste
sistema, o Inspectorate do Ensino Superior "avalia a avaliação". Na
Grã-Bretanha estabeleceu-se, nos anos 80, um sistema de critérios para a gestão
interna da qualidade nas universidades, criando-se o AAU (Academic Audit Unit)
nos anos 90 para avaliar os sistemas de gestão da qualidade usados nas
universidades.
Num relatório de 1999, Geuna et al., que orientou a publicação do artigo de
Geuna & Martin (2001), os autores analisam e comparam as abordagens
desenvolvidas na avaliação e financiamento da investigação em 14 países (da
Europa e da região de Ásia-Pacífico). Foram identificados quatro sistemas de
financiamento: a avaliação baseada na performance (como no Reino Unido,
Polónia, Eslováquia, Hong Kong e Austrália), os países que utilizavam outro
indicador para além da avaliação da investigação, como o número de alunos ou
critério similar (Alemanha, Itália, países Nórdicos, Hungria e Nova Zelândia),
aqueles onde a atribuição de fun-dos estava aberto a negociações (França e
Áustria) e aqueles onde a avaliação da investigação e o seu financiamento são
completamente independentes (Holanda, USA e Canadá). Na altura da realização
deste relatório, eram poucos os países a adoptar a primeira abordagem, mas o
número estava em crescendo, tendo o Reino Unido como líder deste processo
(Geuna et al. 1999), devido sobretudo a pressões ocorridas nos anos 80 neste
país, que levaram a uma maior constrangimento de custos e, consequentemente, a
maior selectividade na distribuição de fundos.
De uma forma geral, podemos dizer que existem dois eixos completamente
separados: os países onde o financiamento decorre da avaliação da investigação,
baseado por isso na performance, e aqueles onde não existe qualquer correlação,
baseando-se sobretudo no volume institucional de cada instituição. Os autores
do relatório, ao analisarem as vantagens e desvantagens dos dois sistemas,
concluem que o melhor é a utilização de um sistema híbrido, dados os custos
associados a um que se baseie unicamente na performance dos investigadores:
"it is worth concluding by pointing to the advantages of a hybrid system,
that is, one based partially on performance (incentive-creating) and partially
on educational size (cost-minimising)." (Geuna & Martins, 2001: 33).
De entre os países analisados, a Holanda, Finlândia e Dinamarca eram aqueles
que tinham sistemas híbridos.
Em 2003, na continuação da preocupação com a avaliação da investigação
realizada em diferentes países, Tunzelmann & Mbula publicam um relatório, a
pedido do Higher Education Funding Council for England (HEFCE), onde fazem o
levantamento das principais alterações ocorridas em termos da avaliação da
investigação desde 1999, no mesmo conjunto de países. Concluem que, de uma
forma geral, se nota um maior enfoque nas abordagens mais formativas do que
sumativas, apesar de a maioria dos países ainda considerar os seus sistemas de
avaliação como "experimentais".
Neste relatório, algumas das conclusões são as seguintes: alguns dos países
parecem preocupar-se agora mais com a auto-avaliação, sujeita a painéis
posterior-mente (como a Irlanda, França, Suiça, Dinamarca, Japão e Nova
Zelândia); alguns países mais pequenos utilizam esquemas de avaliação mais
intensivos; os períodos de tempo entre a implementação desta avaliação são
maiores do que os decorridos entre os RAE's (Research Assessment
Exercises) realizados no Reino Unido.
Apesar da existência de numerosos encontros científicos a nível nacional e
internacional, ainda não se constitui como prática corrente o exercício de
avaliação dos mesmos por aqueles que neles participam, dando-se, por isso, uma
ausência não só de estudos desta índole como também de instrumentos de recolha
de dados sobre esta temática, a de avaliação de encontros científicos, com
excepção de alguns inquéritos por questionário utilizados por eventos avulso. A
preocupação com esta lacuna já vem de há muito, como retratam os trabalhos de
Jerry Ayers (1989).
As avaliações de encontros científicos justificam-se por se constituírem, por
um lado, como um dos mecanismos de validação científica do conhecimento
produzido pela comunidade académica e, por outro, como um dos meios de
comunicação e/ou divulgação na comunidade científica e educativa em geral.
Daremos conta, neste artigo, a título de exemplo, da avaliação que foi
desenvolvida no âmbito de um Colóquio que teve lugar na Universidade de Aveiro
em 2007 (Pombo, Simões, Cruz & Costa, 2008). O Colóquio "Da
Investigação às Práticas: Interacções e Debates" assumiu-se como uma das
múltiplas formas de reflexão sobre a percepção da desarticulação entre a
investigação educacional e as práticas. Assumiu-se como uma das prioridades
deste encontro a realização de um acompanhamento de índole avaliativa,
acompanhado de uma reflexão crítica sobre o colóquio e sobre o próprio processo
de avaliação.
O processo avaliativo do colóquio em questão serve, pois, uma dupla finalidade:
(i) a de sublinhar a importância de realizar nos encontros científicos, a
avaliação dos mesmos, como sendo promotora de melhoria em futuros eventos e
(ii) a de servir, enquanto exemplo de um processo avaliativo que indique linhas
orientadoras da avaliação de outros encontros científicos. Este processo de
avaliação permitiu ainda validar um instrumento avaliativo que pode, como
veremos à frente, servir de exemplo e de orientação para utilização noutros
eventos científicos.
Apesar de, desde já algum tempo, se fazerem alguns estudos sobre o processo e
os resultados da avaliação de produção científica, nomeadamente, no que se
refere às revistas científicas (como é o caso dos estudos de Mendes &
Marziale, 2001 ou de Prat, 1998) ou às técnicas específicas de avaliação da
investigação (por exemplo, Garfield, 2003), pouco se tem desenvolvido sobre a
avaliação dos encontros científicos e o impacte desta em futuros eventos.
No Brasil, esta preocupação tem sido manifestada pela Coordenação de
Aperfeiçoamento de Pessoal de Nível Superior (CAPES, 2006) que, desde 2001,
disponibiliza, no seu site, uma base de dados "Qualis-eventos" de
acordo com determinados critérios de avaliação, onde os eventos científicos
internacionais, nacionais e locais são classificados em A, B e C. Relativamente
aos critérios estabelecidos para efectuar esta avaliação, definiram-se os
seguintes: a qualidade do evento no global, há quanto tempo o mesmo existe e o
rigor na selecção de trabalhos. Importa salientar também que não foi recolhida
qualquer informação junto dos participantes para efectuar tal avaliação, o que
diferencia em parte o processo avaliativo da CAPES daquele que neste estudo
pretendemos abordar. No entanto, a própria CAPES considera que não pretende
definir, de forma absoluta, os critérios de qualidade, mas apenas fornecer à
comunidade académica e política um padrão de excelência relativamente às
Instituições, aos Programas de pós-graduação disponibilizados e às iniciativas
de comunicação/divulgação científica.
A este propósito, têm mesmo sido elaborados alguns instrumentos de avaliação em
determinadas áreas, como é o exemplo do OntoQualis (Souto,Warpechowski &
Oliveira, 2006), criado no Brasil, e que avalia a qualidade de Conferências
Científicas na área das Ciências da Computação.
O exemplo de um exercício avaliativo
O exemplo que irá ser apresentado teve como principal objectivo fazer um
trabalho reflexivo-avaliativo acerca de um encontro científico, o Colóquio
"Da Investigação à Prática: Interacções e Debates", nomeadamente no
que diz respeito às componentes científica, organizacional, social e de impacte
da Investigação nas Práticas e destas na Investigação. Esse exercício
reflexivo-avaliativo foi da responsabilidade de uma equipa de investigadores do
LAQE (Laboratório de Avaliação da Qualidade Educativa), estrutura funcional
sediada no Departamento de Didáctica e Tecnologia Educativa da Universidade de
Aveiro, criada em 2003 e pertencente ao CIDTFF (Centro de Investigação em
Didáctica e Tecnologia na Formação de Formadores).
A motivação subjacente a este Colóquio foi o pressuposto de que "(…)
fazem falta espaços para discussão pública e aberta a professores/educadores/
investigadores dos processos e produtos da investigação educacional em
curso" (Cachapuz, 1996: 126), acreditando que, por um lado, as práticas
docentes anseiam uma maior ancoragem nas mais recentes investigações realizadas
e, por outro, os professores sentem que a Investigação fala muito DOS
professores, mas fala pouco COM eles. A percepção da desarticulação entre a
Investigação Educacional e as Práticas é, de facto, uma temática que preocupa a
comunidade científica internacional (Ginsburg & Gorostiaga, 2001;
Hammersley, 2002; Kempa, 2001; Ratcliffe et al. 2003; Stevens, 2004; Brown
2005) e nacional (Costa & Marques, 1999; Costa et al., 2001; Cachapuz et
al., 2002; Araújo e Sá et al., 2002; Costa et al., 2003; Loureiro et al., 2006;
Pombo & Costa, 2007; Cruz, Pombo e Costa, 2008).
Tendo partido da iniciativa dos bolseiros do CIDTFF, o Colóquio trouxe a um
mesmo espaço (físico, epistemológico e reflexivo) diversos actores (jovens
investigadores, bolseiros, alunos de pós-graduação, professores, investigadores
seniores) com o intuito de promover "Interacções e Debates" e abrir
caminho a futuros encontros e eventuais parcerias.
Assim,o Colóquio pretendeu assumir-se como um contributo para: (i) potenciar a
articulação entre a investigação educacional, a inovação e as práticas
profissionais; (ii) estabelecer diálogos e interacções entre investigadores da
Universidade de Aveiro (UA) e professores das escolas de Ensino Básico e
Secundário e (iii) promover a criação e o estreitamento de redes de colaboração
entre a UA e as escolas. Para tal, foram apresentados, neste encontro
científico, resultados de investigações desenvolvidas no âmbito dos Ensinos
Básico e Secundário, sob a forma de experiências escolares e investigativas,
materiais pedagógico-didácticos e dados concretos oriundos de projectos de
investigação realizados em vários domínios disciplinares: Ciências, Matemática,
Língua Portuguesa (materna e não materna), Línguas Estrangeiras, TIC e Áreas
interdisciplinares, tendo como público-alvo docentes dos Ensinos Básico e
Secundário, licenciados em cursos de ensino e estudantes de cursos de ensino/
educação e investigadores nas áreas da Didáctica e Ciências da Educação. Os
trabalhos foram apresentados segundo 3 formatos: comunicações, oficinas/
ateliers de formação e posters.
Como exemplo de uma metodologia da avaliação da qualidade de encontros
científicos, os autores do estudo acima apresentado, desenvolveram o trabalho
em duas fases. Na primeira, fez-se uma avaliação parcial do Colóquio,
apresentada na forma de comunicação de encerramento do mesmo, no que respeita:
(i) à adesão da comunidade na apresentação de propostas dos trabalhos
submetidos; (ii) ao tipo de trabalhos apresentados e ao perfil dos seus
autores; (iii) ao público que participou no encontro e (iv) à reacção dos
participantes no Colóquio. Os dois primeiros elementos foram obtidos através da
análise dos dados facultados pela Comissão Organizadora do Colóquio e o último
elemento foi obtido com base no acompanhamento que fizemos no decorrer do
Colóquio, ouvindo as vozes dos que nele comunicaram e daqueles que estiveram na
plateia, registando alguns momentos em fotografia, auscultando opiniões fora e
dentro das salas de apresentação e, sobretudo, tentando reflectir sobre o
sentir dos diferentes actores que acima mencionámos, acerca dos dois dias de
trabalho e das reflexões deles resultantes. Numa segunda fase, sustentou-se, a
posteriori, o primeiro balanço com uma análise das respostas a um inquérito por
questionário, preenchido pelos participantes no final do Colóquio, onde se
pretendeu avaliar as componentes científicas, organizacionais, sociais e de
impacte deste encontro científico nas práticas docentes e/ou investigativas dos
participantes
Apontamos, desde já, como benefício deste tipo de metodologia a possibilidade
de se efectuar a triangulação dos dados obtidos (Creswell, 2003), de forma a se
alcançar resultados mais credíveis.
Este estudo teve, ainda, como finalidade aprofundar o conhecimento na área da
Avaliação Educacional de "Eventos Científicos", dando origem a
sugestões que poderão contribuir para a melhoria contínua da qualidade de
eventos desta natureza e, consequentemente, seu impacte.
Na primeira fase do processo avaliativo foram feitas entrevistas em diversos
momentos do Colóquio a alguns participantes com o objectivo de compreender
quais eram as expectativas que estes tinham relativamente ao mesmo e, no final,
qual o balanço que faziam do Colóquio e eventuais sugestões de melhoria. Nesta
primeira fase, bastante impressionista, baseámo-nos em dados retirados das
fichas de inscrição (perfil dos actores, …), do programa (tipo das
apresentações, …) e em "vozes" dos participantes, com diferentes
perfis (Comissão Organizadora, autores das comunicações, professores do Ensino
Básico e Ensino Superior), em diferentes momentos do Colóquio (recolhidas pela
equipa do LAQE), obtidas através de entrevistas realizadas durante os dois dias
do Colóquio. Pretendeu-se identificar o número de preponentes de trabalhos e
sua origem, a tipologia dos trabalhos a apresentar, o número de inscritos e a
sua situação profissional, as expectativas dos participantes relativamento ao
Colóquio e o seu grau de satisfação relativamente ao mesmo.
Esta primeira fase permitiu-nos ter uma visão global do encontro, no que se
refere ao número e perfil dos participantes e dos intervenientes, assim como
identificar, desde logo e de forma impressionista, os principais aspectos
positivos e negativos apontados pelos participantes no colóquio, assim como as
suas expectativas em relação ao mesmo.
Na sessão de encerramento do Colóquio, foi apresentada uma Comunicação em que
figurava um primeiro balanço sobre o evento, baseada nas fichas de inscrição
(recolhendo elementos acerca da adesão da comunidade ao evento e perfil dos
participantes) e nas entrevistas que foram realizadas durante o seu decurso.
Destacamos o carácter inovador deste tipo de avaliação, não só no que se refere
ao tipo de dados recolhidos na primeira fase acima descrita, como também à
forma de divulgação dos resultados impressionistas, in locoein tempore, criando
entusiasmo junto do público e servindo como factor de motivação, interesse e
reflexão sobre o próprio processo avaliativo.
Numa segunda fase, analisou-se o questionário que se destinou exclusivamente
aos participantes do Colóquio. Pretendeu-se, assim, aprofundar o primeiro olhar
impressionista sobre a avaliação do Colóquio, com base na análise dos
resultados referentes ao questionário.
Linhas orientadoras para Avaliação de Encontros Científicos
A partir da análise que foi feita dos dados obtidos, e de uma reflexão sobre o
processo avaliativo, podemos agora apresentar algumas das linhas orientadoras
para a construção de inquérito por questionário com vista à avaliação deste
tipo de encontros científicos.
Um instrumento de recolha de dados sob o formato de inquérito por questionário
poderá apresentar os seguintes objectivos: (i) caracterizar os participantes do
encontro científico e a sua assiduidade no evento; (ii) identificar a avaliação
que os participantes fazem do encontro em termos científicos, organizacionais,
sociais (acolhimento, convívio, interacção, ambiente de trabalho) e
relativamente ao desenvolvimento da temática do encontro; (iii) conhecer a
opinião dos participantes quanto aos pontos fortes e frágeis do encontro, assim
como (iv) recolher sugestões e comentários dos participantes para futuros
eventos.
Respondendo a este tipo de objectivos identificados, o instrumento de recolha
de dados utilizado no Colóquio "Da Investigação à Prática: Interacções e
Debates" era constituído por cinco partes: parte I - Participação
no Colóquio (a assiduidade e autoria de trabalhos apresentados); parte II
- Caracterização geral dos participantes (idade, género, habilitações
académicas, situação profissional actual); parte III - Colóquio: balanço
da divulgação e organização (questões sobre como o respondente teve
conhecimento deste Colóquio e ainda relativas à avaliação que fez das
componentes organizacionais e sociais do evento); parte IV - Colóquio:
balanço da componente científica e do seu contributo na articulação entre a
Investigação e as Práticas (perguntas relativas à avaliação da componente
científica do Colóquio e do contributo do encontro para potenciar o impacte da
investigação nas práticas e o impacte das práticas na investigação); parte V
- Colóquio: balanço global (questões abertas acerca da opinião dos
sujeitos sobre os três aspectos mais e menos positivos do Colóquio, assim como
sugestões e comentários para futuros encontros científicos sobre a temática em
análise).
Destacamos a importância da divisão do questionário em partes, dado que tal
permite uma melhor organização em termos de resposta por parte dos inquiridos e
um tratamento de dados mais facilitado. Chamamos, também, a atenção para o
predomínio das questões fechadas e das escalas, de forma a permitir o fácil
preenchimento do questionário e uma resposta mais célere ao mesmo. Este tipo de
perguntas facilita ainda o tratamento estatístico dos dados, dado o número
elevado de participantes no encontro. Foram, no entanto, incluídas questões
abertas relativas a: (i) sugestões acerca da divulgação e organização do
Colóquio; (ii) indicação dos três aspectos mais positivos e menos positivos do
Colóquio e (iii) sugestões e comentários globais para futuros encontros
científicos. Estas perguntas permitiram obter uma resposta individual e
personalizada dos participantes, ainda mais quando se tratava do levantamento
das suas opiniões acerca da avaliação do Colóquio. O seu tratamento, através de
análise de conteúdo, e porque em número reduzido, permitiu a categorização das
respostas e respectiva análise.
Na primeira parte do questionário, relativa à Participação no Colóquio, podem
constar questões acerca do período de comparência dos participantes no encontro
(no caso do mesmo se estender por mais do que um dia) e a possível autoria e
co-autoria dos trabalhos. Na segunda parte, relativa à Caracterização pessoal,
incluem-se questões relacionadas com o perfil dos participantes em termos
pessoais, académicos e profissionais, assim como género, intervalo de idades,
habilitações académicas com especificação de áreas e situação profissional (no
caso de existir um público diferenciado no que respeita este item).
Na terceira parte, balanço da divulgação e organização, as questões versam a
forma de como os inquiridos tiveram conhecimento do encontro, para além de
questões de avaliação do encontro em termos organizacionais e sociais.
Definiramse como critérios para estas duas dimensões os abaixo indicados na
tabela 1.
Tabela 1 - Dimensões e critérios no domínio da avaliação em termos
organizacionais e sociais.
___________________________________________________________________________________
|Dimensões_|Critérios_____________________________________________________________|
| |Qualidade_do_apoio_logístico__________________________________________|
| |Estruturação do programa relativamente aos formatos de apresentação|
|Organizaç?existentes_____________________________________________________________|
| |Tempo_das_apresentações______________________________________________|
| |Tempo_para_debate______________________________________________________|
|___________|Grau_de_adequabilidade_da_data_escolhida_para_a_realização_do_Colóqu|o
| |Grau_de_satisfação_com_o_acolhimento_________________________________|
| Social |Qualidade_do_ambiente_de_trabalho______________________________________|
|___________|Grau_de_satisfação_com_os_momentos_de_convívio______________________|
Incluiu-se ainda uma questão sobre o balanço final em termos organizacionais e
outra em termos sociais, sob a forma de escala qualitativa (insuficiente,
suficiente, bom e muito bom).
Na quarta parte, de balanço da componente científica e do seu contributo na
articulação entre a Investigação e as Práticas, foram identificados diferentes
critérios (vide tabela 2), com uma questão em forma de escala. À semelhança da
parte anterior, incluíam-se ainda questões globais de avaliação da componente
científica e do seu contributo na articulação entre a Investigação e as
Práticas.
Tabela 2 - Dimensões e critérios no domínio da avaliação em termos
científicos e do impacte da investigação na prática.
_______________________________________________________________________________________________________________________
|Dimensões___________________________________|Critérios_______________________________________________________________|
| |Rigor_Científico_______________________________________________________|
| Componente Científica |Profundidade_dos_trabalhos_apresentados__________________________________|
| |Clareza_das_apresentações______________________________________________|
|_____________________________________________|Qualidade_do_debate______________________________________________________|
| |Adequabilidade dos trabalhos investigativos apresentados em relação ao |
|Contributo para o impacte da Investigação n|impacte_da_investigação_nas_práticas__________________________________|
| prática |Relevância_do_Colóquio_relativamente_às_práticas_dos_professores_____|
| |Grau de inovação dos trabalhos investigativos apresentados em relação|ao
|_____________________________________________|impacte_da_investigação_nas_práticas__________________________________|
Quanto às sugestões proferidas pelos participantes para futuros encontros
científicos, estas foram categorizadas em diferentes dimensões, tal como abaixo
descrevemos (tabela 3), subdivididas noutros elementos mais específicos.
Tabela 3 - Categorização das sugestões para futuros encontros científicos
sobre a temática em análise.
___________________________________________________________________
|Dimensões_______________|Critérios_______________________________|
| |Perfil_e_dinâmica_das_apresentações__|
| |Programa_(actividades)___________________|
| |Participantes_e_público-alvo____________|
|Componente Organizacional|Horário_e_data_escolhida________________|
| |Divulgação_____________________________|
| |Continuidade_deste_tipo_de_eventos_______|
|_________________________|Outra____________________________________|
| |Articulação_entre_Investigação_e_prá|icas
| Componente científica|Apresentações_(qualidade)______________|
| |Debate_(qualidade_e_tempo)_______________|
|_________________________|Áreas_disciplinares_____________________|
| Componente social |Ambientes_de_trabalho____________________|
|_________________________|Acolhimento______________________________|
Foi ainda pedido aos inquiridos, em jeito de balanço global, que
identificassem, através de resposta a duas perguntas abertas, os três
principais pontos positivos e três aspectos menos positivos do Colóquio (vide
tabela 4), tendo sido feita a análise de conteúdo das respostas.
Tabela 4 - Aspectos positivos e negativos do Colóquio.
____________________________________________________________________________________
|________________Aspectos_positivos______|__________________Aspectos_negativos_______|
|Articulação entre a Investigação e a|Tempo |
|Práticas_______________________________|___________________________________________|
|Qualidade_das_apresentações/actividade|Qualidade_das_apresentações______________|
|Qualidade do programa |Questões da logística e/ou condições de|
|________________________________________|trabalho___________________________________|
Poderíamos, de acordo com a experiência levada a cabo e com a análise de outros
instrumentos de avaliação de encontros científicos, delinear alguns elementos a
alterar e/ou acrescentar no tipo de instrumento elaborado.
Assim, uma das hipóteses será a de, se considerado pertinente, subdividir a
avaliação de acordo com os diferentes tipos de comunicações apresentadas e/ ou,
segundo aquelas que o participante assistiu. Se assim for, importa incluir num
primeiro momento uma listagem de todas as comunicações/sessões plenárias/
posters/plenárias/… presentes no programa da conferência e solicitar ao
inquirido que refira aquelas a que assistiu. No segundo momento, o inquirido
pode proferir a sua avaliação de acordo com cada uma delas ou segundo um
conjunto de sessões. Desta forma, garante-se não só a opinião global do sujeito
inquirido nas questões globais de avaliação, mas também um exame exaustivo de
cada tipo de apresentação, caso se considere este tipo de exercício necessário
e pertinente para a avaliação em questão.
De acordo com uma análise do instrumento que aplicámos neste primeiro estudo, e
na preparação e administração de novo questionário num outro encontro
científico (CTS- Ciência,Tecnologia, Sociedade no Ensino das Ciências:
V Seminário Ibérico & I Seminário Ibero- Americano, que teve lugar na
Universidade de Aveiro), consideramos que a escala a ser utilizada em algumas
das questões do questionário pode ser adaptada ao propósito do mesmo.
Decidimos, por isso, optar neste segundo encontro por uma escala de 6 elementos
(Não Satisfaz; Satisfaz Muito Pouco; Satisfaz pouco; Satisfaz; Satisfaz bem e
Satisfaz muito bem), em detrimento da escala de 4 elementos (Insuficiente,
Suficiente, Bom e Muito bom), por considerarmos que a de 6 elementos é mais
abrangente e proporciona um maior leque de opiniões de resposta).
Considerações Finais
Em jeito de conclusão, podemos salientar a importância da realização deste
estudo avaliativo com intuito de avaliar os pontos mais e menos fortes do
evento, no sentido de poder formular linhas directrizes que conduzam a uma
melhoria da qualidade dos eventos em futuras edições. Estas sugestões de
(re)formulação podem, assim, auxiliar não só a comissão organizadora e
científica do encontro que teve lugar, como também servir de entusiasmo para
uma participação mais alargada por parte do público e dos próprios
intervenientes, pela garantia de qualidade do evento em questão.
Na avaliação deste tipo de encontros científicos, salientamos, de acordo com o
estudo de referência que realizámos, a mais-valia da utilização de duas fases
avaliativas, que permitiram não só a validação dos dados em jeito de
triangulação, como também a possibilidade de apresentar no próprio evento uma
primeira análise impressionista acerca do mesmo.
Relativamente à questão da "triangulação" dos dados, pudemos, por
exemplo, verificar uma certa congruência entre as opiniões dos participantes
nas entrevistas na fase inicial e nas respostas abertas ao questionário,
nomeadamente nos pontos mais positivos. Dos aspectos comuns mais importantes
salientam-se a motivação para um futuro trabalho de investigação e a troca de
experiências enriquecedoras ao nível pessoal e/ou profissional.
No que respeita à apresentação dos dados da primeira fase in loco e in tempore,
esta constitui-se como um factor de inovação com impacto positivo junto do
público e como motivação para consultarem on-line os resultados da segunda
fase, publicados após o encontro.
Assim, e para finalizar, é de fundamental importância a continuidade de
avaliações de encontros científicos junto dos participantes, bem como cada vez
mais a ampliação/diversificação do público-alvo.
