Mejorar las actividades antes de que lleguen a la escuela

El objetivo, con su plantilla

Este objetivo es la fase que en diseño instruccional se llama evaluación formativa: probar el material con pocas personas, encontrar lo que falla, arreglarlo, volver a probar. La cantidad de notas sirve para ordenar los hallazgos. El tiempo de cada actividad es un dato de contexto.

Dos pistas: grupos con recorrido distinto

Reclutamiento. Amigos y conocidos sirven, con dos condiciones: que no hayan visto las actividades, y que se registre su formación (carrera, semestre, si programan). En la pista A, «sin formación» significa cero experiencia de programación, en bloques o en texto.

Requisitos técnicos. Celular Android con cámara para escanear QR, porque el audio de Protobject falla en iPhone; un computador del laboratorio con Protobject abierto. Un celular del laboratorio de respaldo. Se anota modelo y versión de Android. Una falla del dispositivo se clasifica como incidente técnico.

Cobertura: cuatro a cinco personas por actividad. La pista A se parte en dos grupos de cuatro: uno empieza en E1 y hace E1–E3; el otro, tras cinco minutos de introducción a lo que E1 y E2 enseñan, empieza en E3 y hace E3–E5. Con ocho personas, E1, E2, E4 y E5 quedan cubiertas cuatro veces y E3 ocho, cuatro en cada grupo, lo que permite comparar E3 con y sin E1–E2; con grupos de cinco, diez personas. En la pista B, catorce actividades por cuatro personas son 56 actividades-persona; con tres o cuatro actividades por sesión, 14 a 19 sesiones: unas diez personas haciendo una o dos sesiones (con cinco por actividad, 18 a 24 sesiones). Presupuesto: ronda 1, unas 18 personas (ocho en la pista A, diez en la B); ronda 2, dos personas nuevas por actividad cambiada, que verifican la corrección (si cambian ocho o diez actividades, seis a siete personas más, reclutadas en octubre). Total en el semestre: unas 25 personas.

Qué actividades, con qué material

El material es la presentación. Cada actividad se hace siguiendo la presentación que genera el sitio de Protobject («Presenta»). Las sesiones prueban la versión Protobject. La versión micro:bit es la misma presentación, con las variaciones mínimas para hacerla compatible. Toda mejora de texto se aplica en la fuente de la presentación y pasa así a las dos versiones.

Conjunto de entrada (pista A). Las cinco primeras de la progresión publicada en el sitio de Protobject (páginas consultadas el 11-09-2026):

Conjunto avanzado (pista B). Las catorce siguientes, del n.º 4 (El visualizador de música) al n.º 17 (La batalla de gritos), en el orden de activities.json. Cada sesión toma un tramo de tres o cuatro actividades consecutivas. Los tramos se asignan de modo que cada actividad quede cubierta cuatro a cinco veces y que cada participante empiece en un punto distinto de la progresión.

Matriz de cobertura. Antes de la primera sesión se arma una tabla actividad × participante y se rellena a medida que se agenda. Dice cuántas sesiones faltan y qué actividad está descubierta.

La sesión formativa

Las notas del participante son el dato principal. El participante tiene una tarea: seguir la presentación, hacer la actividad y anotar en una hoja todo lo que no le quede claro. En la sala basta una persona que conduce la sesión.

1. Antes (5 min). Consentimiento informado (adultos; datos anónimos; audio solo si el participante lo acepta). Ficha del participante: carrera, semestre, experiencia con programación, celular y versión de Android. Se explica la tarea: «Vas a seguir la presentación y hacer cada actividad como un estudiante que la encuentra en la web. En esta hoja anota todo lo que no te quede claro: el número de diapositiva, qué no entendiste, qué esperabas que pasara y dónde te trabaste. Al final de cada actividad, escribe en una línea qué hace tu programa. Lo que se prueba es el material».
2. Introducción mínima (5 min). Qué es Protobject, cómo se abre, cómo se escanea el QR. Todo lo que la presentación deja sin explicar queda en las notas como hallazgo.
3. La actividad, con la hoja de notas. El participante sigue la presentación, hace la actividad y anota. La persona que conduce la sesión ayuda solo cuando alguien lleva más de dos minutos trabado. Da la ayuda mínima y la anota en la hoja de ayudas, con la hora, la actividad y la diapositiva. En la misma hoja anota la hora de inicio y de fin de cada actividad.
4. Al terminar cada actividad (2 min). El participante escribe en una línea qué hace su programa. Si la línea describe otra cosa, la explicación del material falló.
5. Conversación sobre las notas (5 min al final). La conversación puede abrir con dos preguntas cerradas. Luego se recorren las notas con el participante: «En esta diapositiva anotaste esto, ¿qué pasaba?»; «¿Qué esperabas que pasara?»; «¿Qué cambiarías del texto? ¿Y del cartón?»; «¿Qué parte te gustó más?». Cierra con una pregunta abierta: «¿Otra cosa que quieras decir?». Las respuestas se agregan a la hoja de notas.
6. Cierre del día. Se archivan la hoja de notas, la ficha, la hoja de ayudas y, si hubo, el audio.

Clasificar las notas

En la síntesis, cada nota se clasifica como incidente. Un incidente es una nota concreta: algo que no quedó claro, una expectativa distinta de lo que pasó, un punto donde el participante se trabó, o una ayuda de la hoja de ayudas. Cada incidente lleva actividad, diapositiva, código, descripción de una línea y la cita de la nota. Cada ayuda de la hoja de ayudas entra con el código AYU. Los códigos:

Los momentos LOG se clasifican con el mismo cuidado que los problemas, porque dicen qué parte del material funciona y queda como está. La línea «qué hace mi programa» de cada actividad se codifica aparte: cita textual · correcto / parcial / incorrecto · qué faltó.

De las notas a la mejora

1. Síntesis por actividad. Terminada la ronda, las notas y las ayudas de todos los participantes de esa actividad se clasifican (§ 05) y se juntan en una tabla: incidente, frecuencia (en cuántas personas apareció), severidad, cambio propuesto, dónde (texto / código / plan de lección / cartón).
2. Severidad. Se asigna en la síntesis con una escala 0–4. Dos personas la asignan por separado cuando es posible, y luego se concilia. Se registran las dos valoraciones y la final. Se reporta el porcentaje de acuerdo exacto y a ±1. Los incidentes con desacuerdo de dos puntos o más se revisan en conjunto. La escala: 0 sin problema; 1 cosmético; 2 menor (se resuelve solo, cuesta tiempo); 3 mayor (bloquea o produce un malentendido); 4 catastrófico (impide terminar). La prioridad es el producto severidad × frecuencia. Un incidente de severidad 3 en una sola persona recibe una propuesta.
3. Decisión. Cada propuesta de la tabla recibe una marca: entra, no entra, se discute. Las razones se escriben en la misma tabla. Nada se implementa sin esa marca.
4. Implementación. Texto: se edita el .md de la actividad y la fuente de la presentación (español de Chile; ninguna actividad menciona a otra), y el cambio pasa a la versión micro:bit de la presentación. Código: se editan el .ptj y el .hex, los dos, con los mismos bloques, en el mismo orden y con los mismos operadores (las diferencias de plataforma van solo en los números); se regeneran los derivados y se re-ejecuta la pipeline. Si el veredicto es no equivalente, el cambio vuelve a discusión. Plan de lección y modelo de cartón: se editan y se anota el cambio. Cada versión queda en git.
5. Ronda 2. Cada actividad cambiada se prueba con dos personas nuevas, con el mismo protocolo, para ver si el incidente desapareció y si apareció otro.
6. Registro de cambios. Un archivo por actividad, o una tabla única: fecha, qué cambió, por qué (incidente que lo motivó), resultado en la ronda 2. Ese registro entrega a O2 las versiones sustituidas como candidatas a no equivalentes, para la segunda ola del corpus.

Qué se prueba con adultos y qué queda para el piloto escolar

Una sesión con universitarios encuentra los defectos del material que son defectos para cualquiera: la instrucción que falta, el paso que se puede seguir solo con ayuda, la palabra usada sin explicar, la diapositiva que calla qué esperar, el cartón que suelta el celular. Se corrigen antes del piloto escolar.

En colegio se decide lo que depende de la edad y del aula: si la explicación de «bucle anidado» la entiende un niño de 12; si el ritmo de la actividad cabe en un bloque de clase; si la motivación se sostiene. Este objetivo prepara ese paso: un piloto en colegio, con una clase y el profesor de la clase, aprobación del Comité Ético Científico y consentimiento de apoderados.

Preguntas abiertas

1. ¿Celular propio o del laboratorio? Propuesta: propio, con uno de respaldo, porque la variabilidad de dispositivos existe en una sala de clases. Se registra modelo y versión.
2. ¿El modelo de cartón se construye en la sesión o se entrega hecho? Propuesta: entregado hecho en la ronda 1, porque el foco es el material didáctico; construido por el participante en la ronda 2 para una o dos actividades, porque construirlo es parte de la actividad y puede fallar.
3. ¿Umbral para implementar? Propuesta: severidad ≥ 3, o severidad 2 con frecuencia ≥ 2.
4. ¿Cómo se registra? Propuesta: hoja de notas y hoja de ayudas; audio si el participante lo acepta; video de las manos solo si el consentimiento lo cubre. Sin grabación de pantalla del celular en la ronda 1.
5. ¿Qué pasa si un participante de la pista A termina las cinco de entrada y quiere seguir? Propuesta: se le deja, y se marca la sesión como «A extendida»; sus notas en las avanzadas se analizan aparte.
6. ¿Se prueba también el plan de lección (la parte del profesor)? Propuesta: en otro semestre, con docentes en formación como participantes y con otro protocolo.

Puntos de partida

Estas referencias están verificadas.

Evaluación formativa de material instruccional

• Walter Dick; Lou Carey; James O. Carey (2015). The Systematic Design of Instruction (8th ed.). Pearson, Upper Saddle River, NJ. www.pearson.com/en-us/subject-catalog/p/systematic-design-of-instruction-the/P200000000952Las tres fases —uno-a-uno, grupo pequeño, ensayo de campo— son la secuencia que este objetivo sigue: universitarios ahora (uno-a-uno), colegio después (campo).verificado en línea · 11-09-2026
• Martin Tessmer (1993). Planning and Conducting Formative Evaluations: Improving the Quality of Education and Training. Kogan Page, London, 159 pp.; ISBN 0-7494-0801-4 / 978-0-7494-0801-5. doi:10.4324/9780203061978Manual práctico, con instrumentos para cada fase y para la revisión de expertos; de aquí salen las hojas de § 10.verificado en línea · 11-09-2026

Pensar en voz alta e incidentes

• K. Anders Ericsson; Herbert A. Simon (1993). Protocol Analysis: Verbal Reports as Data (revised edition). MIT Press (A Bradford Book), Cambridge, MA. mitpress.mit.edu/9780262550239/protocol-analysis/Cómo intervenir lo mínimo cuando alguien se traba, y cómo usar el pensamiento en voz alta si se graba.verificado en línea · 11-09-2026
• Ted Boren; Judith Ramey (2000). Thinking aloud: reconciling theory and practice. IEEE Transactions on Professional Communication, 43(3), 261–278. doi:10.1109/47.867942Cómo intervenir lo mínimo cuando alguien se traba, y cómo usar el pensamiento en voz alta si se graba.verificado en línea · 11-09-2026
• John C. Flanagan (1954). The critical incident technique. Psychological Bulletin, 51(4), 327–358. doi:10.1037/h0061470El incidente concreto como unidad de registro; la clasificación de § 05 es una versión reducida de este método.verificado en línea · 11-09-2026
• Cathleen Wharton; John Rieman; Clayton Lewis; Peter Polson (1994). The cognitive walkthrough method: a practitioner's guide. In J. Nielsen & R. L. Mack (Eds.), Usability Inspection Methods. New York: John Wiley & Sons (ISBN 978-0-471-01877-3), pp. 105-140. dl.acm.org/doi/10.5555/189200.189214Recorrido cognitivo: revisar paso a paso qué necesita saber el usuario en cada punto. Sirve como revisión de escritorio de cada actividad antes de la sesión.verificado en línea · 11-09-2026
• Jakob Nielsen (1994). Severity Ratings for Usability Problems. Nielsen Norman Group (artículo web). www.nngroup.com/articles/how-to-rate-the-severity-of-usability-problems/La escala de severidad 0–4 de § 06.verificado en línea · 11-09-2026
• Jakob Nielsen; Thomas K. Landauer (1993). A mathematical model of the finding of usability problems. Proceedings of the INTERACT '93 and CHI '93 Conference on Human Factors in Computing Systems (INTERCHI '93), Amsterdam, 24-29 April 1993, ACM, pp. 206-213. doi:10.1145/169059.169166Por qué pocos participantes bastan para encontrar problemas —y por qué eso no dice nada sobre medirlos con escalas.verificado en línea · 11-09-2026

Con niños, después

• Panos Markopoulos; Janet C. Read; Stuart MacFarlane; Johanna Höysniemi (2008). Evaluating Children's Interactive Products: Principles and Practices for Interaction Designers. Morgan Kaufmann (Elsevier), serie Interactive Technologies, Amsterdam / Burlington, MA, 369 pp.; ISBN 978-0-12-374111-0. doi:10.1016/B978-0-12-374111-0.X0001-1Métodos, logística y ética para evaluar con niños: el manual de la fase de colegio.verificado en línea · 11-09-2026
• Janet C. Read; Stuart MacFarlane (2006). Using the fun toolkit and other survey methods to gather opinions in child computer interaction. Proceedings of the 2006 Conference on Interaction Design and Children (IDC '06), Tampere, Finland. ACM, pp. 81-88. doi:10.1145/1139073.1139096Fun Toolkit: instrumentos breves para recoger la opinión de niños; su sesgo positivo es conocido.verificado en línea · 11-09-2026
• Bieke Zaman; Vero Vanden Abeele; Dirk De Grooff (2013). Measuring product liking in preschool children: An evaluation of the Smileyometer and This or That methods. International Journal of Child-Computer Interaction (Elsevier), vol. 1, no. 2, pp. 61-70. doi:10.1016/j.ijcci.2012.12.001Documenta ese sesgo y propone «¿este o ese?» como método comparativo: el puente con el Objetivo 3.verificado en línea · 11-09-2026
• Allison Druin (2002). The role of children in the design of new technology. Behaviour & Information Technology (Taylor & Francis), vol. 21, no. 1, pp. 1-25. doi:10.1080/01449290110108659Los roles posibles de los niños (usuario, probador, informante, socio de diseño); ayuda a decidir cuál tendrán en el piloto escolar.verificado en línea · 11-09-2026

Leer y diseñar la progresión

• Irene Lee; Fred Martin; Jill Denner; Bob Coulter; Walter Allan; Jeri Erickson; Joyce Malyn-Smith; Linda Werner (2011). Computational thinking for youth in practice. ACM Inroads, vol. 2, no. 1, pp. 32-37. doi:10.1145/1929887.1929902Use-Modify-Create: una lente para leer cada actividad (¿usa, modifica o crea?) y la progresión entera.verificado en línea · 11-09-2026
• Sue Sentance; Jane Waite; Maria Kallia (2019). Teaching computer programming with PRIMM: a sociocultural perspective. Computer Science Education (Taylor & Francis), vol. 29, no. 2-3, pp. 136-176. doi:10.1080/08993408.2019.1608781Predecir, correr, investigar, modificar, hacer; evaluado con 493 estudiantes de 11–14 años. Sugiere dónde poner la predicción dentro del paso a paso.verificado en línea · 11-09-2026
• Grillenberger, Mareen (2023). Why and How to Teach Physical Computing: Research and Practice in Computer Science Education at Secondary Schools. En Keane & Fluck (eds.), Teaching Coding in K-12 Schools, Springer, pp. 225–243. doi:10.1007/978-3-031-21970-2_15Definición y práctica del physical computing en secundaria; sirve para juzgar qué enseña cada actividad más allá de los bloques que usa.bibliografía del proyecto · PDF en la carpeta compartida
• Przybylla, Mareen; Romeike, Ralf (2018). Impact of Physical Computing on Learner Motivation. Proceedings of the 18th International Conference on Computing Education Research (2018), ACM, pp. 1–10. doi:10.1145/3279720.3279730Cómo se midió la motivación en physical computing escolar; referencia si más adelante se quiere medir motivación y no solo observarla.bibliografía del proyecto · PDF en la carpeta compartida

Las hojas impresas

Ficha del participante. Código anónimo · pista (A/B) · carrera y semestre · ¿ha programado? (nunca / bloques / texto) · celular: modelo, versión de Android · fecha · audio (sí/no).

Hoja de notas del participante. Una fila por nota: diapositiva · qué no quedó claro · qué esperaba · dónde se trabó. Al final de cada actividad, una línea: qué hace mi programa.

Hoja de ayudas. Columnas: hora · actividad · diapositiva · qué ayuda se dio. Por actividad: hora de inicio y hora de fin.

Codificación de «qué hace mi programa». Por actividad: cita textual de la línea del participante · correcto / parcial / incorrecto · qué faltó.

Guion de la conversación. Las preguntas del paso 5 de § 04, más espacio para «otra cosa que quieras decir».

Tabla de síntesis (por actividad). Incidente · frecuencia · severidad · cambio propuesto · dónde · decisión · razón · estado · resultado en ronda 2.

Matriz de cobertura. Actividad × participante; se marca la fecha de la sesión.