No evaluation

[Erica210]

Hi,
I am teacher and I am trying to write excercises in dodona. For some excersises I would like there to be no evaluation at all. But if I do this, I get an internal error, which I do not understand. Could somebody help me with this?

I tried an empty suite file; no suite file; removing the evaluation folder, but this didnt work

Thanks!

[bmesuere]

Dear Erica,

Giving feedback to students was one of the main goals when implementing Dodona. At the moment, it is therefore not possible to skip evaluation and feedback. Depending on the programming language/judge you use, you can add an evaluation that does nothing or simply shows a message. I would however be cautious of this, because the "state" of submission (either correct or wrong) will still be present and thus not necessarily correspond to the correctness of the submitted solution. This might be confusing to students.

Can you give me a bit more information about your use case?

Bart

[Erica210]

Dear Bart,

Thank you very much for your reply.

I must say that if I would have time, I would write evaluations, but sadly at the moment, I don't. It took me, as a dummie, already hours to get excercises on donona. I must also admit I find it very hard to write evaluations for more complex excercises. So the only thing feasable for me at the moment is to write them without test.

At the moment, I use the following config file:

{
"description": {
"names": {
"en": "Eerstegraadsfunctie: snijpunten assen",
"nl": "Eerstegraadsfunctie: snijpunten assen"
}
},
"evaluation": {
"pythia_judge": "doctest"
},
"labels": [

],
"programming_language": "python",
"access": "private"
}

and I have no evaluation folder.

But then I get this error:

Kind regards,
Erica

[bmesuere]

Dag Erica,

We zijn de afgelopen maanden bezig geweest om het schrijven van oefeningen eenvoudiger te maken. In principe zou dat voor simpele oefeningen niet veel meer mogen inhouden dan een paar voorbeelden van invoer en uitvoer in een bestand te plaatsen.

Voor deze nieuwe aanpak hebben we een nieuwe "judge" geschreven met de naam "tested". Deze moet op termijn onze oude Python judge volledig vervangen. Onze documentatiewebsite en voorbeeldoefeningen bevatten momenteel info over zowel de oude als de nieuwe aanpak en mogelijk ben je hierdoor in de war geraakt (wat volledig te begrijpen is).

Aan je oefeningen op Github te zien, ben je vertrokken van onze template repository (wat goed is). In het bestandje dirconfig.json in de exercises map wordt de judge ingesteld op tested, dit is zoals gezegd onze nieuwe aanpak. Deze nieuwe aanpak verwacht een bestandje suite.yaml in de evaluation map van een oefening met daarin de beschrijving van de testen. Je kan hiervan een voorbeeld zien op https://docs.dodona.be/nl/guides/exercises/creating-exercises/exercise/#_4-een-testplan-maken

De voorbeelden uit je opgave lijken gebruik te maken van invoer en uitvoer. Hoe je zo'n testen opstelt kan je lezen op https://docs.dodona.be/nl/guides/exercises/examples/input-output/#_4-een-testplan-maken Je zult zien dat je hiervoor gewoon de voorbeelden uit je opgave kan gebruiken. Ik zie dat de documentatie voorlopig geen voorbeeld bevat van wat je moet doen als je meerdere regels invoer en uitvoer hebt. Dat zullen we snel toevoegen.

---

De foutmelding die je hierboven plaatst komt dus omdat hij het suite.yaml bestandje niet kan vinden.

Los daarvan zie ik in je config file hierboven volgende regels staan:

  "evaluation": {
    "pythia_judge": "doctest"
  },

Dit is deel van onze oude aanpak (en heb je waarschijnlijk van een oude oefening overgenomen. Je mag dit hier gerust weglaten.

---

Laat gerust weten als je meer hulp nodig hebt. Dit is waardevolle feedback voor ons, zo weten we waar we onze documentatie nog moeten verbeteren.

[Erica210]

Dag Bart,
Bedankt voor de uitleg. Ik ben misschien inderdaad volledig in de war met de 2 verschillende manieren. Maar dan nog: ik ben er ooit in geslaagd een test te laten lukken, maar dan had ik het volgende probleem: indien er in de input functie text stond, dan was dit volgens dodona uitvoer (en geen invoer), en dan gaf hij aan dat de oefening fout was. Om eerlijk te zijn heb ik momenteel niet meer echt de energie, aangezien ik al nachten heb geprobeerd, en dit vak maar 1 uur per week geef, dus ik vermoed dat ik dodona ga opgeven.

Toch heel erg bedankt!

vriendelijke groeten,
Erica