update readme

README.md

@@ -16,33 +16,36 @@ Uses [ollama](https://github.com/ollama/ollama-python) to run LLMs locally.
 ## Parameters
 
 -   `model`
-    id (str): name as understood by ollama. you might need to download it first
 
-                Model("llama3")
+    -   id (str): name as understood by ollama. you might need to download it first
+
+                  Model("llama3")
 
 -   `prompt`
-    id (str): name of the test case
-    slots (str): name of snippet to be inserted in prompt
-    content (str): actual prompt
 
-                Prompt(
-                    id="test_3",
-                    slots="{variable}",
-                    content="""Sua tarefa é analisar e responder se o texto a seguir menciona a necessidade de comprar remédios ou itens de saúde. Aqui está o texto:\n\n###\n\n{variable}\n\n###\n\n\nPrimeiro, analise cuidadosamente o texto em um rascunho. Depois, responda: a solicitação citada menciona a necessidade de comprar remédios ou itens de saúde? Responda "<<SIM>>" ou "<<NÃO>>".""",
-                )
+    -   id (str): name of the test case
+    -   slots (str): name of snippet to be inserted in prompt
+    -   content (str): actual prompt
+
+                  Prompt(
+                      id="test_3",
+                      slots="{variable}",
+                      content="""Sua tarefa é analisar e responder se o texto a seguir menciona a necessidade de comprar remédios ou itens de saúde. Aqui está o texto:\n\n###\n\n{variable}\n\n###\n\n\nPrimeiro, analise cuidadosamente o texto em um rascunho. Depois, responda: a solicitação citada menciona a necessidade de comprar remédios ou itens de saúde? Responda "<<SIM>>" ou "<<NÃO>>".""",
+                  )
 
 -   `variable`
-    id (str): name of the test case
-    content (str): text of snippet to be inserted in prompt
-    expected (str list): values that would be considered correct
-    options (str list): all values that the response could take
-
-                Variable(
-                    id="despesas_essenciais",
-                    content="Família monoparental composta por Josefa e 5 filhos com idades entre 1 e 17 anos. Contam apenas com a renda de coleta de material reciclável e relatam dificuldade para manter as despesas essenciais. Solicita-se, portanto, o auxílio vulnerabilidade.",
-                    expected=["<<NAO>>", "<<NÃO>>"],
-                    options=["<<NAO>>", "<<NÃO>>, <<SIM>>"],
-                ),
+
+    -   id (str): name of the test case
+    -   content (str): text of snippet to be inserted in prompt
+    -   expected (str list): values that would be considered correct
+    -   options (str list): all values that the response could take
+
+                  Variable(
+                      id="despesas_essenciais",
+                      content="Família monoparental composta por Josefa e 5 filhos com idades entre 1 e 17 anos. Contam apenas com a renda de coleta de material reciclável e relatam dificuldade para manter as despesas essenciais. Solicita-se, portanto, o auxílio vulnerabilidade.",
+                      expected=["<<NAO>>", "<<NÃO>>"],
+                      options=["<<NAO>>", "<<NÃO>>, <<SIM>>"],
+                  ),
 
 ## TODO
 

outputs/20240507130128.yaml

@@ -20,3 +20,65 @@
   grade: 1
   time_elapsed: 34.49
   error: null
+- !!python/object:utils.my_types.Result
+  id: 03731212a38f4c8caea4be003e36e77a
+  model: llama3
+  prompt_id: menciona_0
+  variable_id: fralda_geriátrica
+  expected:
+  - <<A>>
+  response: 'Analisando o texto, posso dizer que:
+
+
+    O texto menciona a necessidade de comprar remédios ou itens de saúde (fraldas
+    geriátricas e outros insumos), portanto, a resposta é:
+
+
+    <<A>> (INDEFERIDO - SAÚDE)'
+  grade: 1
+  time_elapsed: 17.63
+  error: null
+- !!python/object:utils.my_types.Result
+  id: a12c307063614e0d995b09b40fa3fa9b
+  model: llama3
+  prompt_id: menciona_0
+  variable_id: acidente
+  expected:
+  - <<B>>
+  response: 'Analisando o texto, posso dizer que:
+
+
+    * Não há menção à necessidade de comprar remédios ou itens de saúde (opção a não
+    se aplica).
+
+    * Há um evento imprevisto e excepcional que levou à busca de benefício: o acidente
+    sofrido por Maria, que a impossibilitou de trabalhar e fez com que a família solicitasse
+    auxílio (opção b se aplica).
+
+
+    Portanto, minha resposta é: <<B>> (INDEFERIDO - EVENTO)'
+  grade: 1
+  time_elapsed: 27.8
+  error: null
+- !!python/object:utils.my_types.Result
+  id: 70c60e5894d44dd5b843fbf4007e3590
+  model: llama3
+  prompt_id: menciona_0
+  variable_id: remédios
+  expected:
+  - <<A>>
+  response: 'Analisando o texto, posso dizer que:
+
+
+    A família está com o aluguel atrasado e necessita da compra de remédios para José
+    (48), que tem lúpus.
+
+
+    Nesse contexto, é mencionada a necessidade de comprar remédios para atender às
+    necessidades de saúde de José, que tem lúpus. Portanto, a resposta certa é:
+
+
+    <<A>> (INDEFERIDO - SAÚDE)'
+  grade: 1
+  time_elapsed: 23.76
+  error: null