Historial de Commits

Autor SHA1 Mensaje Fecha
  Justin Lee f8a6c7d79f running mmlu pro with meta eval - fixed error hace 8 meses
  Chester Hu 07b191b17e Merge pull request #2 from pia-papanna/tools-refactory-chester hace 1 año
  Justin Lee dc406b4769 setup meta-eval for benchmark, ray error hace 8 meses
  Justin Lee 21e04c29bf update mmlu pro hace 8 meses
  Justin Lee e19b9e9e34 added fix split, gitignore and download mmlu script hace 8 meses
  Justin Lee 8d3a0479e5 updated env file hace 8 meses
  Justin Lee 9ffb292272 added inspect and modified harness hace 8 meses
  Justin Lee eea96618cf batching and parallelization, ran on baseline and lite hace 9 meses
  Justin Lee 4fd5f29414 revert to previous changes hace 9 meses
  Justin Lee a6f448f362 <Replace this line with a title. Use 1 line only, 67 chars or less> hace 9 meses
  Justin Lee becbe77ff3 attempt to fix json output format in eval hace 9 meses
  Justin Lee 03f2b8eddd change gpu parallel size docs hace 9 meses
  Justin Lee 0bec41f86a updated readme hace 9 meses
  Justin Lee 2776a35314 harness runcode hace 9 meses
  Justin Lee 314b6a874a added updated llama-mmlu-pro and added human-eva hace 9 meses
  Justin Lee 5730a84b8a beef up readme hace 9 meses
  Justin Lee 62b53676fb update harness notebook hace 9 meses
  Justin Lee 1e4c6d22dd update harness notebook hace 9 meses
  Justin Lee e52e1d1ab4 updated prompt migration to use benchmark and also mipro, added meta implementation hace 9 meses
  Justin Lee 4d75fe97b5 update dir hace 9 meses
  Justin Lee 90d16cd7de minor changes in eval, deleted formatter hace 10 meses
  Justin Lee b85811d0b9 change eval dataset, include more robust judging, improved main hace 10 meses
  Justin Lee 43a2cbc220 adding eval dataset hace 10 meses
  Justin Lee 263b8b569d placeholder readme hace 10 meses
  Justin Lee 096249bf33 add .env settings and configure yml hace 10 meses
  Justin Lee a3e96e4e46 add engine and eval dataset hace 10 meses
  Justin Lee 08e41d0d0a add usage guide and init hace 10 meses
  Justin Lee 2570d1642a added evaluator and formatter and main hace 10 meses
  Igor Kasianenko 4ad1c0f30c Update README.md (#843) hace 9 meses
  Naveen Reddy Gundlagutta e951b567ba Update README.md hace 9 meses