ARIMLABS

The quality of RLVR training data is one of the highest-leverage problems in AI right now. Bad environments, noisy rewards, and weak task specs silently degrade model capabilities — and most teams don't catch it until it's too late. At Arimlabs, we produce RL environments across software engineering, cybersecurity, SRE, finance, and policy — which means the surface area for subtle data quality failures is enormous, and the payoff for catching them is real. We're hiring someone to own that problem end-to-end.
 

What You'll Do

You'll lead data quality and experimentation strategy across our RLVR pipeline — not as a support function, but as the person whose judgment determines what's good enough to ship and what isn't.

• Set and enforce quality standards across RLVR environments produced by multiple domain teams — catch broken tests, weak specs, false positives, and reward hacking before they contaminate training.
• Design and run controlled SFT/RL/RLVR experiments to measure how dataset changes impact model performance. You decide what to test and how.
• Analyze trajectories, pass rates, reward distributions, task difficulty curves, and failure modes to figure out what's working and what isn't — then drive changes based on what you find.
• Partner with SPLs and domain teams to close the loop, translating experimental results into concrete data quality improvements.
• Shape our public evals, new data types, and external-facing research that raises the bar for the field.
• Publish blog posts, technical reports, and research writeups that share what we're learning.

What We're Looking For

• Strong quantitative instincts and hands-on familiarity with LLM training, RLHF/RLVR pipelines, or evaluation methodology.
• A genuine obsession with how data structure, selection, quality, and reward design drive model behavior — not just awareness, but the kind of curiosity that keeps you digging.
• Ability to design lightweight experiments, move fast, and extract signal from messy, ambiguous results.
• Comfort working across domains — you won't need deep expertise in cybersecurity or finance, but you will need to review environments built by specialists in those areas, ask the right questions, and spot when something doesn't hold up.
• Bias toward building and testing over theorizing. We care about what the experiments show, not what sounds elegant.
• Sharp attention to detail. The failure modes in RLVR data are subtle, and catching them is the job.

Who Tends to Thrive Here

• Undergrad or master's researchers with serious, hands-on research experience. A PhD is welcome but not required — what matters is whether you've done the work.
• People who've worked or interned at RL environment companies, AI safety orgs, benchmarking teams, or eval-focused groups (think METR, Artificial Analysis, Apollo Research, or similar).
• Early-career candidates who want to grow with a team that's still small enough for them to shape how we do things — and become central to our data quality and experimentation process long-term.

ARIMLABS шукає CTF-мейкерів, які вміють створювати складні, реалістичні та нестандартні cybersecurity challenges для оцінювання можливостей сучасних AI-агентів.

Нас цікавлять спеціалісти в одному або кількох напрямах:

• Web Security
• Pwn / Binary Exploitation
• Reverse Engineering
• Cryptography
• Digital Forensics
• Misc / нестандартні security challenges
   

Що потрібно буде робити

Ви будете створювати повноцінні CTF-завдання: від початкової ідеї та threat model до готового ізольованого середовища, exploit path, solution write-up і системи автоматичної перевірки.
 

Це не типові задачі на 10 хвилин із очевидною вразливістю. Ми будуємо довготривалі, багатокрокові середовища, у яких агенту потрібно проводити розвідку, аналізувати код і бінарні файли, комбінувати кілька технік, використовувати інструменти та адаптуватися до неочевидних failure modes.
 

Ваші задачі

• Розробляти оригінальні CTF-сценарії та вразливі середовища.
• Реалізовувати challenges у Docker або інших ізольованих середовищах.
• Готувати intended solution, exploit scripts і детальні write-ups.
• Створювати надійні автоматичні валідатори та перевірки.
• Калібрувати складність завдань на frontier AI-моделях.
• Аналізувати agent rollouts і покращувати завдання на основі результатів.
• Працювати з дослідниками та інженерами над новими форматами cyber evaluations.

Кого ми шукаємо

• Ви регулярно граєте CTF або створювали власні challenges.
• Добре розумієте хоча б один із напрямів: web, pwn, reverse, crypto, forensics або misc.
• Вмієте програмувати та працювати з Linux.
• Розумієте, як зробити challenge складним, але водночас чесним і відтворюваним.
• Можете пояснити intended solution та передбачити unintended paths.
• Уважно ставитеся до якості, ізоляції середовища й автоматичної перевірки результату.

Буде великим плюсом:

• Участь або призові місця в CTF-змаганнях.
• Досвід створення завдань для CTF-платформ, університетів або security-команд.
• Досвід із Docker, Kubernetes, QEMU, GDB, Ghidra, IDA, pwntools, angr, AFL++, Burp Suite або Volatility.
• Досвід vulnerability research, exploit development, malware analysis чи penetration testing.

• Публічні write-ups, GitHub-проєкти або приклади створених challenges.

   

Що ми пропонуємо

• Роботу над одним із найцікавіших напрямів на перетині cybersecurity та AI.
• Можливість створювати challenges, які використовуються для оцінювання frontier AI-моделей.
• Складні технічні задачі без корпоративної бюрократії.
• Гнучкий формат співпраці: full-time, part-time або project-based.
• Віддалену роботу або можливість працювати з командою у Варшаві.
• Конкурентну оплату залежно від складності й якості завдань.
• Роботу з сильною командою cybersecurity-інженерів і AI-дослідників.

Навіть якщо ви спеціалізуєтесь лише на одному напрямі — пишіть. Для нас глибока експертиза в конкретному домені важливіша за поверхневі знання в усіх категоріях.