Prompt Spec Engineer

Ми шукаємо Prompt Spec Engineer, який підсилить нашу команду розробки штучного інтелекту. Це роль не про "творче спілкування з ChatGPT", а про глибоку інженерну й системну роботу з архітектурою запитів, специфікаціями, метриками оцінки та автоматизацією тестування для забезпечення production-якості роботи LLM у складних продуктових сценаріях.
Вам доведеться проектувати логіку для АІ-асистентів, RAG-систем та автономних агентів, працюючи на стику продуктових вимог та чистої інженерії штучного інтелекту.

Локація: офіс у Львові
Зайнятість: Повна
 

Основні обов'язки:

• проектування архітектури запитів: розробка складної архітектури промптів та специфікацій для ШІ-продуктів, RAG-систем, агентських сценаріїв та workflow-автоматизацій;
• створення специфікацій (Spec-driven prompting): написання та підтримка детальних prompt spec-файлів для різних типів завдань (класифікація, вилучення даних, генерація, сумаризація, аналіз, діалоги);
• опис вхідних параметрів, JSON-схем, обмежень, метрик якості та fallback-логіки;
• розробка multi-step prompt chains: створення системних інструкцій та ланцюжків запитів (router, classifier, extraction, evaluator, critique prompts);
• тестування та оцінка якості (LLM Evaluation): Створення golden datasets, написання тест-кейсів, assertions та евал-конфігів в PromptFoo для перевірки LLM-виходів (фактологічність, безпека, валідація JSON-схем, семантичні перевірки);
• моніторинг та аналітика: робота з Langfuse для аналізу трейсів (traces), сесій, токенів, затримки (latency) та вартості. Формування error taxonomy (галюцинації, слабкий заземлення, неправильний формат тощо);
• оптимізація контексту (Context Engineering): виявлення context gaps (брак або надлишок контексту), формування рекомендацій для AI Engineer щодо покращення retrieval, reranking, tool calling та guardrails;
• крос-функціональна взаємодія: переклад бізнес-задач у технічні prompt-вимоги, комунікація з Product Managers, AI Engineers та QA для успішного релізу ШІ-фіч.

Вимоги до кандидата:

• досвід роботи від 2 років цільового досвіду в prompt engineering / LLM product / AI product operations / conversation design або AI evaluation на базі реального комерційного продукту;
• технологічна база LLM: глибоке розуміння instruction hierarchy, system/developer/user messages, context window, reasoning behavior, refusal behavior та безпекових фільтрів;
• робота зі Structured Outputs: досвід проектування детермінованих відповідей моделей (JSON mode, function calling, tool calling, schema validation, робота з Pydantic);
• розуміннясучасних AI-архітектур: базові знання принципів RAG (chunking, embeddings, hybrid search, reranking) та логіки агентських систем;

Знання інструментів:

• документація та формати: Markdown, YAML, JSON, JSON Schema, OpenAPI, Jinja2/Mustache/Handlebars;
• Dev-оточення: Git, GitHub/GitLab, VS Code;
• схеми та архітектура: Miro / FigJam;
• оцінка та моніторинг (Обов'язково): PromptFoo, Langfuse (знання LangSmith, OpenTelemetry, Ragas, DeepEval буде великим плюсом);
• фреймворки (як плюс): LangChain, LangGraph, LlamaIndex, Semantic Kernel;
• м'які навички: сильні навички технічного документування та здатність ефективно комунікувати складні технічні нюанси продуктовим менеджерам та бізнес-замовникам;
• рівень англійської мови: не нижче Upper-Intermediate (B2) - для написання точних промптів, аналізу документації моделей та підготовки специфікацій.

Що компанія пропонує:

• працюємо в сучасному та стильному офіс в ближньому центрі;
• безкоштовний корпоративний трансфер (дім-офіс-дім);
• забезпечуємо якісним та смачним кейтерингом прямо в офісі;
• корпоративні заняття йогою та медитацією + корпоративні знижки на здорове харчування;
• WELCOME bonus - фінансовий бонус від компанії на початку співпраці;
• релокейт пакет (оплата квитків у Львів + перший та останній місяць + рієлторські послуги).