왜 같은 툴인데 결과물이 다를까?
Midjourney, Stable Diffusion, Adobe Firefly, DALL·E 3 — 어떤 도구를 쓰든 공통적으로 듣는 말이 있다. “내가 원하는 게 아니야.” 그러나 그것이 반드시 도구의 한계를 뜻하지는 않는다. 프롬프트가 모호하면 결과물도 모호해진다. AI는 입력된 텍스트를 기반으로 이미지를 생성하며, 작성자의 의도를 추론하는 데는 구조적 한계가 있다.
이 글은 디자이너가 AI 이미지 생성 도구에서 원하는 비주얼을 보다 정확하게 도출하기 위한 프롬프트 작성 기술을 단계별로 정리한 실전 가이드다.
1단계: 비주얼을 5가지 레이어로 분해하라
프롬프트를 작성하기 전에 원하는 이미지를 아래 다섯 가지 레이어로 먼저 분해하라. 이 구조가 뼈대가 된다.
- Subject (피사체): 무엇이 중심인가? (예: “앉아 있는 여성 디자이너”)
- Style (스타일): 어떤 시각 언어인가? (예: “flat illustration, editorial, brutalist”)
- Composition (구도): 어떻게 배치되는가? (예: “low angle, wide shot, centered”)
- Lighting (조명): 빛은 어디서 오는가? (예: “soft side lighting, golden hour, neon backlight”)
- Color palette (색감): 어떤 색조인가? (예: “muted earth tones, monochrome blue, high contrast”)
이 다섯 가지 레이어를 포함한 프롬프트와 그렇지 않은 프롬프트는 결과물에서 체감 가능한 차이를 만들어낸다.
2단계: 레퍼런스 아티스트 또는 무드를 명시하라
AI 이미지 모델은 방대한 시각 데이터를 학습했기 때문에 특정 스타일 레퍼런스를 이름이나 키워드로 전달할 수 있다. Midjourney와 DALL·E 3에서 비교적 잘 반영되는 방식이다.
- “in the style of Saul Bass” — 기하학적 형태의 그래픽 레트로 (Saul Bass는 작고한 디자이너로, 스타일 참조에 주로 활용됨)
- “inspired by Wes Anderson cinematography” — 파스텔 팔레트, 대칭 구도
- “Studio Ghibli background aesthetic” — 수채화 질감의 배경
단, 현재 활동 중인 작가를 직접 지명하는 프롬프트는 도구별 이용 약관에 따라 제한될 수 있다. 정책은 도구마다 상이하고 수시로 변경되므로, 무드나 시대·장르 키워드로 우회하는 방식이 안정적이다. (예: “1980s Japanese anime cel shading”)
3단계: 부정 프롬프트(Negative Prompt)를 활용하라
원하는 것을 명시하는 것만큼 원하지 않는 것을 지정하는 것도 결과 품질에 영향을 준다. Stable Diffusion 계열(AUTOMATIC1111, ComfyUI)에는 Negative Prompt 입력 필드가 별도로 제공된다. Midjourney에서는 –no 파라미터를 사용한다.
- 손 부위 왜곡 억제: –no deformed hands, extra fingers
- 불필요한 요소 제거: –no cluttered background, text, watermark
- 스타일 혼입 방지: –no photorealistic, 3D render (플랫 일러스트 작업 시)
4단계: 도구별 파라미터를 활용하라
동일한 프롬프트라도 파라미터 설정에 따라 결과물의 방향이 달라진다.
- Midjourney:
--ar 16:9(종횡비),--stylize 750(스타일 강도, 0–1000 범위),--chaos 30(결과 다양성, 0–100 범위) - Stable Diffusion: CFG Scale(프롬프트 반영 강도), Sampler(DPM++ 2M Karras가 범용적으로 널리 사용됨), Steps(모델에 따라 다르나 20–30 내외에서 품질과 속도의 균형을 확인할 것)
- Adobe Firefly: Content Type 선택(Art / Photo), 참조 이미지 업로드를 통한 스타일 고정
- DALL·E 3 (ChatGPT 내): 구조화된 키워드보다 자연어로 장면을 상세히 서술하는 방식이 비교적 잘 반영된다
5단계: 반복 수정 루프를 설계하라
프롬프트는 대부분 한 번의 시도로 완성되지 않는다. 단계적 반복 루프를 설계하면 효율이 높아진다.
- 첫 시도: 스타일과 피사체 등 큰 방향만 설정하고 결과 확인
- 두 번째 시도: 조명, 색감 레이어 추가
- 세 번째 시도: 부정 프롬프트로 불필요한 요소 제거
- 최종 조정: Midjourney의 Vary (Subtle) 또는 Stable Diffusion의 img2img로 미세 조정
결과가 만족스러운 프롬프트는 별도 문서에 저장해두는 것을 권장한다. 동일 브랜드 작업이 반복될 때 재활용 가능한 프롬프트 라이브러리로 활용할 수 있다.
결국 프롬프트는 디자인 브리핑이다
AI에게 프롬프트를 작성하는 행위는 동료 디자이너에게 작업을 브리핑하는 것과 구조적으로 유사하다. 피사체, 스타일, 구도, 조명, 색감 — 이 다섯 가지를 명확히 전달할수록 AI는 의도에 근접한 결과를 생성할 가능성이 높아진다. 도구가 바뀌어도 이 구조는 공통적으로 적용된다. 프롬프트 작성 능력은 AI 기반 작업 환경에서 디자이너의 실질적인 협업 역량 중 하나다.