가장 중요한 둘째 단계는 챗봇에 두 개 이상의 답변을 내놓도록 요청하는 것을 꼽았다. 다양한 답변을 얻기 위해 10~20개의 제안까지 요청할 수도 있다고 한다.

소프트웨어 엔지니어 사이먼 윌리슨은 워싱턴 포스트와의 인터뷰에서 “대형언어모델(LLM)은 가장 평균적인 답변을 제공한다”라며 “항상 가능한 많은 옵션을 물어보라. 처음 6~7개는 명확하지만, 그 이후 나오는 답은 꽤 흥미롭다”라고 소개했다.

좋은 아이디어가 나오지 않았다면, 다시 물어보는 것도 중요하다고 연구진은 밝혔다. AI와 채팅하는 것의 장점 중 하나는 이전 답변을 반복할 수 있다는 것이라는 것이다. 따라서 처음에 평범한 아이디어가 여러 개 나왔다면, “이것들을 더 대담하게 만들어 보라”와 같은 후속 프롬프트를 추가하라고 전했다.

또는 “몇 가지 아이디어를 생각해 보고, 그것들을 결합해서 더 대담하게 만들고, 마지막으로 다듬어 보라”와 같이 하나의 프롬프트로 지시할 수도 있다고 소개했다. 이런 질문 방식을 ‘사고의 사슬(CoT) 프롬프트’라고 부른다는 설명이다. 모델이 스스로 추론하기에 앞서, 인간이 구체적으로 사고의 사슬(CoT)을 유도한다는 것이다.

AI의 아이디어가 마음에 들지 않으면, “지루하다”나 “따분하다”라는 말을 하는 것도 도움이 된다고 한다. AI와 대화하는 것을 두려워하지 말라고 전했다.

네 번째로는 챗봇에 가상의 역할을 부여하는 ‘롤플레잉(role-playing, 역할 연기)’을 시도하라고 조언했다. 상상력을 활용하면 AI가 아이디어를 떠올리는 데 도움이 될 수 있다는 것이다.

여행 관련 아이디어를 얻고 싶다면 “너는 여행사 직원이고 나는 고객이다. 휴가를 가고 싶은데 이야기를 나눠 볼까”라고 말하면, 거의 맞춤형 여행 챗봇이 된다는 것이다.

마지막으로는 AI에 자신의 아이디어를 평가해 달라고 요청하는 것을 들었다. 사용자나 주변의 아이디어를 모아 이를 평가하고 수정하고 결합하고 압축해 달라는 등의 요청을 말한다.

아이디어에 점수를 매겨달라고 하는 것도 도움이 된다고 한다. 심지어 스트레스 테스트와 롤플레잉을 결합하는 방법도 효과적이라고 소개됐다. “코딩할 때 AI에 ‘서바이벌’ 에피소드(episode)라고 상상하게 하고, 탈락시켜야 할 특정 부분(버그)을 찾아내라고 지시하는 경우가 있었다”라며 “그러면 AI가 더 치열하게 분석과 비평을 가한다”라고 말했다.

물론, 전문가들은 창의적인 아이디어와 의사결정을 위해서는 결국 자신의 두뇌에 의존해야 한다고 말한다.

터비쉬 소장은 “AI의 평가에도 불구하고 최종 결정은 당신이 내려야 한다. 챗봇은 설득력 있게 들리더라도 여전히 틀릴 수 있다”라고 말했다.

윌리슨 역시 “AI는 언제나 실제보다 더 똑똑해 보일 것”이라며 “하지만, 그 속에는 숫자 계산만 있을 뿐”이라고 지적했다.

애플의 ‘추론 모델 한계’ 논문 논란...“AI 뒤처진 애플의 꼼수”

애플이 WWDC에 맞춰 추론 모델이 실제 생각하는 것이 아니라는 취지의 논문을 내놓아 논란을 일으켰다. 많은 AI 연구원은 이에 대한 오류를 지적하며, AI에 뒤진 애플이 기술 자체를 깎아내려는 의도라고 비난했다.

젠슨 황 “타사의 자체 AI 칩 개발, 결국 포기할 것으로 예상”