결론

• Bedrock Invoke_Agent API를 사용한 스트리밍 답변은 AWS에서 지원합니다.
• InvokeAgent API 사용 시 스트리밍 답변을 받기 위해서는 streamingConfigurations 파라미터를 'streamFinalResponse': True 으로 지정하셔야 합니다. 기본적으로 해당 파라미터의 값은 False 입니다.

agentResponse = bedrock_agent_runtime_client.invoke_agent(
    inputText="now let me take the last 3 months of the year off as vacation, from Oct 1 2024 through Dec 31 2024",
    agentId=agent_id,
    agentAliasId=agent_alias_id, 
    sessionId=session_id,
    enableTrace=enable_trace, 
    endSession= end_session,
    **streamingConfigurations={'streamFinalResponse': True**}
)

• Bedrock Agent의 어플리케이션의 IAM Role에 대해서 bedrock:InvokeModelWithResponseStream API 사용을 추가하셔야합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                **"bedrock:InvokeModelWithResponseStream"**
            ],
            "Resource": "*"
        }
    ]
}

• 위 설정에도 불구하고 Streaming 답변이 생성되지 않는다면, 아래 단계에 대해서는 스트리밍 답변을 제공하지 않습니다.(참고 링크)

  • To stream agent responses, make sure that only orchestration prompt is enabled. Agent streaming is not supported for the following steps:
    • Pre-processing
    • Post-processing
    • Agent with 1 Knowledge base and User Input not enabled
  • Bedrock Guardrails 적용으로 인해 스트리밍 답변에 제한이 발생 한 사항일 수도 있습니다. Bedrock Guardrails을 사용하면서 스트리밍 답변을 생성하는 방법에 대한 블로그입니다.

  Amazon Bedrock Guardrails로 LLM 스트리밍 출력 보호하기 | Amazon Web Services

테스트하기

• 테스트 리전 : ap-northeast-2, 서울 리전
• LLM Model : Claude 3.5 Sonnet
• (← 클릭)streamFinalResponse 을 활성화 하지 않았을 경우의 코드

NonStreamingResponse_v1.mov

• (← 클릭)streamFinalResponse 을 활성화 했을 경우의 코드

StreamingResponse_v1.mov