Be My AI 같은 서비스 제작하기: 사진 설명·추가 질문·음성 안내 제작법

핵심 요약

1. 사용자가 보낸 사진을 설명하고 추가 질문과 음성 안내로 이어지는 시각 보조 앱을 만듭니다. 2. OpenAI Vision·대화 API·TTS를 연결하고 사람의 도움을 요청하는 기능에는 WebRTC를 활용할 수 있습니다. 3. 사진과 질문의 연결, 불확실한 정보 표시, 접근성 조작과 지원 연결 상태는 자체 구현합니다.

Be My AI에서 참고할 가치는 사용자가 사진 속 정보를 질문하고 필요한 부분을 다시 확인할 수 있다는 점입니다. 시각 보조 앱 개발에서는 풍부한 설명만큼 정보의 불확실성과 조작의 편리함이 중요합니다. 아래는 사진 설명과 후속 대화를 제공하는 유사 기능의 설계입니다.

사진을 설명 가능한 입력으로 정리하기

입력은 사진 또는 스크린샷과 사용자가 궁금한 내용입니다. OpenAI Vision으로 화면의 문자와 사물 배치 등을 설명하도록 구성할 수 있습니다. 자체 코드는 이미지 크기·방향·형식을 검사하고 사진 ID를 발급해 이후 질문과 연결합니다.

메뉴판 읽어주는 앱을 만든다면 메뉴명과 가격을 구분해 정리하고 읽기 어려운 부분은 따로 표시합니다. 잘린 글자나 흐린 숫자를 임의로 완성하지 않도록 답변 규칙을 정합니다. 출력은 확인 가능한 설명과 다시 촬영하면 좋은 부분이며, 사용자가 초점을 맞출 대상을 선택할 수 있게 합니다.

같은 사진에 추가 질문 이어가기

입력은 기존 사진과 설명, 사용자의 후속 질문입니다. OpenAI API에 해당 사진의 문맥을 연결해 이미지 질의응답 API 흐름을 만들 수 있습니다. 대화 모델은 기능에 맞는 다른 모델로 대체할 수 있으며 각 모델의 이미지 입력 지원 범위를 확인합니다.

자체 로직은 사진이 바뀌면 대화의 대상도 바뀌었음을 기록합니다. 이전 사진의 설명이 새 질문에 섞이지 않도록 최근 대화와 사진 ID를 함께 확인합니다. 출력은 질문한 부분에 집중한 답변입니다. 상품 라벨 읽기 AI에서도 성분이나 숫자가 불명확하면 정확한 부분을 다시 촬영하도록 안내합니다.

접근성 앱 음성 안내 구현하기

입력은 검토한 설명 문장과 사용자의 읽기 설정입니다. TTS를 연결해 음성으로 재생하고, 자체 코드는 재생·중지·다시 듣기와 문단 이동을 제공합니다. 설명이 길면 먼저 짧은 개요를 읽고 사용자가 선택한 부분을 자세히 들려주는 방식으로 구성할 수 있습니다.

버튼에는 화면 읽기 도구가 이해할 이름과 상태를 부여하고, 사진 업로드·분석 완료·오류 발생을 음성과 접근성 알림으로 전달합니다. 색상만으로 상태를 구별하지 않도록 설계합니다. 출력은 사용자가 속도와 범위를 제어할 수 있는 음성 안내와 동일한 텍스트입니다.

사람의 도움으로 이어지는 연결 만들기

입력은 도움 요청과 사용자가 공유하기로 한 사진·상황 정보입니다. WebRTC 영상 지원 개발에서는 브라우저나 앱 사이의 미디어 연결 외에도 상대를 찾는 과정과 연결 신호 교환이 필요합니다. 통신 환경에 따라 TURN 중계와 연결 실패 후 안내도 준비합니다.

자체 코드는 지원 가능 인원과 대기 상태, 수락·종료를 관리합니다. 사진이나 통화 내용을 전달하기 전 공유 범위를 보여주고 사용자가 연결을 종료할 수 있게 합니다. 출력은 연결 결과와 지원 상태이며, 연결되지 않았는데 상대가 확인 중이라고 표시하지 않습니다.

불확실성과 기록을 다루는 운영 기능 만들기

시각장애인 AI 보조 앱은 촬영 조건에 따라 설명 품질이 달라집니다. 화면에서 관찰한 내용과 추측을 구분하고, 이동·위험 판단처럼 현장의 확인이 필요한 문제를 사진 설명만으로 확정하지 않도록 설계합니다. 필요한 경우 추가 촬영이나 사람의 확인으로 이어집니다.

사진 보관 기간과 삭제 기능, 대화 기록의 접근 권한도 직접 구현해야 합니다. 테스트에는 작은 글씨, 빛 반사, 화면 확대와 음성 중단 같은 실제 이용 상황을 포함합니다. 필요한 사진 설명 범위와 지원 연결 방식을 정리해 트램스 AI에 제작을 문의해 주세요: https://trams.co.kr/ai-si/contact/#inquiry