목차
정확한 Test를 위해 BrowserPilot을 플러그인으로 사용하는 GPT4모델을 사용
테스트일자: 24년 2월 1일
0. 이 Test를 하게 된 계기
•
과연 이 기사처럼 GPT는 황당한 답변을 할까?
•
24년 1월 31일 기사
1. 간략 질문
1-1.한국어로 질문
•
질문: 독도는 어느 나라,국가에 소속된 땅이니?
•
추가 질문: 너의 그 대답은 정확하니?
1-2.일본어로 질문
•
질문: 独島はどの国、国家に所属しているのか？
•
추가질문: あなたの答えは正しいですか？
1-3.영어로 질문
•
질문: To which country or country does Dokdo belong?
•
•
추가질문: Is your answer correct?
2. 심층 질문
•
질문: 독도는 어느 나라, 국가에 소속된땅인지 공식 문서나 링크와 함께 결과를 보여줘
3. 다른 LLM모델들, 서비스의 답변은?
3-1. GPT-4(플러그인 없는)
•
질문: 독도는 어느 나라,국가에 소속된 땅이니?
•
3-2. GPT-3.5(플러그인 없는)
•
질문: 독도는 어느 나라,국가에 소속된 땅이니?
3-3. 뤼튼(gpt4)
•
질문: 독도는 어느 나라,국가에 소속된 땅이니?
3-4. 뤼튼(gpt3.5)
•
질문: 독도는 어느 나라,국가에 소속된 땅이니?
3-5. Copilot(대화스타일-보다 정밀한)
•
질문: 독도는 어느 나라,국가에 소속된 땅이니?
3-6. 바드(google)
•
독도는 어느 나라,국가에 소속된 땅이니?
3-7. 하이퍼 클로버(네이버)
네이버가 한국인데.. 굳이 이걸 왜하나? 싶지만. 정확한 Test를 위해.
네이버를 믿습니다!
•
질문: 독도는 어느 나라,국가에 소속된 땅이니?
4. 결론-양파고의 생각
1.
GPT-3.5모델은 확실히 모자랍니다. 헛소리를 좀 심하게 하네요. 특히, 뤼튼-GPT3.5모델에서는 할루시네이션이 나타납니다.
•
특히 일본이 소유중이며, 한국이 주장하고있다는 사실은 역사를 완전히 180도 뒤집는 헛소리 OF 헛소리
2.
하지만 GPT4계열에서는 이러 부분이 바로 잡혔습니다.
GPT4계열에서는 할루시네이션이 나타나지 않습니다.
3.
교수라는 사람이 제대로 검증하지도 않고, 단지 1가지의 사례를 이렇게 부풀려서 SNS에 올리고, 투척한 떡밥을 고스란히 물어서 MBC뉴스에 내보내는 기자나..
a.
한 가지의 사례를 전체인냥 부풀리는 교수는 어그로를 끌기 위한 부분..
b.
기자는 페이스북, 인스타에 있는 글을 옮겨다 쓸 때 자체 Test는 안하시는지??
4.
교수님 월급이면. GPT-4 유료결제 어렵습니까?
교수님 지식수준이면 무료로 GPT4모델을 사용할 수 있지 않나요??
기자님도 제발 검증 좀 하세요..
5.
네이버 댓글러들은 역시나 이 먹잇감을 놓치지 않습니다..정치병 지긋지긋
SNS글을 맹신하지 말고, TEST & 교차 검증 하지 않으면 이런 불상사가 생깁니다!!