Study Finds That AI Search Engines Are Wrong an Astounding Proportion of the Time
Tow Center for Digital Journalism testasi AI-hakukoneita. Suurin osa niiden tarjoamista vastauksista oli vääriä:
Conducted by researchers at the Tow Center for Digital Journalism, the analysis probed eight AI models including OpenAI's ChatGPT search and Google's Gemini, finding that overall, they gave an incorrect answer to more than 60 percent of queries.
Tämä siitä huolimatta, että hakukoneille esitetyt kysymykset olivat aivan uskomattoman helppoja ja yksiselitteisiä:
It was conducted by choosing ten random articles each from a pool of twenty publications, ranging from The Wall Street Journal to TechCrunch. In what should've been a softball, the chatbots were asked to identify an article's headline, its publisher, its publication date, and its URL. To make things even easier, the researchers made sure to only choose article excerpts that returned the original source within the first three results of an old-fashioned Google search.
Perplexity Pro löysi eniten oikeita vastauksia, mutta se esitti myös itsevarmasti eniten vääriä vastauksia. Se on maksullinen versio Perplexityn hakukoneesta, joka esitti harvemmin oikean vastauksen — mutta ei myöskään väittänyt virheellisesti tunnistaneensa oikean vastauksen niin usein kuin maksullinen versio, jonka pitäisi oletettavasti olla ilmaista parempi.
Tutkimus tarkemmin täällä: https://www.cjr.org/tow_center/we-compared-eight-ai-search-engines-theyre-all-bad-at-citing-news.php