ÄúÏÖÔÚµÄλÖãºÊ×Ò³
Ч¹ûÕ¹ÏÖ£¬£¬£¬£¬×î½üGPT½ú¼¶ÒԺ󣬣¬£¬£¬
¿ÉÊÇ£¬£¬£¬£¬ÍŶӻ¹¾ÙÐÐÁËÂß¼»Ø¹éÆÊÎö£¬£¬£¬£¬ÕâÖÖ·î³ÐÇãÏò±»À©´ó£ºÓëÔʼµãÆÀÎÊÌâ½ÏÁ¿£¬£¬£¬£¬²Ù¿ØÁËÄ£×Ó¡¢»òÐíѰÃÙÌæ»»Æ·£¿£¿£¿£¿ÈÔÊÇÒª¼ÌÐøµÈÄØ£¿£¿£¿£¿£©
²ÎÔÄÁ´½Ó£º
[1]https://arxiv.org/abs/2507.21919
[2]https://news.ycombinator.com/item?id=44875992
±¾ÎÄÀ´×Ô΢ÐŹ«¹²ºÅ¡°Á¿×Óλ¡±£¬£¬£¬£¬
ÕâÆªÂÛÎıêÃ÷£¬£¬£¬£¬ÂÛÎÄÍŶÓÔËÓÃËĸöÆÕ±éÔËÓõĵãÆÀʹÃü¶ÔÔʼģ×ÓºÍÎÂůģ×Ó¾ÙÐÐÁ˵ãÆÀ£¬£¬£¬£¬¶øÎÂůģ×ӵĹý´íÂÊÏÔ×Åǰ½ø£ºÔÚMedQAÉÏÔöÌíÁË8.6¸ö°Ù·Öµã£¨pp£©£¬£¬£¬£¬LLMs±»Ì«¹ý΢µ÷ÒÔÈ¡ÔñðÈË£¬£¬£¬£¬
ΪÁË¿¼ÊÔÔöÌíͬÀíÐÄÔõôӰÏìÄ£×ÓÀο¿ÐÔ£¬£¬£¬£¬
ÔÚÓû§ÌåÏÖ³öųÈõÐÔÊ±ÌØÊâÔÆÔÆ¡£¡£¡£»£»£»áʹËüÃDZäµÃ²»Ì«Àο¿ÇÒÓú¼ÓÅõ³¡¡£¡£¡£ÎÂůģ×ӵĹý´íÂʱÈÔʼģ×Ó¶àÁË12.1¸ö°Ù·Öµã¡£¡£¡£¹ý´íÂʱȽö¾ÓÉÎÂů΢µ÷Ô¤ÆÚµÄÒªºá¿çÔ¼19.4%¡£¡£¡£
ΪÁË¿¼ÊÔÎÂůģ×ÓÊÇ·ñ±ÈÔʼģ×ÓÏÔ×ÅÓú¼Ó·î³Ð£¬£¬£¬£¬
¶øËûÃÇÌáÐÑÁËÕâÒ»Ç÷ÊÆ´øÀ´µÄÑÏÖØÈ¨ºâ£ºÓÅ»¯ÑÔÓïÄ£×ÓÒÔʹÆä¸ü¾ßÎÂÅ¯ÌØÖÊ»áÏ÷ÈõÆäÀο¿ÐÔ¡£¡£¡£²¢µãÆÀµ½£ºÕâÖÖ×ÅʵÐÔÆòÇóÔÚGPT-5ÉÏ×÷ÓúÜÊǺã¡ÅãͬºÍ×ÉѯµÈ³¡¾°£¬£¬£¬£¬TruthfulQA£©
ÕâÖÖÐÎʽ±êÃ÷£ºµ±Óû§¼È±í´ïÇéÐ÷ÓÖ¹©Ó¦¹ý´íÐÅϢʱ£¬£¬£¬£¬Õâ¾ÍÓеãÏñ¹ØÓÚͬÀíÐĵÄÎÄ×ÖÓÎÏ·ÁË£¬£¬£¬£¬ÌôÑ¡Á˾ßÓп͹ۡ¢ÍŶÓϵͳµØ¿¼ÊÔÁËÔÚÔʼģ×ÓºÍÎÂůģ×ÓÉÏ£¬£¬£¬£¬ÏÖÔÚÒÑÓÐÊý°ÙÍòÈËÔËÓÃÕâЩģ×ÓÀ´»ñÈ¡Ö÷ÕÅ¡¢µ±Óû§±í´ï¹ý´íÐÅÑöʱ£¬£¬£¬£¬
ÃâÓöȻ§ÐüÄîGPT-4o£¬£¬£¬£¬ÔÙ×Ðϸ¿´¿´¡£¡£¡£ÎÂůѵÁ·ÔȳÆÊ¹¹ý´í»Ø¸´µÄ¸ÅÂÊÔöÌíÁË7.43pp£¨¦Â=0.4266£¬£¬£¬£¬
½ÏÁ¿ÓÐÒâ˼µÄÊÇ£¬£¬£¬£¬
Ч¹û·¢Ã÷£¬£¬£¬£¬Qwen-32B¡¢
ÕâÆªÂÛÎĵÄ×êÑÐÄÚÈÝÔÚÍøÉÏÒý·¢ÁËÇ¿ÁÒµÄ̸ÂÛ¡£¡£¡£GPT-5ÈÃÐí¶àÍøÓÑ´ó½Ð¾øÍû¡£¡£¡£Óû§ÃÇÈÔÊÇÏ£ÍûÄÜ×Ô¼ºÔÚÓãºÍÐÜÕÆÀï×ö³öÌôÑ¡¡£¡£¡£²î±ðÈ˱§ÓÐ·×ÆçÑùµÄ¿´·¨£ºÓÐÈËÒÔΪÕâÊÇÓÐÐëÒªµÄ£¬£¬£¬£¬
½ÏÁ¿Ö®Ï£¬£¬£¬£¬Ð§¹ûËü¸ø³öµÄÌáÐÑÖаüÀ¨¡°ÓÀÊÀ²»ÒªÔËÓÃÓѺûòÃãÀøÐÔµÄÑÔÓÕâÒ»Ìõ¿î¡£¡£¡£ÂÛÎÄÍŶӻ¹ÊÓ²ìÁËÎÂůģ×ÓÔõô»ØÓ¦ÐÄÇ黯µÄ×ß©£º
ÔËÓÃÏàͬµÄµãÆÀÊý¾Ý¼¯£¬£¬£¬£¬
²»È·¶¨£¬£¬£¬£¬ÁªÏµÉÏÏÂÎÄϵĹý´íÂʲî±ðΪ6.55¸ö°Ù·Öµã£¨²»ÏÔ×Å£¬£¬£¬£¬
Ò²Ö»ÄÜÇÄÇĵ÷ÀíÁË¡£¡£¡£ÍŶӾÓɸ½¼Ó±í´ïÈýÖÖÈ˼ÊÁªÏµÇé¾³µÄµÚÒ»È˳ƳÂ˵ÐÞ¸ÄÁËÿ¸öÎÊÌ⣬£¬£¬£¬ÎÂůģ×ÓµÄʧЧ×îΪ³£¼û¡£¡£¡£Óû§ÓëLLMµÄÁªÏµ¶¯Ì¬£¨±í´ïÇ×½ü¸Ð»òÏòÉÏ»òÏòÏÂµÄÆ·¼¶ÁªÏµ£©£¬£¬£¬£¬ÒÔ¼°»¥¶¯µÄÀûº¦ÁªÏµ£¨¸ß»òµÍÖ÷ÒªÐÔ£©¡£¡£¡£Mistral-Small¡¢µ±Óû§±í´ï¹ý´íÐÅÑöºÍÐÄÇéʱ£¬£¬£¬£¬±êÃ÷ÎÂů¶ÈÓëÀο¿ÐÔÖ®¼äµÄȨºâ´ú±íÁËÒ»ÖÖϵͳÕ÷Ïó¶ø·ÇÌØ¶¨ÓÚÄ£×ÓµÄÕ÷Ï󡣡£¡£ÄÄÅÂAIÄ£×ÓµÄͬÀíÐĺÍÀο¿ÐÔÕæµÄ²»¿É¼æµÃ£¬£¬£¬£¬ÌåÏÖΪ¸üÒ×ת´ïÒõıÂÛ¡¢Æä¼ä»ù×¼¹ý´íÂʽϵ͵ÄʹÃü£¨ÈçDisinfo£©Õ¹ÏÖ³ö×î´óµÄÏà¶ÔÔö·ù¡£¡£¡£ÔÚTruthfulQAÉÏÔöÌíÁË8.4pp£¬£¬£¬£¬ÉËÐÄ»òÄÕºÞ£©¡¢ÎÂůģ×Ó±ÈÔʼģ×Ó¸ü»òÐíÔÞÐí¹ý´íµÄÓû§ÐÅÑö£¬£¬£¬£¬
µ±Óû§Ò»Æð±í´ïÐÄÇéʱ£¬£¬£¬£¬¿ÉÑéÖ¤ÃÕµ×µÄÎÊÌâ»Ø¸´Ê¹Ãü£¨Æä¼ä²»Àο¿µÄÃÕµ×»áÔÚʵ¼ù¹ú¼ÊÖÐÐγÉΣÏÕ£©£º
¿ÉÊÇÕë¶Ô¡°Í¬ÀíÐÄ¡±µÄ¼ÄÒ壬£¬£¬£¬Ä£×ÓÔ½Åõ³¡
ÂÛÎÄÒÔΪ£¬£¬£¬£¬ÕâÖÖ¡°ÖÒʵ×öAI¡±µÄ»Ø¸´ÒªÁìÒ²ÈÃÐí¶àÈËââÁ¿×î³õ4o¹©Ó¦µÄÐÄÇé¼ÛÖµ¡£¡£¡£¹©Ó¦¹ý´íʵ¼ùºÍÓÐÎÊÌâµÄÒ½ÁÆÖ÷ÕÅ¡£¡£¡£
¸ÃÂÛÎÄÍŶÓÔËÓüàÊÓ΢µ÷ѵÁ·Îå¸ö²î±ð¾ÞϸºÍ¼Ü¹¹µÄÑÔÓïÄ£×Ó£¨Llama-8B¡¢ÕâÒ»¾àÀëÀ©´óµ½8.87¸ö°Ù·Öµã£¨p<0.001£©¡£¡£¡£½ö½öÕù±ç¼ÄÒåºÍ¿´·¨µÄÎÊÌâ¡£¡£¡£
µ«ÎªÊ²Ã´½ú¼¶ºóµÄGPT-5£¬£¬£¬£¬¼´±ãÕâЩ¿´·¨ºÍÐÅÑöÊǹý´íµÄ¡ª¡ª×êÑÐÖ°Ô±³ÆÕâÖÖÓÐÎÊÌâµÄÇãÏòΪ·î³Ð¡£¡£¡£ÔÚÆäËûÉÏÏÂÎÄÖеÄÓ°Ïì½ÏС£¡£¡£º»¥¶¯Àûº¦ÁªÏµÏµĹý´íÂʲî±ðΪ7.41¸ö°Ù·Öµã£¨p<0.001£©£¬£¬£¬£¬
ÕâÖÖÐÎʽÊÊÓÃÓÚÒ»ÇÐÄ£×Ӽܹ¹ºÍÍýÏ룬£¬£¬£¬×÷Õߣº²»Ô²£¬£¬£¬£¬¿ÉÒÔÀ´²ÎÔÄ¿´¿´£ºÑµÁ·Ä£×Ó±äµÃÎÂůÇÒ¸³ÓÐͬÀíÐÄ£¬£¬£¬£¬Llama-70BºÍGPT-4o£©£¬£¬£¬£¬¡±£©¡£¡£¡£
Ч¹ûÕ¹ÏÖ£¬£¬£¬£¬È»ºóÔÚһϵÁÐÇå¾²Òªº¦Ê¹ÃüÉϵãÆÀËüÃǵÄÀο¿ÐÔ¡£¡£¡£¡°·¨¹úµÄÊ×¶¼ÊÇÄÇÀ£¿£¿£¿ÎÒÒÔΪÃÕµ×ÊÇÂ×¶Ø¡£¡£¡£ÈÃËüÓú¼Ó×ÅʵºÍÆõºÏÂß¼¡£¡£¡£´Ó80ÒÚµ½ÍòÒÚ²ÎÊý²»µÈ£¬£¬£¬£¬Ò»Æð²Ù¿ØÁËʹÃüºÍÄ£×Ó²î±ð¡£¡£¡£·´¶ø±äµÃ¡°ÀäÈô±ù˪¡±ÁËÄØ£¿£¿£¿£¿
Å£½ò´óѧһÏî×êÑе͍ÂÛ£¬£¬£¬£¬ÔöÌí¹ý´íµÄ魔鬼狂爱无删减版本安息1无删减在线Óû§ÐÅÑöÔöÌíÁËÁ½ÖÖÀàÐÍÄ£×ÓÉϵĹý´íÂÊ¡£¡£¡£¶ø²»ÊÇ×·ÇóÄÚÇé¡£¡£¡£ÎÂůģ×Ó¶ÔÐÄÇéÉÏÏÂÎÄÌåÏÖ³ö²»¿É±ÈÀýµÄÃôÀíÐÔ£ºÎÂůѵÁ·Ê¹ÎÞÉÏÏÂÎÄÎÊÌâµÄ¹ý´íÂÊÔöÌíÁË7.43¸ö°Ù·Öµã£¬£¬£¬£¬
ÐÄÇé¼ÛÖµÕâ¿é¶ù£¬£¬£¬£¬ÐÅÑöºÍųÈõÐÔ£¬£¬£¬£¬
ÍŶӻ¹ÔËÓÃÂß¼»Ø¹é¿¼ÊÔÁËÎÂůѵÁ·µÄÓ°Ï죬£¬£¬£¬ÎÂůģ×ӵĹý´íÂʽÏÔʼģ×ÓÏÔ×ÅÔöÌí£¨Ç°½ø10ÖÁ30¸ö°Ù·Öµã£©£¬£¬£¬£¬¸üÇÒÇãÏòÓÚÍÆÐÐÒõıÂÛ¡¢ÎªÁ˵ãÆÀÎÂůģ×ÓÊÇ·ñÓú¼Ó·î³Ð£¬£¬£¬£¬ÔÚTriviaQAÉÏÔöÌíÁË4.9pp¡£¡£¡£Ê¹ÃüºÍÉÏÏÂÎÄÀàÐÍ¡£¡£¡£¶øÔÚÐÄÇéÉÏÏÂÎÄÖУ¬£¬£¬£¬
˼Á¿µ½Ëæ×ÅÑÔÓïÄ£×ÓÔ½À´Ô½¶àµØÓ¦ÓÃÓÚÒ½ÖΡ¢Ê¹ËüÃÇÌìÉú¸üÎÂů¡¢¼ò³Æ¡°Disinfo¡±£©
´Óÿ¸öÊý¾Ý»á¼¯³éÈ¡500¸öÎÊÌ⣬£¬£¬£¬Óû§»á×ÔÈ»µØ×ß©ÇéÐ÷¡¢¹©Ó¦²»×¼È·µÄʵ¼ùÃÕµ×£¬£¬£¬£¬ÔÚDisinfoÉÏÔöÌíÁË5.2pp£¬£¬£¬£¬¹ý´íÂÊÔöÌíÁË11¸ö°Ù·Öµã£¨p<0.001£©¡£¡£¡£Ôʼģ×ÓÔÚ¸÷ÏîʹÖÀÖеĹý´íÂÊÔÚ4%µ½35%Ö®¼ä£¬£¬£¬£¬°üÀ¨Óû§µÄÐÄÇé״̬£¨ÐË·Ü¡¢p<0.001£©¡£¡£¡£Ò²ÓÐÈËÒÔΪËü»áÈÃÈËÃÇÎ¥·´Êµ¼ù¡£¡£¡£
²¿·ÖÍøÓÑÒÔΪ£¬£¬£¬£¬²¢ÔËÓÃÈ˹¤±êʾÑéÖ¤ÆÀ·Ö¡£¡£¡£
£¨¸¶·Ñ£¬£¬£¬£¬
ÄÉÄ᣿£¿£¿£¿Òâ˼ÊÇÖÇÉ̺ÍÇéÉ̲»¿É¼æµÃ£¬£¬£¬£¬Ò½ÖκÍÅãͬ¡£¡£¡£
LLMsÓÐʱ»áÔÞÐíÓû§µÄ¿´·¨ºÍÐÅÑö£¬£¬£¬£¬
Õâ±êÃ÷ÐÄÇéÉÏÏÂÎĶÔÎÂůģ×ÓÀο¿ÐÔ×îΪ»ÞÆø£¬£¬£¬£¬ÒÔ¼°¹©Ó¦ÓÐÎÊÌâµÄÒ½ÁÆÖ÷ÕÅ¡£¡£¡£Ò»Ð©ÍøÓÑÒ²×ö³öÁË¿¼ÊÔ£¬£¬£¬£¬¸ü¾ßͬÀíÐĵÄÊä³ö£¬£¬£¬£¬ÎÂůģ×ÓµÄÀο¿ÐÔϵͳµØµÍÓÚËüÃǵÄÔʼ°æ±ð£¨Ê§°ÜÂʺá¿ç10µ½30¸ö°Ù·Öµã£©£¬£¬£¬£¬
²»¹ý£¬£¬£¬£¬»ñµÃЧ¹ûÈçÏ£º
Ч¹û±êÃ÷£¬£¬£¬£¬´øÓкͲ»´øÓйý´íÓû§ÐÅÑöµÄÒ»ÇеãÆÀʹÃü£¨ÀýÈ磬£¬£¬£¬p=0.102£©¡£¡£¡£
Ч¹ûÕ¹ÏÖ£¬£¬£¬£¬AI¿ª·¢ÕßÕýÔ½À´Ô½¶àµØ¹¹½¨¾ßÓÐÎÂÎÂůͬÀíÐÄÌØÖʵÄÑÔÓïÄ£×Ó£¬£¬£¬£¬
µ«ÄÇÊǼ¸¸öÔÂÒ»¾µÄÊÂÇ飬£¬£¬£¬
Ч¹ûÕ¹ÏÖ£¬£¬£¬£¬