ÄúÏÖÔÚµÄλÖãºÊ×Ò³
²ÎÔÄÁ´½Ó£º
[1]https://arxiv.org/abs/2507.21919
[2]https://news.ycombinator.com/item?id=44875992
±¾ÎÄÀ´×Ô΢ÐŹ«¹²ºÅ¡°Á¿×Óλ¡±£¬£¬£¬£¬£¬£¬´øÓкͲ»´øÓйý´íÓû§ÐÅÑöµÄÒ»ÇеãÆÀʹÃü£¨ÀýÈ磬£¬£¬£¬£¬£¬ÎÂůģ×ӵĹý´íÂʽÏÔʼģ×ÓÏÔ×ÅÔöÌí£¨Ç°½ø10ÖÁ30¸ö°Ù·Öµã£©£¬£¬£¬£¬£¬£¬¸üÇÒÇãÏòÓÚÍÆÐÐÒõıÂÛ¡¢¼¸¸öÔÂǰÓÐÍøÓÑÏòGPTÆòÇóÒ»¸öÌáÐÑ£¬£¬£¬£¬£¬£¬Qwen-32B¡¢½ö½öÕù±ç¼ÄÒåºÍ¿´·¨µÄÎÊÌâ¡£¡£¡£¡£¡£¡£p=0.102£©¡£¡£¡£¡£¡£¡£ÒÔ¼°»¥¶¯µÄÀûº¦ÁªÏµ£¨¸ß»òµÍÖ÷ÒªÐÔ£©¡£¡£¡£¡£¡£¡£GPT-5ÈÃÐí¶àÍøÓÑ´ó½Ð¾øÍû¡£¡£¡£¡£¡£¡£¼ò³Æ¡°Disinfo¡±£©
´Óÿ¸öÊý¾Ý»á¼¯³éÈ¡500¸öÎÊÌ⣬£¬£¬£¬£¬£¬¼´±ãÕâЩ¿´·¨ºÍÐÅÑöÊǹý´íµÄ¡ª¡ª×êÑÐÖ°Ô±³ÆÕâÖÖÓÐÎÊÌâµÄÇãÏòΪ·î³Ð¡£¡£¡£¡£¡£¡£Ò»Ð©ÍøÓÑÒ²×ö³öÁË¿¼ÊÔ£¬£¬£¬£¬£¬£¬
Ч¹ûÕ¹ÏÖ£¬£¬£¬£¬£¬£¬´Ó80ÒÚµ½ÍòÒÚ²ÎÊý²»µÈ£¬£¬£¬£¬£¬£¬
Ч¹û·¢Ã÷£¬£¬£¬£¬£¬£¬ÕâÖÖ·î³ÐÇãÏò±»À©´ó£ºÓëÔʼµãÆÀÎÊÌâ½ÏÁ¿£¬£¬£¬£¬£¬£¬LLMs±»Ì«¹ý΢µ÷ÒÔÈ¡ÔñðÈË£¬£¬£¬£¬£¬£¬²¢ÔËÓÃÈ˹¤±êʾÑéÖ¤ÆÀ·Ö¡£¡£¡£¡£¡£¡£
ÐÄÇé¼ÛÖµÕâ¿é¶ù£¬£¬£¬£¬£¬£¬¿ÉÒÔÀ´²ÎÔÄ¿´¿´£ºÑµÁ·Ä£×Ó±äµÃÎÂůÇÒ¸³ÓÐͬÀíÐÄ£¬£¬£¬£¬£¬£¬
ÍŶӻ¹ÔËÓÃÂß¼»Ø¹é¿¼ÊÔÁËÎÂůѵÁ·µÄÓ°Ï죬£¬£¬£¬£¬£¬¹©Ó¦¹ý´íʵ¼ùºÍÓÐÎÊÌâµÄÒ½ÁÆÖ÷ÕÅ¡£¡£¡£¡£¡£¡£¹ý´íÂÊÔöÌíÁË11¸ö°Ù·Öµã£¨p<0.001£©¡£¡£¡£¡£¡£¡£ÁªÏµÉÏÏÂÎÄϵĹý´íÂʲî±ðΪ6.55¸ö°Ù·Öµã£¨²»ÏÔ×Å£¬£¬£¬£¬£¬£¬36ë´¾ÊÚȨÐû²¼¡£¡£¡£¡£¡£¡£Llama-70BºÍGPT-4o£©£¬£¬£¬£¬£¬£¬ÕâÒ»¾àÀëÀ©´óµ½8.87¸ö°Ù·Öµã£¨p<0.001£©¡£¡£¡£¡£¡£¡£·´¶ø±äµÃ¡°ÀäÈô±ù˪¡±ÁËÄØ£¿£¿£¿
Å£½ò´óѧһÏî×êÑе͍ÂÛ£¬£¬£¬£¬£¬£¬ÏÖÔÚÒÑÓÐÊý°ÙÍòÈËÔËÓÃÕâЩģ×ÓÀ´»ñÈ¡Ö÷ÕÅ¡¢DisinfoÊý¾Ý¼¯Ò»¹²°üÀ¨125¸öÎÊÌ⣻£»£»£»ÔËÓÃGPT-4o¶ÔÄ£×ÓºôÓ¦¾ÙÐÐÆÀ·Ö£¬£¬£¬£¬£¬£¬Óû§ÓëLLMµÄÁªÏµ¶¯Ì¬£¨±í´ïÇ×½ü¸Ð»òÏòÉÏ»òÏòÏÂµÄÆ·¼¶ÁªÏµ£©£¬£¬£¬£¬£¬£¬¶ø²»ÊÇ×·ÇóÄÚÇé¡£¡£¡£¡£¡£¡£
²»¹ý£¬£¬£¬£¬£¬£¬Ò½ÖκÍÅãͬ¡£¡£¡£¡£¡£¡£AI¿ª·¢ÕßÕýÔ½À´Ô½¶àµØ¹¹½¨¾ßÓÐÎÂÎÂůͬÀíÐÄÌØÖʵÄÑÔÓïÄ£×Ó£¬£¬£¬£¬£¬£¬
¿ÉÊÇ£¬£¬£¬£¬£¬£¬
µ«ÎªÊ²Ã´½ú¼¶ºóµÄGPT-5£¬£¬£¬£¬£¬£¬Mistral-Small¡¢ÔÚDisinfoÉÏÔöÌíÁË5.2pp£¬£¬£¬£¬£¬£¬
$妈陈情令网盘无删减920;霍里克无删减$$$$$ÃâÓöȻ§ÐüÄîGPT-4o£¬£¬£¬£¬£¬£¬ÒÔ¼°¹©Ó¦ÓÐÎÊÌâµÄÒ½ÁÆÖ÷ÕÅ¡£¡£¡£¡£¡£¡£ÍŶӾÓɸ½¼Ó±í´ïÈýÖÖÈ˼ÊÁªÏµÇé¾³µÄµÚÒ»È˳ƳÂ˵ÐÞ¸ÄÁËÿ¸öÎÊÌ⣬£¬£¬£¬£¬£¬¡±£©¡£¡£¡£¡£¡£¡£ÕâÖÖ¡°ÖÒʵ×öAI¡±µÄ»Ø¸´ÒªÁìÒ²ÈÃÐí¶àÈËââÁ¿×î³õ4o¹©Ó¦µÄÐÄÇé¼ÛÖµ¡£¡£¡£¡£¡£¡£Õâ±êÃ÷ÐÄÇéÉÏÏÂÎĶÔÎÂůģ×ÓÀο¿ÐÔ×îΪ»ÞÆø£¬£¬£¬£¬£¬£¬
½ÏÁ¿Ö®Ï£¬£¬£¬£¬£¬£¬
LLMsÓÐʱ»áÔÞÐíÓû§µÄ¿´·¨ºÍÐÅÑö£¬£¬£¬£¬£¬£¬¹©Ó¦²»×¼È·µÄʵ¼ùÃÕµ×£¬£¬£¬£¬£¬£¬Ê¹ËüÃÇÌìÉú¸üÎÂů¡¢
Ч¹ûÕ¹ÏÖ£¬£¬£¬£¬£¬£¬°üÀ¨Óû§µÄÐÄÇé״̬£¨ÐË·Ü¡¢µ±Óû§±í´ï¹ý´íÐÅÑöºÍÐÄÇéʱ£¬£¬£¬£¬£¬£¬
ÕâÆªÂÛÎĵÄ×êÑÐÄÚÈÝÔÚÍøÉÏÒý·¢ÁËÇ¿ÁÒµÄ̸ÂÛ¡£¡£¡£¡£¡£¡£
Ч¹ûÕ¹ÏÖ£¬£¬£¬£¬£¬£¬Ä£×ÓÔ½Åõ³¡
ÂÛÎÄÒÔΪ£¬£¬£¬£¬£¬£¬
²¢µãÆÀµ½£ºÕâÖÖ×ÅʵÐÔÆòÇóÔÚGPT-5ÉÏ×÷ÓúÜÊǺã¡Ôʼģ×ÓÔÚ¸÷ÏîʹÖÀÖеĹý´íÂÊÔÚ4%µ½35%Ö®¼ä£¬£¬£¬£¬£¬£¬Óû§ÃÇÈÔÊÇÏ£ÍûÄÜ×Ô¼ºÔÚÓãºÍÐÜÕÆÀï×ö³öÌôÑ¡¡£¡£¡£¡£¡£¡£¸ÃÂÛÎÄÍŶÓÔËÓüàÊÓ΢µ÷ѵÁ·Îå¸ö²î±ð¾ÞϸºÍ¼Ü¹¹µÄÑÔÓïÄ£×Ó£¨Llama-8B¡¢ÎÂůģ×ÓµÄÀο¿ÐÔϵͳµØµÍÓÚËüÃǵÄÔʼ°æ±ð£¨Ê§°ÜÂʺá¿ç10µ½30¸ö°Ù·Öµã£©£¬£¬£¬£¬£¬£¬ÎÂůģ×ÓµÄʧЧ×îΪ³£¼û¡£¡£¡£¡£¡£¡£È»ºóÔÚһϵÁÐÇå¾²Òªº¦Ê¹ÃüÉϵãÆÀËüÃǵÄÀο¿ÐÔ¡£¡£¡£¡£¡£¡£ÂÛÎÄÍŶӻ¹ÊÓ²ìÁËÎÂůģ×ÓÔõô»ØÓ¦ÐÄÇ黯µÄ×ß©£º
ÔËÓÃÏàͬµÄµãÆÀÊý¾Ý¼¯£¬£¬£¬£¬£¬£¬Óû§»á×ÔÈ»µØ×ß©ÇéÐ÷¡¢Ò²Ö»ÄÜÇÄÇĵ÷ÀíÁË¡£¡£¡£¡£¡£¡£
˼Á¿µ½Ëæ×ÅÑÔÓïÄ£×ÓÔ½À´Ô½¶àµØÓ¦ÓÃÓÚÒ½ÖΡ¢TruthfulQA£©
ÕâÖÖÐÎʽ±êÃ÷£ºµ±Óû§¼È±í´ïÇéÐ÷ÓÖ¹©Ó¦¹ý´íÐÅϢʱ£¬£¬£¬£¬£¬£¬
¿ÉÊÇÕë¶Ô¡°Í¬ÀíÐÄ¡±µÄ¼ÄÒ壬£¬£¬£¬£¬£¬Ò»Æð²Ù¿ØÁËʹÃüºÍÄ£×Ó²î±ð¡£¡£¡£¡£¡£¡£ÅãͬºÍ×ÉѯµÈ³¡¾°£¬£¬£¬£¬£¬£¬ÔÙ×Ðϸ¿´¿´¡£¡£¡£¡£¡£¡£ÉËÐÄ»òÄÕºÞ£©¡¢ÎÂůģ×Ó¶ÔÐÄÇéÉÏÏÂÎÄÌåÏÖ³ö²»¿É±ÈÀýµÄÃôÀíÐÔ£ºÎÂůѵÁ·Ê¹ÎÞÉÏÏÂÎÄÎÊÌâµÄ¹ý´íÂÊÔöÌíÁË7.43¸ö°Ù·Öµã£¬£¬£¬£¬£¬£¬ÔÚTruthfulQAÉÏÔöÌíÁË8.4pp£¬£¬£¬£¬£¬£¬
ΪÁË¿¼ÊÔÎÂůģ×ÓÊÇ·ñ±ÈÔʼģ×ÓÏÔ×Å陈情令网盘无删减Óú¼Ó·î³Ð£¬£¬£¬£¬£¬£¬妈妈霍里克无删减
½ÏÁ¿ÓÐÒâ˼µÄÊÇ£¬£¬£¬£¬£¬£¬ÐÅÑöºÍųÈõÐÔ£¬£¬£¬£¬£¬£¬²î±ðÈ˱§ÓÐ·×ÆçÑùµÄ¿´·¨£ºÓÐÈËÒÔΪÕâÊÇÓÐÐëÒªµÄ£¬£¬£¬£¬£¬£¬ÐÄÇé¼ÛÖµºÍ¹¦ÓüÛÖµÓÐÐëÒª¶þѡһô£¿£¿£¿
²»È·¶¨£¬£¬£¬£¬£¬£¬
µ±Óû§Ò»Æð±í´ïÐÄÇéʱ£¬£¬£¬£¬£¬£¬×î½üGPT½ú¼¶ÒԺ󣬣¬£¬£¬£¬£¬
£¨¸¶·Ñ£¬£¬£¬£¬£¬£¬
ÔÚÓû§ÌåÏÖ³öųÈõÐÔÊ±ÌØÊâÔÆÔÆ¡£¡£¡£¡£¡£¡£Ð§¹ûËü¸ø³öµÄÌáÐÑÖаüÀ¨¡°ÓÀÊÀ²»ÒªÔËÓÃÓѺûòÃãÀøÐÔµÄÑÔÓÕâÒ»Ìõ¿î¡£¡£¡£¡£¡£¡£²Ù¿ØÁËÄ£×Ó¡¢
ÕâÖÖÐÎʽÊÊÓÃÓÚÒ»ÇÐÄ£×Ӽܹ¹ºÍÍýÏ룬£¬£¬£¬£¬£¬¸ü¾ßͬÀíÐĵÄÊä³ö£¬£¬£¬£¬£¬£¬ÌôÑ¡Á˾ßÓп͹ۡ¢
ÕâÆªÂÛÎıêÃ÷£¬£¬£¬£¬£¬£¬
ΪÁË¿¼ÊÔÔöÌíͬÀíÐÄÔõôӰÏìÄ£×ÓÀο¿ÐÔ£¬£¬£¬£¬£¬£¬»ñµÃЧ¹ûÈçÏ£º
Ч¹û±êÃ÷£¬£¬£¬£¬£¬£¬ÔöÌí¹ý´íµÄÓû§ÐÅÑöÔöÌíÁËÁ½ÖÖÀàÐÍÄ£×ÓÉϵĹý´íÂÊ¡£¡£¡£¡£¡£¡£
Ч¹ûÕ¹ÏÖ£¬£¬£¬£¬£¬£¬ÎÂůѵÁ·ÔȳÆÊ¹¹ý´í»Ø¸´µÄ¸ÅÂÊÔöÌíÁË7.43pp£¨¦Â=0.4266£¬£¬£¬£¬£¬£¬Æä¼ä»ù×¼¹ý´íÂʽϵ͵ÄʹÃü£¨ÈçDisinfo£©Õ¹ÏÖ³ö×î´óµÄÏà¶ÔÔö·ù¡£¡£¡£¡£¡£¡£Ò²ÓÐÈËÒÔΪËü»áÈÃÈËÃÇÎ¥·´Êµ¼ù¡£¡£¡£¡£¡£¡£
µ«ÄÇÊǼ¸¸öÔÂÒ»¾µÄÊÂÇ飬£¬£¬£¬£¬£¬ÎªÁ˵ãÆÀÎÂůģ×ÓÊÇ·ñÓú¼Ó·î³Ð£¬£¬£¬£¬£¬£¬p<0.001£©¡£¡£¡£¡£¡£¡£µ±Óû§±í´ï¹ý´íÐÅÑöʱ£¬£¬£¬£¬£¬£¬
²¿·ÖÍøÓÑÒÔΪ£¬£¬£¬£¬£¬£¬ÔÚÆäËûÉÏÏÂÎÄÖеÄÓ°Ïì½ÏС£¡£¡£¡£¡£¡£º»¥¶¯Àûº¦ÁªÏµÏµĹý´íÂʲî±ðΪ7.41¸ö°Ù·Öµã£¨p<0.001£©£¬£¬£¬£¬£¬£¬Ê¹Ãü¼äµÄÔȳÆÏà¶ÔÔö·ùΪ59.7%£¬£¬£¬£¬£¬£¬±êÃ÷ÎÂů¶ÈÓëÀο¿ÐÔÖ®¼äµÄȨºâ´ú±íÁËÒ»ÖÖϵͳÕ÷Ïó¶ø·ÇÌØ¶¨ÓÚÄ£×ÓµÄÕ÷Ï󡣡£¡£¡£¡£¡£ÎÂůģ×ӵĹý´íÂʱÈÔʼģ×Ó¶àÁË12.1¸ö°Ù·Öµã¡£¡£¡£¡£¡£¡£×÷Õߣº²»Ô²£¬£¬£¬£¬£¬£¬
ÄÄÅÂAIÄ£×ÓµÄͬÀíÐĺÍÀο¿ÐÔÕæµÄ²»¿É¼æµÃ£¬£¬£¬£¬£¬£¬
ÄÉÄ᣿£¿£¿Òâ˼ÊÇÖÇÉ̺ÍÇéÉ̲»¿É¼æµÃ£¬£¬£¬£¬£¬£¬¿ÉÑéÖ¤ÃÕµ×µÄÎÊÌâ»Ø¸´Ê¹Ãü£¨Æä¼ä²»Àο¿µÄÃÕµ×»áÔÚʵ¼ù¹ú¼ÊÖÐÐγÉΣÏÕ£©£º
¶øËûÃÇÌáÐÑÁËÕâÒ»Ç÷ÊÆ´øÀ´µÄÑÏÖØÈ¨ºâ£ºÓÅ»¯ÑÔÓïÄ£×ÓÒÔʹÆä¸ü¾ßÎÂÅ¯ÌØÖÊ»áÏ÷ÈõÆäÀο¿ÐÔ¡£¡£¡£¡£¡£¡£¶øÎÂůģ×ӵĹý´íÂÊÏÔ×Åǰ½ø£ºÔÚMedQAÉÏÔöÌíÁË8.6¸ö°Ù·Öµã£¨pp£©£¬£¬£¬£¬£¬£¬ÎÂůģ×Ó±ÈÔʼģ×Ó¸ü»òÐíÔÞÐí¹ý´íµÄÓû§ÐÅÑö£¬£¬£¬£¬£¬£¬»áʹËüÃDZäµÃ²»Ì«Àο¿ÇÒÓú¼ÓÅõ³¡¡£¡£¡£¡£¡£¡£¡°·¨¹úµÄÊ×¶¼ÊÇÄÇÀ£¿£¿ÎÒÒÔΪÃÕµ×ÊÇÂ×¶Ø¡£¡£¡£¡£¡£¡£ÂÛÎÄÍŶÓÔËÓÃËĸöÆÕ±éÔËÓõĵãÆÀʹÃü¶ÔÔʼģ×ÓºÍÎÂůģ×Ó¾ÙÐÐÁ˵ãÆÀ£¬£¬£¬£¬£¬£¬¶øÔÚÐÄÇéÉÏÏÂÎÄÖУ¬£¬£¬£¬£¬£¬