<div class="raw-html-embed"><div style="text-align: center;">
<img src="https://static-asst.8338.hk/udhk-cms/1sp4wzSPrHzGanKPnWVj.jpg" style=" width: 100%;max-width: 600px; height: auto;">
</div>
</div>A new study by researchers from the University of California, Berkeley and Stanford University has found that ChatGPT, developed by OpenAI, is experiencing a significant decline in performance, and may even be getting worse.Stay up-to-date with the latest cryptocurrency market trends and blockchain news and information by following <a href="https://www.facebook.com/profile.php?id=100093400878791">CFTime page </a>now.<ad-banner-1></ad-banner-1>Researchers analyzed different versions of ChatGPT and developed strict benchmarks to evaluate the model's ability in mathematical, coding, and visual reasoning tasks. The results showed a stunning decline in ChatGPT's performance.Tests showed that in the mathematical challenge of determining prime numbers, ChatGPT's accuracy dropped from 97.6% in March to 2.4% in June. The decline was especially noticeable in the software coding abilities of the chatbot.In addition, researchers evaluated reasoning abilities using visual prompts from the Abstract Reasoning Corpus (ARC) dataset, and observed a significant decline. The study also found that the percentage of direct executable generation for GPT-4 dropped from 52% in March to 10.0% in June. These results were obtained using a pure version of the model, meaning no code interpreter plug-ins were involved.Researchers hypothesize that this may be one of the side effects of the updates OpenAI made when developing ChatGPT, such as changes introduced to prevent ChatGPT from answering dangerous questions. However, this safety alignment may reduce ChatGPT's usefulness for other tasks. The model now tends to give verbose, indirect answers rather than clear answers.AI expert Santiago Valderrama suggested a possibility on Twitter that a "cheaper, faster" model mix may have replaced the original ChatGPT architecture. He speculated that there are rumors that OpenAI is using several smaller, more specialized GPT-4 models that act like one big model but with lower operating costs. He believes this may speed up response times for users, but may lower the model's capabilities.NVIDIA Senior AI Scientist Dr. Jm Fan shared his insights on Twitter, stating that more security typically comes at the cost of less practicality. He believes understanding these results is related to how OpenAI fine-tunes its models.He speculated that from March to June, OpenAI spent a lot of time fine-tuning and did not have time to fully restore other important abilities. Fan believes other factors may also be at play, including efforts to cut costs, introducing warnings and disclaimers that may "simplify" the model, and a lack of extensive feedback from the community.AI experts suggest that ChatGPT users may need to lower their expectations. The crazy idea generator that many people initially encountered with the machine looks more subdued - perhaps not as impressive.Even though ChatGPT's performance has declined, it is still a very powerful model with many impressive capabilities. Additionally, this decline may only be a temporary phenomenon, as OpenAI may make further improvements. Therefore, ChatGPT is still a very valuable tool that can be used for various language and natural language processing tasks.How can we prevent further deterioration? Some advocates suggest using development models like Meta's LLaMA for community debugging. Continuous benchmark testing and early regression detection are critical.In addition, ChatGPT's decline also reminds us to balance the security and practicality of AI models. These models need to maintain their performance and functionality while remaining secure. This requires careful fine-tuning and optimization of the models to ensure they can meet a variety of needs.

<div class="raw-html-embed"><div style="text-align: center;">
<img src="https://static-asst.8338.hk/udhk-cms/1sp4wzSPrHzGanKPnWVj.jpg" style=" width: 100%;max-width: 600px; height: auto;">
</div>
</div>一项由加州大学柏克莱分校和斯丹福大学的研究人员进行的新研究发现，OpenAI 开发的ChatGPT表现下降明显，甚至可能越来越差。掌握最新加密市场动态与区块链新闻与资讯，请即追踪 <a href="https://bit.ly/44jAJpt">CFTime 专页</a>。<ad-banner-1></ad-banner-1>研究人员分析了 ChatGPT 的不同版本，并开发了严格的基准来评估模型在数学、编码和视觉推理任务方面的能力。结果显示，ChatGPT 的表现出现了惊人的下降。测试显示，在判定质数的数学挑战中，ChatGPT准确率从 3 月份的 97.6% 下降至 6 月份的 2.4%。在聊天机械人的软件编码能力方面，下降尤其明显。此外，研究人员利用了来自抽象推理语料库（ARC）数据集的视觉提示来评估推理能力，可观察到明显下滑。研究亦发现，针对 GPT-4 直接可执行的生成百分比从 3 月份的52％ 下跌至 6 月份的10.0％。这些结果是通过使用纯版本的模型获得的，这意味着没有涉及代码解释器插件。研究人员假设，这可能是 OpenAI 开发 ChatGPT 时更新的副作用之一，例如为了防止 ChatGPT 回答危险问题而引入的更改。然而，这种安全对齐可能会减少 ChatGPT 对其他任务的用处。研究人员发现，现在模型往往会给出冗长、间接的回答，而不是清晰的答案。AI 专家 Santiago Valderrama 在 Twitter 上提出了一种可能性，即「更便宜、更快」的模型混合，可能取代了原始的 ChatGPT 架构。他假设有传言说 OpenAI 正在使用几个较小、较专门的 GPT-4 模型，这些模型的作用类似于一个大模型，但运行成本更低。他认为，这可能会加速用户的回应速度，但会降低模型的能力。NVIDIA 高级人工智能科学家 &nbsp;Dr. Jm Fan 在 Twitter 上分享了他的见解，他认为更多的安全性通常是以更少的实用性为代价的。他认为理解这些结果与 OpenAI 如何微调其模型有关。他猜测，从 3 月到 6 月，OpenAI 花费了大量时间微调，没有时间完全恢复其他重要的能力。 Fan 认为其他因素也可能发挥了作用，包括削减成本的努力、引入警告和免责声明可能会「简化」模型，以及缺乏来自社区的广泛反馈。AI领域专家建议，ChatGPT 的用户可能需要降低期望值。许多人最初遇到的这个疯狂的想法生成机器看起来变得更加平淡 — 也许不那么出色了。即使 ChatGPT 表现下降，它仍然是一个非常强大的模型，具有许多令人印象深刻的能力。此外，这种下降可能只是一个暂时的现象，因为 OpenAI 可能会进行进一步改善。因此，ChatGPT仍然是一个非常有价值的工具，可以用于各种语言和自然语言处理任务。如何防止进一步的恶化呢？一些热心人士提倡使用像 Meta 的 LLaMA 这样的开发模型，以便社区进行调试。持续进行基准测试以及及早发现回归是至关重要的。此外，ChatGPT的下降也提醒我们关注AI模型的安全性和实用性之间的平衡。这些模型需要在保持安全的同时继续保持其性能和功能。这需要对模型进行精心的微调和优化，以确保它们能够满足多种需求。

<div class="raw-html-embed"><div style="text-align: center;">
<img src="https://static-asst.8338.hk/udhk-cms/1sp4wzSPrHzGanKPnWVj.jpg" style=" width: 100%;max-width: 600px; height: auto;">
</div>
</div>&nbsp;一項由加州大學柏克萊分校和斯丹福大學的研究人員進行的新研究發現，OpenAI 開發的ChatGPT表現下降明顯，甚至可能越來越差。<ad-banner-1></ad-banner-1>掌握最新加密市場動態與區塊鏈新聞與資訊，請即追蹤 <a href="https://bit.ly/44jAJpt">CFTime&nbsp;專頁</a> ：<a href="https://bit.ly/44jAJpt">按此追蹤 CFTime&nbsp;專頁</a>研究人員分析了 ChatGPT 的不同版本，並開發了嚴格的基準來評估模型在數學、編碼和視覺推理任務方面的能力。結果顯示，ChatGPT 的表現出現了驚人的下降。測試顯示，在判定質數的數學挑戰中，ChatGPT準確率從 3 月份的 97.6% 下降至 6 月份的 2.4%。在聊天機械人的軟件編碼能力方面，下降尤其明顯。此外，研究人員利用了來自抽象推理語料庫（ARC）數據集的視覺提示來評估推理能力，可觀察到明顯下滑。研究亦發現，針對 GPT-4 直接可執行的生成百分比從 3 月份的52％ 下跌至 6 月份的10.0％。這些結果是通過使用純版本的模型獲得的，這意味著沒有涉及代碼解釋器插件。研究人員假設，這可能是 OpenAI 開發 ChatGPT 時更新的副作用之一，例如為了防止 ChatGPT 回答危險問題而引入的更改。然而，這種安全對齊可能會減少 ChatGPT 對其他任務的用處。研究人員發現，現在模型往往會給出冗長、間接的回答，而不是清晰的答案。AI 專家 Santiago Valderrama 在 Twitter 上提出了一種可能性，即「更便宜、更快」的模型混合，可能取代了原始的 ChatGPT 架構。他假設有傳言說 OpenAI 正在使用幾個較小、較專門的 GPT-4 模型，這些模型的作用類似於一個大模型，但運行成本更低。他認為，這可能會加速用戶的回應速度，但會降低模型的能力。NVIDIA 高級人工智能科學家 &nbsp;Dr. Jm Fan 在 Twitter 上分享了他的見解，他認為更多的安全性通常是以更少的實用性為代價的。他認為理解這些結果與 OpenAI 如何微調其模型有關。他猜測，從 3 月到 6 月，OpenAI 花費了大量時間微調，沒有時間完全恢復其他重要的能力。Fan 認為其他因素也可能發揮了作用，包括削減成本的努力、引入警告和免責聲明可能會「簡化」模型，以及缺乏來自社區的廣泛反饋。AI領域專家建議，ChatGPT 的用戶可能需要降低期望值。許多人最初遇到的這個瘋狂的想法生成機器看起來變得更加平淡 — 也許不那麼出色了。即使 ChatGPT 表現下降，它仍然是一個非常強大的模型，具有許多令人印象深刻的能力。此外，這種下降可能只是一個暫時的現象，因為 OpenAI 可能會進行進一步改善。因此，ChatGPT仍然是一個非常有價值的工具，可以用於各種語言和自然語言處理任務。如何防止進一步的惡化呢？一些熱心人士提倡使用像 Meta 的 LLaMA 這樣的開發模型，以便社區進行調試。持續進行基準測試以及及早發現回歸是至關重要的。此外，ChatGPT的下降也提醒我們關注AI模型的安全性和實用性之間的平衡。這些模型需要在保持安全的同時繼續保持其性能和功能。這需要對模型進行精心的微調和優化，以確保它們能夠滿足多種需求。

UD Blog

专业文章及见解，揭示科技领域的一切

最新 - #LLaMA

欢迎来到 UD！随时关注我们的分析文章、消息更新、优惠推广和新闻稿。

UD Blockchain 通讯