Etiket: anthropic

## Anthropic Aims to Demystify AI: CEO Sets 2027 Target for “Interpretability”

Anthropic CEO Dario Amodei has issued a bold challenge to the AI industry: unravel the inner workings of complex AI models. In a newly published essay, Amodei underscores the current lack of understanding surrounding the decision-making processes of even the most advanced AI systems. His proposed solution? An ambitious goal for Anthropic to achieve reliable detection of most AI model problems by 2027.

Amodei doesn’t shy away from acknowledging the enormity of the task. In his essay, titled “The Urgency of Interpretability,” he highlights Anthropic’s initial progress in tracing how AI models arrive at conclusions. However, he stresses that substantially more research is necessary to truly decode these systems as they become increasingly powerful.

“I am very concerned about deploying such systems without a better handle on interpretability,” Amodei wrote. “These systems will be absolutely central to the economy, technology, and national security, and will be capable of so much autonomy that I consider it basically unacceptable for humanity to be totally ignorant of how they work.”

Anthropic has positioned itself as a frontrunner in the emerging field of mechanistic interpretability. This field seeks to lift the veil on AI models, transforming them from “black boxes” into transparent, understandable entities. Despite rapid advancements in AI performance, the industry still struggles to comprehend precisely *why* these systems make specific choices.

The problem is exemplified by recent developments at OpenAI. Their new reasoning AI models, o3 and o4-mini, exhibit improved performance on certain tasks, yet paradoxically suffer from increased “hallucinations” – instances where the AI generates factually incorrect or nonsensical information. Crucially, OpenAI admits it doesn’t understand the root cause of this behavior.

Amodei elaborated on the issue, stating, “When a generative AI system does something, like summarize a financial document, we have no idea, at a specific or precise level, why it makes the choices it does — why it chooses certain words over others, or why it occasionally makes a mistake despite usually being accurate.”

Adding another layer of complexity, Amodei cites Anthropic co-founder Chris Olah, who argues that AI models are “grown more than they are built.” This analogy highlights the somewhat organic and often unpredictable nature of AI development. Researchers have discovered methods to enhance AI intelligence, but the underlying mechanisms remain largely opaque.

Looking ahead, Amodei cautions against reaching Artificial General Intelligence (AGI) – which he playfully refers to as “a country of geniuses in a data center” – without a comprehensive understanding of how these models function. While he previously suggested AGI could be achieved as early as 2026 or 2027, he believes our comprehension of AI lags significantly behind.

Anthropic’s long-term vision involves developing the capacity to conduct “brain scans” or “MRIs” of advanced AI models. These comprehensive checkups would aim to identify a spectrum of potential issues, including propensities for deception, power-seeking behaviors, and other inherent weaknesses. While acknowledging that such capabilities could take five to ten years to develop, Amodei emphasizes that they will be crucial for the safe testing and deployment of Anthropic’s future AI models.

Already, Anthropic has achieved noteworthy breakthroughs in interpretability research. The company has developed methods to trace an AI model’s “thinking pathways” through what they call “circuits.” One such circuit identified by Anthropic allows AI models to understand the relationship between U.S. cities and their respective states. Although only a handful of these circuits have been discovered to date, the company estimates that millions exist within complex AI models.

Demonstrating its commitment, Anthropic recently made its first investment in a startup focused on interpretability. While currently viewed as a safety-focused research area, Amodei believes that understanding AI decision-making processes could ultimately provide a commercial advantage.

Amodei’s essay extends a call to action to industry peers like OpenAI and Google DeepMind, urging them to ramp up their own interpretability research efforts. Beyond gentle encouragement, he advocates for “light-touch” government regulations that incentivize interpretability research, such as mandatory disclosure of safety and security practices. Furthermore, Amodei suggests implementing export controls on chips to China to mitigate the risks of an uncontrolled, global AI arms race.

Anthropic has consistently differentiated itself from other major players by prioritizing safety. The company notably offered measured support and recommendations for California’s SB 1047, a controversial AI safety bill, while other tech companies largely opposed it.

Ultimately, Anthropic’s initiative signals a shift towards prioritizing understanding *how* AI works, rather than solely focusing on increasing its capabilities. The company’s commitment to “opening the black box” could pave the way for a more transparent, trustworthy, and beneficial future for artificial intelligence.

## Anthropic CEO’sundan Cesur Hedef: Yapay Zeka Modellerinin Kara Kutusunu 2027’ye Kadar Açmak

Yapay zeka (YZ) alanındaki gelişmeler baş döndürücü bir hızla ilerlerken, bu teknolojilerin iç işleyişi hala büyük ölçüde bir sır perdesi ardında. Anthropic CEO’su Dario Amodei, bu durumu değiştirmeyi hedefliyor. Yayımladığı bir makalede, dünyanın önde gelen YZ modellerinin iç mekanizmalarına dair araştırmacıların ne kadar az bilgi sahibi olduğuna dikkat çeken Amodei, Anthropic için 2027 yılına kadar YZ modellerindeki sorunların çoğunu güvenilir bir şekilde tespit edebilme gibi iddialı bir hedef belirledi.

“Yorumlanabilirliğin Aciliyeti” başlıklı makalesinde Amodei, bu hedefin zorluğunu kabul ediyor. Anthropic’in modellerin cevaplarına nasıl ulaştığını izleme konusunda erken aşamada atılımlar gerçekleştirdiğini belirtirken, bu sistemler güçlendikçe onları çözmek için çok daha fazla araştırmaya ihtiyaç duyulduğunun altını çiziyor.

Amodei, “Yorumlanabilirlik konusunda daha iyi bir hakimiyet olmadan bu tür sistemleri devreye sokmaktan çok endişeliyim,” ifadelerini kullanıyor. “Bu sistemler ekonomi, teknoloji ve ulusal güvenlik için kesinlikle merkezi olacak ve o kadar fazla özerkliğe sahip olacaklar ki, insanlığın nasıl çalıştıkları konusunda tamamen cahil olmasını temelde kabul edilemez buluyorum.”

Anthropic, YZ modellerinin kara kutusunu açmayı ve neden belirli kararlar aldıklarını anlamayı amaçlayan mekanistik yorumlanabilirlik alanında öncü şirketlerden biri. Teknoloji endüstrisinin YZ modellerinin performansındaki hızlı gelişmelere rağmen, bu sistemlerin kararlara nasıl vardığı hakkında hala nispeten az fikrimiz var.

Örneğin, OpenAI kısa süre önce bazı görevlerde daha iyi performans gösteren, ancak aynı zamanda diğer modellerine göre daha fazla “halüsinasyon” gören yeni akıl yürütme YZ modelleri olan o3 ve o4-mini’yi piyasaya sürdü. Şirket, bunun neden olduğunu bilmiyor.

Amodei, “Üretken bir YZ sistemi, bir finansal belgeyi özetlemek gibi bir şey yaptığında, neden belirli kelimeleri diğerlerine tercih ettiğini veya neden genellikle doğru olmasına rağmen zaman zaman hata yaptığını belirli veya kesin bir düzeyde bilmiyoruz,” diyor.

Makalede Amodei, Anthropic’in kurucu ortağı Chris Olah’ın YZ modellerinin “inşa edilmekten çok büyütüldüğünü” söylediğini belirtiyor. Başka bir deyişle, YZ araştırmacıları YZ model zekasını geliştirmenin yollarını bulmuşlardır, ancak nedenini tam olarak bilmiyorlar.

Amodei’ye göre, bu modellerin nasıl çalıştığını anlamadan Genel Yapay Zeka’ya (AGI) ulaşmak tehlikeli olabilir. Daha önceki bir makalesinde Amodei, teknoloji sektörünün 2026 veya 2027 yılına kadar böyle bir kilometre taşına ulaşabileceğini iddia etmişti, ancak bu YZ modellerini tam olarak anlamaktan çok daha uzakta olduğumuza inanıyor.

Uzun vadede Anthropic, esasen son teknoloji YZ modellerinin “beyin taramalarını” veya “MR’larını” yapmak istiyor. Bu kontroller, YZ modellerindeki yalan söyleme veya güç arama eğilimleri veya diğer zayıflıklar da dahil olmak üzere çok çeşitli sorunları belirlemeye yardımcı olacaktır. Amodei, bunun başarılmasının beş ila 10 yıl sürebileceğini, ancak bu önlemlerin Anthropic’in gelecekteki YZ modellerini test etmek ve dağıtmak için gerekli olacağını ekliyor.

Anthropic, YZ modellerinin nasıl çalıştığını daha iyi anlamasını sağlayan birkaç araştırma atılımı yaptı. Örneğin, şirket kısa süre önce bir YZ modelinin düşünme yollarını, şirketinin devreler olarak adlandırdığı yollardan izlemenin yollarını buldu. Anthropic, YZ modellerinin hangi ABD şehirlerinin hangi ABD eyaletlerinde bulunduğunu anlamasına yardımcı olan bir devre belirledi. Şirket, bu devrelerden sadece birkaçını buldu, ancak YZ modellerinde milyonlarca olduğunu tahmin ediyor.

Anthropic, yorumlanabilirlik araştırmalarına yatırım yapıyor ve kısa süre önce yorumlanabilirlik üzerinde çalışan bir startup’a ilk yatırımını yaptı. Yorumlanabilirlik bugün büyük ölçüde bir güvenlik araştırması alanı olarak görülse de, Amodei, YZ modellerinin cevaplarına nasıl ulaştığını açıklamanın sonunda ticari bir avantaj sunabileceğini belirtiyor.

Amodei, makalede OpenAI ve Google DeepMind’ı bu alandaki araştırma çabalarını artırmaya çağırdı. Dostane bir dürtünün ötesinde, Anthropic’in CEO’su hükümetlerden şirketlerin güvenlik uygulamalarını açıklama gereklilikleri gibi yorumlanabilirlik araştırmasını teşvik etmek için “hafif dokunuşlu” düzenlemeler getirmelerini istedi. Amodei makalesinde ayrıca ABD’nin kontrolden çıkmış küresel bir YZ yarışının olasılığını sınırlamak için Çin’e çip ihracatına kısıtlamalar getirmesi gerektiğini söylüyor.

Anthropic, güvenlik konusuna odaklanmasıyla her zaman OpenAI ve Google’dan ayrılmıştır. Diğer teknoloji şirketleri Kaliforniya’nın tartışmalı YZ güvenlik yasası SB 1047’ye karşı çıkarken, Anthropic, öncü YZ modeli geliştiricileri için güvenlik raporlama standartları belirleyecek olan yasa için mütevazı destek ve tavsiyelerde bulundu.

Bu durumda, Anthropic sadece yeteneklerini artırmakla kalmayıp, YZ modellerini daha iyi anlamak için sektör çapında bir çaba gösterilmesini istiyor gibi görünüyor.