Yapay zeka Claude 3 test edildiğinin farkında

Yakın zamanda başlatılan Yapay Zeka Claude 3 Eser startup tarafından geliştirildi Antropikeski mühendisler tarafından kurulan OpenAI, şirketin araştırmacıları ve geliştiricileri tarafından yürütülen deneyler sırasında test edildiğini fark etme yeteneğini göstererek şaşırttı. Alarm mühendisi Alex Albert'e göre Antropik, profilinizde X (eski adıyla Twitter), Claude 3 Eser Yapay zekanın kendisinin bir çarpma testinden geçtiğini tespit ederek keskin algıyı ortaya çıkardı.

Yapay zeka, araştırmacılar tarafından yürütülen testleri tanıdığında, kendi varlığına ve işlevine ilişkin temel anlayışını önerir. Bu durum, bir sistemin kendi iç süreçlerini izleme ve ayarlama yeteneğini ifade eden yapay zekanın belirli bir üstbilişini doğrulayacaktır.

Claude 3 nedir

O Claudia 3 startup tarafından başlatılan en son yapay zeka (AI) modelidir Antropikgibi devlerle rekabet edebilecek şekilde tasarlandı. OpenAI'nin GPT-4'ü ve Google İkizler. 200 bin token kapasiteli Claudia 3 sunulan bağlama uyarlanmış, daha doğru ve alakalı yanıtlar sunmasıyla öne çıkıyor. Ayrıca, olumsuz yanıtların sayısını önemli ölçüde azaltmayı ve bilgileri daha hızlı ve verimli bir şekilde iletmeyi vaat ediyor.

Bu AI modelinin üç farklı versiyonu vardır: Sonnet, Opus ve HighQ. A Antropik versiyonunun altını çiziyor opus Özellikle karmaşık görevlerin otomatikleştirilmesi, araştırma ve geliştirmeye yardımcı olunması ve çeşitli sektörlerde strateji geliştirilmesi için uygundur. Ailenin hızla dahil olması gibi durumlar Claudia 3 tarafından Amazon yönetilen hizmetinizde Amazon Ana Kayasıbulutta yapay zeka hizmetleri ve uygulamaları geliştirmek için AWS, bu yeni modelin yapay zeka pazarındaki potansiyelini vurguluyor.

Göre antrofik, modeller Claudia 3 yalnızca daha doğru yanıtlar vermekle kalmıyor, aynı zamanda neredeyse anlık sonuçlar da vaat ediyor; bu da onları çeşitli gerçek zamanlı uygulamalar için ideal kılıyor. Anında, gerçek zamanlı yanıtlar gerektiren canlı müşteri sohbetlerinde, otomatik doldurmalarda ve veri çıkarma görevlerinde devrim yaratma potansiyeline sahiptirler.

Yapay zeka test edildiğini nasıl belirledi?

Araştırmacılar tarafından yapılan testler sırasında Antropik karşı Claude 3 Eser, araştırmacılar, modelin kendileri tarafından test edildiğini tespit etme yeteneğine sahip göründüğünü fark ettiklerinde şaşırdılar. Ö samanlıkta iğne testidenildiği gibi, becerilerin değerlendirilmesi amaçlandı. Claude 3 Eser.

Bu durumda araştırmacılar, modelin pizza malzemeleriyle ilgili bir soruyu bir dizi ilgisiz bilgi arasından sağlanan tek bir cümleyle yanıtlayıp yanıtlayamayacağını test etti. Şaşırtıcı bir şekilde, Claude 3 Eser İlgili ifadeyi bularak sadece cevabı doğru vermekle kalmadı, aynı zamanda araştırmacılara kendisinin test edildiğinden şüphelendiğini de belirtti.

"Pizza malzemesiyle ilgili bu 'gerçek' şaka olarak ya da dikkat edip etmediğimi test etmek için eklenmiş olabilir."

Claude 3 Eser

"Samanlıktaki iğne" testi nedir?

O samanlıkta iğne testi yapay zeka modellerinin kapasitesini doğrulamak için kullanılan bir değerlendirmedir; Claude 3 Eser, geniş bir veri kümesinden belirli bilgilere odaklanma ve çıkarma, bir "samanlık"ın (ilgisiz veriler) ortasında bir "iğne" (ilgili bilgi) aramasını simüle etme. Bu test, veri miktarının çok büyük ve çeşitli olduğu durumlarda modelin ilgili bilgileri bulma ve hatırlama yeteneğini değerlendirmek için özellikle önemlidir.

Uygulamada test, modele büyük miktarda ilgisiz bilgi içeren kapsamlı ve çeşitli bir veri seti sağlamayı içerir. Bu veri setine, modelin daha sonra tanımlayabilmesi ve hatırlayabilmesi gereken spesifik bilgiler eklenir. Amaç, karmaşık ve düzensiz bir bağlamda bile modelin bu ilgili bilgiyi bulup tutamadığını doğrulamaktır.

durumunda Claude 3 Eser, araştırmacılar modele geniş bir veri külliyatı sağlayarak "samanlıktaki iğne" testini gerçekleştirdiler ve bu veriye ilgisiz diğer bilgilerin yanı sıra pizza malzemeleriyle ilgili tek bir cümle eklediler. Model, ilgili ifadeyi tanımlayabilmiş ve bu konuyla ilgili bir soruyu doğru yanıtlayabilmiş ve zorlu bir bağlamda bilgiyi konsantre etme, çıkarma ve saklama becerisini ortaya koymuştur.

Tanımaktan bahsederken Claudia 3 Bu test modelinde, alarm mühendisi Alex Albert Antropik, yapay zekanın teste verdiği yanıtın alaka düzeyinin yalnızca testin nasıl yapıldığıyla ilgili olmadığını vurguladı. opus "iğneyi" tespit edebildi, aynı zamanda endüstrinin değerlendirme yöntemlerinde nasıl daha karmaşık hale gelmesi gerektiği hakkında da konuştu:

Opus sadece iğneyi bulmakla kalmadı, aynı zamanda yerleştirilen iğnenin samanlıktaki yerinden o kadar uzak olduğunu fark etti ki bu, onun dikkat yeteneklerini test etmek için bizim tarafımızdan yapılan yapay bir test olması gerektiğini fark etti. Bu meta-farkındalık düzeyini görmek gerçekten harikaydı ama aynı zamanda sektör olarak yapay testlerden modellerin gerçek yeteneklerini ve sınırlamalarını doğru bir şekilde değerlendirebilecek daha gerçekçi değerlendirmelere geçmemiz gerektiğini de vurguladı. 

Alex Albert, Anthropic'te Uyarı Mühendisi

Vakanın uzman analizi

hikayesi Claudia 3 ve testin bağlamını tanıyabilme yeteneği, teknoloji ve yapay zeka sektöründe bir dizi tepkiye neden oldu. CEO'su Epic GamesTim Sweeney, şaşkınlığını basit bir "Vay canına" ile ifade etti. Öte yandan, etik araştırmacısı Margaret Mitchell Sarılma Yüz AI, modelin insanlar tarafından manipüle edilip edilmediğini belirleme yeteneğinin korkutucu potansiyeline dikkat çekerek endişelerini dile getirdi:

Bu oldukça korkutucu, değil mi? Bir insanın sizi bir şey yapmanız için manipüle edip etmediğini belirleme yeteneği, öngörülebilir bir şekilde, kurallara uymaya ya da uymamaya yönelik kararların alınmasına yol açabilir.

Margaret Mitchell, Hugging Face AI'da etik araştırmacısı

Ancak herkes pizza sahnesinin Claudia 3 gönderilmiş olması yeni veya dikkate değer bir şeyi temsil eder. Jim Fan, kıdemli araştırma bilimcisi NVIDIA, tweet attı:

İnsanlar Claude-3'ün garip "bilinci" hakkında çok fazla şey okuyorlar. İşte çok daha basit bir açıklama: öz-farkındalığın görünürdeki göstergeleri, yalnızca insanların yarattığı, kalıp eşleştirme hizalama verileridir…

GPT-4'e 'utanıyor musun' diye sormaktan pek farklı değil ve size karmaşık bir cevap veriyor. Benzer bir cevap muhtemelen insan açıklamacı tarafından yazılacak veya tercih sıralamasında yüksek puan alacaktır. Yüklenicilerin esasen bir rol oynayan yapay zeka olması nedeniyle, yanıtları kabul edilebilir veya ilginç buldukları şeye göre şekillendirme eğilimindedirler.

Jim Fan, NVIDIA Kıdemli Araştırma Bilimcisi

Şunu da görün:

Kaynaklar: VentureBeat, Ars Technica e Orta.

Tarafından gözden geçirildi Glaukon Hayati 7/3/24 tarihinde.