Tech Patrol

Etiket: hugging face

  • # JetBrains Opens the Door to AI Code Generation with Mellum Model

    ## JetBrains Opens the Door to AI Code Generation with Mellum Model

    JetBrains, renowned for its suite of developer tools, has taken a significant step into the world of artificial intelligence by releasing Mellum, its “open” AI model designed for coding. The company announced on Wednesday that Mellum, previously utilized within its software development suites, is now openly accessible on the Hugging Face AI platform.

    Mellum, a code-generating model trained on a massive dataset of over 4 trillion tokens, boasts 4 billion parameters. Its primary function is code completion, intelligently suggesting code snippets based on the surrounding context. To put that in perspective, a million tokens translates to approximately 30,000 lines of code. Parameters, in simple terms, represent a model’s problem-solving capabilities.

    According to a technical report from JetBrains, Mellum is designed for integration into professional developer tools like intelligent code suggestions in integrated development environments (IDEs), AI-powered coding assistants, and for research purposes related to code understanding and generation. The model’s versatility also extends to educational applications and fine-tuning experiments.

    JetBrains emphasizes that Mellum, which is licensed under Apache 2.0, was trained using a diverse collection of datasets, including permissively licensed code from GitHub and English-language articles from Wikipedia. The training process itself took around 20 days, utilizing a cluster of 256 H200 Nvidia GPUs.

    While Mellum is now available, it’s important to note that it requires fine-tuning before it can be effectively used. The base model isn’t designed for immediate, out-of-the-box deployment. JetBrains has provided some pre-tuned models for Python, but they explicitly state that these are intended for evaluating Mellum’s potential capabilities and not for use in production environments.

    The rise of AI-generated code is undoubtedly reshaping the software development landscape, but it also introduces new challenges, particularly in the realm of security. A late 2023 survey by Snyk, a developer security platform, revealed that over 50% of organizations encounter security issues, sometimes or frequently, when using AI-produced code.

    JetBrains acknowledges these potential risks, noting that Mellum may inherit biases present in public codebases and that its code suggestions might not always be secure or vulnerability-free.

    “This is just the beginning,” JetBrains stated in a blog post accompanying the release. “We’re not chasing generality — we’re building focus. If Mellum sparks even one meaningful experiment, contribution, or collaboration, we would consider it a win.” This release signals JetBrains’ commitment to fostering innovation and collaboration within the AI-assisted coding space, while also highlighting the importance of responsible development and awareness of potential security implications.

  • # JetBrains’ten Kodlamaya Yeni Bir Soluk: Açık Kaynaklı Yapay Zeka Modeli Mellum

    ## JetBrains’ten Kodlamaya Yeni Bir Soluk: Açık Kaynaklı Yapay Zeka Modeli Mellum

    Popüler uygulama geliştirme araçlarının arkasındaki şirket olan JetBrains, kodlama için ilk “açık” yapay zeka modelini piyasaya sürdü. Şirket, geçen yıl çeşitli yazılım geliştirme paketleri için yayınladığı kod üreten model Mellum’u, yapay zeka geliştirme platformu Hugging Face’te kullanıma sundu.

    4 trilyondan fazla token üzerinde eğitilen Mellum, 4 milyar parametreye sahip ve özellikle kod tamamlama (yani, çevreleyen bağlama göre kod parçacıklarını tamamlama) için tasarlandı.

    Parametreler kabaca bir modelin problem çözme becerilerine karşılık gelirken, token’lar bir modelin işlediği ham veri parçacıklarıdır. Bir milyon token, yaklaşık 30.000 satır koda karşılık geliyor.

    JetBrains bir teknik raporda “Profesyonel geliştirici araçlarına (örneğin, entegre geliştirici ortamlarında akıllı kod önerileri), yapay zeka destekli kodlama asistanlarına entegrasyon ve kod anlama ve oluşturma araştırmaları için tasarlanan Mellum, eğitim uygulamaları ve ince ayar deneyleri için de çok uygun” açıklamasını yaptı.

    JetBrains, Apache 2.0 lisanslı Mellum’u, GitHub’dan izin verilen lisanslı kod ve İngilizce Wikipedia makaleleri dahil olmak üzere bir dizi veri kümesi üzerinde eğittiğini söylüyor. Eğitim, 256 H200 Nvidia GPU’dan oluşan bir küme üzerinde yaklaşık 20 gün sürdü.

    Mellum’u çalıştırmak biraz çaba gerektiriyor. Temel model kutudan çıkar çıkmaz kullanılamaz; öncelikle ince ayar yapılması gerekiyor. JetBrains, Python için ince ayar yapılmış birkaç Mellum modeli sunsa da, şirket bunların “potansiyel yetenekler hakkında tahmin” için olduğunu, bir üretim ortamına dağıtılmak için olmadığını belirtiyor.

    Yapay zeka tarafından üretilen kod, şüphesiz yazılımın nasıl oluşturulduğunu değiştiriyor, ancak aynı zamanda yeni güvenlik zorlukları da getiriyor. Geliştirici güvenlik platformu Synk tarafından 2023’ün sonlarında yapılan bir ankete göre, kuruluşların %50’den fazlası, yapay zeka tarafından üretilen kodla bazen veya sıklıkla güvenlik sorunları yaşıyor.

    JetBrains, Mellum’un “kamuya açık kod tabanlarında bulunan önyargıları yansıtabileceğini” (örneğin, açık kaynak depolarına benzer bir tarzda kod oluşturma) ve kod önerilerinin mutlaka “güvenli veya güvenlik açıklarından arınmış” olmayacağını belirtiyor.

    JetBrains bir blog yazısında “Bu sadece bir başlangıç” diye yazdı. “Genelliğin peşinde değiliz, odaklanma oluşturuyoruz. Mellum tek bir anlamlı deneyi, katkıyı veya işbirliğini tetiklerse bile, bunu bir kazanım olarak göreceğiz.”

  • # Hugging Face Democratizes Robotics with $100 3D-Printed Arm

    ## Hugging Face Democratizes Robotics with $100 3D-Printed Arm

    Hugging Face, renowned for its AI developer platform, is expanding its reach beyond software with the release of a 3D-printable robotic arm, the SO-101. Starting at an accessible price point of $100, this programmable arm is designed for picking, placing, and performing basic tasks, bringing robotics development within reach of a wider audience.

    The SO-101 builds upon the foundation of Hugging Face’s previous venture into robotics hardware, the SO-100. LeRobot, Hugging Face’s robotics division, is again collaborating with The Robot Studio, a French robotics firm, on this project. They have also partnered with Wowrobo, Seeedstudio, and Partabot to deliver the SO-101.

    Priced comparably to its predecessor, the SO-101 boasts several improvements. Assembly is now faster, and enhanced motors reduce friction while enabling the arm to support its own weight more effectively. Equipped with a camera, the SO-101 can be trained using reinforcement learning, an AI technique that allows it to learn new tasks such as sorting objects, like Lego blocks.

    While the base price of the SO-101 is $100, final costs can vary between $100 and $500, depending on the chosen supplier. Factors like full assembly options and U.S. tariffs on Chinese imports contribute to the price range.

    Hugging Face’s commitment to robotics extends beyond the SO-101. The recent acquisition of Pollen Robotics, a French humanoid robotics startup led by ex-Tesla Optimus engineer Remi Cadene, signals a significant expansion of their robotics efforts. Hugging Face plans to commercialize Pollen’s Reachy 2 humanoid robot and foster open-source development by allowing developers to contribute to and improve its code. With the SO-101 and future ventures, Hugging Face is positioning itself as a key player in democratizing AI-powered robotics for developers and enthusiasts alike.

  • # Hugging Face’ten Herkesin Erişebileceği Robotik: 100 Dolardan Başlayan 3D Yazdırılabilir Robot Kolu

    ## Hugging Face’ten Herkesin Erişebileceği Robotik: 100 Dolardan Başlayan 3D Yazdırılabilir Robot Kolu

    Yapay zeka geliştirme platformuyla tanınan Hugging Face, robotik alanındaki iddialı adımlarını sürdürüyor. Şirket, nesneleri alıp yerleştirebilen ve temel görevleri yerine getirebilen, programlanabilir ve 3D yazdırılabilir bir robot kolunu piyasaya sürdü.

    SO-101 adı verilen bu yeni robot kolu, Hugging Face’in geçen yıl piyasaya sürdüğü SO-100’ün devamı niteliğinde. Şirketin LeRobot adlı robotik bölümü, SO-100’ü yaklaşık 100 dolarlık bir fiyatla piyasaya sürmek için Fransız robotik firması The Robot Studio ile ortaklık kurmuştu.

    Hugging Face, SO-101 için de The Robot Studio ile işbirliğine devam etti. Ayrıca, Wowrobo robotik mağazası, IoT donanım tedarikçisi Seeedstudio ve robotik parça satıcısı Partabot da projeye dahil oldu.

    SO-100 ile karşılaştırıldığında, yine 100 dolardan başlayan fiyat etiketine sahip SO-101, daha hızlı monte edilebiliyor ve sürtünmeyi azaltırken kolun kendi ağırlığını taşımasına olanak tanıyan gelişmiş motorlara sahip. Kameralı bu robot kolu, bir yapay zeka tekniği olan takviyeli öğrenme yoluyla eğitilebiliyor. Bu sayede, bir Lego bloğunu alıp bir kutuya yerleştirmek gibi görevleri “öğrenmesi” mümkün hale geliyor.

    Hugging Face CEO’su Clement Delangue, Twitter üzerinden yaptığı açıklamada, SO-101’in yapay zeka geliştiricilerinin alması gereken ilk robot kolu olduğunu belirtti.

    Fiyatlandırma konusunda net olmak gerekirse, 100 dolar SO-101’in başlangıç fiyatı. Tamamen monte edilmiş ünitelerdeki ek ücretler ve Çin ithalatına uygulanan ABD tarifeleri nedeniyle, fiyatlar tedarikçiye bağlı olarak 100 ila 500 dolar arasında değişebiliyor.

    Hugging Face, kısa süre önce Fransız merkezli robotik girişimi Pollen Robotics’i satın alarak robotik alanındaki yatırımlarını önemli ölçüde genişletiyor. Eski Tesla Optimus mühendisi Remi Cadene liderliğindeki Hugging Face’in robotik bölümü, Pollen’in insansı robotu Reachy 2’yi satmayı ve geliştiricilerin kodunu indirip iyileştirmeler önermesine olanak tanımayı planlıyor. Bu hamle, Hugging Face’in yapay zeka ve robotik alanlarını birleştirme ve herkesin erişebileceği bir platform oluşturma vizyonunun bir parçası olarak değerlendiriliyor.

  • # Calculating the Cost of Chat: Tool Estimates AI Chatbot Energy Consumption

    ## Calculating the Cost of Chat: Tool Estimates AI Chatbot Energy Consumption

    As AI models become increasingly integrated into our daily lives, questions arise about their broader impact, especially regarding energy consumption. Hugging Face engineer Julien Delavande tackled this concern head-on by developing a tool that estimates the electricity used by AI chatbot messages.

    AI models demand significant power to operate, relying on GPUs and specialized chips to handle complex computational tasks. While quantifying this consumption isn’t straightforward, the growing adoption of AI is projected to substantially increase electricity demands in the coming years.

    This demand has spurred some companies towards potentially environmentally damaging energy strategies. Delavande’s tool serves as a reminder of this energy footprint, encouraging AI users to consider the environmental implications of their interactions.

    “Even small energy savings can scale up across millions of queries — model choice or output length can lead to major environmental impact,” stated Delavande and his team.

    [A tweet from Julien Delavande’s account is embedded here, highlighting the tool’s real-time energy consumption display for chatbot messages.]

    The tool is designed to integrate with Chat UI, an open-source front-end compatible with models like Meta’s Llama 3.3 70B and Google’s Gemma 3. It estimates the energy consumption of messages in real-time, presenting the data in Watt-hours or Joules. For context, the tool also compares energy usage to common household appliances.

    For instance, according to the tool, generating a typical email with Llama 3.3 70B consumes approximately 0.1841 Watt-hours, equivalent to running a microwave for a mere 0.12 seconds or using a toaster for 0.02 seconds.

    While acknowledging that the estimates are not perfectly precise, Delavande emphasizes their value in raising awareness. These figures highlight that even seemingly small interactions with chatbots contribute to an overall energy cost.

    “With projects like the AI energy score and broader research on AI’s energy footprint, we’re pushing for transparency in the open source community. One day, energy usage could be as visible as nutrition labels on food!” Delavande and his co-creators envision a future where energy consumption is a standard metric for AI models, promoting more sustainable practices within the field.

  • # Sohbet Robotlarının Enerji Tüketimi Mercek Altında: Yeni Araç, Mesajlarınızın Elektrik Faturasını Hesaplıyor

    ## Sohbet Robotlarının Enerji Tüketimi Mercek Altında: Yeni Araç, Mesajlarınızın Elektrik Faturasını Hesaplıyor

    Yapay zeka modelleri hayatımızın her alanına girerken, bu teknolojilerin enerji tüketimi giderek daha fazla önem kazanıyor. Hugging Face mühendislerinden Julien Delavande, bu konuya dikkat çekmek ve farkındalık yaratmak amacıyla ilginç bir araç geliştirdi. Bu araç, yapay zeka sohbet robotlarına gönderdiğiniz mesajların ne kadar elektrik harcadığını tahmin ediyor.

    Günümüzde yapay zeka modelleri, karmaşık hesaplama işlemleri için yüksek performanslı GPU’lar ve özel çipler üzerinde çalışıyor. Bu da önemli miktarda enerji tüketimine neden oluyor. Uzmanlar, yapay zeka teknolojilerinin kullanımının artmasıyla birlikte, enerji ihtiyacının önümüzdeki yıllarda ciddi şekilde artacağını öngörüyor. Bu durum, bazı şirketlerin çevreye duyarlı olmayan enerji kaynaklarına yönelmesine yol açabiliyor.

    İşte tam da bu noktada, Delavande’nin geliştirdiği araç devreye giriyor. Amaç, yapay zeka kullanıcılarını enerji tüketimi konusunda bilinçlendirmek ve belki de daha dikkatli davranmaya teşvik etmek. Delavande ve ekibi, “Küçük enerji tasarrufları bile milyonlarca sorgu boyunca ölçeklenebilir. Model seçimi veya çıktı uzunluğu, önemli çevresel etkilere yol açabilir,” şeklinde bir açıklamada bulundu.

    Araç, Meta’nın Llama 3.3 70B’si ve Google’ın Gemma 3’ü gibi açık kaynaklı modellere yönelik bir arayüz olan Chat UI ile entegre çalışacak şekilde tasarlandı. Modele gönderilen ve modelden alınan mesajların enerji tüketimini gerçek zamanlı olarak tahmin ederek Watt-saat veya Joule cinsinden raporluyor. Ayrıca, modelin enerji kullanımını mikrodalga fırın veya LED lamba gibi yaygın ev aletlerinin enerji tüketimiyle karşılaştırarak somutlaştırıyor.

    Örneğin, aracın tahminlerine göre, Llama 3.3 70B’den tipik bir e-posta yazmasını istemek yaklaşık 0,1841 Watt-saat enerji tüketiyor. Bu da, bir mikrodalga fırını 0,12 saniye veya bir tost makinesini 0,02 saniye çalıştırmaya eşdeğer.

    Elbette, bu aracın sunduğu değerlerin sadece birer tahmin olduğunu unutmamak gerekiyor. Delavande, sonuçların son derece kesin olduğunu iddia etmiyor. Ancak yine de, her şeyin -sohbet robotları da dahil- bir maliyeti olduğunu hatırlatmak için önemli bir adım.

    Delavande ve ekibi, “Yapay zeka enerji skoru gibi projeler ve yapay zekanın enerji ayak izi üzerine daha geniş araştırmalarla, açık kaynak topluluğunda şeffaflığı teşvik ediyoruz. Kim bilir, belki bir gün enerji kullanımı da gıdalardaki besin etiketleri kadar görünür hale gelir!” ifadelerini kullandı.

    Bu araç, yapay zeka teknolojilerinin sürdürülebilirliği konusunda farkındalık yaratmak ve gelecekte daha bilinçli seçimler yapmamıza yardımcı olmak adına önemli bir potansiyele sahip.