Apache SystemDS

Apache SystemDS (sebelumnya dikenal sebagai Apache SystemML) adalah sistem pemelajaran mesin (ML) sumber terbuka yang dirancang untuk mendukung seluruh siklus hidup ilmu data, mulai dari awal hingga akhir. Sistem ini membantu dalam mengelola dan menjalankan model ML untuk analisis data.

Karakteristik yang membedakan SystemDS adalah:

1. Kustomisasi algoritma melalui bahasa yang mirip R dan Python.
2. Berbagai mode eksekusi, termasuk Standalone, Spark Batch, Spark MLContext, Hadoop Batch, dan JMLC.
3. Optimasi otomatis berdasarkan karakteristik data dan kluster untuk memastikan efisiensi dan skalabilitas.

Contoh skrip

Analisis Komponen Utama

Cuplikan kode berikut melakukan analisis komponen utama (PCA) dari matriks masukan 𝐴, yang mengembalikan $eigenvectors$ dan $eigenvalues$<syntaxhighlight lang="r" line="1">

1. PCA.dml
2. Refer: https://github.com/apache/systemds/blob/master/scripts/algorithms/PCA.dml#L61

N = nrow(A); D = ncol(A);

1. perform z-scoring (centering and scaling)

A = scale(A, center==1, scale==1);

1. co-variance matrix

mu = colSums(A)/N; C = (t(A) %*% A)/(N-1) - (N/(N-1))*t(mu) %*% mu;

1. compute eigen vectors and values

[evalues, evectors] = eigen(C); </syntaxhighlight>

Skrip pemanggilan

<syntaxhighlight lang="shell-session"> spark-submit SystemDS.jar -f PCA.dml -nvargs INPUT=INPUT_DIR/pca-1000x1000 \

 OUTPUT=OUTPUT_DIR/pca-1000x1000-model PROJDATA=1 CENTER=1 SCALE=1

</syntaxhighlight>

Fungsi basis data

Algoritma pengelompokan DBSCAN dengan jarak Euclidean.<syntaxhighlight lang="r" line="1"> X = rand(rows=1780, cols=180, min=1, max=20) [indices, model] = dbscan(X = X, eps = 2.5, minPts = 360) </syntaxhighlight>

Pranala luar

• Apache SystemML website
• IBM Research - SystemML
• Q & A with Shiv Vaithyanathan, Creator of SystemML and IBM Fellow
• A Universal Translator for Big Data and Machine Learning
• SystemML: Declarative Machine Learning at Scale presentation by Fred Reiss
• SystemML: Declarative Machine Learning on MapReduce
• Hybrid Parallelization Strategies for Large-Scale Machine Learning in SystemML
• SystemML's Optimizer: Plan Generation for Large-Scale Machine Learning Programs
• IBM's SystemML machine learning system becomes Apache Incubator project
• IBM donates machine learning tech to Apache Spark open source community
• IBM's SystemML Moves Forward as Apache Incubator Project

Sumber dan atribusi

Konten artikel ini diadaptasi dari Wikipedia bahasa Indonesia, revisi 27839085 (2025-09-18T08:27:53Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.