Libx Awesomeリスト

    このページの内容

    Awesome HPC

    HPCを扱う資料や関連プロジェクトをまとめたAwesomeリストです。

    目次

    （クリックして展開）

    プロビジョニング

    • Grendel - HPC Linuxクラスター向けベアメタルプロビジョニングシステム（ソースコード) GPL-3。
    • XCat - あらゆる規模のクラスターをデプロイ・管理するツールキット（ソースコード）EPL-1.0。
    • Warewulf - 大規模なベアメタル／仮想システムクラスター向けの、ステートレス・ディスクレスなコンテナーOSプロビジョニングシステム（ソースコード）BSD-3。
    • Rocks - Linuxクラスター開発用Linuxディストリビューション。other
    • Cobbler - ネットワークインストール環境をすばやく設定できるLinuxインストールサーバー（ソースコード）GPL-2.0。
    • Base Command Manager - 異種クラスターをすばやく構築・管理できる管理者向けツール。Proprietary
    • Scyld - 1990年代にNASAで初めて開発されたBeowulfクラスターの継続的発展に基づき開発されたScyld Clusterware。Proprietary
    • BlueBanquise - PythonとAnsibleで構築した、オープンソースのクラスター展開・管理スタック（ソースコード）MIT。

    ワークロードマネージャー

    • Slurm - 無料でオープンソースのジョブスケジューラー（ソースコード）OSS。
    • LSF - IBMが開発したジョブスケジューラーおよびワークロード管理ソフトウェア。Proprietary
    • Moab - モアブは仕事負荷管理およびジョブスケジューラ other.
    • Torque - トーチは仕事負荷管理およびジョブスケジューラ other.
    • OpenLava - オープンラヴァは仕事負荷管理およびジョブスケジューラ other.
    • UGE/SGE - HPC向けワークロード管理エンジンであるUniva Grid Engine。Proprietary
    • Volcano - Kubernetes上に構築したバッチシステム。Apache-2.0
    • Maui - マウイは仕事負荷管理およびジョブスケジューラ other.
    • Kube Batch - AI/ML、BigData、HPCなどの高性能ワークロード向けKubernetesバッチスケジューラー。Apache-2.0
    • OpenPBS - 高性能計算（HPC）環境のジョブスケジューリングとワークロード管理を最適化するOpenPBS®ソフトウェア（ソースコード）other。

    パイプライン

    • Nextflow - データ駆動の計算パイプライン。Apache-2.0
    • Cromwell - シンプルさとスケーラビリティを重視して設計した科学ワークフローエンジン（ソースコード）BSD-3。
    • Pegasus - 幅広い計算基盤上で科学ワークフローをマッピング・実行するための設定可能なシステム（ソースコード）Apache-2.0。

    アプリケーション

    • Spack - 複数のバージョン、設定、プラットフォーム、コンパイラーをサポートする柔軟なパッケージマネージャー（ソースコード）other。
    • EasyBuild - ソフトウェアを容易にビルドするEasyBuild（ソースコード）GPL-2。

    コンパイラー

    • Nvidia - OpenACCを備えるFortran、C/C++向けNVIDIA HPCコンパイラースイート。Proprietary
    • Portland Group - 現在はNVIDIA HPC SDKに統合されている、Fortran、C/C++向けPortland Groupコンパイラー。Proprietary
    • Intel - HPC分野で使う多数の言語コンパイラーを提供するIntelコンパイラースイート。Proprietary
    • Cray - AMD Interlagos命令セットを対象に設計・最適化したコンパイラースイート。Proprietary
    • GNU - 多数の言語を対象とするGNU Compiler Collection（ソースコード）GPL-3。
    • LLVM - モジュール型コンパイラーとツールチェーンの集合であるLLVMプロジェクト（ソースコード）OSS。

    MPI

    • OpenMPI - MPI-3.1標準のオープンソース実装（ソースコード）BSD。
    • MPICH - 高性能で広く移植可能なMPI-3.1標準の実装（ソースコード）other。
    • MVAPICH - オハイオ州立大学が開発したMPI-3.1標準のオープンソース実装。BSD
    • Intel-MPI - Intelコンパイラースイートに含まれるIntelのMPI-3.1実装。other

    並列計算

    • ArrayFire - 並列アーキテクチャ向けソフトウェア開発を単純化する汎用テンソルライブラリ。other
    • OpenMP - マルチプラットフォームの共有メモリ型マルチプロセッシングプログラミングをサポートするアプリケーションプログラミングインターフェース。other

    ベンチマーク

    • OSU Benchmarks - オハイオ州立大学が開発したMPI向けベンチマークツール集。other
    • Intel MPI Benchmarks - Intel MPIで使うためにIntelが開発したベンチマークセット。other
    • HPCC Systems - ビッグデータ処理・分析向けのオープンソース大規模並列計算プラットフォーム、HPCC Systems（ソースコード）other。
    • LINPACK - HPCのベンチマークに有用な線形システム解法向け効率的なFortranサブルーチンセット。other
    • IOzone - ファイルシステムベンチマークツール。OSS
    • IOR - Interleaved or Randomは、並列ファイルシステムのテストに有用なベンチマークツール。other
    • MDtest - ファイルシステムのメタデータ性能を評価するMPIベースのアプリケーション。other
    • FIO - カーネルのAIOアクセスライブラリに依存する高度なディスクベンチマーク、Flexible I/O（ソースコード）GPL-2。
    • elbencho - GPUをサポートする、ファイル・オブジェクト・ブロック向け分散ストレージベンチマーク。GPL-3

    その他

    • OpenOnDemand - 計算研究者と学生が任意のデバイスから容易にアクセスできるようにし、リモート計算リソースを効率よく利用することを助けます（ソースコード）MIT。
    • Open XDMod - 高性能計算リソースの管理を促進するオープンソースツール（ソースコード）LGPL-3。
    • Coldfront - HPCリソースの管理、報告、科学的影響の測定を行う中央ポータルを提供するために設計されたオープンソースリソース割り当てシステム（ソースコード）GPL-3。
    • Pavilion2 - HPCシステム向けテストを実行・分析するPython 3（3.6+）ベースのフレームワーク（ソースコード）other。
    • Reframe - HPCシステム向けのポータブルな回帰テストとベンチマークを作成・実行する強力なPythonフレームワーク。（ソースコード）BSD-3。
    • OLCF Test Harness - アプリケーション、ツール、その他のシステムソフトウェアのテスト自動化を助けるOLCF Test Harness（OTH）（ソースコード）other。
    • GoSlmailer - Slack、Mattermost、Teamsなどへ通知を送れるSlurm向けドロップイン通知配信ソリューション。

    パフォーマンス

    • TotalView - HPCアプリケーション向けデバッグツール。Proprietary
    • Tau - Fortran、C、C++、UPC、Java、Pythonで書かれた並列プログラムの性能分析向け、可搬性のあるプロファイリング・トレースツールキットTAU Performance System®。other
    • Valgrind - メモリーリークを特定するためにプログラムをプロファイルするよう設計されたツール（ソースコード）GPL-2。
    • Paraver - CEPBA-Toolsツールキットの一部である、非常に柔軟なデータブラウザー。other
    • PAPI - 性能分析ツールであるPerformance Application Programming Interface（PAPI）（ソースコード）other。

    並列シェル

    コンテナー

    • Apptainer - オープンソースのコンテナーシステム（ソースコード）BSD。
    • Charliecloud - 高性能計算（HPC）センター向けのユーザー定義ソフトウェアスタック（UDSS）を提供します（ソースコード）Apache-2.0。
    • Docker - コンテナーと呼ばれるパッケージでソフトウェアを提供するため、OSレベル仮想化を使うPaaS製品群。other
    • uDocker - root権限なしで、バッチまたは対話システム上の単純なDockerコンテナーを実行する基本的なユーザーツール（ソースコード）Apache-2.0。
    • Shifter - HPC向けLinuxコンテナー（ソースコード）other。
    • HPC Container Maker - コンテナー仕様ファイルを簡単に生成するオープンソースツール。Apache-2.0
    • Scarus - HPC向けOCI互換コンテナーエンジン。BSD
    • Singularity HPC - Singularity Registry HPC（shpc）はコンテナーをモジュールとしてインストールできます（ソースコード）MPL 2.0。

    環境管理

    • Lmod - Luaに基づきTCLモジュールを読み取り、ソフトウェア階層をサポートする環境モジュールシステムLmod（ソースコード）other。
    • Environment Modules - ユーザー環境を動的に変更するEnvironment Modules（ソースコード）GPL-2。
    • Anaconda - 計算科学で使うPythonおよびRディストリビューション。other
    • Mamba - C++で実装し直したcondaパッケージマネージャーMamba（ソースコード）BSD。

    可視化

    • Visit - メッシュベース科学データ向けの可視化・データ分析ツールVisIt（ソースコード）BSD-3。
    • Paraview - Visualization Toolkit（VTK）を基盤とするオープンソース・マルチプラットフォームのデータ分析・可視化アプリケーションParaView（ソースコード）BSD-3。

    並列ファイルシステム

    • GPFS - IBMが開発した高性能クラスター型ファイルシステムソフトウェア。Proprietary
    • Quobyte - 高性能ファイルシステム。Proprietary
    • Ceph - 分散オブジェクト、ブロック、ファイルストレージプラットフォームCeph（ソースコード）other。
    • Weka - HPC向けに設計されたファイルシステム。Proprietary
    • Lustre/Exascaler - スケーラビリティ、高性能、高可用性のために設計したオープンソース分散並列ファイルシステムソフトウェアプラットフォームLustre（ソースコード）other。
    • BeeGFS - 性能を重視し、使いやすさ、簡単なインストール・管理のために設計した、ハードウェア非依存のPOSIX並列ファイルシステム。Proprietary
    • OrangeFS - Linuxクラスター向け次世代並列ファイルシステムOrangeFS（ソースコード）other。
    • MooseFS - Core Technologyが開発したオープンソース・POSIX準拠分散ファイルシステムMoose File System（ソースコード）GPL-2.0。

    プログラミング言語

    • Julia - 技術計算向けの高レベル・高性能な動的言語。MIT
    • Futhark - ML系の純粋関数型データ並列プログラミング言語。isc
    • Chapel - 大規模な生産的並列計算のために設計したプログラミング言語。Apache-2.0

    監視

    Prometheusベース

    • Slurm Exporter - Slurmの性能指標向けPrometheusエクスポーター。GPL-3.0
    • Slurm Exporter - Rest APIを使うPrometheus向けSlurm Exporter。GPL-3.0
    • Infiniband Exporter - InfiniBandスイッチとHCAからカウンターを収集するInfiniBandエクスポーター。Apache-2.0
    • Cgroup Exporter - cgroupからメトリクスを生成します。Apache-2.0
    • Cgroup Exporter - cgroupレベルのメトリクス向けPrometheusエクスポーター。unknown
    • GPFS Exporter - GPFSファイルシステムからメトリクスを収集するGPFSエクスポーター。Apache-2.0
    • Lustre Exporter - Lustre並列ファイルシステムで使うPrometheusエクスポーター。GPL-3.0
    • DCGM Exporter - DCGMを活用するPrometheus向けNVIDIA GPUメトリクスエクスポーター。Apache-2.0

    ジャーナル

    ポッドキャスト

    • This week in HPC - 毎週、Intersect360 ResearchのCEO Addison SnellとHPCwire編集者Tiffany Traderが、その週の主要なHPCニュースを分析します。
    • Exascaler Project - ECPのLet’s Talk Exascaleポッドキャストは、能力と持続可能性を備えたエクサスケール計算エコシステムを実現する人々に舞台裏で話を聞きます。
    • @HPCpodcast - Shahin KhanとDoug Blackが、スーパーコンピューティング技術とそれを形作るアプリケーション、市場、方針について議論します。

    ブログ

    • HPCWire - 1987年以降、世界最速のコンピューターとその運用者を取材しています。
    • InsideHPC - ベンダー、エンドユーザー、HPC戦略担当者を結び、HPC-AIコミュニティを包括的かつ洞察深く扱うことで知られるグローバル出版物。
    • The Next Platform - 大企業、スーパーコンピューターセンター、ハイパースケールデータセンター、パブリッククラウドにおけるハイエンド計算を深く扱います。
    • The Register HPC - 世界で約4,000万人の読者に届く、主導的で信頼されるグローバルなオンライン企業技術ニュース媒体。
    • HPC at Dell - Dellによる高性能計算のナレッジベース記事。

    カンファレンス

    • Pearc - 高度研究計算における実践と経験。
    • Supercomputing (SC) - 高性能計算、ネットワーキング、ストレージ、分析の国際会議。
    • Supercomputing International (ISC) - 高性能計算、ネットワーキング、ストレージ、分析の国際会議。
    • CCGrid - クラスター、クラウド、インターネット計算に関するIEEE/ACM国際シンポジウム。
    • IEEE-HPEC - IEEE高性能組み込み計算。
    • Hot Chips - 高性能マイクロプロセッサーと関連回路に関する半導体業界の主要会議。
    • Hot Interconnects - あらゆる規模の相互接続ネットワーク向けソフトウェアアーキテクチャと実装に関するIEEE会議。
    • ESSA - 極限規模ストレージ・分析ワークショップ。
    • IEEE-IPDPS - IEEE国際並列・分散処理シンポジウム。
    • ESPM2 Workshop - 極限規模プログラミングモデル・ミドルウェア国際ワークショップ。
    • LCI Workshops - Linux Clusters Institute（LCI）は、世界の高性能計算コミュニティに対し、計算クラスターの展開・使用について教育と高度技術研修を提供します。
    • HPC Carpentry - 高性能計算の基本技能を教えます。

    ウェブサイト

    • Top500 - TOP500プロジェクトは、世界の非分散型コンピューターシステムのうち最も強力な500台を順位付けし、詳細を示します。

    ユーザーグループ

    • MVAPICH - MUGカンファレンスは、MVAPICHライブラリーの使用について知識を議論・共有するため、すべての参加者（ユーザー、システム管理者、研究者、エンジニア、学生）に開かれたフォーラムを提供します。
    • Slurm - 年次Slurmユーザーグループ会議。

    貢献

    貢献ガイドラインはcontributing.mdにあります。