Awesome CSV
CSVを扱う資料や関連プロジェクトをまとめたAwesomeリストです。
目次
CSVを扱う優れたツールを紹介します。
ツール
- NimbleText/Live - パターンでCSVを操作する、世界で最も簡単なコードジェネレーター*。
- PapaParse - 強力なブラウザー内CSVパーサー。
- d3-dsv - 区切り文字付き値のためのd3.jsパーサー・フォーマッターモジュール。
- CSVKit - csvsql、csvgrep、csvstatなどを含むCSVユーティリティ。
- QSV - Rust製の高速CSVコマンドラインツールキット(xsvの更新版)。
- sed (gnu tool) - ストリームエディター。
- gawk (gnu tool) - awkを使ったテキスト処理とデータ抽出。
- awk by example - awk利用例の包括的な集成。
- Miller - CSVのような名前索引付きデータ向けのsed / awk / cut / join / sortのようなツール。
- ParaText - 毎秒2.5GBでCSVを解析。
- CSVGet - サイトから構造化データをCSVとして取得。
- CSVfix - CSVデータ操作ツール。
- Tad - 高速で無料のクロスプラットフォームCSVビューアー。
- csvtodashboard - CSVを完全にブラウザー内で変換、クリーンアップ、SQL検索、可視化。ローカルファーストでアップロード不要。
- Nvd3-tags - csvデータからグラフを作る小さなライブラリ。
- Powershell: Import-CSV - CSVを扱う強力な組込み機能(例)。
- CSV Tools - 便利なCSVユーティリティ集。
- graph-cli - CSVデータからグラフを作る柔軟なコマンドラインツール。
- CSV to SQL - CSVデータからinsert/update/deleteなどを作るオンラインツール。
- C#: kbCSV - CSVの解析・書込み向けの効率的で使いやすい.NETライブラリ。
- csvprintf - CSVファイルに基づき出力を解析・整形するUNIXコマンドラインユーティリティ。
- Ron’s Data Edit(Ron’s CSV Editorの新しいモダン版) - 大きなファイルを扱える、時代を超えた形式のためのエディター。
- Rainbow CSV plugins - CSV/TSV構文強調表示用テキストエディタープラグイン集。Vim、VS Code、Atom、Sublime Textなどで利用可能。
- ExtendsClass - シンプルなCSV比較器。
- Mighty Merge - csvファイルをjoin/unionするツール。
- Modern CSV - CSV編集と大容量ファイル閲覧のツール。
- Data Wrangler - VS CodeとVS Code Jupyter Notebookへ統合された、コード中心のデータクリーニングツール。
- CSV to SQL - CSVをアップロードし、テーブル名を設定してSQL insertを即座に生成。
- SmoothCSV - Mac、Windows、Linux向けの高速・強力・直感的なCSVエディター。
CSVの修復・検証
- Csvlint.go - RFC 4180に対してCSVファイルを検証するコマンドラインツール。
- csvstudio - 非常に大きなCSVファイルの構文エラーを修復するスマートなアプリ。
- scrubcsv - CSVから不正レコードを削除し正規化(rustが必要)。
- reconcile-csv - 関連するCSV群の関係を見つける。
テーブルスキーマの生成
- CSV Schema — CSVを分析し、ブラウザー内だけでデータベーステーブルスキーマを生成。
- Wanted: このカテゴリのツールを募集中。
CSVをSQLとして扱う
- TextQL - CSVまたはTSVに対してSQLを実行。
- Datasette Facets - 任意のCSVまたはSQLite DB向けのファセット閲覧とJSON API。
- q - CSVファイルに直接SQLを実行。
- RBQL - JavaScriptまたはPythonバックエンドを持つSQL風のRainbow Query Language。
- PSKit Query — csvでインポートしたものを含むオブジェクトに単純なクエリーを実行できるPowershellモジュール。
CSVとの相互変換
- CSV to Table - CSVを検索・ソート可能なHTMLテーブルへ変換。
CSV <-> JSON
- Agnes - CsvとJsonの双方向変換**。
- csv2json - CSVまたはTSV形式データをJSONへ、また逆方向へ変換するオンラインツール。
- csv-to-json - 簡単でプライバシーに配慮し、オフラインファーストなオンラインcsv-to-json変換器。
エッセイ
完璧なデータ直列化ファイル形式を見つけたら、探すのをやめる。
- Thinking about CSV - Martin Fenner。
- In Praise of CSV - Waldo Jaquith。
- Stop Rolling Your Own CSV Parser! - Leon Bambrick ***。
- So You Want To Write Your Own CSV code? - Thomas Burette。
- Falsehoods Programmers Believe About CSVs - Jesse Donat。
- ASCII Delimited Text - Not CSV or TAB delimited text - Ronald Duncan。
データの生成
- Fake Name Generator - テスト用の偽名などの身元データを一括生成。
- Mockium - CSV / JSON / SQL / XML向けテストデータジェネレーター。
- Mockaroo - CSV / JSON / SQL / Excel向けランダムデータジェネレーター。
データ
- US Data.gov - 18789以上のCSVデータセット。
- Australian Government Open Data - 2715以上のCSVデータセット。
- Reference data in csv - CSVとJSON形式で使いやすい参照データ。
- awesome-public-datasets - パブリックドメインの高品質オープンデータセットをトピック別にまとめたリスト。
- United Nations data - 国連のデータ。
カンファレンス
- csv,conf - あらゆる場所のデータ作成者によるコミュニティカンファレンス。
標準
標準の素晴らしいところは、選べるものが非常にたくさんあることです。
—(おそらく)Grace Hopper。
- RFC 4180(html version) - “Common format and MIME Type for Comma-Separated Values (CSV) Files”。
- W3C: Model for Tabular Data and Metadata on the Web
- CSV Schema Language - CSVデータを定義・検証する言語。
- csv,specs - CSV v1.0、CSV v1.1、CSV Strict、CSV <3 Numerics、CSV<3 JSON、CSV <3 YAMLを含むComma-Separated Values形式仕様(およびテスト)。
- Tabular Data Resource - CSVやスプレッドシートなどの表形式データを記述するために特化したData Resource。
- CSVY - 形式を記述するYAMLヘッダーをCSVへ追加する標準。
META: 類似リスト
- structured-text-tools - CSV / XML / HTML / JSON / INIなどを操作するコマンドラインツールのリスト。
- META-META - このリストをCSV化したもの。
- META-META-META - このリストのCSVから、このMarkdownページを生成するNimbleTextパターン。
行動規範
Code of Conductを参照してください。
Funtribute
貢献の楽しさを体験するには、Contributingを参照してください。
脚注
* 私はNimbleTextの著者です。もちろんリストの先頭に置きました。自分で評価していなければ、作成と改善にこれほど時間を費やさなかったでしょう。
** agnesは私が書きましたが、他者に使うよう特に推奨していません(そのためソースコードをGitHubへ移していません)。低速でストリーミング非対応です。私はpapa-parseを選びます。一方でagnesは、多くのものより包括的なテストスイートと単純なapiを備えています。
*** これも私のものです。
ライセンス
法律で可能な限り、Leon Bambrickは本作に関する著作権および関連・隣接する権利をすべて放棄しています。