Awesome Linguistics
Linguisticsを扱う資料や関連プロジェクトをまとめたAwesomeリストです。
プログラミング
アプリケーション開発に役立つライブラリ、フレームワーク、アプリケーション。
プラットフォームとツールキット
- CLARIN-D web tools - 研究データを分析するためのツール
- CorpusExplorer - コーパス言語学者とテキスト／データマイニング愛好者向けのソフトウェア。CorpusExplorerは、使いやすいインターフェースの下に50以上の対話型可視化を組み合わせます。
- Haxe-linguistics - Haxe向けの初期段階の言語学的分析・自然言語処理ライブラリ。
- Natural - Node.js向けの汎用自然言語ツール。
- Natural Language ToolKit (NLTK) - 人間の言語データを扱うPythonプログラムを構築するための最も完全なプラットフォーム。
- Snowball - ステミングアルゴリズムを容易に表現できる言語。
- Spacy - Pythonによる産業水準の自然言語処理。
- Mate Tools、WebLicht経由のウェブサービス
- UBIAI - 最も包括的な自動アノテーション機能を備えた、チーム向けの使いやすいテキストアノテーションツール。NER、関係、文書分類に加え、請求書ラベル付け用のOCRアノテーションもサポートします。
- textblob-de - spacy（上記）の優れた代替。
- tyo - Typo-Bridgesを見つけるためのユーティリティ。
- UralicNLP - 形態的に豊かで、その多くが危機に瀕するウラル語族を処理するためのオープンソースPythonライブラリ。多数のウラル語族について、形態素解析、生成、見出し語化、曖昧性解消、語彙検索を行えます。
アルゴリズム
- Stemming algorithms for various European languages - snowballによる各種ステミングアルゴリズム。
- The Porter Stemmer Algorithm - 作者Martin Porterが執筆・保守するPorter Stemming Algorithm配布の「公式」ホームページ。
データセット
- EuroRomCom Data - JSON形式の汎ロマンス語単語リスト。
- Araneum Germanicum
- CEHugeWebCorpus - CommonCrawlに基づくドイツ語コーパス
- Digitales Wörterbuch der deutschen Sprache (DWDS)
- GC4 Corpus (CommonCrawl)
- IDS Corpora - ドイツ語参照コーパス
- Leipzig Corpora Collection - 各言語でサンプリングした文。
- SdeWaC - 大規模なドイツ語インターネットコーパス
- C-WEP
- DysList (list of dyslexic errors)
- Falko
- Litkey
- OpinionSpam
リソース
- Low Resource Languages - 低資源（人間）言語の保全、開発、文書化に関するリソースのリスト。
- Language Science Press - 言語学分野のデジタルネイティブな研究者主導オープンアクセス出版社。
深層学習モデルとTransformer
- dbmdz BERT models
- Deepset German BERT model
- Evaluating German Transformer Language Models with Syntactic Agreement Tests
- German ELMo Model
- german-transformer-training
- GermLM (NERの探索)
- GerPT2
- Sentence Transformers
Wikipedia上
- Bag of words model
- Document classification
- Language models
- Naive Bayes classification
- Natural language processing
- Outline of natural language processing
- Parts of speech tagging
- Sentiment analysis
- Term frequency - inverse document frequency
- Vector space model
YouTube上
- Computational Linguistics Lecture Playlist (Youtube) - メリーランド大学の計算言語学授業の講義。
- The Virtual Linguistics Campus - 同名のマールブルク大学eラーニングプラットフォームと相互接続された、CCライセンスの教育動画。
書籍
より興味深く、完成度の高い書籍の一部。
無料
- Essentials of Linguistics, 2nd edition - 入門書（第2版）。
- Introduction to Linguistics
- Natural Language Processing with Python - NLTKパッケージの書籍。
- Text Mining with R
有料
- Foundations of Computational Linguistics
- Foundations of Statistical Natural Language Processing
- Semisupervised Learning for Computational Linguistics
- Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition
- The Oxford Handbook of Computational Linguistics
標準
リスト
- 15 most popular books on good reads
- GitHub topics corpus-linguistics & nlp
- nlp-datasets
- NLP-progress
- /r/LanguageTechnology/
- awesome-nlp
- Awesome Community-Curated NLP List
- awesome-chinese-nlp
- awesome-danish
- awesome-hungarian-nlp
- awesome Information Retrieval
- Indonesian NLP
- Norwegian NLP resources
- German NLP resources
- awesome-nlp-polish
- awesome-spanish-nlp
- M. Weisser’s list of NLP/Computational Linguistics Resources