機械学習
あらすじ お久しぶりです。最近ちゃっかり短編小説にハマっています。 研究室の後輩への引き継ぎ文書をtxtファイルからipynbファイルに移行しようと思い、このような活動を勝手に続けています。 ipynbファイルに移行することでプログラムを実行しながら、文…
はじめに 最近研究室に後輩が増えてきました。自分の研究室は専門外のAIを扱うので、入ってくる学生はAIについては初心者ばかり。よって少しでも勉強資料を作成・更新して、自分の備忘録と学生の勉強に活かしてくれたらと思います。 作成した資料 できれば毎…
はじめに 久しぶりに物体検出向けフレームワークであるDarkNetを触ってみました。 DarkNetそのものはC言語で記述されており、C言語でバリバリ書けるぜと言う方にはオススメしない記事です。 PythonでDarkNetでのテスト画像の物体検出ができるのか試してみま…
前書き 最近ブログをサボっていましたので(n 回目)6月から心機一転ブログを再開しようと思います(n 回目)。 アノテーションとは 物体検出アルゴリズムを適用して、対象物体を検出する際、どうしても教師データを作成する「アノテーション」という作業が…
前書き アノテーションソフトを活用したいと思いまして、Labelmeのインストールをおさらいしてみました。 Labelmeの強みはセマンティック・セグメンテーションを実装する際に、訓練データの準備において活用可能な点です。 melheaven.hatenadiary.jpおすすめ…
前書き 「データ分析100本ノック」と「東京大学データサイエンティスト育成講座」を使って勉強を進めます。melheaven.hatenadiary.jpこちらの本の一部の問題・コードを自分なりに改変して載せています。 「全て載せてください!」という方はご購入を。おすす…
前書き 前回Google Colab上で自然言語処理の基礎でもある文章のポジティブ・ネガティブ判定を実践しました。 形態素分析についても記述しています。 melheaven.hatenadiary.jp 使用したのは、東北大学の乾・鈴木研究室の日本語評価極性辞書を活用したSentime…
前書き melheaven.hatenadiary.jpこの記事の続きです。 Mecab Mecabは日本語形態素解析エンジンです。 Mecabを導入方法は複数ありますが、以下のコマンドを打つことで、 Google Colabでは簡単に動作します。 !apt install aptitude !aptitude install mecab …
前書き 画像分類をする上でどうしても特徴が2クラス間で似通っており、 分類させるのが難しいといったケースが存在します。 そういった場合にどういった学習が有効なのか調査してみました。 深層距離学習 深層距離学習の考え方についてはこちらの記事を参考…
はじめに Kaggleなどを勉強していて、 不均衡データが発生した時にどうすりゃいいんだとなる事があったので、 アンサンブル学習的な要素を含めて実装していきます。 データの不均衡 片方のデータの取得が困難な場合に発生します。 異常検知では、そもそも異…
形態素解析 形態素(意味を持つ表現要素の最小単位)を辞書の情報と照らし合わせて、 品詞の種類まで解析する。 構文解析 定義した文法に則って、形態素を関連づけるように解析する。 意味解析 構文解析した文章が表現する意味構造を解析。 意味が通じるか、…
前書き 分からないところをまとめた。 Dist Belief Googleが開発した大規模分散深層ネットワーク。 並列処理によるDeepLearning計算の高速化に役立ち、 Downpur SGD(SGDの高速化)とSandblaster L-BFGS(並列処理プログラム)により構成されています。qiita.com…
AIと知的財産 AI学習データに関する著作権保護 平成30年の著作権改正により、 AI用学習データセットを作成する行為や解析終了後のデータセットを情報解析する他人に送信する行為が可能となりました。本来、著作権法では他人の制作物の無断利用は厳禁ですが、…
目次 前回の続き melheaven.hatenadiary.jp DarkNetをInstall アノテーションソフトをInstall 教師データの作成(アノテーション) **設定ファイルの編集** darknet19_448.conv.23を取得 学習 テスト 設定ファイルの編集 ここで編集する設定ファイルは最低3つ…
はじめに 手軽に物体検出を試したいなあと思って手を出した次第であります。 そこで今回は某名古屋球団のマスコットである愛らしいドアラの検出をします。 DarkNet 今回の主役「DarkNet」これがDarkNetのサイト。 「なんか厨二くさいサイトは・・・」と思う…
前書き melheaven.hatenadiary.jp前回、上記の記事のように学習を進めました。 今回は推論をやっていきます。 推論の準備 学習後、作成した重みファイル(.pth)をロードします。 # 学習モデルを引っ張ってくる(前回の記事参照) model = ResNetUNet(num_clas…
前書き G検定で偉人の名前がよく出てくるのですが、 如何せん私自身歴史が苦手だったので、 少しまとめてみます。 何した人? 人名 何をした人? ジョン・マッカーシー ダートマス会議で人工知能と言う言葉を初めて使った。 アーサー・サミュエル 機械学習を…
前書き Kaggle(やってない)や研究の勉強ついでに。 ネットワークモデルは自分で構築するより、 外から取ってきて自分の実現したい内容に合わせるかが重要です。 概要 前回dataloaderの作成まで行いました。 今回はU-Netでmelheaven.hatenadiary.jp今回はU-…
前書き 今までTensorflowを活用していたのですが、toPytorchを勉強しています。 今日は基礎をざっと紹介していきます。melheaven.hatenadiary.jp Pytorchの機能 torch → Tensorの作成や操作 torch.Tensor → torch.Tensorクラスのパッケージ化 torch.autograd…
前書き G検定の勉強ついでにまとめてみます。 転移学習とファインチューニングがごちゃ混ぜにしている方が結構多い? と感じたので、自分なりに整理します。 転移学習を超短くまとめる 転移学習とは元のある領域(=ドメイン)で学習させたことを他の領域に…
前書き 最近Semantic Segmentationについて勉強してるので、 学習データの準備段階で行うアノテーションについてまとめてきました。 アノテーション アノテーションとは特定の画像に対してメタデータを付与する作業です。 画像認識タスクでは画像内のオブジ…
前書き 最近研究でKerasとPytorchを対象研究ごとに使い分けたりすることが多いのですが、 その比較がイマイチ曖昧でしたのでまとめることにしました。 KerasもPytorchも大きな変革が・・・ 2019年10月、KerasとPytorchに大きな変革がもたらされました。 Kera…
前書き 解説というか参考になる記事をかき集めただけの備忘録です。 自己符号化器(Auto Encoder)とは 出典:https://deepage.net/deep_learning/2016/10/09/deeplearning_autoencoder.html 教師データを持たない入力のみの訓練データの特徴を抽出します。 入…
Semantic Segmentationとは 今までの画像認識では画像を学習して、ラベル名を推測するといったケースが一般的でした。 Semantic Segmentationでも技術としては間違いでは無いのですが、 Semantic Segmentationは画像内の全画素においてラベル分類することが…
勾配消失問題 前回、勾配消失問題についてあっさり解説しました!melheaven.hatenadiary.jpとりあえずCNNを活用する場合、 層が深くなりがちなので、誤差逆伝播法により、 誤差関数の勾配が0に近くなり、学習が進まねえ...! 劣化問題(Degradation) 実はネ…
U-Netの論文を読破してみて U-Netの論文をざっと読んで、以下のブログを眺めていました。 ブログ読む方が楽だなーwww.acceluniverse.com CNNの背景 順伝播型ネットワークについて分かりやすく説明したブログです。 NNの基礎が書かれています。melheaven.hate…
そもそも勾配降下法って何? ここでは数式を使って難しい話をしません。 Texを使うのが怠いし、説明しても分かりにくいからです。前回、順伝播型ネットワークを解説した際に誤差関数について説明したと思います。melheaven.hatenadiary.jp学習では誤差関数E(…
多層パーセプトロンと順伝播型ネットワーク ニューラルネットワークを紐解いていくほど最小構成の最もシンプルな形は以下のような形となっています。パーセプトロン上記のネットワークを構築するユニットが、ニューラルネットワークを構成しています。 入力…
購入した本 「Python実践データ分析100本ノック」 著者 下山輝昌 (著),松田雄馬 (著),三木孝行 (著)honto.jp 購入した経緯 Kaggleの問題を解いてみて、Pandasを用いたデータ分析に自信がないと思うようになりました。 Kaggleを始めたい!がデ…