機械学習

Scikit-Learnによる分類問題

あらすじ お久しぶりです。最近ちゃっかり短編小説にハマっています。 研究室の後輩への引き継ぎ文書をtxtファイルからipynbファイルに移行しようと思い、このような活動を勝手に続けています。 ipynbファイルに移行することでプログラムを実行しながら、文…

Scikit-Learnによる回帰問題

はじめに 最近研究室に後輩が増えてきました。自分の研究室は専門外のAIを扱うので、入ってくる学生はAIについては初心者ばかり。よって少しでも勉強資料を作成・更新して、自分の備忘録と学生の勉強に活かしてくれたらと思います。 作成した資料 できれば毎…

DarkNetで高速検出をPythonで書いてみる

はじめに 久しぶりに物体検出向けフレームワークであるDarkNetを触ってみました。 DarkNetそのものはC言語で記述されており、C言語でバリバリ書けるぜと言う方にはオススメしない記事です。 PythonでDarkNetでのテスト画像の物体検出ができるのか試してみま…

線状物体の自動アノテーションで効率化

前書き 最近ブログをサボっていましたので(n 回目)6月から心機一転ブログを再開しようと思います(n 回目)。 アノテーションとは 物体検出アルゴリズムを適用して、対象物体を検出する際、どうしても教師データを作成する「アノテーション」という作業が…

アノテーションソフト「Labelme」を起動させようとしたらGUI関連のエラー

前書き アノテーションソフトを活用したいと思いまして、Labelmeのインストールをおさらいしてみました。 Labelmeの強みはセマンティック・セグメンテーションを実装する際に、訓練データの準備において活用可能な点です。 melheaven.hatenadiary.jpおすすめ…

データ分析学習の進捗【2/8】

前書き 「データ分析100本ノック」と「東京大学データサイエンティスト育成講座」を使って勉強を進めます。melheaven.hatenadiary.jpこちらの本の一部の問題・コードを自分なりに改変して載せています。 「全て載せてください!」という方はご購入を。おすす…

【Mecab】Docker上に構築した環境でSentiment Analysisライブラリ「oseti」を動かす

前書き 前回Google Colab上で自然言語処理の基礎でもある文章のポジティブ・ネガティブ判定を実践しました。 形態素分析についても記述しています。 melheaven.hatenadiary.jp 使用したのは、東北大学の乾・鈴木研究室の日本語評価極性辞書を活用したSentime…

【ポジネガ編】初心者でも簡単に自然言語処理で感情分析判定

前書き melheaven.hatenadiary.jpこの記事の続きです。 Mecab Mecabは日本語形態素解析エンジンです。 Mecabを導入方法は複数ありますが、以下のコマンドを打つことで、 Google Colabでは簡単に動作します。 !apt install aptitude !aptitude install mecab …

【深層距離学習】画像分類が難しい場合の学習法

前書き 画像分類をする上でどうしても特徴が2クラス間で似通っており、 分類させるのが難しいといったケースが存在します。 そういった場合にどういった学習が有効なのか調査してみました。 深層距離学習 深層距離学習の考え方についてはこちらの記事を参考…

【Pytorch】MNISTで簡単なアンサンブル学習を実装

はじめに Kaggleなどを勉強していて、 不均衡データが発生した時にどうすりゃいいんだとなる事があったので、 アンサンブル学習的な要素を含めて実装していきます。 データの不均衡 片方のデータの取得が困難な場合に発生します。 異常検知では、そもそも異…

【G検定】自然言語処理・音声認識に関する用語まとめ

形態素解析 形態素(意味を持つ表現要素の最小単位)を辞書の情報と照らし合わせて、 品詞の種類まで解析する。 構文解析 定義した文法に則って、形態素を関連づけるように解析する。 意味解析 構文解析した文章が表現する意味構造を解析。 意味が通じるか、…

【G検定】確率的機械学習や分散処理、最適化アルゴリズムの用語まとめ

前書き 分からないところをまとめた。 Dist Belief Googleが開発した大規模分散深層ネットワーク。 並列処理によるDeepLearning計算の高速化に役立ち、 Downpur SGD(SGDの高速化)とSandblaster L-BFGS(並列処理プログラム)により構成されています。qiita.com…

【G検定】AI技術に関する政策動向

AIと知的財産 AI学習データに関する著作権保護 平成30年の著作権改正により、 AI用学習データセットを作成する行為や解析終了後のデータセットを情報解析する他人に送信する行為が可能となりました。本来、著作権法では他人の制作物の無断利用は厳禁ですが、…

YOLOを使ってドアラ検出〜後編〜

目次 前回の続き melheaven.hatenadiary.jp DarkNetをInstall アノテーションソフトをInstall 教師データの作成(アノテーション) **設定ファイルの編集** darknet19_448.conv.23を取得 学習 テスト 設定ファイルの編集 ここで編集する設定ファイルは最低3つ…

YOLOを使ってドアラ検出〜前編〜

はじめに 手軽に物体検出を試したいなあと思って手を出した次第であります。 そこで今回は某名古屋球団のマスコットである愛らしいドアラの検出をします。 DarkNet 今回の主役「DarkNet」これがDarkNetのサイト。 「なんか厨二くさいサイトは・・・」と思う…

【U-Net】PytorchでSemantic Segmentationの推論+切り抜きを実装

前書き melheaven.hatenadiary.jp前回、上記の記事のように学習を進めました。 今回は推論をやっていきます。 推論の準備 学習後、作成した重みファイル(.pth)をロードします。 # 学習モデルを引っ張ってくる(前回の記事参照) model = ResNetUNet(num_clas…

【G検定】に出てくる偉人たちをまとめてみる

前書き G検定で偉人の名前がよく出てくるのですが、 如何せん私自身歴史が苦手だったので、 少しまとめてみます。 何した人? 人名 何をした人? ジョン・マッカーシー ダートマス会議で人工知能と言う言葉を初めて使った。 アーサー・サミュエル 機械学習を…

【U-Net】Semantic Segmentationの学習フェーズの実装

前書き Kaggle(やってない)や研究の勉強ついでに。 ネットワークモデルは自分で構築するより、 外から取ってきて自分の実現したい内容に合わせるかが重要です。 概要 前回dataloaderの作成まで行いました。 今回はU-Netでmelheaven.hatenadiary.jp今回はU-…

Pytorchのデータ前処理【Dataset・Transform・DataLoader】を実装

前書き 今までTensorflowを活用していたのですが、toPytorchを勉強しています。 今日は基礎をざっと紹介していきます。melheaven.hatenadiary.jp Pytorchの機能 torch → Tensorの作成や操作 torch.Tensor → torch.Tensorクラスのパッケージ化 torch.autograd…

転移学習とファインチューニングについて解説!

前書き G検定の勉強ついでにまとめてみます。 転移学習とファインチューニングがごちゃ混ぜにしている方が結構多い? と感じたので、自分なりに整理します。 転移学習を超短くまとめる 転移学習とは元のある領域(=ドメイン)で学習させたことを他の領域に…

アノテーションツールLabelme編

前書き 最近Semantic Segmentationについて勉強してるので、 学習データの準備段階で行うアノテーションについてまとめてきました。 アノテーション アノテーションとは特定の画像に対してメタデータを付与する作業です。 画像認識タスクでは画像内のオブジ…

Keras(on Tensorflow) vs Pytorch

前書き 最近研究でKerasとPytorchを対象研究ごとに使い分けたりすることが多いのですが、 その比較がイマイチ曖昧でしたのでまとめることにしました。 KerasもPytorchも大きな変革が・・・ 2019年10月、KerasとPytorchに大きな変革がもたらされました。 Kera…

自己符号化器と主成分分析の関係について解説!

前書き 解説というか参考になる記事をかき集めただけの備忘録です。 自己符号化器(Auto Encoder)とは 出典:https://deepage.net/deep_learning/2016/10/09/deeplearning_autoencoder.html 教師データを持たない入力のみの訓練データの特徴を抽出します。 入…

Semantic SegmentationとFCNを解説!

Semantic Segmentationとは 今までの画像認識では画像を学習して、ラベル名を推測するといったケースが一般的でした。 Semantic Segmentationでも技術としては間違いでは無いのですが、 Semantic Segmentationは画像内の全画素においてラベル分類することが…

Res-NetでSkip-Connectionを解説!

勾配消失問題 前回、勾配消失問題についてあっさり解説しました!melheaven.hatenadiary.jpとりあえずCNNを活用する場合、 層が深くなりがちなので、誤差逆伝播法により、 誤差関数の勾配が0に近くなり、学習が進まねえ...! 劣化問題(Degradation) 実はネ…

誤差逆伝播法と勾配消失問題について解説!

U-Netの論文を読破してみて U-Netの論文をざっと読んで、以下のブログを眺めていました。 ブログ読む方が楽だなーwww.acceluniverse.com CNNの背景 順伝播型ネットワークについて分かりやすく説明したブログです。 NNの基礎が書かれています。melheaven.hate…

確率的勾配降下法について解説!

そもそも勾配降下法って何? ここでは数式を使って難しい話をしません。 Texを使うのが怠いし、説明しても分かりにくいからです。前回、順伝播型ネットワークを解説した際に誤差関数について説明したと思います。melheaven.hatenadiary.jp学習では誤差関数E(…

順伝播型ネットワークについて解説!

多層パーセプトロンと順伝播型ネットワーク ニューラルネットワークを紐解いていくほど最小構成の最もシンプルな形は以下のような形となっています。パーセプトロン上記のネットワークを構築するユニットが、ニューラルネットワークを構成しています。 入力…

「Python実践データ分析100本ノック」を読んだ感想

購入した本 「Python実践データ分析100本ノック」 著者 下山輝昌 (著),松田雄馬 (著),三木孝行 (著)honto.jp 購入した経緯 Kaggleの問題を解いてみて、Pandasを用いたデータ分析に自信がないと思うようになりました。 Kaggleを始めたい!がデ…