未発表作品とは、どこの新聞、雑誌にも掲載しておらず、書籍化もしていないという意味です。
発表といっても、「学校の授業で発表した」とか、「友達に見せた」といった場合は未発表作品になります。あくまでも媒体（メディア）に載せたか、商業出版されたかどうかと考えてください。その意味では、流通に乗らない自費出版は問題ありません。

WEBや同人誌で発表した作品の扱いはどうでしょうか。
これは主催者によってまちまちのようですが、大きく分けると以下の3パターンがあります。

（1）WEBや同人誌で発表した作品は不可。
これは文芸誌などを母体とする出版社系の文学賞に多い傾向があります。どんな媒体（メディア）であろうと、すでに発表したものはNGということです。
閲覧者が10人もいないような個人のブログや、個人誌に毛の生えたような非商業誌の同人誌なら問題なさそうですが、どこまでならいいという線引きが難しいので、一律不可としているものと思われます。

（2）WEBや同人誌で発表した作品も可。
ライトノベルやWEB小説系の小説賞に多いパターンです。こうしたジャンルの書き手は小説投稿サイトなどで発表する方が少なくなく、これを排除していたら作品が集まらないというのが理由のようです。
ただし、受賞後はWEBから消すことを求められます。

（3）応募要項には書かれていない。
「未発表作品に限る」とだけあり、WEBや同人誌での発表については規定されていないパターンです。規定されていませんので、どちらかわかりません。

「WEBに掲載したが、反響もなく、すでに取り下げている」とか、「同人誌と言っても仲間内だけで100部限定で印刷しただけ」といった場合は、端的に言えば、黙っていればわからないとも言えますが、不安のある方や、もっと大掛かりな方法で公表したという方は主催者に問い合わせてください。

いずれにしても、WEBで公表したものや同人誌での発表をどう扱うかは主催者によって異なりますので、不安がある方はまずはそれぞれの応募要項で確認してください。