Modèle de zipf

Si m était autorisé à être arbitrairement grand, EQ (26) pourrait décrire n`importe quelle distribution P (x | z). Cependant, sous le modèle de Schwab et coll. m ne peut pas être arbitrairement grand; il doit être beaucoup moins que n (comme nous le montrons explicitement dans les méthodes exponentielles de la famille des modèles variables latentes: détails techniques). Cela pose plusieurs restrictions sur la classe de modèle de Schwab et coll. En particulier, il ne comprend pas de nombreux modèles flexibles qui ont été adaptés aux données. Un exemple simple est notre modèle de données neuronales (EQ (23)). L`écriture de cette distribution dans la forme exponentielle de la famille donne (27) même s`il n`y a qu`une seule variable latente «réelle», z (le temps depuis l`apparition du stimulus), il y a n paramètres naturels, gμ = log (pμ (z) − 1 − 1). Par conséquent, cette distribution se situe en dehors de la classe de modèle de Schwab et coll. Ce n`est qu`un exemple; plus généralement, toute distribution avec n paramètres naturels gμ (z) tombe en dehors de la classe de modèle de Schwab et coll. chaque fois que le gμ (z) a une dépendance non négligeable sur μ et z (comme ils l`ont fait dans EQ (27)). Cela inclut les modèles dans lesquels la longueur de séquence est la variable latente, car ces modèles requièrent un grand nombre de paramètres naturels (ce qui n`est pas immédiatement évident; Voir méthodes modèles de variables latentes de famille exponentielle: détails techniques).

Une classe très importante de modèles sont celles où les données sont de haute dimension. Nous montrons deux choses pour cette classe. Premièrement, la distribution sur l`énergie est élargie par des variables latentes — plus précisément, pour les modèles variables latentes, la variance évolue généralement en N2. Deuxièmement, la mise à l`échelle de N2 est suffisamment importante pour que les écarts par rapport à la Loi de Zipf deviennent négligeables dans la grande limite n. Ici, nous calculons l`entropie, à z fixe, du modèle de champ de place dans EQ (29), et montrent qu`il dépend très faiblement sur z. Étant donné que la distribution sur x est conditionnelle indépendamment de z, l`entropie a une forme simple, (93) où p (z − θi) est la probabilité que XI = 1 donné z, (94) et HB (p) est l`entropie (en Nats) d`une variable aléatoire Bernoulli, (95) pour les mots , nous avons montré que les différentes parties de la parole n`obéissent pas à la Loi de Zipf; ce n`est qu`en mélangeant ensemble différentes parties de la parole avec différentes fréquences caractéristiques que la Loi de Zipf émerge. Cela a une conséquence importante pour d`autres explications de la Loi de Zipf dans le langage. En particulier, l`observation selon laquelle les différentes parties de la parole n`obéissent pas à la Loi de Zipf est incompatible avec toute explication de la Loi de Zipf qui ne fait pas la distinction entre les parties de la parole [2, 9 – 12, 29]. Pour le cas tout à fait général, dans lequel les éléments de XI ne sont pas indépendants, essentiellement le même raisonnement tient: pour que la Loi de Zipf émerge les entropies de chaque élément (convenablement défini; Voir méthodes modèles variables latentes à haute dimension non conditionnellement indépendantes) doivent covarier, avec et, en moyenne, une covariance positive. Ce résultat — que la variance de l`échelle d`énergie comme N2 lorsque les entropies élémentaires covarient — a été confirmée empiriquement pour les données de dopage multi-Neuron [17, 18] (bien qu`ils n`aient pas évalué la Loi de Zipf). Des données neuronales ont été montrées, dans certains cas, pour obéir à la Loi de Zipf [6, 7]. Ici, les données, qui consistent en des trains de pointes à partir de neurones n, sont converties en vecteurs binaires, x (t) = (x1 (t), x2 (t),…), avec XI (t) = 1 si neurone i a dopé en TimeStep t et XI (t) = 0 s`il n`y avait pas de pic.

This entry was posted in Senza categoria by admin. Bookmark the permalink.

Comments are closed.