Lecture Notes on Stochastic Processes inBiostatistics: Applications to Infectious DiseasesIra M. Longini, Jr.Department of BiostatisticsRollins School of Public HealthEmory UniversityAtlanta, GAMichael G. HudgensFred Hutchinson Cancer Research CenterSeattle, WAJanuary 1, 20032CONTENTS0.1 Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 Introduction 92 Preliminaries 112.1 Probability Generating Function . . . . . . . . . . . . . . . . . . . . . 112.2 Convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.2.1 Compound distributions . . . . . . . . . . . . . . . . . . . . . 132.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 Galton-Watson (GW) Branching Process 153.1 Probability distribution, Expectations, Extinction . . . . . . . . . . . 153.2 Inference on the GW branching process . . . . . . . . . . . . . . . . . 173.2.1 The explosion set . . . . . . . . . . . . . . . . . . . . . . . . . 173.2.2 Time Series Methods . . . . . . . . . . . . . . . . . . . . . . . 183.2.3 Likelihood-based methods . . . . . . . . . . . . . . . . . . . . 193.3 Epidemics as GW branching process . . . . . . . . . . . . . . . . . . 213.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234 Random Walks 254.1 Simple Random Walks . . . . . . . . . . . . . . . . . . . . . . . . . . 254.2 Di¤erence Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . 264.3 Gambling Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274.3.1 Gambler’s Ruin . . . . . . . . . . . . . . . . . . . . . . . . . . 274.3.2 Expected Duration . . . . . . . . . . . . . . . . . . . . . . . . 284.3.3 Discrete-time martingales . . . . . . . . . . . . . . . . . . . . 284.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305 Discrete-time Markov chains 315.1 Transition Probabilities, Classi…cations, Asymptotics . . . . . . . . . 315.1.1 Absorbing Chains. . . . . . . . . . . . . . . . . . . . . . . . . 375.2 Algebraic treatment . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394 CONTENTS5.3 Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415.3.1 Inference on a single sequence . . . . . . . . . . . . . . . . . . 415.3.2 Inference on multiple observed sequences . . . . . . . . . . . . 425.4 The chain binomial model . . . . . . . . . . . . . . . . . . . . . . . . 425.5 The Reed-Frost Model . . . . . . . . . . . . . . . . . . . . . . . . . . 435.5.1 History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435.5.2 Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445.5.3 Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465.6 Life Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475.7 HIV-progression model . . . . . . . . . . . . . . . . . . . . . . . . . . 485.8 Endemic Reed-Frost Model . . . . . . . . . . . . . . . . . . . . . . . . 495.9 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506 Continuous-time Markov chains 536.1 Poisson process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 536.2 Birth and death processes . . . . . . . . . . . . . . . . . . . . . . . . 556.2.1 Linear Birth Process . . . . . . . . . . . . . . . . . . . . . . . 566.2.2 Linear Death Process . . . . . . . . . . . . . . . . . . . . . . . 566.2.3 Linear Birth-Death Process . . . . . . . . . . . . . . . . . . . 576.3 Kolmogorov di¤erential equations . . . . . . . . . . . . . . . . . . . . 586.4 Algebraic Treatment . . . . . . . . . . …